NoRA：通过归一化下投影矩阵改进 LoRA 训练

论文提出 Normalized Low-Rank Adaptation（NoRA），在训练中对 LoRA 的下投影矩阵做归一化，并发现仅在初始化时归一化也能改进标准 LoRA。在预训练、监督微调和强化学习中，NoRA 加速收敛、提升性能与训练稳定性并缓解灾难性遗忘，且不增加可训练参数和推理时计算。