初始化对LoRA微调动态的影响 一项干净的科学探索，也是我今年读过的更好的论文之一。（是的，我几乎已经被LoRA洗脑了） 在低秩适应中，我们通常训练添加到权重中的适配器A和B，形式为W + BA。我们需要将B或A初始化为零，以保持网络在初始化时的行为。 总结一下，最好将B设置为零。学习速度更快，允许使用更大的学习率。这让我感到相当惊讶。