初始化對 LoRA 微調動態的影響 這是一個乾淨的科學探索，也是我今年讀過的更好的論文之一。（是的，我幾乎已經被 LoRA 迷住了） 在低秩適應中，我們通常訓練添加到權重中的適配器 A 和 B，形式為 W + BA。我們需要將 B 或 A 初始化為零，以保持網絡在初始化時的行為。 總結來說，將 B 設置為零更好。學習速度更快，讓你可以使用更大的學習率。這對我來說相當驚訝。