تأثير التهيئة على ديناميكيات الضبط الدقيق ل LoRA القليل من الاستكشاف العلمي وواحدة من أفضل الأوراق التي قرأتها طوال العام. (ونعم أنا إلى حد كبير LoRA-pilled) في التكيف منخفض الرتبة ، نقوم عادة بتدريب المحولات A و B التي تتم إضافتها إلى الأوزان مثل W + BA. نحتاج إلى تهيئة B أو A إلى صفر للحفاظ على سلوك الشبكة عند init TLDR من الأفضل تعيين B على الأصفار. يتعلم بشكل أسرع ، ويتيح لك استخدام معدلات تعلم أكبر. مفاجئ جدا بالنسبة لي