Dopad inicializace na dynamiku dolaďování LoRA Čistý kousek vědeckého průzkumu a jeden z lepších článků, které jsem za celý rok četl. (a ano, jsem do značné míry LoRA-pilulky) v Low-Rank Adaptation typicky trénujeme adaptéry A a B, které se přidávají k vahám jako W + BA. potřebujeme inicializovat buď B nebo A na nulu, abychom zachovali chování sítě při init TLDR je lepší nastavit B na nuly. Učí se rychleji, umožňuje používat větší rychlosti učení. Pro mě docela překvapivé