Влияние инициализации на динамику дообучения LoRA чистое научное исследование и одна из лучших статей, которые я читал за весь год. (и да, я практически стал адептом LoRA) В низкоранговой адаптации мы обычно обучаем адаптеры A и B, которые добавляются к весам как W + BA. Нам нужно инициализировать либо B, либо A в ноль, чтобы сохранить поведение сети на этапе инициализации. Кратко: лучше установить B в ноль. Учится быстрее, позволяет использовать более высокие скорости обучения. Для меня это довольно удивительно.