Експериментуючи з навчанням крихітної моделі розповсюдження тексту на рівні символів з 11 мільйонами параметрів! Це WIP, але код в даний час є сильно модифікованою реалізацією наночату gpt (для переходу від авторегресійного декодування до дифузії) і навчений на наборі даних Tiny Shakespeare. Наївна реалізація графіка маскування полягає в тому, що вона має єдину ймовірність маскування для кожного токена для кожної ітерації. Новіші підходи маскують блоками зліва направо, що покращує якість виводу та дозволяє повторно використовувати KVCache. Я зрозумів, що насправді маскування можна застосовувати будь-яким довільним способом під час процесу генерації. Нижче ви можете побачити, як я застосував маскування на основі правил «Гри життя» Конвея. Цікаво, чи існують такі незвичайні стратегії маскування, які дають переваги. Незважаючи на це, це дуже цікавий і заворожуючий спосіб спотворити і спотворити текст.

BERT – це лише один етап розповсюдження тексту! (1/п) Коли я вперше прочитав про моделі дифузії мови, я був здивований, виявивши, що їхньою навчальною метою було просто узагальнення моделювання маскованої мови (MLM), чим ми займаємося з часів BERT з 2018 року. Перша думка, яка у мене виникла: «Чи можемо ми точно налаштувати BERT-подібну модель для генерації тексту?».

День 0 журналу досліджень: Дні DiLoCo Я вирішив висунути дисертацію про розподілене навчання з низьким рівнем комунікації. По суті, як ми можемо ефективно тренувати великі моделі на розподілених вузлах і не бути повністю знищеними затримкою мережі та пропускною здатністю? (1/п)