Играю с обучением крошечной модели диффузии текста на уровне символов с 11 миллионами параметров! Это в процессе, но код в настоящее время является сильно модифицированной реализацией nanochat gpt (чтобы изменить автогрессивное декодирование на диффузию) и обучен на наборе данных Tiny Shakespeare. Наивная реализация графика маскирования имеет равномерную вероятность маскирования для каждого токена на каждой итерации. Новые подходы маскируют блоками слева направо, что улучшает качество вывода и позволяет повторно использовать некоторый KVCache. Я понял, что на самом деле можно применять маскирование любым произвольным образом в процессе генерации. Ниже вы можете увидеть, что я применил маскирование на основе правил Игры в жизнь Конвея. Интересно, есть ли какие-либо необычные стратегии маскирования, подобные этой, которые приносят пользу. В любом случае, это очень интересный и завораживающий способ искажать и деформировать текст.

BERT — это всего лишь один шаг диффузии текста! (1/n) Когда я впервые прочитал о моделях диффузии языка, я был удивлён, узнав, что их цель обучения — это всего лишь обобщение маскированного моделирования языка (MLM), чем мы занимаемся с BERT с 2018 года. Первая мысль, которая пришла мне в голову, была: "можем ли мы дообучить модель, похожую на BERT, для генерации текста?"

Журнал исследований День 0: Дни DiLoCo Я решил написать диссертацию о распределенном обучении с низкой связью. По сути, как мы можем эффективно обучать большие модели на распределенных узлах и не быть полностью уничтоженными задержкой сети и пропускной способностью? (1/n)