Bawię się w trenowanie małego modelu dyfuzji tekstu na poziomie znaków z 11M parametrów! To jest w trakcie realizacji, ale kod jest obecnie mocno zmodyfikowaną implementacją nanochat gpt (aby zmienić z dekodowania autoregresywnego na dyfuzję) i trenowany na zbiorze danych Tiny Shakespeare. Naivna implementacja harmonogramu maskowania polega na stosowaniu jednolitego prawdopodobieństwa maskowania dla każdego tokena w każdej iteracji. Nowsze podejścia maskują w blokach z lewej do prawej, co poprawia jakość wyjścia i pozwala na pewne ponowne użycie KVCache. Zdałem sobie sprawę, że można właściwie stosować maskowanie w dowolny sposób podczas procesu generacji. Poniżej możesz zobaczyć, że zastosowałem maskowanie na podstawie zasad Gry w Życie Conwaya. Zastanawiam się, czy istnieją jakieś nietypowe strategie maskowania, które przynoszą korzyści. Tak czy inaczej, to bardzo interesujący i hipnotyzujący sposób na zniekształcanie i deformowanie tekstu.

BERT to tylko jeden krok dyfuzji tekstu! (1/n) Kiedy po raz pierwszy przeczytałem o modelach dyfuzji języka, byłem zaskoczony, że ich cel treningowy to po prostu uogólnienie modelowania języka z maskowaniem (MLM), coś, co robimy od czasów BERT-a z 2018 roku. Pierwsza myśl, która przyszła mi do głowy, to: "czy możemy dostosować model podobny do BERT-a do generowania tekstu?"

Dziennik badań Dzień 0: Dni DiLoCo Postanowiłem napisać pracę na temat rozproszonego treningu o niskiej komunikacji. Zasadniczo, jak możemy efektywnie trenować duże modele na rozproszonych węzłach, nie będąc całkowicie zniszczonym przez opóźnienia sieciowe i przepustowość? (1/n)