Leikittelee pienen 11 miljoonan parametrin merkkitason tekstin diffuusiomallin kouluttamisella! Se on WIP, mutta koodi on tällä hetkellä voimakkaasti muokattu nanochat gpt -toteutus (siirtyä autoregressiivisestä dekoodauksesta diffuusioon) ja koulutettu Tiny Shakespeare -tietojoukolla. Naiivi peittoaikataulun toteutus on se, että kullekin tunnukselle on yhtenäinen peittämistodennäköisyys jokaiselle iteraatiolle. Uudemmat lähestyvät maskia lohkopaloissa vasemmalta oikealle, mikä parantaa tulostuslaatua ja mahdollistaa jonkin verran KVCachen uudelleenkäyttöä. Tajusin, että voit itse asiassa käyttää peittämistä millä tahansa mielivaltaisella tavalla luontiprosessin aikana. Alla näet, että käytin naamiointia Conwayn Game of Lifen sääntöjen perusteella. Mietin, onko olemassa tällaisia epätavallisia naamiointistrategioita, joista on hyötyä. Siitä huolimatta tämä on erittäin mielenkiintoinen ja lumoava tapa turmella ja vääristää tekstiä.

BERT on vain yksi tekstin diffuusiovaihe! (1/n) Kun luin ensimmäisen kerran kielen diffuusiomalleista, yllätyin huomatessani, että niiden koulutustavoite oli vain naamioituneen kielen mallintamisen (MLM) yleistäminen, mitä olemme tehneet BERT:stä lähtien vuodesta 2018 lähtien. Ensimmäinen ajatukseni oli: "Voimmeko hienosäätää BERT:n kaltaista mallia tekstin tuottamiseen?"

Tutkimuspäiväkirja Päivä 0: DiLoCo-päivät Päätin tehdä opinnäytetyön hajautetusta matalan kommunikaation koulutuksesta. Pohjimmiltaan, kuinka voimme kouluttaa suuria malleja tehokkaasti hajautetuissa solmuissa ilman, että verkon latenssi ja kaistanleveys tuhoavat meitä täysin? (1/n)