Leikittelee pienen 11 miljoonan parametrin merkkitason tekstin diffuusiomallin kouluttamisella! Se on WIP, mutta koodi on tällä hetkellä voimakkaasti muokattu nanochat gpt -toteutus (siirtyä autoregressiivisestä dekoodauksesta diffuusioon) ja koulutettu Tiny Shakespeare -tietojoukolla. Naiivi peittoaikataulun toteutus on se, että kullekin tunnukselle on yhtenäinen peittämistodennäköisyys jokaiselle iteraatiolle. Uudemmat lähestyvät maskia lohkopaloissa vasemmalta oikealle, mikä parantaa tulostuslaatua ja mahdollistaa jonkin verran KVCachen uudelleenkäyttöä. Tajusin, että voit itse asiassa käyttää peittämistä millä tahansa mielivaltaisella tavalla luontiprosessin aikana. Alla näet, että käytin naamiointia Conwayn Game of Lifen sääntöjen perusteella. Mietin, onko olemassa tällaisia epätavallisia naamiointistrategioita, joista on hyötyä. Siitä huolimatta tämä on erittäin mielenkiintoinen ja lumoava tapa turmella ja vääristää tekstiä.