Lek med att träna en liten 11M parameter teckennivå textdiffusionsmodell! Det är en WIP, men koden är för närvarande en kraftigt modifierad nanochat gpt-implementering (för att ändra från autoregressiv avkodning till diffusion) och tränad på Tiny Shakespeare-datasetet. Den naiva implementeringen av ett maskeringsschema har en enhetlig maskeringssannolikhet för varje token för varje iteration. Nyare metoder maskerar i blockbitar från vänster till höger, vilket förbättrar utskriftskvaliteten och tillåter viss återanvändning av KVCache. Jag insåg att man faktiskt kan använda maskering på vilket godtyckligt sätt som helst under genereringsprocessen. Nedan kan du se att jag tillämpade maskering baserat på reglerna i Conway's Game of Life. Jag undrar om det finns några ovanliga maskeringsstrategier som denna som ger fördelar. Oavsett vilket är detta ett mycket intressant och fascinerande sätt att korrumpera och deformera text.

BERT är bara ett enda textspridningssteg! (1/n) När jag först läste om språkspridningsmodeller blev jag förvånad över att upptäcka att deras träningsmål bara var en generalisering av maskerad språkmodellering (MLM), något vi har gjort sedan BERT från 2018. Den första tanken jag hade var, "kan vi finjustera en BERT-liknande modell för textgenerering?"

Forskningslogg Dag 0: DiLoCo Dagar Jag bestämde mig för att göra ett examensarbete kring distribuerad lågkommunikationsträning. I grund och botten, hur kan vi träna stora modeller effektivt över distribuerade noder och inte bli helt förstörda av nätverkslatens och bandbredd? (1/n)