Experimenteren met het trainen van een kleine 11M parameter karakter-niveau tekst diffusie model! Het is een WIP, maar de code is momenteel een sterk aangepaste nanochat gpt implementatie (om te veranderen van autoregressieve decodering naar diffusie) en getraind op de Tiny Shakespeare dataset. De naïeve implementatie van een maskeringsschema heeft een uniforme maskeringskans voor elk token voor elke iteratie. Nieuwere benaderingen maskeren in blokken van links naar rechts, wat de outputkwaliteit verbetert en enige KVCache-hergebruik mogelijk maakt. Ik realiseerde me dat je maskering op elke willekeurige manier kunt toepassen tijdens het generatieproces. Hieronder zie je dat ik maskering heb toegepast op basis van de regels van Conway's Game of Life. Ik vraag me af of er ongebruikelijke maskeringsstrategieën zijn zoals deze die voordelen bieden. Hoe dan ook, dit is een zeer interessante en fascinerende manier om tekst te corrumperen en te vervormen.

BERT is gewoon een enkele tekstdiffusiestap! (1/n) Toen ik voor het eerst las over taaldiffusiemodellen, was ik verrast te ontdekken dat hun trainingsdoel gewoon een generalisatie was van gemaskeerd taalmodelleren (MLM), iets wat we sinds BERT in 2018 doen. De eerste gedachte die ik had was: "kunnen we een BERT-achtig model finetunen om tekstgeneratie te doen?"

Onderzoekslog Dag 0: DiLoCo Dagen Ik besloot een thesis te schrijven over gedistribueerde low-communication training. In wezen, hoe kunnen we grote modellen efficiënt trainen over gedistribueerde knooppunten zonder volledig verwoest te worden door netwerklatentie en bandbreedte? (1/n)