Experimenteren met het trainen van een kleine 11M parameter karakter-niveau tekst diffusie model! Het is een WIP, maar de code is momenteel een sterk aangepaste nanochat gpt implementatie (om te veranderen van autoregressieve decodering naar diffusie) en getraind op de Tiny Shakespeare dataset. De naïeve implementatie van een maskeringsschema heeft een uniforme maskeringskans voor elk token voor elke iteratie. Nieuwere benaderingen maskeren in blokken van links naar rechts, wat de outputkwaliteit verbetert en enige KVCache-hergebruik mogelijk maakt. Ik realiseerde me dat je maskering op elke willekeurige manier kunt toepassen tijdens het generatieproces. Hieronder zie je dat ik maskering heb toegepast op basis van de regels van Conway's Game of Life. Ik vraag me af of er ongebruikelijke maskeringsstrategieën zijn zoals deze die voordelen bieden. Hoe dan ook, dit is een zeer interessante en fascinerende manier om tekst te corrumperen en te vervormen.