Beau post court illustrant à quel point la diffusion de texte simple (discrète) peut l'être. La diffusion (c'est-à-dire le débruitage parallèle itéré, top) est le paradigme génératif omniprésent dans l'image/vidéo, mais l'autoregression (c'est-à-dire aller de gauche à droite en bas) est le paradigme dominant dans le texte. Pour l'audio, j'ai vu un peu des deux. Beaucoup de papiers sur la diffusion semblent un peu denses, mais si vous dépouillez le formalisme mathématique, vous vous retrouvez avec des algorithmes de base simples, par exemple quelque chose de beaucoup plus proche de l'appariement de flux en continu, ou quelque chose comme ça en discret. C'est votre transformateur classique mais avec une attention bidirectionnelle, où vous rééchantillonnez et remasquez itérativement tous les tokens dans votre "toile de tokens" en fonction d'un calendrier de bruit jusqu'à obtenir l'échantillon final à la dernière étape. (L'attention bidirectionnelle est beaucoup plus puissante, et vous obtenez des modèles de langage autoregressifs beaucoup plus forts si vous vous entraînez avec, malheureusement cela rend l'entraînement beaucoup plus coûteux car maintenant vous ne pouvez pas paralléliser à travers la dimension de séquence). Donc, l'autoregression fait un `.append(token)` à la toile de tokens tout en n'assistant qu'en arrière, tandis que la diffusion rafraîchit l'ensemble de la toile de tokens avec un `.setitem(idx, token)` tout en assistant de manière bidirectionnelle. La pensée humaine semble naïvement un peu plus comme l'autoregression, mais il est difficile de dire qu'il n'y a pas plus de composants semblables à la diffusion dans un certain espace latent de pensée. Il semble tout à fait possible que vous puissiez encore interpoler entre eux, ou les généraliser davantage. Et c'est un composant de la pile LLM qui semble encore un peu fongible. Maintenant, je dois résister à l'envie de m'égarer dans l'entraînement de nanochat avec la diffusion.