J'expérimente avec l'entraînement d'un petit modèle de diffusion de texte au niveau des caractères avec 11 millions de paramètres ! C'est un travail en cours, mais le code est actuellement une implémentation de nanochat gpt fortement modifiée (pour passer du décodage autoregressif à la diffusion) et entraînée sur le jeu de données Tiny Shakespeare. L'implémentation naïve d'un calendrier de masquage consiste à avoir une probabilité de masquage uniforme pour chaque jeton à chaque itération. Les approches plus récentes masquent par blocs de gauche à droite, ce qui améliore la qualité de sortie et permet une certaine réutilisation du KVCache. J'ai réalisé que vous pouvez en fait appliquer le masquage de n'importe quelle manière arbitraire pendant le processus de génération. Ci-dessous, vous pouvez voir que j'ai appliqué le masquage en fonction des règles du Jeu de la Vie de Conway. Je me demande s'il existe des stratégies de masquage inhabituelles comme celle-ci qui apportent des avantages. Quoi qu'il en soit, c'est une manière très intéressante et fascinante de corrompre et de déformer le texte.

BERT n'est qu'une étape de diffusion de texte unique ! (1/n) Lorsque j'ai d'abord lu sur les modèles de diffusion de langage, j'ai été surpris de découvrir que leur objectif d'entraînement n'était qu'une généralisation du masquage de langage (MLM), quelque chose que nous faisons depuis BERT en 2018. La première pensée que j'ai eue a été : « pouvons-nous affiner un modèle similaire à BERT pour faire de la génération de texte ? »

Journal de recherche Jour 0 : Jours DiLoCo J'ai décidé de rédiger une thèse sur l'entraînement distribué à faible communication. Essentiellement, comment pouvons-nous entraîner de grands modèles de manière efficace à travers des nœuds distribués sans être complètement détruits par la latence réseau et la bande passante ? (1/n)