正在尝试训练一个小型的11M参数字符级文本扩散模型！ 这还是一个正在进行中的项目，但代码目前是一个 heavily modified nanochat gpt 实现（将自回归解码更改为扩散），并在 Tiny Shakespeare 数据集上进行训练。 简单的掩码调度实现是对每个迭代中的每个标记使用均匀的掩码概率。更新的方法是从左到右以块状方式进行掩码，这提高了输出质量并允许一些 KVCache 重用。 我意识到在生成过程中实际上可以以任何任意方式应用掩码。下面你可以看到我根据康威的生命游戏的规则应用了掩码。 我想知道是否有任何不寻常的掩码策略可以带来好处。无论如何，这是一种非常有趣和迷人的方式来破坏和变形文本。

BERT 只是一个单一的文本扩散步骤！ (1/n) 当我第一次阅读关于语言扩散模型的内容时，我惊讶地发现它们的训练目标只是掩码语言建模（MLM）的一个概括，这是我们自 2018 年以来一直在做的事情。 我想到的第一个问题是：“我们能否微调一个类似 BERT 的模型来进行文本生成？”

研究日志 第0天：DiLoCo日 我决定围绕分布式低通信训练撰写论文。基本上，我们如何能够在分布式节点之间高效地训练大型模型，而不被网络延迟和带宽彻底摧毁？ (1/n)