Brincando com o treinamento de um minúsculo modelo de difusão de texto em nível de caractere de parâmetro 11M! É um WIP, mas o código é atualmente uma implementação nanochat gpt fortemente modificada (para mudar de decodificação autorregressiva para difusão) e treinado no conjunto de dados Tiny Shakespeare. A implementação ingênua de um cronograma de mascaramento é ter uma probabilidade de mascaramento uniforme para cada token para cada iteração. Abordagens mais recentes mascaram blocos da esquerda para a direita, o que melhora a qualidade da saída e permite alguma reutilização do KVCache. Percebi que você pode realmente aplicar o mascaramento de qualquer maneira arbitrária durante o processo de geração. Abaixo você pode ver que apliquei o mascaramento com base nas regras do Jogo da Vida de Conway. Eu me pergunto se existem estratégias de mascaramento incomuns como essa que oferecem benefícios. Independentemente disso, esta é uma maneira muito interessante e fascinante de corromper e deformar texto.

O BERT é apenas uma etapa única de difusão de texto! (1/n) Quando li pela primeira vez sobre modelos de difusão de linguagem, fiquei surpreso ao descobrir que seu objetivo de treinamento era apenas uma generalização da modelagem de linguagem mascarada (MLM), algo que fazemos desde o BERT de 2018. O primeiro pensamento que tive foi: "podemos ajustar um modelo semelhante ao BERT para fazer a geração de texto?"

Registro de Pesquisa Dia 0: Dias DiLoCo Decidi fazer uma tese sobre treinamento distribuído de baixa comunicação. Essencialmente, como podemos treinar grandes modelos com eficiência em nós distribuídos e não ser totalmente destruídos pela latência e largura de banda da rede? (1/n)