Bonita y breve publicación que ilustra lo simple que puede ser la difusión de texto (discreta). La difusión (es decir, paralela, eliminación de ruido iterada, arriba) es el paradigma generativo generalizado en imagen/video, pero la autorregresión (es decir, ir de izquierda a derecha abajo) es el paradigma dominante en el texto. Para el audio he visto un poco de ambos. Muchos artículos de difusión parecen un poco densos, pero si quitas el formalismo matemático, terminas con algoritmos de referencia simples, por ejemplo, algo mucho más cercano a la coincidencia de flujo en continuo, o algo así en discreto. Es su transformador vainilla pero con atención bidireccional, donde vuelve a muestrear y enmascarar iterativamente todos los tokens en su "lienzo de tokens" según un programa de ruido hasta que obtiene la muestra final en el último paso. (La atención bidireccional es mucho más poderosa, y obtienes modelos de lenguaje autorregresivos mucho más fuertes si entrenas con ella, desafortunadamente hace que el entrenamiento sea mucho más costoso porque ahora no puedes paralelizar a través de la atenuación de la secuencia). Por lo tanto, la autorregresión está haciendo un '.append(token)' al lienzo de tokens mientras solo atiende hacia atrás, mientras que la difusión está actualizando todo el lienzo de tokens con un '.setitem(idx, token)' mientras se atiende bidireccionalmente. El pensamiento humano ingenuamente se siente un poco más como una autorregresión, pero es difícil decir que no hay más componentes similares a la difusión en algún espacio latente de pensamiento. Parece muy posible que pueda interpolar aún más entre ellos o generalizarlos aún más. Y es un componente de la pila de LLM que todavía se siente un poco fungible. Ahora debo resistir la tentación de hacer una misión secundaria en el entrenamiento de nanochat con difusión.