Bonito, breve post que ilustra lo simple que puede ser la difusión de texto (discreta). La difusión (es decir, denoising paralelo e iterado, top) es el paradigma generativo omnipresente en imagen/video, pero la autoregresión (es decir, ir de izquierda a derecha abajo) es el paradigma dominante en texto. Para audio he visto un poco de ambos. Muchos artículos sobre difusión parecen un poco densos, pero si eliminas el formalismo matemático, terminas con algoritmos base simples, por ejemplo, algo mucho más cercano al emparejamiento de flujo en continuo, o algo como esto en discreto. Es tu transformador básico pero con atención bidireccional, donde re-muestras y re-mascaras iterativamente todos los tokens en tu "lienzo de tokens" basado en un cronograma de ruido hasta que obtienes la muestra final en el último paso. (La atención bidireccional es mucho más poderosa, y obtienes modelos de lenguaje autoregresivos mucho más fuertes si entrenas con ella, desafortunadamente, hace que el entrenamiento sea mucho más costoso porque ahora no puedes paralelizar a través de la dimensión de la secuencia). Así que la autoregresión está haciendo un `.append(token)` al lienzo de tokens mientras solo atiende hacia atrás, mientras que la difusión está refrescando todo el lienzo de tokens con un `.setitem(idx, token)` mientras atiende bidireccionalmente. El pensamiento humano, de manera ingenua, se siente un poco más como la autoregresión, pero es difícil decir que no hay más componentes similares a la difusión en algún espacio latente del pensamiento. Se siente bastante posible que puedas interpolar más entre ellos, o generalizarlos aún más. Y es un componente de la pila LLM que aún se siente un poco fungible. Ahora debo resistir la urgencia de desviarme hacia el entrenamiento de nanochat con difusión.