Mukava, lyhyt postaus, joka havainnollistaa, kuinka yksinkertaista tekstin (diskreetti) diffuusio voi olla. Diffuusio (eli rinnakkainen, iteroitu kohinanpoisto, ylhäällä) on laajalle levinnyt generatiivinen paradigma kuvassa/videossa, mutta autoregressio (eli siirry vasemmalta oikealle alas) on tekstin hallitseva paradigma. Äänen osalta olen nähnyt vähän molempia. Monet diffuusiopaperit näyttävät hieman tiheiltä, mutta jos poistat matemaattisen formalismin, päädyt yksinkertaisiin perusalgoritmeihin, esim. Se on vaniljamuuntajasi, mutta kaksisuuntaisella huomiolla, jossa otat iteratiivisesti uudelleen ja peität kaikki "tokens-kankaan" tokenit kohina-aikataulun perusteella, kunnes saat lopullisen näytteen viimeisessä vaiheessa. (Kaksisuuntainen huomio on paljon tehokkaampaa, ja saat paljon vahvempia autoregressiivisiä kielimalleja, jos harjoittelet sillä, valitettavasti se tekee harjoittelusta paljon kalliimpaa, koska nyt et voi rinnakkaistaa sekvenssin himmeää osaa). Joten autoregressio on '.append(token)':n tekemistä tokens-kankaalle samalla kun se osallistuu vain taaksepäin, kun taas diffuusio päivittää koko token-kankaan '.setitem(idx, token)':lla osallistuessaan kaksisuuntaisesti. Ihmisen ajattelu tuntuu naiivisti hieman enemmän autoregressiolta, mutta on vaikea sanoa, etteikö jossain piilevässä ajattelutilassa olisi enemmän diffuusion kaltaisia komponentteja. Tuntuu täysin mahdolliselta, että voit interpoloida niiden välillä edelleen tai yleistää niitä edelleen. Ja se on osa LLM-pinoa, joka tuntuu edelleen hieman vaihdettavalta. Nyt minun on vastustettava halua harjoitella nanochattia diffuusiolla.