Bagus dan singkat posting yang menggambarkan betapa sederhananya difusi teks (diskrit). Difusi (yaitu paralel, denoise berulang, atas) adalah paradigma generatif yang meresap dalam gambar/video, tetapi autoregresi (yaitu pergi ke kiri ke kanan bawah) adalah paradigma dominan dalam teks. Untuk audio saya telah melihat sedikit dari keduanya. Banyak makalah difusi terlihat agak padat tetapi jika Anda melucuti formalisme matematika, Anda berakhir dengan algoritma dasar sederhana, misalnya sesuatu yang jauh lebih dekat dengan pencocokan aliran dalam kontinu, atau sesuatu seperti ini dalam diskrit. Ini adalah transformator vanilla Anda tetapi dengan perhatian dua arah, di mana Anda secara berulang mengambil sampel ulang dan menutupi ulang semua token di "kanvas token" Anda berdasarkan jadwal kebisingan sampai Anda mendapatkan sampel akhir pada langkah terakhir. (Perhatian dua arah jauh lebih kuat, dan Anda mendapatkan model bahasa regresif otomatis yang jauh lebih kuat jika Anda berlatih dengannya, sayangnya itu membuat pelatihan jauh lebih mahal karena sekarang Anda tidak dapat menyejajarkan merentasi redup urutan). Jadi regresi otomatis melakukan '.append(token)' ke kanvas token sambil hanya menghadiri mundur, sementara difusi menyegarkan seluruh kanvas token dengan '.setitem(idx, token)' saat menghadiri dua arah. Pikiran manusia secara naif terasa sedikit lebih seperti autoregresi tetapi sulit untuk mengatakan bahwa tidak ada lebih banyak komponen seperti difusi dalam beberapa ruang berpikir laten. Rasanya sangat mungkin bahwa Anda dapat menginterpolasi lebih lanjut di antara mereka, atau menggeneralisasikannya lebih lanjut. Dan itu adalah komponen dari tumpukan LLM yang masih terasa sedikit dapat dipertukarkan. Sekarang saya harus menahan keinginan untuk misi sampingan ke dalam pelatihan nanochat dengan difusi.