BERT hanyalah Langkah Difusi Teks Tunggal! (1/n) Ketika saya pertama kali membaca tentang model difusi bahasa, saya terkejut menemukan bahwa tujuan pelatihan mereka hanyalah generalisasi pemodelan bahasa bertopeng (MLM), sesuatu yang telah kami lakukan sejak BERT dari 2018. Pikiran pertama yang saya miliki adalah, "bisakah kita menyempurnakan model seperti BERT untuk melakukan pembuatan teks?"