BERT je jen jeden krok šíření textu! (1/n) Když jsem poprvé četl o modelech difúze jazyka, byl jsem překvapen, když jsem zjistil, že jejich tréninkovým cílem je jen zobecnění maskovaného jazykového modelování (MLM), což je něco, co děláme od BERT od roku 2018. První myšlenka, která mě napadla, byla: "Můžeme vyladit model podobný BERT, aby dělal generování textu?"