منشور قصير لطيف يوضح مدى بساطة انتشار النص (المنفصل). الانتشار (أي تقليل الكثافة المتوازي والمتكرر ، الأعلى) هو النموذج التوليدي المنتشر في الصورة / الفيديو ، لكن الانحدار الذاتي (أي الانتقال من اليسار إلى اليمين من الأسفل) هو النموذج السائد في النص. بالنسبة للصوت ، رأيت القليل من الاثنين. تبدو الكثير من أوراق الانتشار كثيفة بعض الشيء ولكن إذا قمت بتجريد الشكليات الرياضية ، فسينتهي بك الأمر بخوارزميات أساسية بسيطة ، على سبيل المثال شيء أقرب بكثير إلى مطابقة التدفق بشكل مستمر ، أو شيء من هذا القبيل بشكل منفصل. إنه محول الفانيليا الخاص بك ولكن مع اهتمام ثنائي الاتجاه ، حيث تقوم بإعادة أخذ عينات من جميع الرموز المميزة وإعادة إخفاؤها بشكل متكرر في "لوحة الرموز المميزة" بناء على جدول الضوضاء حتى تحصل على العينة النهائية في الخطوة الأخيرة. (الانتباه ثنائي الاتجاه أقوى بكثير ، وستحصل على نماذج لغوية ذاتية الانحدار أقوى بكثير إذا تدربت عليها ، لسوء الحظ ، فإنه يجعل التدريب أكثر تكلفة لأنه الآن لا يمكنك التوازي عبر التسلسل الخافت). لذا فإن الانحدار التلقائي يقوم بعمل ".append(token)" على لوحة الرموز المميزة مع الحضور للخلف فقط ، بينما يقوم الانتشار بتحديث لوحة الرمز المميز بأكملها باستخدام ".setitem(idx، token)" أثناء الحضور ثنائي الاتجاه. يبدو الفكر البشري بسذاجة أشبه بالانحدار الذاتي ، لكن من الصعب القول أنه لا يوجد المزيد من المكونات الشبيهة بالانتشار في بعض المساحات الفكرية الكامنة. من الممكن تماما أنه يمكنك الاستيفاء بينهما بشكل أكبر ، أو تعميمهما بشكل أكبر. وهو أحد مكونات مكدس LLM الذي لا يزال يبدو قابلا للاستبدال بعض الشيء. الآن يجب أن أقاوم الرغبة في البحث الجانبي في تدريب nanochat مع الانتشار.