التلاعب بتدريب نموذج نشر نص صغير على مستوى الحروف بمعلمة 11 ميترا! إنه WIP ولكن الكود حاليا عبارة عن تطبيق nanochat gpt معدل بشكل كبير (للتغيير من فك التشفير الانحدار الذاتي إلى الانتشار) وتم تدريبه على مجموعة بيانات Tiny Shakespeare. التنفيذ الساذج لجدول الإخفاء هو وجود احتمال إخفاء موحد لكل رمز مميز لكل تكرار. تقفي الأساليب الأحدث في أجزاء الكتلة من اليسار إلى اليمين مما يحسن جودة الإخراج ويسمح ببعض إعادة استخدام KVCache. أدركت أنه يمكنك بالفعل تطبيق الإخفاء بأي طريقة تعسفية أثناء عملية التوليد. أدناه يمكنك أن ترى أنني قمت بتطبيق الإخفاء بناء على قواعد لعبة حياة كونواي. أتساءل عما إذا كانت هناك أي استراتيجيات إخفاء غير عادية مثل هذه توفر فوائد. بغض النظر ، فهذه طريقة مثيرة للاهتمام وساحرة للغاية لإفساد النص وتشويهه.

BERT هو مجرد خطوة نشر نص واحد! (1 / ن) عندما قرأت لأول مرة عن نماذج نشر اللغة ، فوجئت عندما وجدت أن هدفهم التدريبي كان مجرد تعميم لنمذجة اللغة المقنعة (MLM) ، وهو أمر كنا نقوم به منذ BERT من عام 2018. كانت أول فكرة لدي ، "هل يمكننا ضبط نموذج يشبه BERT للقيام بإنشاء نص؟"

يوم سجل البحث 0: أيام DiLoCo قررت أن أطروحة حول التدريب الموزع منخفض التواصل. بشكل أساسي ، كيف يمكننا تدريب النماذج الكبيرة بكفاءة عبر العقد الموزعة وعدم تدميرها تماما بسبب زمن انتقال الشبكة وعرض النطاق الترددي؟ (1 / ن)