التلاعب بتدريب نموذج نشر نص صغير على مستوى الحروف بمعلمة 11 ميترا! إنه WIP ولكن الكود حاليا عبارة عن تطبيق nanochat gpt معدل بشكل كبير (للتغيير من فك التشفير الانحدار الذاتي إلى الانتشار) وتم تدريبه على مجموعة بيانات Tiny Shakespeare. التنفيذ الساذج لجدول الإخفاء هو وجود احتمال إخفاء موحد لكل رمز مميز لكل تكرار. تقفي الأساليب الأحدث في أجزاء الكتلة من اليسار إلى اليمين مما يحسن جودة الإخراج ويسمح ببعض إعادة استخدام KVCache. أدركت أنه يمكنك بالفعل تطبيق الإخفاء بأي طريقة تعسفية أثناء عملية التوليد. أدناه يمكنك أن ترى أنني قمت بتطبيق الإخفاء بناء على قواعد لعبة حياة كونواي. أتساءل عما إذا كانت هناك أي استراتيجيات إخفاء غير عادية مثل هذه توفر فوائد. بغض النظر ، فهذه طريقة مثيرة للاهتمام وساحرة للغاية لإفساد النص وتشويهه.