اليوم أنشر أول مشاركة لي في المدونة: الترميز من المبادئ الأولى. لقد قمت ببناء رمز BPE على مستوى البايت مع الترميز المسبق ل Rust وحققت سرعة التشفير على قدم المساواة مع الرموز المميزة للعناق. أعرض الأفكار والخوارزميات بما في ذلك الفروق الدقيقة في التنفيذ ، مثل استخدام ذاكرة التخزين المؤقت LRU والقائمة المرتبطة بشكل مزدوج. مع هذا الأساس ، أدفع أكثر. يتم تقسيم معظم الرموز المميزة حسب التعبير العادي ، مع الحفاظ على عمليات الدمج داخل الكلمات ، يمكننا أن نفعل ما هو أفضل. لقد حققت تدريب ماجستير في القانون أكثر كفاءة بنسبة 20٪ مع SuperBPE. أوضح كيفية تنفيذ SuperBPE الذي تم تمكينه في وقت متأخر من التدريب والذي يسمح بدمج الكلمات المتقاطعة بنفس الخسارة لكل بايت أثناء التدريب. المؤامرات + الرمز + الرابط في الرد.