انتهت مقابلة مؤسس كيمي ، جيلين يانغ. مرة أخرى ، يمكنك السماح ل Kimi بالترجمة لك:) الكثير من الأفكار هناك. عدة لقطات: 1 / تركيز النموذج الأساسي: يهدف K2 إلى أن يكون نموذجا أساسيا صلبا. لقد وجدنا أن نمو البيانات عالية الجودة بطيء ، وأن البيانات متعددة الوسائط لا تعزز بشكل كبير "معدل الذكاء" النصي. لذلك ، نحن نركز على تعظيم قيمة كل رمز مميز للبيانات - كفاءة الرمز المميز. 2 / إعادة صياغة البيانات: مع رموز 30T ، جزء صغير فقط عبارة عن بيانات عالية الجودة (مليارات الرموز المميزة). نعيد صياغتها لجعلها أكثر كفاءة للنموذج ، وتحسين التعميم. 3 / القدرة الوكيل: نهدف إلى تعزيز التعميم. التحدي الأكبر هو جعل النموذج يعمم إلى ما هو أبعد من مهام محددة. تعمل RL على تحسين هذا على الضبط الدقيق الخاضع للإشراف (SFT). 4 / تدريب الذكاء الاصطناعي الأصلي: نحن نستكشف المزيد من طرق الذكاء الاصطناعي الأصلية لتدريب النماذج. إذا كان بإمكان الذكاء الاصطناعي إجراء بحث محاذاة جيد ، تعميمه بشكل أفضل ، بما يتجاوز تحسين المهمة الواحدة. 5 / RL مقابل SFT: تعميم RL أفضل ، حيث يتعلم من العينات على السياسة ، ولكن له حدوده. يساعد RL في تحسين مهام محددة ، ولكن من الصعب التعميم على جميع السيناريوهات بدون مهام مخصصة. 6 / السياقات الطويلة: طول السياق أمر بالغ الأهمية ، نحتاج إلى الملايين. يتمثل التحدي في موازنة حجم النموذج وطول السياق للحصول على الأداء الأمثل ، حيث تتحسن بعض البنى مع السياق الطويل ولكنها تزداد سوءا مع السياق القصير.