Wawancara pendiri Kimi, Zhilin Yang sudah keluar. Sekali lagi, Anda dapat membiarkan Kimi menerjemahkan untuk Anda: ) banyak wawasan di sana. Beberapa pengambilan: 1/ Fokus Model Dasar: K2 bertujuan untuk menjadi model dasar yang solid. Kami telah menemukan bahwa pertumbuhan data berkualitas tinggi lambat, dan data multi-moda tidak secara signifikan meningkatkan "IQ" tekstual. Jadi, kami fokus untuk memaksimalkan nilai setiap token data — efisiensi token. 2/ Data Rephrasing: Dengan token 30T, hanya sebagian kecil data berkualitas tinggi (miliaran token). Kami menyusun ulang ini untuk membuatnya lebih efisien untuk model, meningkatkan generalisasi. 3/ Kemampuan Agen: Kami bertujuan untuk meningkatkan generalisasi. Tantangan terbesar adalah membuat model menggeneralisasi jauh melampaui tugas-tugas tertentu. RL meningkatkan ini dibandingkan penyetelan halus yang diawasi (SFT). 4/ Pelatihan AI-Native: Kami sedang mengeksplorasi lebih banyak cara asli AI untuk melatih model. Jika AI dapat melakukan penelitian penyelarasan yang baik, itu akan menggeneralisasi dengan lebih baik, di luar pengoptimalan tugas tunggal. 5/ RL vs SFT: Generalisasi RL lebih baik, karena belajar dari sampel sesuai kebijakan, tetapi memiliki batasannya. RL membantu meningkatkan tugas tertentu, tetapi sulit untuk menggeneralisasi ke semua skenario tanpa tugas yang disesuaikan. 6/ Konteks Panjang: Panjang konteks sangat penting, kita membutuhkan jutaan. Tantangannya adalah menyeimbangkan ukuran model dan panjang konteks untuk kinerja yang optimal, karena beberapa arsitektur meningkat dengan konteks yang panjang tetapi memburuk dengan konteks pendek.