Das Interview mit Kimi's Gründer, Zhilin Yang, ist veröffentlicht. Wieder können Sie Kimi für Sie übersetzen lassen: ) viele Einblicke dort. Einige Überlegungen: 1/ Fokus auf Basis-Modell: K2 zielt darauf ab, ein solides Basis-Modell zu sein. Wir haben festgestellt, dass das Wachstum hochwertiger Daten langsam ist und multimodale Daten den textuellen "IQ" nicht signifikant steigern. Daher konzentrieren wir uns darauf, den Wert jedes Datentokens zu maximieren — Token-Effizienz. 2/ Daten-Neuformulierung: Mit 30T Tokens ist nur ein kleiner Teil hochwertige Daten (Milliarden von Tokens). Wir formulieren diese um, um sie effizienter für das Modell zu machen und die Verallgemeinerung zu verbessern. 3/ Agentische Fähigkeit: Wir zielen darauf ab, die Verallgemeinerung zu verbessern. Die größte Herausforderung besteht darin, das Modell gut über spezifische Aufgaben hinaus zu verallgemeinern. RL verbessert dies im Vergleich zum überwachten Feintuning (SFT). 4/ KI-native Ausbildung: Wir erkunden mehr KI-native Wege, um Modelle zu trainieren. Wenn KI gute Ausrichtungsforschung betreiben kann, wird sie besser verallgemeinern, über die Optimierung einzelner Aufgaben hinaus. 5/ RL vs SFT: Die Verallgemeinerung von RL ist besser, da es aus On-Policy-Proben lernt, hat aber seine Grenzen. RL hilft, spezifische Aufgaben zu verbessern, aber es ist schwierig, auf alle Szenarien zu verallgemeinern, ohne maßgeschneiderte Aufgaben. 6/ Lange Kontexte: Die Kontextlänge ist entscheidend, wir benötigen Millionen. Die Herausforderung besteht darin, die Modellgröße und die Kontextlänge für optimale Leistung auszubalancieren, da einige Architekturen sich mit langen Kontexten verbessern, aber sich mit kurzen verschlechtern.