Kimi的創始人Zhilin Yang的訪談已經發布。 再次提醒，您可以讓Kimi為您翻譯：）裡面有很多見解。 幾個要點： 1/ 基礎模型聚焦：K2旨在成為一個穩固的基礎模型。我們發現高質量數據的增長緩慢，而多模態數據並沒有顯著提升文本的"IQ"。因此，我們專注於最大化每個數據令牌的價值——令牌效率。 2/ 數據重述：在30T的令牌中，只有一小部分是高質量數據（數十億個令牌）。我們對這些數據進行重述，使其對模型更有效，提高泛化能力。 3/ 代理能力：我們旨在增強泛化能力。最大的挑戰是使模型在特定任務之外也能良好泛化。強化學習（RL）在這方面優於監督微調（SFT）。 4/ AI原生訓練：我們正在探索更多AI原生的模型訓練方式。如果AI能夠進行良好的對齊研究，它將更好地泛化，超越單一任務優化。 5/ RL與SFT：RL的泛化能力更強，因為它從在線策略樣本中學習，但也有其局限性。RL有助於改善特定任務，但在沒有定制任務的情況下，很難泛化到所有場景。 6/ 長上下文：上下文長度至關重要，我們需要數百萬。挑戰在於平衡模型大小和上下文長度以實現最佳性能，因為某些架構在長上下文中表現更好，但在短上下文中表現更差。