Kimi的创始人Zhilin Yang的采访已经发布。 再次提醒，您可以让Kimi为您翻译：）里面有很多见解。 几个要点： 1/ 基础模型聚焦：K2旨在成为一个稳固的基础模型。我们发现高质量数据的增长缓慢，而多模态数据并没有显著提升文本的"IQ"。因此，我们专注于最大化每个数据令牌的价值——令牌效率。 2/ 数据重述：在30T的令牌中，只有一小部分是高质量数据（数十亿个令牌）。我们对这些数据进行重述，使其对模型更有效，提高泛化能力。 3/ 代理能力：我们旨在增强泛化能力。最大的挑战是使模型在特定任务之外也能良好泛化。强化学习（RL）在这方面优于监督微调（SFT）。 4/ AI原生训练：我们正在探索更多AI原生的模型训练方式。如果AI能够进行良好的对齐研究，它将更好地泛化，超越单一任务优化。 5/ RL与SFT：RL的泛化能力更强，因为它从在线策略样本中学习，但也有其局限性。RL有助于改善特定任务，但在没有定制任务的情况下，很难泛化到所有场景。 6/ 长上下文：上下文长度至关重要，我们需要数百万。挑战在于平衡模型大小和上下文长度以实现最佳性能，因为某些架构在长上下文中表现更好，但在短上下文中表现更差。