キミの創設者、ジリン・ヤンのインタビューが公開されました。 繰り返しになりますが、キミに翻訳してもらうことができます:)そこにはたくさんの洞察があります。 いくつかのテイク: 1/ ベースモデルフォーカス: K2 は堅実なベースモデルを目指しています。高品質のデータの増加は遅く、マルチモーダルデータはテキストの「IQ」を大幅に向上させないことがわかりました。そのため、私たちはすべてのデータトークンの価値、つまりトークン効率を最大化することに重点を置いています。 2/ データの言い換え: 30T トークンでは、高品質のデータ (数十億トークン) はごく一部です。これらを言い換えて、モデルにとってより効率的にし、一般化を改善します。 3/ エージェント能力: 一般化の強化を目指します。最大の課題は、モデルを特定のタスクをはるかに超えて一般化することです。RL は、教師あり微調整 (SFT) よりもこの状況を改善します。 4/ AI ネイティブ トレーニング: モデルをトレーニングするための AI ネイティブな方法を模索しています。AI が優れたアライメント調査を実行できれば、単一タスクの最適化を超えて、よりよく一般化できるようになります。 5/ RL と SFT: RL の一般化は、ポリシー上のサンプルから学習するため、より優れていますが、限界があります。RL は特定のタスクを改善するのに役立ちますが、カスタマイズされたタスクなしですべてのシナリオに一般化することは困難です。 6/ 長いコンテキスト: コンテキストの長さは非常に重要であり、何百万ものコンテキストが必要です。課題は、最適なパフォーマンスを得るためにモデルサイズとコンテキストの長さのバランスをとることであり、一部のアーキテクチャは長いコンテキストで改善されますが、短いコンテキストでは悪化します。