Вийшло інтерв'ю засновниці Kimi Чжилін Ян. Знову ж таки, ви можете дозволити Кімі перекласти для вас: ) там багато інсайтів. Кілька дублів: 1/ Фокус базової моделі: K2 прагне бути надійною базовою моделлю. Ми виявили, що зростання високоякісних даних відбувається повільно, а мультимодальні дані суттєво не підвищують текстовий «IQ». Отже, ми фокусуємося на максимізації цінності кожного токена даних — ефективності токена. 2. Перефразування даних: З 30T токенами лише невелика частина є високоякісними даними (мільярди токенів). Ми перефразовуємо їх, щоб зробити більш ефективними для моделі, покращуючи узагальнення. 3. Агентні здібності: Ми прагнемо посилити узагальнення. Найбільша проблема полягає в тому, щоб змусити модель узагальнюватися далеко за межі конкретних завдань. RL покращує цей показник у порівнянні з контрольованим тонким налаштуванням (SFT). 4/ Навчання за допомогою штучного інтелекту: Ми досліджуємо більше способів навчання моделей на основі штучного інтелекту. Якщо штучний інтелект зможе провести хороші дослідження вирівнювання, він буде краще узагальнювати, ніж оптимізація в одному завданні. 5/ RL vs SFT: Узагальнення RL краще, оскільки він вчиться на зразках за політикою, але має свої межі. RL допомагає покращити конкретні завдання, але важко узагальнити всі сценарії без спеціально розроблених завдань. 6. Довгі контексти: Довжина контексту має вирішальне значення, нам потрібні мільйони. Проблема полягає в тому, щоб збалансувати розмір моделі та довжину контексту для оптимальної продуктивності, оскільки деякі архітектури вдосконалюються з довгим контекстом, але погіршуються з коротким.