Rozhovor se zakladatelem společnosti Kimi, Zhilin Yangem, je venku. Opět si můžete nechat Kimiho přeložit za vás:) je tam spousta postřehů. Několik záběrů: 1/ Zaměření základního modelu: K2 si klade za cíl být solidním základním modelem. Zjistili jsme, že růst vysoce kvalitních dat je pomalý a multimodální data výrazně nezvyšují textové "IQ". Proto se zaměřujeme na maximalizaci hodnoty každého datového tokenu – efektivity tokenu. 2/ Přeformulování dat: U 30T tokenů je jen malá část vysoce kvalitních dat (miliardy tokenů). Přeformulujeme je tak, aby byly pro model efektivnější a zlepšily zobecnění. 3/ Agentní schopnost: Naším cílem je posílit zobecnění. Největší výzvou je zajistit, aby model byl zobecněn nad rámec konkrétních úkolů. RL toto vylepšuje oproti jemnému doladění pod dohledem (SFT). 4/ Školení nativní pro AI: Zkoumáme další způsoby trénování modelů s nativní AI. Pokud umělá inteligence dokáže provádět dobrý výzkum zarovnání, bude lépe zobecňovat nad rámec optimalizace jednotlivých úkolů. 5/ RL vs SFT: Zobecnění RL je lepší, protože se učí ze vzorků politik, ale má své limity. RL pomáhá zlepšit konkrétní úlohy, ale je těžké zobecnit na všechny scénáře bez přizpůsobených úloh. 6/ Dlouhé kontexty: Délka kontextu je klíčová, potřebujeme miliony. Výzvou je vyvážit velikost modelu a délku kontextu pro optimální výkon, protože některé architektury se zlepšují s dlouhým kontextem, ale zhoršují se s krátkými.