Kimin perustajan Zhilin Yangin haastattelu on julkaistu. Jälleen voit antaa Kimin kääntää puolestasi: ) paljon oivalluksia siellä. Useita otoksia: 1/ Perusmallin painopiste: K2 pyrkii olemaan vankka perusmalli. Olemme havainneet, että korkealaatuisen datan kasvu on hidasta, eikä multimodaalinen data paranna merkittävästi tekstuaalista älykkyysosamäärää. Keskitymme siis maksimoimaan jokaisen datatokenin arvon – tokenin tehokkuuden. 2/ Tietojen uudelleenmuotoilu: 30T-tokeneilla vain pieni osa on korkealaatuista dataa (miljardeja tokeneita). Muotoilemme nämä uudelleen, jotta ne olisivat mallissa tehokkaampia ja parantavat yleistyksiä. 3/ Agenttinen kyky: Pyrimme tehostamaan yleistystä. Suurin haaste on saada malli yleistämään paljon suurempi kuin tietyt tehtävät. RL parantaa tätä valvotun hienosäädön (SFT) sijaan. 4/ AI-Native Training: Tutkimme lisää tekoälynatiiveja tapoja kouluttaa malleja. Jos tekoäly pystyy tekemään hyvää kohdistustutkimusta, se yleistää paremmin, yhden tehtävän optimoinnin lisäksi. 5/ RL vs SFT: RL:n yleistys on parempi, koska se oppii politiikan mukaisista näytteistä, mutta sillä on rajansa. RL auttaa parantamaan tiettyjä tehtäviä, mutta sitä on vaikea yleistää kaikkiin skenaarioihin ilman räätälöityjä tehtäviä. 6/ Pitkät kontekstit: Kontekstin pituus on ratkaiseva, tarvitsemme miljoonia. Haasteena on tasapainottaa mallin koko ja kontekstin pituus optimaalisen suorituskyvyn saavuttamiseksi, koska jotkut arkkitehtuurit paranevat pitkällä kontekstilla, mutta huononevat lyhyillä.