Kimis grunnlegger, Zhilin Yangs intervju er ute. Igjen, du kan la Kimi oversette for deg: ) masse innsikt der. Flere opptak: 1/ Basismodellfokus: K2 har som mål å være en solid basismodell. Vi har funnet ut at dataveksten av høy kvalitet er langsom, og multimodale data øker ikke tekstens «IQ» nevneverdig. Så vi fokuserer på å maksimere verdien av hvert datatoken – tokeneffektivitet. 2/ Dataomformulering: Med 30T-tokens er bare en liten del data av høy kvalitet (milliarder av tokens). Vi omformulerer disse for å gjøre dem mer effektive for modellen, og forbedrer generaliseringen. 3/ Agentisk evne: Vi tar sikte på å forbedre generaliseringen. Den største utfordringen er å få modellen til å generalisere langt utover spesifikke oppgaver. RL forbedrer dette i forhold til overvåket finjustering (SFT). 4/ AI-Native Training: Vi utforsker flere AI-native måter å trene modeller på. Hvis AI kan gjøre god justeringsforskning, vil den generalisere bedre, utover optimalisering av enkeltoppgaver. 5/ RL vs SFT: RLs generalisering er bedre, ettersom den lærer av eksempler på retningslinjer, men den har sine begrensninger. RL bidrar til å forbedre spesifikke oppgaver, men det er vanskelig å generalisere til alle scenarioer uten skreddersydde oppgaver. 6/ Lange kontekster: Kontekstens lengde er avgjørende, vi trenger millioner. Utfordringen er å balansere modellstørrelse og kontekstlengde for optimal ytelse, ettersom noen arkitekturer forbedres med lang kontekst, men forverres med korte.