Het interview met de oprichter van Kimi, Zhilin Yang, is uit. Je kunt Kimi weer voor je laten vertalen: ) daar zijn veel inzichten te vinden. Enkele punten: 1/ Focus op Basis Model: K2 heeft als doel een solide basis model te zijn. We hebben ontdekt dat de groei van hoogwaardige data traag is, en multi-modale data verhoogt de tekstuele "IQ" niet significant. Daarom richten we ons op het maximaliseren van de waarde van elke datatoken — token efficiëntie. 2/ Data Herformulering: Met 30T tokens is slechts een klein deel hoogwaardige data (miljarden tokens). We herformuleren deze om ze efficiënter te maken voor het model, wat de generalisatie verbetert. 3/ Agentic Vermogen: We streven ernaar de generalisatie te verbeteren. De grootste uitdaging is om het model goed te laten generaliseren buiten specifieke taken. RL verbetert dit ten opzichte van supervisie fine-tuning (SFT). 4/ AI-Native Training: We verkennen meer AI-native manieren om modellen te trainen. Als AI goed alignment-onderzoek kan doen, zal het beter generaliseren, voorbij optimalisatie voor enkele taken. 5/ RL vs SFT: De generalisatie van RL is beter, omdat het leert van on-policy monsters, maar het heeft zijn beperkingen. RL helpt specifieke taken te verbeteren, maar het is moeilijk om te generaliseren naar alle scenario's zonder op maat gemaakte taken. 6/ Lange Contexten: De lengte van de context is cruciaal, we hebben miljoenen nodig. De uitdaging is het balanceren van de modelgrootte en de contextlengte voor optimale prestaties, aangezien sommige architecturen verbeteren met een lange context maar verslechteren met korte.