La entrevista con el fundador de Kimi, Zhilin Yang, ya está disponible. Nuevamente, puedes dejar que Kimi traduzca por ti: ) hay muchas ideas interesantes allí. Varios puntos de vista: 1/ Enfoque en el Modelo Base: K2 tiene como objetivo ser un modelo base sólido. Hemos encontrado que el crecimiento de datos de alta calidad es lento, y los datos multimodales no aumentan significativamente el "IQ" textual. Por lo tanto, nos enfocamos en maximizar el valor de cada token de datos — eficiencia de tokens. 2/ Reformulación de Datos: Con 30T de tokens, solo una pequeña porción son datos de alta calidad (miles de millones de tokens). Reformulamos estos para hacerlos más eficientes para el modelo, mejorando la generalización. 3/ Capacidad Agente: Nuestro objetivo es mejorar la generalización. El mayor desafío es hacer que el modelo generalice bien más allá de tareas específicas. El RL mejora esto en comparación con el ajuste fino supervisado (SFT). 4/ Entrenamiento Nativo de IA: Estamos explorando formas más nativas de IA para entrenar modelos. Si la IA puede hacer una buena investigación de alineación, generalizará mejor, más allá de la optimización de tareas únicas. 5/ RL vs SFT: La generalización del RL es mejor, ya que aprende de muestras en política, pero tiene sus límites. El RL ayuda a mejorar tareas específicas, pero es difícil generalizar a todos los escenarios sin tareas personalizadas. 6/ Contextos Largos: La longitud del contexto es crucial, necesitamos millones. El desafío es equilibrar el tamaño del modelo y la longitud del contexto para un rendimiento óptimo, ya que algunas arquitecturas mejoran con contextos largos pero empeoran con contextos cortos.