Phỏng vấn của người sáng lập Kimi, Zhilin Yang đã được phát hành. Một lần nữa, bạn có thể để Kimi dịch cho bạn: ) có rất nhiều thông tin thú vị ở đó. Một số quan điểm: 1/ Tập trung vào Mô Hình Cơ Bản: K2 nhằm trở thành một mô hình cơ bản vững chắc. Chúng tôi nhận thấy rằng sự phát triển dữ liệu chất lượng cao diễn ra chậm, và dữ liệu đa phương thức không làm tăng "IQ" văn bản một cách đáng kể. Vì vậy, chúng tôi tập trung vào việc tối đa hóa giá trị của từng token dữ liệu — hiệu quả token. 2/ Tái diễn đạt Dữ liệu: Với 30T token, chỉ một phần nhỏ là dữ liệu chất lượng cao (hàng tỷ token). Chúng tôi tái diễn đạt những dữ liệu này để làm cho chúng hiệu quả hơn cho mô hình, cải thiện khả năng tổng quát. 3/ Khả Năng Tác Động: Chúng tôi nhằm mục đích nâng cao khả năng tổng quát. Thách thức lớn nhất là làm cho mô hình tổng quát tốt hơn ngoài các nhiệm vụ cụ thể. RL cải thiện điều này so với tinh chỉnh giám sát (SFT). 4/ Đào Tạo AI-Native: Chúng tôi đang khám phá nhiều cách đào tạo mô hình mang tính bản địa AI hơn. Nếu AI có thể thực hiện nghiên cứu căn chỉnh tốt, nó sẽ tổng quát tốt hơn, vượt ra ngoài tối ưu hóa nhiệm vụ đơn lẻ. 5/ RL so với SFT: Khả năng tổng quát của RL tốt hơn, vì nó học từ các mẫu theo chính sách, nhưng nó có giới hạn của nó. RL giúp cải thiện các nhiệm vụ cụ thể, nhưng rất khó để tổng quát cho tất cả các kịch bản mà không có các nhiệm vụ được điều chỉnh. 6/ Ngữ Cảnh Dài: Độ dài ngữ cảnh là rất quan trọng, chúng tôi cần hàng triệu. Thách thức là cân bằng kích thước mô hình và độ dài ngữ cảnh để đạt hiệu suất tối ưu, vì một số kiến trúc cải thiện với ngữ cảnh dài nhưng lại xấu đi với ngữ cảnh ngắn.