Giới thiệu RTFM (Mô Hình Khung Thời Gian Thực): một Mô Hình Thế Giới hiệu quả cao tạo ra các khung video trong thời gian thực khi bạn tương tác với nó, được hỗ trợ bởi một GPU H100 duy nhất. RTFM tạo ra những thế giới bền vững và nhất quán 3D, cả thực và tưởng tượng. Hãy thử bản demo của RTFM hôm nay!

Các Mô Hình Thế Giới Tạo Sinh sẽ không thể tránh khỏi việc yêu cầu tính toán cao, có khả năng vượt xa cả những yêu cầu của các Mô Hình Ngôn Ngữ Lớn (LLMs) hiện nay. Nhưng chúng tôi tin rằng đây là một hướng nghiên cứu quan trọng cần khám phá trong tương lai của việc kết xuất và trí thông minh không gian.

RTFM không xây dựng một đại diện 3D rõ ràng của thế giới. Thay vào đó, nó nhận một hoặc nhiều hình ảnh 2D làm đầu vào, và trực tiếp tạo ra các hình ảnh 2D mới của cùng một cảnh từ các góc nhìn khác nhau.

RTFM có thể được coi là một bộ kết xuất học được: nó là một bộ biến hình khuếch tán tự hồi tiếp được đào tạo từ đầu đến cuối trên dữ liệu video quy mô lớn, và nó học cách mô hình hóa hình học 3D, phản chiếu, bóng đổ và nhiều hơn nữa chỉ bằng cách quan sát chúng trong tập huấn luyện của nó.

RTFM cũng có thể được sử dụng để tái tạo các vị trí thực tế từ những bức ảnh được chụp thưa thớt. Đây không phải là video thực: chúng là các khung hình được tạo ra bởi RTFM.

Trong một khoảng thời gian giới hạn, bạn có thể tự mình thử nghiệm bản demo trực tiếp của RTFM, được lưu trữ trên GPU đám mây và phát trực tiếp đến thiết bị của bạn (bao gồm hỗ trợ di động!) :