Memperkenalkan RTFM (Real-Time Frame Model): Model Dunia yang sangat efisien yang menghasilkan bingkai video secara real time saat Anda berinteraksi dengannya, didukung oleh satu GPU H100. RTFM membuat dunia yang persisten dan konsisten 3D, baik nyata maupun imajiner. Coba demo RTFM kami hari ini!

Model Dunia Generatif pasti akan menuntut komputasi, berpotensi menskalakan bahkan melampaui persyaratan LLM saat ini. Tetapi kami percaya mereka adalah arah penelitian penting untuk dieksplorasi di masa depan rendering dan kecerdasan spasial.

RTFM tidak membangun representasi 3D eksplisit dari dunia. Sebagai gantinya, ia mengambil satu atau lebih gambar 2D sebagai input, dan secara langsung menghasilkan gambar 2D baru dari pemandangan yang sama dari sudut pandang yang berbeda.

RTFM dapat dilihat sebagai perender yang dipelajari: ini adalah transformator difusi regresif otomatis yang dilatih dari ujung ke ujung pada data video skala besar, dan belajar memodelkan geometri 3D, pantulan, bayangan, dan lainnya hanya dengan mengamatinya dalam set pelatihannya.

RTFM juga dapat digunakan untuk merekonstruksi lokasi dunia nyata dari foto yang jarang diambil. Ini bukan video nyata: mereka adalah bingkai yang dihasilkan oleh RTFM.

Untuk waktu yang terbatas, Anda dapat mencoba demo langsung RTFM sendiri, dihosting di GPU cloud dan dialirkan ke perangkat Anda (termasuk dukungan seluler!):