Představujeme RTFM (Real-Time Frame Model): vysoce efektivní model světa, který generuje video snímky v reálném čase při interakci s ním, poháněný jedním grafickým procesorem H100. RTFM vykresluje trvalé a 3D konzistentní světy, skutečné i imaginární. Vyzkoušejte si naše demo RTFM ještě dnes!

Generativní modely světa budou nevyhnutelně výpočetně náročné, potenciálně přesáhnou dokonce i požadavky dnešních LLM. Věříme však, že jsou zásadním výzkumným směrem, který je třeba prozkoumat v budoucnosti vykreslování a prostorové inteligence.

RTFM nevytváří explicitní 3D reprezentaci světa. Místo toho vezme jako vstup jeden nebo více 2D obrazů a přímo vytvoří nové 2D obrazy stejné scény z různých úhlů pohledu.

RTFM lze považovat za naučený renderer: je to autoregresní difúzní transformátor trénovaný end-to-end na rozsáhlých video datech a učí se modelovat 3D geometrii, odrazy, stíny a další prvky pouhým pozorováním ve své trénovací sadě.

RTFM lze také použít k rekonstrukci skutečných míst z řídce pořízených fotografií. Nejedná se o skutečná videa: jsou to snímky generované RTFM.

Po omezenou dobu si můžete sami vyzkoušet živou ukázku RTFM, hostovanou na cloudových GPU a streamovanou do vašeho zařízení (včetně mobilní podpory!):