Esittelyssä RTFM (Real-Time Frame Model): erittäin tehokas maailmanmalli, joka luo videokehyksiä reaaliajassa, kun olet vuorovaikutuksessa sen kanssa, yhden H100-grafiikkasuorittimen avulla. RTFM renderöi pysyviä ja 3D-yhdenmukaisia maailmoja, sekä todellisia että kuvitteellisia. Kokeile RTFM:n demoa jo tänään!

Generatiiviset maailmanmallit ovat väistämättä laskennallisesti vaativia, ja ne voivat skaalautua jopa nykyisten LLM:ien vaatimuksia pidemmälle. Uskomme kuitenkin, että ne ovat ratkaiseva tutkimussuunta, jota on tutkittava renderöinnin ja spatiaalisen älykkyyden tulevaisuudessa.

RTFM ei rakenna eksplisiittistä 3D-esitystä maailmasta. Sen sijaan se ottaa syötteeksi yhden tai useamman 2D-kuvan ja luo suoraan uusia 2D-kuvia samasta kohtauksesta eri näkökulmista.

RTFM voidaan nähdä oppineena renderöijänä: se on autoregressiivinen diffuusiomuuntaja, joka on koulutettu päästä päähän suuren mittakaavan videodatalla, ja se oppii mallintamaan 3D-geometriaa, heijastuksia, varjoja ja paljon muuta vain tarkkailemalla niitä harjoitussarjassaan.

RTFM:ää voidaan käyttää myös rekonstruoimaan todellisia paikkoja harvakseltaan otetuista valokuvista. Nämä eivät ole oikeita videoita: ne ovat RTFM:n luomia kehyksiä.

Rajoitetun ajan voit kokeilla itse RTFM:n live-demoa, jota isännöidään pilvigrafiikkasuorittimilla ja suoratoistetaan laitteellesi (mobiilituki sisältyy hintaan!):