Apresentando o RTFM (Modelo de Quadro em Tempo Real): um Modelo Mundial altamente eficiente que gera quadros de vídeo em tempo real à medida que você interage com ele, alimentado por uma única GPU H100. O RTFM renderiza mundos persistentes e consistentes em 3D, tanto reais quanto imaginários. Experimente nossa demonstração do RTFM hoje!
Os Modelos de Mundo Generativos serão inevitavelmente exigentes em termos computacionais, potencialmente escalando além mesmo dos requisitos dos LLMs de hoje. Mas acreditamos que são uma direção de pesquisa crucial a explorar no futuro da renderização e da inteligência espacial.
RTFM não constrói uma representação 3D explícita do mundo. Em vez disso, ele pega uma ou mais imagens 2D como entrada e gera diretamente novas imagens 2D da mesma cena a partir de diferentes pontos de vista.
O RTFM pode ser visto como um renderizador aprendido: é um transformador de difusão autoregressivo treinado de ponta a ponta em dados de vídeo em larga escala, e aprende a modelar geometria 3D, reflexos, sombras e mais apenas observando-os em seu conjunto de treinamento.
RTFM também pode ser usado para reconstruir locais do mundo real a partir de fotografias capturadas de forma esparsa. Estes não são vídeos reais: são quadros gerados pelo RTFM.
Por um tempo limitado, você pode experimentar uma demonstração ao vivo do RTFM você mesmo, hospedada em GPUs na nuvem e transmitida para o seu dispositivo (suporte para dispositivos móveis incluído!):
305,7K