Представляем RTFM (Модель Реального Времени): высокоэффективная Мировая Модель, которая генерирует видеокадры в реальном времени по мере взаимодействия с ней, работающая на одном GPU H100. RTFM создает постоянные и 3D-согласованные миры, как реальные, так и воображаемые. Попробуйте нашу демо-версию RTFM сегодня!

Генеративные мировые модели неизбежно будут требовать значительных вычислительных ресурсов, возможно, даже превышающих требования современных LLM. Но мы считаем, что это важное направление исследований, которое следует изучить в будущем рендеринга и пространственного интеллекта.

RTFM не создает явное 3D представление мира. Вместо этого он принимает одно или несколько 2D изображений в качестве входных данных и напрямую генерирует новые 2D изображения одной и той же сцены с разных точек зрения.

RTFM можно рассматривать как обученный рендерер: это автогрессивный диффузионный трансформер, обученный от начала до конца на больших объемах видеоданных, который учится моделировать 3D-геометрию, отражения, тени и многое другое, просто наблюдая за ними в своем обучающем наборе.

RTFM также может быть использован для реконструкции реальных местоположений из слабо захваченных фотографий. Это не настоящие видео: это кадры, сгенерированные RTFM.

В течение ограниченного времени вы можете попробовать живую демонстрацию RTFM сами, размещенную на облачных GPU и транслируемую на ваше устройство (включена поддержка мобильных устройств!):