RTFM (Real-Time Frame Model) の紹介: 単一の H100 GPU を搭載した、対話しながらビデオ フレームをリアルタイムで生成する非常に効率的なワールド モデル。 RTFMは、現実と架空の両方で、永続的で3Dの一貫性のある世界をレンダリングします。 今すぐRTFMのデモをお試しください!

ジェネレーティブ ワールド モデルは必然的に計算量が多くなり、今日の LLM の要件を超えて拡張される可能性があります。しかし、これらはレンダリングと空間インテリジェンスの将来において探求すべき重要な研究の方向性であると信じています。

RTFM は、世界の明示的な 3D 表現を構築しません。代わりに、1 つまたは複数の 2D 画像を入力として受け取り、異なる視点から同じシーンの新しい 2D 画像を直接生成します。

RTFMは学習されたレンダラーと見なすことができます:大規模なビデオデータでエンドツーエンドでトレーニングされた自己回帰拡散トランスフォーマーであり、トレーニングセットで3Dジオメトリ、反射、影などを観察するだけでモデル化することを学習します。

RTFM は、まばらに撮影された写真から現実世界の場所を再構築するためにも使用できます。 これらは実際のビデオではなく、RTFMによって生成されたフレームです。

期間限定で、クラウドGPUでホストされ、デバイスにストリーミングされるRTFMのライブデモを自分で試すことができます(モバイルサポートが含まれています!