Uma nova apresentação de 30 minutos de @aelluswamy, VP de IA da Tesla, foi lançada, onde ele fala sobre FSD, IA e os últimos progressos da equipe. Destaques da apresentação: • A frota de veículos da Tesla pode fornecer 500 anos de dados de condução todos os dias. Maldição da Dimensionalidade: • 8 câmeras a alta taxa de quadros = bilhões de tokens a cada 30 segundos de contexto de condução. • A Tesla deve comprimir e extrair as correlações corretas entre a entrada sensorial e as ações de controle. Vantagem de Dados: • A Tesla tem acesso a uma "Cascata do Niágara de dados" — centenas de anos de condução coletiva da frota. • Usa gatilhos de dados inteligentes para capturar casos raros (por exemplo, interseções complexas, comportamentos imprevisíveis). Qualidade e Eficiência: • Extrai apenas os dados essenciais necessários para treinar modelos de forma eficiente. Depuração e Interpretabilidade: • Mesmo que o sistema seja de ponta a ponta, a Tesla ainda pode solicitar que o modelo produza dados interpretáveis: ocupação 3D, limites de estrada, objetos, sinais, semáforos, etc. • Consulta em linguagem natural: pergunte ao modelo por que tomou uma certa decisão. • Essas previsões auxiliares não dirigem o carro, mas ajudam os engenheiros a depurar e garantir a segurança. Splatting Gaussiano Avançado da Tesla (Modelagem de Cena 3D): • A Tesla desenvolveu um sistema de splatting gaussiano ultra-rápido e personalizado para reconstruir cenas 3D a partir de visões limitadas da câmera. • Produz renderizações 3D nítidas e precisas mesmo a partir de poucos ângulos de câmera — muito melhor do que abordagens padrão de NeRF/splatting. • Permite depuração visual rápida do ambiente de condução em 3D. Avaliação e Modelos Mundiais: • A avaliação é o maior desafio: os modelos podem ter um bom desempenho offline, mas falhar em condições do mundo real. • A Tesla constrói conjuntos de dados de avaliação equilibrados e diversos, focando em casos extremos — não apenas em condução fácil em rodovias. Introduziu um simulador de mundo aprendido (motor de vídeo gerado por rede neural): • Pode simular 8 feeds de câmera da Tesla simultaneamente — totalmente sintético. • Usado para testes, treinamento e aprendizado por reforço. • Permite injeção de eventos adversariais (por exemplo, adicionar um pedestre ou veículo cortando). • Permite reproduzir falhas passadas para verificar melhorias no novo modelo. • Pode funcionar em tempo quase real, permitindo que os testadores "dirijam" dentro de um mundo simulado. O que vem a seguir: • Escalar o serviço de robotáxi globalmente. • Desbloquear a autonomia total em toda a frota da Tesla. • Cybercab: veículo de próxima geração para 2 pessoas projetado especificamente para uso de robotáxi, visando o menor custo de transporte (mais barato que o transporte público). • As mesmas redes neurais alimentarão o robô humanoide Optimus. • O mesmo sistema de geração de vídeo está agora sendo aplicado ao Optimus. • O sistema pode simular e planejar movimentos para robôs, adaptando-se facilmente a novas formas. via a Conferência Internacional sobre Visão Computacional (ICCV). Apresentação completa: