Sono volato a Dubai per lavorare di persona con il team di $CODEC. La robotica sarà un settore troppo grande per non investire completamente. Studia per lavorare per i tuoi guadagni.

L'importanza di un SDK basato su cloud per la robotica potrebbe non sembrare affascinante, ma è assolutamente cruciale per far avanzare il settore. Se sei nei circoli tecnologici, sentirai parlare di piattaforme cloud ogni giorno, che raramente suscitano l'immaginazione. Eppure, per i robot umanoidi e gli operatori nel mondo fisico, un toolkit di simulazione cloud è una necessità fondamentale per qualsiasi sviluppatore che cerca di scalare il proprio addestramento. Simulazioni accurate di mondi virtuali sono una delle merci più ricercate nella robotica in questo momento. I ricercatori stanno conducendo esperimenti senza fine per determinare quali combinazioni di dati reali e sintetici generano i risultati più precisi per i compiti di addestramento. Sì, aziende come Tesla hanno un enorme vantaggio grazie ai dati delle reti neurali che hanno raccolto dalle loro flotte, anche se questi dati sono semplicemente informazioni grezze fino a quando non vengono messi in pratica attraverso simulazioni di addestramento realistiche. Per tutti gli altri, acquisire quel livello di dati o anche l'hardware per alimentarlo non è un'opzione a meno che tu non sia un'azienda con finanziamenti massicci. È qui che entra in gioco la simulazione cloud. Spostando l'addestramento e il testing dei robot in ambienti virtuali basati su cloud, chiunque può accedere al calcolo necessario e scalare. Una piattaforma cloud può centralizzare la condivisione di quelle simulazioni, risultati e dati. Stai essenzialmente astrando l'accesso chiuso a cui queste aziende da miliardi di dollari hanno accesso, i componenti hardware estesi utilizzati nei laboratori e portando i dataset alla luce pubblica dove i contributi open source diventano un +EV complessivo per l'innovazione. Questo modello di business si sta già dimostrando efficace con l'iniziativa open source LeRobot di Hugging Face che collabora con Nvidia per connettere i loro framework in modo che i ricercatori possano condividere modelli, dataset e ambienti di simulazione nel cloud. L'obiettivo finale è creare un volano di dati, poiché le persone contribuiscono con dati di simulazione e politiche addestrate a repository aperti, accelerando i progressi degli altri, generando a sua volta più dati accessibili a livello globale. Molto lavoro viene canalizzato in questo attraverso la chiusura del divario "sim to real". I simulatori spesso non raggiungevano la realtà, i robot imparavano comportamenti in un mondo virtuale che non si trasferivano nel mondo reale, perché la fisica o i visual non erano abbastanza accurati. Quel divario si sta ora chiudendo rapidamente grazie a una migliore fedeltà di simulazione e approcci di addestramento ibridi. La maggior parte dei modelli fondativi più recenti nella robotica (come Isaac GROOT di NVIDIA e Helix VLA di Figure) utilizza un'architettura a sistema duale che imita la cognizione umana. Lo stesso vale per come stanno addestrando i dati nelle simulazioni mondiali. Una parte del modello è addestrata su dati di dimostrazione umana dal mondo reale, mentre un'altra parte è addestrata su una quantità massiccia di dati sintetici generati tramite simulatori ad alta fedeltà. Combinando addestramento fisico e simulato, il modello apprende abilità accurate che si generalizzano meglio. I dati reali forniscono verità nell'IA, mentre i dati simulati forniscono la scala e la varietà che è impraticabile raccogliere nel mondo fisico. Gli sviluppatori possono anche affinare o post-addestrare modelli con dati reali o sintetici aggiuntivi per compiti specifici, rendendo la pipeline di addestramento estremamente flessibile. Helix VLA di Figure, che utilizza l'approccio Sistema 1/Sistema 2, è addestrato solo su centinaia di ore di teleoperazione (aumentate da simulazione e etichettatura intelligente), Helix può gestire nuovi compiti domestici attraverso il linguaggio naturale senza codifica personalizzata. Dimostrando come i modelli multimodali e l'addestramento sintetico riducano drasticamente le esigenze di dati. @codecopenflow sta applicando lo stesso principio con Octo, un VLA open integrato nel suo SDK Optr, abilitando la percezione multi-camera e il controllo guidato dal linguaggio con dataset molto più piccoli e un calcolo inferiore. Le piattaforme di simulazione mondiale stanno ora generando enormi volumi di dati di addestramento vari che semplicemente non erano accessibili prima. Isaac Sim di Nvidia (parte di Isaac Lab) può prendere una singola dimostrazione umana di un compito e trasformarla in migliaia di variazioni simulate utilizzando istanze cloud parallele. Immagina di mostrare a un robot come sollevare una scatola nella realtà e poi il simulatore crea innumerevoli scenari con scatole diverse, condizioni di illuminazione e lievi modifiche fisiche, producendo tutte esperienze di addestramento da cui il robot può apprendere. Una visione su cui @unmoyai sta lavorando molto duramente. Quando quell'abilità viene implementata su un robot fisico, è stata provata in quantità massicce di prove virtuali. Combinare questi ricchi dataset sintetici con solo abbastanza dati di calibrazione del mondo reale produce cervelli robotici molto più accurati e resilienti. Questo è ciò per cui l'SDK cloud di Codec è posizionato, consentendo agli utenti di estrarre e contribuire a grandi dataset open source (ad esempio, interfacciandosi con l'hub LeRobot di Hugging Face). Ogni esecuzione di simulazione nel cloud potrebbe diventare nuovi dati di addestramento che affilano un modello globale di come i robot interagiscono con il mondo. Tutti i pezzi suggeriscono che i robot umanoidi e i robot in generale stanno avvicinandosi a un "momento App Store". L'hardware dei robot sarà inutile senza una libreria di abilità. Optr fornisce un'API unificata in modo che un agente autonomo che controlla un'app web, un braccio robotico o un avatar simulato utilizzi tutti lo stesso framework e logica di base. Questa astrazione è dinamica, poiché gli sviluppatori potrebbero prototipare un compito in un ambiente di simulazione simile a un gioco, quindi implementare la stessa logica su un robot reale con minime modifiche. Essendo basato su cloud e aperto, l'SDK Optr può fungere da fondamento per un mercato della robotica. Gli sviluppatori possono costruire una nuova abilità senza possedere un robot (grazie alla simulazione cloud), testarla in sicurezza in ambienti virtuali e poi pubblicarla per altri. Coloro che hanno bisogno dell'abilità, come una startup robotica o un individuo con un robot domestico, potrebbero estrarla dalla libreria e farla funzionare sulle loro macchine. Questo tipo di mercato aperto e modello di incentivazione è la miccia per l'economia degli sviluppatori di robotica. Riduce la barriera all'ingresso (non è necessario hardware costoso o laboratori grazie agli strumenti cloud), incoraggia la collaborazione poiché i contributi migliorano i dataset e i modelli condivisi e fornisce motivazione finanziaria per gli individui per risolvere problemi di nicchia. Ci sono molte possibilità di volano economico a valle che nascono da questo (che puoi vedere dalle recenti partnership), ma lo riserverò per un articolo separato.

Ogni giorno vediamo titoli da miliardi di dollari per la robotica. Solo 12 mesi fa, queste aziende e cifre erano 10-20 volte più basse. Se non è già dolorosamente ovvio quanto successo avrà questo settore, dedica un weekend alla ricerca per non rimanere indietro. La storia mostra che il maggior valore nelle onde tecnologiche spesso si accumula ai livelli abilitanti, Microsoft nei PC, Apple negli smartphone, AWS nel cloud. La robotica non sarà diversa, il livello infrastrutturale su cui gli sviluppatori costruiranno catturerà più di qualsiasi singolo hardware. Un tema comune che sento dai miei amici è che sono preoccupati di essere sottoposti a robotica tradizionale. Sì, ci saranno titoli pazzeschi su Figure AI che fa un 200x dalle valutazioni seed o l'equivalente. Ma se sei sotto i 7 cifre medie, Web2 non è dove vuoi essere (a meno che tu non abbia informazioni/connessioni incredibili). Ancora e ancora, la crypto ha offerto il più asimmetrico e, più importante, un upside accelerato. C'è significativamente più rischio, ma viene anche con il lusso di non essere soggetto a scadenze che a volte è peggio di per sé. Nvidia è la più grande azione al mondo grazie all'accelerazione dell'AI. Guardando indietro, avresti preferito scommettere su ai16z, Virtuals, AIXBT, GOAT nella loro prima fase, o cercare "giocatori fondamentali dell'AI" sottovalutati su Robinhood? Potresti aver mantenuto più soldi a lungo termine, tuttavia siamo qui per il sonno privato uPNL, vero? Proprio come nei primi inning dell'AI, ci è stata data un momento molto speciale in cui il culmine dell'innovazione tecnologica ci sta fissando dritto negli occhi. Come navighi la sua progressione è un riflesso della tua comprensione dei fondamenti di mercato e della cupidigia umana. Proprio come l'AI, ci troveremo di fronte a un'infinità di vaporware mentre ci avviciniamo a robot generali. Per coloro disposti a rischiare e catturare i leader, farai multipli straordinari che faranno sembrare piccoli gli investimenti seed di Andrew Kang. So quale gioco sto giocando.