O nouă lucrare din Nature Computational Science introduce o arhitectură analogică de calcul în memorie (IMC) pentru transformatoare care ar putea face ca LLM-urile să funcționeze de până la 100 de ori mai rapid și de 10.000 de ori mai eficiente din punct de vedere energetic decât GPU-urile de astăzi. Sursă:

Blocajul în LLM-uri nu este doar matematica; este mișcarea memoriei. Fiecare token nou forțează GPU-urile să amestece cache-uri KV masive între memoria cu lățime de bandă mare și SRAM. Acel du-te-vino constant arde energie și adaugă latență. Acest nou design răstoarnă scenariul. Folosind memorii celulare de câștig bazate pe încărcare, arhitectura stochează atât proiecții de token, cât și calculează produse dotare în același loc, eliminând amestecarea nesfârșită a datelor.

Rezultate cheie: ↳ Accelerare de până la 7.000× vs Jetson Nano, 300× vs RTX 4090, 100× vs H100 ↳ Consum de energie cu până la 90.000× mai mic în comparație cu GPU-urile ↳ Precizie de nivel GPT-2 obținută fără reantrenament de la zero ↳ Atenție eficientă din punct de vedere hardware care scalează Dacă acest lucru se extinde, ne uităm la o lume în care LLM-urile grele nu au nevoie de centre de date hyperscaler pentru a respira. În schimb, ar putea rula local pe dispozitive edge, laptopuri precum nodurile Fizz și chiar hardware IoT, oferind soluții rapide, ieftine și cu consum redus de energie. Revoluția AI nu va fi doar despre algoritmi mai inteligenți. Va fi, de asemenea, despre noua fizică a calculului. Imaginați-vă GPT-5 care rulează offline, la o fracțiune din costurile actuale de energie.