Een nieuw artikel in Nature Computational Science introduceert een analoge in-memory computing (IMC) architectuur voor transformers die LLM's tot 100x sneller en 10.000x energie-efficiënter kan laten draaien dan de huidige GPU's. Bron:

De bottleneck in LLM's is niet alleen wiskunde; het is geheugenbeweging. Elke nieuwe token dwingt GPU's om enorme KV-caches tussen hoge-bandbreedte geheugen en SRAM te verplaatsen. Die constante heen-en-weer beweging verbruikt energie en voegt latentie toe. Dit nieuwe ontwerp draait de situatie om. Door gebruik te maken van op lading gebaseerde versterkercelgeheugens, slaat de architectuur zowel tokenprojecties op als berekent het dotproducten op dezelfde plek, waardoor eindeloos dataverkeer wordt geëlimineerd.

Belangrijkste resultaten: ↳ Tot 7.000× versnelling ten opzichte van Jetson Nano, 300× ten opzichte van RTX 4090, 100× ten opzichte van H100 ↳ Tot 90.000× lagere energieverbruik in vergelijking met GPU's ↳ GPT-2-niveau nauwkeurigheid bereikt zonder opnieuw te trainen vanaf nul ↳ Hardware-efficiënte sliding-window aandacht die schaalt Als dit opschaalt, kijken we naar een wereld waarin zware LLM's geen hyperscaler datacenters nodig hebben om te functioneren. In plaats daarvan zouden ze lokaal kunnen draaien op edge-apparaten, laptops zoals Fizz-knooppunten, en zelfs IoT-hardware, wat snelle, goedkope en energiezuinige oplossingen biedt. De AI-revolutie zal niet alleen gaan over slimmere algoritmen. Het zal ook gaan over de nieuwe fysica van computeren. Stel je voor dat GPT-5 offline draait, tegen een fractie van de huidige energiekosten.