En ny artikel i Nature Computational Science introducerar en analog in-memory computing-arkitektur (IMC) för transformatorer som kan få LLM:er att köras upp till 100 gånger snabbare och 10 000 gånger mer energieffektiva än dagens GPU:er. Källa:

Flaskhalsen i LLM är inte bara matematik; det är minnesrörelse. Varje ny token tvingar GPU:er att blanda massiva KV-cacher mellan minne med hög bandbredd och SRAM. Det ständiga fram och tillbaka bränner energi och lägger till latens. Den här nya designen vänder på manuset. Med hjälp av laddningsbaserade förstärkningscellsminnen både lagrar arkitekturen tokenprojektioner och beräknar punktprodukter på samma plats, vilket eliminerar oändlig datablandning.

De viktigaste resultaten: ↳ Upp till 7,000× speedup jämfört med Jetson Nano, 300× jämfört med RTX 4090, 100× jämfört med H100 ↳ Upp till 90 000× lägre energianvändning jämfört med GPU:er ↳ Noggrannhet på GPT-2-nivå uppnås utan omträning från grunden. ↳ Hårdvarueffektiv uppmärksamhet som skalas upp Om detta skalas upp tittar vi på en värld där tunga LLM:er inte behöver hyperscaler-datacenter för att andas. Istället kan de köras lokalt på gränsenheter, bärbara datorer som Fizz-noder och till och med IoT-hårdvara, vilket ger snabba, billiga och energisnåla lösningar. AI-revolutionen kommer inte bara att handla om smartare algoritmer. Det kommer också att handla om den nya beräkningsfysiken. Föreställ dig att GPT-5 körs offline, till en bråkdel av dagens energikostnader.