Un nuevo artículo en Nature Computational Science presenta una arquitectura de computación en memoria analógica (IMC) para transformadores que podría hacer que los LLM funcionen hasta 100 veces más rápido y 10,000 veces más eficientes en energía que las GPU actuales. Fuente:

El cuello de botella en los LLM no es solo matemáticas; es el movimiento de memoria. Cada nuevo token obliga a las GPU a mover enormes cachés KV entre memoria de alto ancho de banda y SRAM. Ese constante ir y venir consume energía y añade latencia. Este nuevo diseño cambia las reglas del juego. Usando memorias de celdas de ganancia basadas en carga, la arquitectura almacena proyecciones de tokens y calcula productos punto en el mismo lugar, eliminando el interminable intercambio de datos.

Resultados clave: ↳ Hasta 7,000× de aceleración frente a Jetson Nano, 300× frente a RTX 4090, 100× frente a H100 ↳ Hasta 90,000× menos consumo de energía en comparación con las GPU ↳ Precisión a nivel de GPT-2 alcanzada sin reentrenamiento desde cero ↳ Atención de ventana deslizante eficiente en hardware que escala Si esto escala, estamos ante un mundo donde los LLM pesados no necesitan centros de datos de hiperescaladores para funcionar. En su lugar, podrían ejecutarse localmente en dispositivos de borde, laptops como nodos Fizz, e incluso hardware IoT, proporcionando soluciones rápidas, económicas y de bajo consumo. La revolución de la IA no solo se tratará de algoritmos más inteligentes. También se tratará de la nueva física de la computación. Imagina GPT-5 funcionando sin conexión, a una fracción de los costos energéticos actuales.