تقدم ورقة بحثية جديدة في Nature Computational Science بنية حوسبة تناظرية في الذاكرة (IMC) للمحولات التي يمكن أن تجعل LLMs تعمل بسرعة تصل إلى 100x و 10,000 مرة أكثر كفاءة في استخدام الطاقة من وحدات معالجة الرسومات اليوم. مصدر:

عنق الزجاجة في ماجستير القانون ليس مجرد رياضيات. إنها حركة الذاكرة. يجبر كل رمز مميز جديد وحدات معالجة الرسومات على خلط ذاكرة التخزين المؤقت الضخمة KV بين ذاكرة النطاق الترددي العالي وذاكرة الوصول العشوائي (SRAM). هذا التردد المستمر ذهابا وإيابا يحرق الطاقة ويضيف زمن الوصول. هذا التصميم الجديد يقلب السيناريو. باستخدام ذاكرات خلية الكسب المستندة إلى الشحن ، تخزن البنية إسقاطات الرمز المميز وتحسب منتجات النقاط في نفس المكان ، مما يلغي خلط البيانات الذي لا نهاية له.

النتائج الرئيسية: ↳ تسريع يصل إلى 7,000× مقابل Jetson Nano ، 300× مقابل RTX 4090 ، 100× مقابل H100 ↳ استخدام طاقة أقل بنسبة تصل إلى 90,000× مقارنة بوحدات معالجة الرسومات ↳ دقة مستوى GPT-2 تتحقق دون إعادة التدريب من الصفر ↳ اهتمام النافذة المنزلقة الفعالة للأجهزة التي تتوسع إذا كان هذا يتسع ، فنحن ننظر إلى عالم لا تحتاج فيه Heavy LLMs إلى مراكز بيانات فائقة الحجم للتنفس. بدلا من ذلك ، يمكن تشغيلها محليا على الأجهزة المتطورة وأجهزة الكمبيوتر المحمولة مثل عقد Fizz وحتى أجهزة إنترنت الأشياء ، مما يوفر حلولا سريعة ورخيصة ومنخفضة الطاقة. لن تكون ثورة الذكاء الاصطناعي تتعلق فقط بخوارزميات أكثر ذكاء. سيكون أيضا حول الفيزياء الجديدة للحوسبة. تخيل GPT-5 يعمل في وضع عدم الاتصال ، بجزء بسيط من تكاليف الطاقة اليوم.