المشاريع الهندسية خطوة بخطوة LLM كل مشروع = مفهوم واحد تعلم بالطريقة الصعبة (أي الحقيقية) الترميز والتضمين > بناء برنامج تشفير زوج البايت + تدريب مفردات الكلمات الفرعية الخاصة بك > كتابة "متخيل الرمز المميز" لتعيين الكلمات / الأجزاء إلى المعرفات > الساخن الواحد مقابل التضمين المتعلم: رسم مسافات جيب التمام التضمينات الموضعية > الجيوب الأنفية الكلاسيكية مقابل التعلم مقابل RoPE مقابل ALiBi: عرض توضيحي للأربعة > تحريك تسلسل لعبة يتم "ترميز الموضع" في 3D > أوضاع الاستئصال - شاهد انهيار الانتباه الاهتمام الذاتي والاهتمام متعدد الرؤوس > اهتمام المنتج النقطي بالأسلاك اليدوية لرمز واحد مقياس > إلى خرائط حرارية متعددة الرؤوس ورسم لكل رأس > إخفاء الرموز المميزة المستقبلية ، والتحقق من الخاصية السببية المحولات ، QKV ، والتراص > تكديس تطبيقات Attention باستخدام LayerNorm والمخلفات → محول أحادي الكتلة > تعميم: N-كتلة "mini-former" على بيانات اللعبة > تشريح Q ، K ، V: قم بتبديلها ، وكسرها ، وشاهد ما ينفجر معلمات أخذ العينات: درجة الحرارة / أعلى K / أعلى ص > ترميز لوحة معلومات أخذ العينات - ضبط temp/k/p ومخرجات العينة بشكل تفاعلي > إنتروبيا الرسم مقابل تنوع الإخراج أثناء اكتساح المعلمات > Nuke Temp = 0 (ArgMax): تكرار المشاهدة ذاكرة التخزين المؤقت KV (الاستدلال السريع) > تسجيل وإعادة استخدام حالات KV ؛ قياس السرعة مقابل عدم وجود ذاكرة تخزين مؤقت > إنشاء متخيل "hit / miss cache" لتدفقات الرمز المميز تكلفة ذاكرة التخزين المؤقت لملف التعريف > للتسلسلات الطويلة مقابل التسلسلات القصيرة حيل السياق الطويل: الانتباه اللامتناهي / نافذة منزلقة > تنفيذ انزلاق انتباه النافذة ؛ قياس الخسارة في المستندات الطويلة > المتغيرات المعيارية "الموفرة للذاكرة" (إعادة الحوسبة ، الفلاش) > حيرة المؤامرة مقابل طول السياق ؛ البحث عن نقطة طي السياق مزيج من الخبراء (MoE) > ترميز طبقة راوتر 2 خبير ؛ توجيه الرموز المميزة ديناميكيا > رسم الرسوم البيانية لاستخدام الخبراء عبر مجموعة البيانات > محاكاة المقايضات المتناثرة / الكثيفة. قياس مدخرات FLOP انتباه الاستعلام المجمع > تحويل تخطيط الاستعلام المصغر إلى تخطيط استعلام مجمع > قياس السرعة مقابل الفانيليا متعددة الرؤوس على دفعة كبيرة > استئصال عدد المجموعات ، زمن انتقال المؤامرة التطبيع والتنشيط > اليدوية LayerNorm و RMSNorm و SwiGLU و GELU > استئصال كل منهما - ماذا يحدث لفقدان التدريب / الاختبار؟ > توزيعات تنشيط مخطط الطبقات أهداف ما قبل التدريب > قطار LM المقنع مقابل LM السببي مقابل البادئة LM على نص اللعبة > منحنيات خسارة المؤامرة. قارن أيها يتعلم "اللغة الإنجليزية" بشكل أسرع > إنشاء عينات من كل منها - مراوغات لاحظ الضبط الدقيق مقابل ضبط التعليمات مقابل RLHF > الضبط الدقيق على مجموعة بيانات مخصصة صغيرة > ضبط التعليمات عن طريق المهام المعلقة مسبقا ("تلخيص: ...") > RLHF: اختراق نموذج المكافأة ، واستخدم PPO لمدة 10 خطوات ، ورسم المكافأة قوانين التوسع وسعة النموذج > تدريب النماذج الصغيرة والصغيرة والمتوسطة - فقدان المؤامرة مقابل الحجم > الوقت المعياري لساعة الحائط ، وذاكرة الوصول العشوائي (VRAM) ، والإنتاجية > استقراء منحنى التحجيم - إلى أي مدى يمكنك أن تذهب إلى أي مدى "غبي"؟ تكميم > رمز PTQ & QAT ؛ التصدير إلى GGUF / AWQ ؛ انخفاض دقة المؤامرة الاستدلال / مداخن التدريب: > نقل نموذج من HuggingFace إلى Deepspeed و vLLM و ExLlama > إنتاجية ملف التعريف وذاكرة الوصول الافتراضية (VRAM) وزمن الوصول عبر الثلاثة البيانات التركيبية > إنشاء بيانات اللعبة ، وإضافة الضوضاء ، والتخلص من الخداع ، وإنشاء انقسامات القيمة > تصور منحنيات التعلم النموذجية على المركب الحقيقي مقابل المركب كل مشروع = رؤية أساسية واحدة. بنى. بيت. كسر. كرر. > لا تتعثر لفترة طويلة من الناحية النظرية > التعليمات البرمجية ، والتصحيح ، والاستئصال ، وحتى meme الرسوم البيانية الخاصة بك لول > إنهاء كل منها ونشر ما تعلمته سوف تشكرك نفسك في المستقبل لاحقا

الموضوعات الرئيسية لمعرفة كيفية عمل ماجستير العلوم في القانون ، كل ما يتطلبه الأمر هو < عامين إذا كان لديك CS Foundation > الترميز والتضمينات > التضمينات الموضعية (مطلق ، حبل ، عذر) > الاهتمام الذاتي والاهتمام متعدد الرؤوس محولات > > qkv > معلمات أخذ العينات: درجة الحرارة ، أعلى K أعلى p ذاكرة التخزين المؤقت > كيلو فولت (ولماذا يكون الاستدلال سريعا) > الانتباه اللامتناهي والنافذة المنزلقة (حيل السياق الطويل) مزيج > من الخبراء (طبقات توجيه وزارة النقل) > انتباه الاستعلام المجمع > التطبيع والتنشيط > أهداف ما قبل التدريب (سببية ، مقنعة ، إلخ) > الضبط الدقيق مقابل ضبط التعليمات مقابل RLHF قوانين القياس > ومنحنيات سعة النموذج مواضيع المكافأة: > التكميم - qat مقابل ptq (GGUFS ، AWQ ، إلخ) التدريب > مقابل أكوام الاستدلال (DeepSpeed ، vllm ، إلخ) > إنشاء البيانات التركيبية

أنا لا أقول شراء 33 وحدة معالجة الرسومات راجع للشغل ابدأ باثنين من RTX 3090s المستعملة مقابل 600 دولار - 700 دولار للقطعة استكشف ماجستير إدارة الماجستير خارج النماذج التي يتم تقديمها ، والكمية ، والمضبوطة بدقة ، والتملق التي يتحكمون فيها كن الشخص الذي يقرر كيف يتصرف LLM الخاص بك