حاسبة حجم النموذج
احسب أثر الذاكرة لنموذج التعلم الآلي بناءً على عدد المعلمات والدقة الرقمية.
كيفية استخدام حاسبة حجم النموذج
- أدخل عدد معلمات النموذج بالملايين.
- حدد الدقة الرقمية (FP32 أو FP16 أو INT8).
- انقر فوق "حساب" للحصول على حجم النموذج وذاكرة الاستدلال.
حالات الاستخدام
- •التخطيط لمتطلبات وحدة معالجة الرسومات لنشر النموذج.
- •مقارنة أحجام الطرازات قبل شراء الأجهزة.
- •تقييم فوائد القياس الكمي لنشر الحافة.
- •تقدير تكاليف خدمة النماذج المستندة إلى السحابة.
الصيغة
حجم النموذج (ميجابايت) = المعلمات × البايتات_per_param / 1,048,576.
الأسئلة الشائعة
ما هو FP16 مقابل INT8؟
يستخدم FP16 2 بايت لكل معلمة (نصف دقة)؛
لماذا تكون ذاكرة الاستدلال أكبر من حجم النموذج؟
تتطلب موترات التنشيط أثناء التمرير الأمامي ذاكرة إضافية، عادةً ما تتراوح بين 30 إلى 50%.
كم عدد المعلمات التي يحتوي عليها GPT-2؟
GPT-2 الكبير يحتوي على 774 مليون معلمة، ويتطلب حوالي 1.5 جيجابايت في FP16.