Modellgrößenrechner
Berechnen Sie den Speicherbedarf eines Modells für maschinelles Lernen basierend auf der Anzahl der Parameter und der numerischen Genauigkeit.
So verwenden Sie den Modellgrößenrechner
- Geben Sie die Anzahl der Modellparameter in Millionen ein.
- Wählen Sie die numerische Genauigkeit (FP32, FP16 oder INT8).
- Klicken Sie auf Berechnen, um Modellgröße und Inferenzspeicher zu erhalten.
Anwendungsfälle
- •GPU-Anforderungen für die Modellbereitstellung planen.
- •Vergleich der Modellgrößen vor dem Kauf von Hardware.
- •Bewertung der Quantisierungsvorteile für den Edge-Einsatz.
- •Schätzung der Kosten für die cloudbasierte Modellbereitstellung.
Formel
Modellgröße (MB) = Parameter × Bytes_per_param / 1.048.576.
Häufig gestellte Fragen
Was ist FP16 vs. INT8?
FP16 verwendet 2 Bytes pro Parameter (halbe Genauigkeit);
Warum ist der Inferenzspeicher größer als die Modellgröße?
Aktivierungstensoren während des Vorwärtsdurchlaufs erfordern zusätzlichen Speicher, normalerweise 30–50 % Overhead.
Wie viele Parameter hat GPT-2?
GPT-2 groß hat 774 Millionen Parameter und benötigt in FP16 etwa 1,5 GB.