Calculateur de taille de modèle
Calculez l'empreinte mémoire d'un modèle d'apprentissage automatique en fonction du nombre de paramètres et de la précision numérique.
Comment utiliser le calculateur de taille de modèle
- Entrez le nombre de paramètres du modèle en millions.
- Sélectionnez la précision numérique (FP32, FP16 ou INT8).
- Cliquez sur Calculer pour obtenir la taille du modèle et la mémoire d'inférence.
Cas d'utilisation
- •Planification des exigences GPU pour le déploiement du modèle.
- •Comparer les tailles de modèles avant d'acheter du matériel.
- •Évaluer les avantages de la quantification pour le déploiement en périphérie.
- •Estimation des coûts de diffusion de modèles basés sur le cloud.
Formule
Taille du modèle (Mo) = Paramètres × bytes_per_param / 1 048 576.
Questions fréquemment posées
Qu'est-ce que FP16 par rapport à INT8 ?
FP16 utilise 2 octets par paramètre (demi-précision) ;
Pourquoi la mémoire d'inférence est-elle plus grande que la taille du modèle ?
Les tenseurs d'activation pendant la passe avant nécessitent de la mémoire supplémentaire, généralement une surcharge de 30 à 50 %.
Combien de paramètres GPT-2 possède-t-il ?
GPT-2 large compte 774 millions de paramètres, nécessitant environ 1,5 Go dans FP16.