Calculadora de tamaño de modelo
Calcule la huella de memoria de un modelo de aprendizaje automático en función del número de parámetros y la precisión numérica.
Cómo utilizar la calculadora de tamaño de modelo
- Ingrese el número de parámetros del modelo en millones.
- Seleccione la precisión numérica (FP32, FP16 o INT8).
- Haga clic en Calcular para obtener el tamaño del modelo y la memoria de inferencia.
Casos de Uso
- •Planificación de requisitos de GPU para la implementación del modelo.
- •Comparación de tamaños de modelos antes de comprar hardware.
- •Evaluación de los beneficios de la cuantificación para la implementación perimetral.
- •Estimación de costos para el servicio de modelos basados en la nube.
Fórmula
Tamaño del modelo (MB) = Parámetros × bytes_por_param / 1.048.576.
Preguntas Frecuentes
¿Qué es FP16 frente a INT8?
FP16 utiliza 2 bytes por parámetro (precisión media);
¿Por qué la memoria de inferencia es mayor que el tamaño del modelo?
Los tensores de activación durante el paso hacia adelante requieren memoria adicional, normalmente entre un 30% y un 50% de sobrecarga.
¿Cuántos parámetros tiene GPT-2?
GPT-2 grande tiene 774 millones de parámetros, lo que requiere aproximadamente 1,5 GB en FP16.