模型尺寸计算器
根据参数数量和数值精度计算机器学习模型的内存占用。
如何使用模型尺寸计算器
- 输入模型参数的数量（以百万为单位）。
- 选择数字精度（FP32、FP16 或 INT8）。
- 单击“计算”以获取模型大小和推理内存。
使用场景
- •规划模型部署的 GPU 要求。
- •在购买硬件之前比较模型尺寸。
- •评估边缘部署的量化优势。
- •估算基于云的模型服务的成本。
公式
模型大小 (MB) = 参数 × bytes_per_param / 1,048,576。
常见问题
什么是 FP16 与 INT8？
FP16 每个参数使用 2 个字节（半精度）；
为什么推理内存大于模型大小？
前向传递期间的激活张量需要额外的内存，通常为 30-50% 的开销。
GPT-2 有多少个参数？
GPT-2 Large 有 7.74 亿个参数，在 FP16 中需要大约 1.5 GB。