モデル サイズ カリキュレーター
パラメーターの数と数値精度に基づいて、機械学習モデルのメモリ フットプリントを計算します。
モデル サイズ計算ツールの使用方法
- モデル パラメーターの数を百万単位で入力します。
- 数値精度 (FP32、FP16、または INT8) を選択します。
- [計算]をクリックして、モデルのサイズと推論メモリを取得します。
使用例
- •モデル展開のための GPU 要件を計画しています。
- •ハードウェアを購入する前にモデルのサイズを比較します。
- •エッジ展開における量子化の利点を評価しています。
- •クラウドベースのモデル提供のコストを見積もっています。
計算式
モデル サイズ (MB) = パラメーター × bytes_per_param / 1,048,576。
よくある質問
FP16 対 INT8 とは何ですか?
FP16 はパラメーターごとに 2 バイトを使用します (半精度)。
推論メモリがモデル サイズより大きいのはなぜですか?
フォワード パス中のアクティベーション テンソルには追加のメモリが必要で、通常は 30 ～ 50% のオーバーヘッドが必要です。
GPT-2 にはパラメーターがいくつありますか?
GPT-2 ラージには 7 億 7,400 万個のパラメーターがあり、FP16 では約 1.5 GB が必要です。