バッチサイズ計算機
GPUメモリ、モデルサイズ、サンプルサイズに基づいて最大バッチサイズと推奨バッチサイズを計算します。ディープラーニングのトレーニング設定を最適化しましょう。
バッチサイズ計算機の使い方
- データセットの合計サイズ(サンプル数)を入力します。
- 利用可能なGPUメモリをGBで入力します。
- モデルサイズをMBで入力します。
- 平均サンプルサイズをMBで入力します。
- 「計算」をクリックして最大バッチサイズと推奨バッチサイズを取得します。
使用例
- •GPU上でのディープラーニングのトレーニング実行の設定。
- •異なるバッチサイズでのトレーニング効率の比較。
- •学習率スケジュール用のエポックあたりのステップ数の推定。
- •ML ワークロードに必要なハードウェア要件の計画。
計算式
利用可能メモリ = GPU メモリ − モデルサイズ × 3(オプティマイザの状態)。最大バッチ = 利用可能メモリ / サンプルサイズ。推奨値 = 最も近い2の累乗。
よくある質問
バッチサイズに2の累乗を使う理由は何ですか?
2の累乗(32、64、128)はGPUのテンソルコアとの整合性が高く、一般的にパフォーマンスが向上します。
バッチサイズが大きすぎるとどうなりますか?
GPUのメモリが不足します(OOM)。モデルサイズ × 3 は勾配とオプティマイザの状態を考慮したものです。
サンプルサイズをMBで見積もるにはどうすればよいですか?
画像の縦横サイズ × チャンネル数 × ピクセルあたりのバイト数を掛け合わせ、1,048,576 で割ってください。