バッチサイズ（Batch Size）

バッチサイズ（Batch Size）とは、機械学習や深層学習の学習において、一度のパラメータ更新で使用する訓練データの数を表す指標です。 モデルはすべてのデータを一括で処理するのではなく、一定のまとまり（バッチ）ごとに学習を進めます。 このバッチサイズの設定は、学習速度や安定性、モデルの精度に大きな影響を与える重要なハイパーパラメータのひとつです。 たとえば、1000件の訓練データがあり、バッチサイズを100に設定した場合、1エポックあたりの学習は10回に分割して行われます。 各バッチで損失関数と勾配を計算し、その都度モデルのパラメータが更新されます。 バッチサイズの種類： • ミニバッチ学習（Mini-batch Learning）  一般的な設定方法。数十〜数百件のデータで構成され、学習の安定性と計算効率のバランスが良い。多くの実践的な深層学習で採用。 • バッチ学習（Batch Learning）  すべてのデータを一括で使って1回の勾配更新を行う。学習は安定するが、メモリ負荷が大きく、データ量が多い場合には非現実的。 • オンライン学習（Online Learning / SGD）  バッチサイズ1で、1件ずつデータを処理しながら学習。計算は軽いが不安定になりやすい。 バッチサイズの選び方のポイント： • 小さいバッチサイズ：ノイズが多くなるが、汎化性能が高まる場合がある • 大きいバッチサイズ：学習は安定しやすいが、計算資源を多く消費し、過学習のリスクが高まることも また、GPUのメモリ容量やモデルのサイズに応じて、設定可能なバッチサイズの上限も異なります。 バッチサイズは、学習効率とモデル精度の両方に関わる重要なパラメータであり、他の要素（学習率やエポック数など）との相互調整も必要です。