批量大小（Batch Size）

批量大小（Batch Size）是指在机器学习或深度学习的训练过程中，每次参数更新所使用的训练数据量。 模型并非一次性处理所有数据，而是按一定批次（batch）逐步推进学习。 批量大小的设置对训练速度、稳定性和模型精度均有重大影响，是重要的超参数之一。 举例来说，若有1000条训练数据，批量大小设为100，则每个轮次（epoch）的学习将分10次完成。 每个批次计算损失函数和梯度，并据此更新模型参数。 批量大小的类型： - 小批量学习（Mini-batch Learning） 最常用的设置方式。由数十至数百条数据组成，在训练稳定性与计算效率之间取得良好平衡，被大多数深度学习实践所采用。 - 批量学习（Batch Learning） 使用全部数据进行一次梯度更新。训练较为稳定，但内存负担大，数据量大时不切实际。 - 在线学习（Online Learning / SGD） 批量大小为1，逐条数据进行学习。计算开销小，但容易不稳定。 批量大小的选择要点： - 小批量：噪声较多，但有时能提升泛化性能 - 大批量：训练较稳定，但消耗较多计算资源，也可能增加过拟合风险 此外，可设置的批量大小上限也因GPU显存容量和模型大小而有所不同。 批量大小是同时关系到训练效率和模型精度的重要参数，还需与学习率、训练轮数等其他因素协调调整。