梯度下降法（Gradient Descent）

梯度下降法是通过计算损失函数的梯度并朝反方向调整参数来优化机器学习模型的算法。包括批量、随机和小批量三种变体，以及Adam、RMSprop等改进算法，是神经网络训练的核心优化方法。