学习率（Learning Rate）

学习率（Learning Rate）是机器学习和深度学习中，在更新模型参数时所应用的步长大小，是一种超参数。 具体而言，它决定了梯度下降等优化算法中参数调整的幅度，对模型的学习速度和收敛稳定性有着重大影响。 若学习率过大，参数更新过激，可能导致跳过最优解而难以收敛。 反之，若学习率过小，学习进展极为缓慢，可能耗费大量时间，或陷入局部最优解。 有效设定学习率的方法包括： • 固定学习率：全程使用一个固定值，方法简单 • 学习率衰减（Learning Rate Decay）：随训练进展逐渐降低学习率 • 学习率调度器（Scheduler）：根据训练阶段动态调整学习率 • 自适应学习率方法：Adam、RMSprop等算法，可为每个参数自动调整最优学习率 选择合适的学习率是实现模型性能提升和高效学习不可或缺的关键，也是实验和调优的重要环节。