反向传播（Backpropagation）

反向传播（Backpropagation）是神经网络训练中将误差从输出层向输入层方向反向传播、并据此更新各权重的算法。 又称"误差反向传播法"，是现代深度学习最重要的基础方法之一。 该方法的基本流程是：首先通过前向传播（Forward Propagation）将输入数据通过网络得到输出，再根据输出与正确标签之间的差（误差）计算损失函数。 接着利用链式法则（Chain Rule）将损失函数对各权重和偏置的梯度逐层分解，并反向传递，以此确定各参数的更新量。 反向传播的特点与要点： • 能够高效地将误差贡献传播到整个网络 • 与梯度下降法（Gradient Descent）结合使用以优化参数 • 与可微分的激活函数（ReLU、Sigmoid、tanh等）高度兼容 • 是多层神经网络（MLP、CNN、RNN等）不可或缺的算法 典型步骤： 1. 通过前向传播计算输出和损失（误差） 2. 求输出层的误差 3. 从输出层开始逐层计算各层梯度（链式法则） 4. 更新权重和偏置（具体方式取决于优化方法） 需要注意的是，在深层网络中可能出现梯度过小的梯度消失（Vanishing Gradient）或梯度过大的梯度爆炸（Exploding Gradient）等问题，因此初始化方法、正则化和激活函数的选取同样至关重要。 反向传播是AI从数据中学习的核心机制，在图像识别、语音识别、自然语言处理等所有深度学习模型中都是不可或缺的技术。