激活函数（Activation Function）

激活函数（Activation Function）是神经网络中每个节点（神经元）用于决定输出的数学函数，对输入信号施加非线性变换。 正是有了激活函数，神经网络才不只是一个简单的线性模型，而能够学习复杂的模式和非线性关系。 激活函数的主要目的与作用： - 为网络引入非线性性 - 有助于强调和提取数据特征 - 可选用能应对梯度消失或训练速度等问题的函数 主要激活函数及其特点如下： - ReLU（Rectified Linear Unit）：小于等于0输出0，大于0则原样输出。简单高效，是大多数模型的默认选择 - Sigmoid（S型函数）：输出为0到1之间的S形曲线，适合二分类，但存在梯度消失问题 - tanh（双曲正切函数）：输出范围为-1到1，比Sigmoid更具中心对称性，训练更稳定 - Leaky ReLU、ELU、Swish、GELU等：作为ReLU的改进版本，根据任务和模型灵活选用 激活函数的选择对神经网络的性能和训练效率影响很大。 应根据模型类型（CNN、RNN、Transformer等）和任务性质（分类、回归等）选择最合适的函数。 近年来，GELU（Gaussian Error Linear Unit）和Swish等新型函数在Transformer系列模型中的使用日益增多，激活函数的演进与AI模型的发展紧密相连。