活性化関数（Activation Function）

活性化関数（Activation Function）とは、ニューラルネットワークの各ノード（ニューロン）における出力を決定する数理関数であり、入力信号に対して非線形な変換を加える役割を持ちます。 活性化関数があることで、ニューラルネットワークは単なる線形モデルにとどまらず、複雑なパターンや非線形な関係を学習できるようになります。 活性化関数の主な目的と効果： • ネットワークに非線形性を導入する • データの特徴を強調・抽出しやすくする • 勾配消失や学習速度などの問題に対応できる関数を選択可能 代表的な活性化関数とその特徴は以下の通りです： • ReLU（Rectified Linear Unit）：0以下を0に、0より大きい部分はそのまま出力。シンプルで学習が早く、多くのモデルでデフォルト使用される • シグモイド関数（Sigmoid）：S字型の出力で0〜1の範囲に収まる。二値分類に適するが、勾配消失の問題がある • 双曲線正接関数（tanh）：出力が-1〜1に収まり、シグモイドより中心対称性があり、学習が安定しやすい • Leaky ReLU、ELU、Swish、GELU など：ReLUの改良型として提案された関数で、タスクやモデルに応じて使い分けられる 活性化関数の選択は、ニューラルネットワークの性能や学習効率に大きく影響します。 モデルの種類（CNN、RNN、Transformer など）やタスクの性質（分類、回帰など）に応じて最適な関数を選ぶことが重要です。 近年では、GELU（Gaussian Error Linear Unit） や Swish といった新しい関数が Transformer 系モデルで使われることも増えており、活性化関数の進化はAIモデルの進化と密接に結びついています。