勾配降下法（Gradient Descent）

勾配降下法（Gradient Descent）とは、機械学習モデルの損失関数（Loss Function）の値を最小化するために、パラメータ（重みやバイアス）を徐々に調整していく最適化アルゴリズムです。 最も基本的かつ広く使用されている手法であり、ニューラルネットワークをはじめとする多くのモデルの学習において中核を担います。 この手法は、損失関数の勾配（傾き）を計算し、その逆方向に少しずつパラメータを動かすことで、より誤差の小さい状態へとモデルを導きます。 つまり、高い位置（誤差が大きい）から、谷底（誤差が最小）へと下っていくようなイメージで、最適な解を目指します。 勾配降下法の基本的な更新式： θ = θ - η × ∇L(θ) • θ：モデルのパラメータ（重みなど） • η（イータ）：学習率（Learning Rate）と呼ばれるステップ幅 • ∇L(θ)：損失関数のθに関する勾配 主なバリエーション： • バッチ勾配降下法（Batch Gradient Descent）  全データを使って勾配を計算するため、安定するが時間がかかる • 確率的勾配降下法（SGD：Stochastic Gradient Descent）  1データずつランダムに勾配を計算。学習は速いが不安定になりやすい • ミニバッチ勾配降下法（Mini-batch Gradient Descent）  複数のデータをまとめて勾配計算。速度と安定性のバランスが良いため主流 また、勾配降下法には以下のような発展的手法が存在し、学習の高速化や安定化に役立ちます： • Momentum • AdaGrad • RMSprop • Adam（最も広く使われる） 勾配降下法は、AIや機械学習の学習プロセスを支える最適化の基本原理であり、その仕組みを理解することはモデルの構築・改善において非常に重要です。