Gradientinis nusileidimas

Artėjimas prie optimalaus taško gradientinio nusileidimo metodu. Mėlynos linijos yra lygio linijos.

Gradientinis nusileidimas - optimizavimo metodas, besiremiantis tuo, kad skaliarinio lauko gradientas visada rodo greičiausio lauko augimo kryptį, o antigradientas - greičiausio mažėjimo kryptį.

Naudojant gradientinio nusileidimo metodą kartojamas žingsnis, nusakomas formule

$\mathbf{x}_{n+1}=\mathbf{x}_n-\gamma_n \nabla F(\mathbf{x}_n),\ n \ge 0.$

Čia $x_{n}$ - ankstesnė parametro, pagal kurį optimizuojama, reikšmė, $x_{n+1}$ - nauja šio parametro reikšmė, $F()$ - tikslo funkcija, o $\gamma_n$ - žingsnio dydis, kuris gali būti arba pastovus, arba keičiamas kiekviename žingsnyje.