Gradientinis nusileidimas

Artėjimas prie optimalaus taško gradientinio nusileidimo metodu. Mėlynos linijos yra lygio linijos.

Gradientinis nusileidimas – optimizavimo metodas, besiremiantis tuo, kad skaliarinio lauko gradientas visada rodo greičiausio lauko augimo kryptį, o antigradientas – greičiausio mažėjimo kryptį.

Naudojant gradientinio nusileidimo metodą kartojamas žingsnis, nusakomas formule

$\mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}\nabla F(\mathbf {x} _{n}),\ n\geq 0.$

Čia $x_{n}$ – ankstesnė parametro, pagal kurį optimizuojama, reikšmė, $x_{n+1}$ – nauja šio parametro reikšmė, $F()$ – tikslo funkcija, o $\gamma _{n}$ – žingsnio dydis, kuris gali būti arba pastovus, arba keičiamas kiekviename žingsnyje.

Taikymas

Gradientinio nusileidimo algoritmas yra plačiai naudojamas apmokyti mašininio mokymosi modelius ir neuroninius tinklus.