Gradientinis nusileidimas

Straipsnis iš Vikipedijos, laisvosios enciklopedijos.
Peršokti į: navigaciją, paiešką
Artėjimas prie optimalaus taško gradientinio nusileidimo metodu. Mėlynos linijos yra lygio linijos.

Gradientinis nusileidimas - optimizavimo metodas, besiremiantis tuo, kad skaliarinio lauko gradientas visada rodo greičiausio lauko augimo kryptį, o antigradientas - greičiausio mažėjimo kryptį.

Naudojant gradientinio nusileidimo metodą kartojamas žingsnis, nusakomas formule

\mathbf{x}_{n+1}=\mathbf{x}_n-\gamma_n \nabla F(\mathbf{x}_n),\ n \ge 0.

Čia x_{n} - ankstesnė parametro, pagal kurį optimizuojama, reikšmė, x_{n+1} - nauja šio parametro reikšmė, F() - tikslo funkcija, o \gamma_n - žingsnio dydis, kuris gali būti arba pastovus, arba keičiamas kiekviename žingsnyje.