Метод градиентного спуска.

В случае функций нескольких переменных одним из наиболее простых численных методов отыскания экстремума является метод градиентного спуска. Из курса математического анализа известно, что градиент функции равен и направлен в сторону наискорейшего возрастания функции. Следовательно, при поиске минимума рационально двигаться в направлении, противоположном градиенту.

Пусть начальное приближение минимума, последующее приближение находим по формуле

, (1)

где находится из условия минимизации зависящей от функции

.

Данную формулу используют итерационно до тех пор, пока не будет достигнута требуемая точность. При этом могут быть использованы критерии останова итераций, рассмотренные в методе координатного спуска.