Метод релаксации

Основная идея метода заключается в отыскании осевого направления, по которому целевая функция изменяется наиболее значительно. Для этого в стартовой точке поиска определяются частные производные целевой функции по всем независимым переменным, и находится переменная, по которой функция изменяется сильнее (ей соответствует максимальная по модулю производная). Далее идет движение до нахождения локального экстремума, в точке локального экстремума заново рассчитываются производные по всем независимым переменным, за исключением той, по которой осуществлялось движение. Условием прекращение оптимума может служить следующее:

Иными словами поиск экстремума прекращается тогда, когда при любом направлении движения из найденной точки улучшения значения целевой функции не происходит. Алгоритм метода может быть записан в следующем виде:

Для повышения эффективности поиска шаг поиска может изменяться по следующему алгоритму: