Понятие градиента

Любую совокупность вещественных чисел (v₁, v₂, … , v_k), взятых в определенном порядке, можно рассматривать как точку или вектор с теми же координатами в пространстве k измерений (k-мерном пространстве). Запись вида v= (v₁, v₂, … , v_k) обозначает точку или вектор v с указанными в скобках координатами [4]. Если для k-мерных векторов vи w справедливы основные алгебраические операции:

сложение и вычитание

v ± w= (v₁ ± w₁, v₂ ± w₂ , … , v_k ± w_k),

умножение на действительное число u

u ×v= (u × v₁, u× v₂, … , u × v_k),

скалярное произведение

v× w= (v₁ × w₁, v₂ × w₂, … , v_k × w_k),

то совокупность всех таких векторов называют k-мерным евклидовым пространством и обозначают E_k.

Длиной вектора v называют число, определяемое по формуле

.

(2.1)

Длину вектора можно вычислить только тогда, когда компоненты вектора представлены в одной шкале измерений или они являются безразмерными величинами, полученными, например, в результате преобразования (1.1) – кодированные переменные безразмерны.

Если произведение v× w= 0 при |v| ≠ 0 и |w| ≠ 0, то векторы vи w являются ортогональными.

Единичным называют вектор, определяемый по формуле

.

(2.2)

Пусть в E_k заданы некоторая точка V = (v₁, v₂, … , v_k), единичный вектор tи непрерывно дифференцируемая по всем аргументам функция f(V) = f(v₁, v₂, … , v_k).Производной в точке V от функции f(V) по направлению луча, определяемому вектором t, называется предел

или

.

Градиентом функции f(V) называют вектор Ñf(V) с координатами, равными частным производным по соответствующим аргументам

.

(2.3)

Градиент указывает направление наибольшего возрастания функции. Противоположное направление –Ñf(V) называется антиградиентом, оно показывает направление наискорейшего убывания функции. В точке экстремума V^* градиент равен нулю Ñf(V^* ) = 0. Если аналитически производные определить невозможно, их вычисляют приближенно ¶f(V) / ¶v_i » Df(V) / Dv_i, где Df(V) – приращение функции f(V) при изменении аргумента на величину Dv_i. Двигаясь по градиенту (антиградиенту) можно достичь максимума (минимума) функции. В этом и состоит сущность градиентного метода оптимизации.