Решается задача нахождения (локального) минимума
| \min_{x\in X} f(x,w) |
| (6.3.5.1) |
где w\in W – вектор параметров (весов) целевой функции. Таким образом, решение этой задачи будет зависеть от w: x=x(w). Часто, явно или неявно, требуется найти w\in W, при котором решение x(w) в каком-то смысле оптимально. Условие оптимальности x(w) может иметь разный вид. Например, требуется найти w\in W, как решение задачи
| \min_{w\in W} a(x(w)) |
| (6.3.5.2) |
где a(x) другая целевая функция, определяющая критерий оптимальности x\in X, а x(w), в свою очередь, есть решение задачи (6.3.39) для данного вектора w\in W. Таким образом, требуется найти w\in W, для которого
| \min_{w\in W} a(x(w)) = a(x(\bar{w})) |
| (6.3.5.3) |
а x(\bar{w}) – соответствующее решение задачи (6.3.5.1). Другой вариант задания оптимальности x(w) может связан с решением уравнения
| b(x(w)) = c |
| (6.3.5.4) |
где b: X\to Y – заданное отображение и c\in Y – заданный вектор.
При решении задач (6.3.5.1), (6.3.5.2) или (6.3.5.1), (6.3.5.3), при использовании ньютоновских методов или методов типа Левенберга-Марквардта, может понадобиться вычисление производной Фреше x'(w) по параметру w\in W, или некоторой ее аппроксимации. Пусть
| g(x,w) = f_{x}^{'}(x,w) |
| (6.3.5.5) |
Если x(w) есть решение задачи (6.3.39) для фиксированного w\in W, то
| g(x(w),w) = 0 |
| (6.3.5.6) |
Дифференцируя это тождество по w\in W, получим
| g_{x}^{'}(x(w),w)\cdot x'(w) + g_{x}^{'}(x(w),w) = 0 |
| (6.3.5.7) |
или
| g_{x}^{'}(x(w),w)\cdot x'(w) = -g_{x}^{'}(x(w),w) |
| (6.3.5.8) |
Итак, зная x(w) и решив уравнение (6.3.5.8), можно, по меньшей мере формально, вычислить производную решения по параметру x'(w). Например, если X=R^{n}, W=R^{m}, то g_{x}^{'}(x(w), w) – это n\times n-матрица, x'(w) и g_{w}^{'}(x(w), w) – n\times m-матрицы. Таким образом, чтобы найти x'(w), нужно решить m уравнений с одной и той же симметричной матрицей g_{x}^{'}(x(w), w), которая является гессианом по x функционала f(x,w).