Методы Оптимизации Систем Автоматизированного Проектирования

Метод Левенберга — Марквардта.

Стратегия поиска.При использовании метода Ньютона или метода Ньютона-Рафсона вследствие накопления ошибок в процессе счета матрица Гессе на некоторой итерации может оказаться отрицательно определенной или ее нельзя будет обратить.
Для обеспечения положительной определенности матрицы Гессе в точ-ках последовательности используется метод Левенберга — Маркардта (метод Ньютона с регулировкой матрицы). В методе Левенберга — Маркардта точки строятся по закону:

где - последовательность положительных чисел, обеспечивающих положи-тельную определенность матрицы . Обычно в качестве берется значение на порядок больше наибольшего элемента матрицы . Так в ряде стандартных программ полагается . Если

то , в противном случае
Очевидно, что если , то метод Левенберга — Маркардта представляет собой метод Ньютона, а если велико, то поскольку при больших метод Левенберга — Маркардта близок к градиентному методу. Поэтому, подбирая значения параметра , можно добиться, чтобы метод Левенберга — Маркардта сходился.
Алгоритм метода.
Начальный этап
Задать ,.
Найти градиент функции в произвольной точке

и матрицу Гессе H(x)
Положить .
Основной этап
Шаг 1. Вычислить
Шаг 2. Проверить выполнение критерия останова
а) если критерий выполнен, расчет окончен,
б) если критерий не выполнен, то перейти к шагу 3.
Шаг 3. Вычислить матрицу Гессе
Шаг 4. Вычислить
Шаг 5. Найти обратную матрицу
Шаг 6. Вычислить
Шаг 7. Найти
Шаг 8. Проверить выполнение условия :
а) если неравенство выполнено, то положить , k= k +1 и перейти к шагу 1;
б) если нет, то положить и перейти к шагу 4.

Стр.: ..., 2