Методы Оптимизации Систем Автоматизированного Проектирования

Сходимость метода.

Теорема 1. Пусть функция f(x) дифференцируема и ограничена снизу на, а ее градиент удовлетворяет условию Липшица

Тогда при произвольной начальной точке для метода градиентного спуска с постоянным шагом имеем

Отметим, что теорема 1 гарантирует сходимость последовательности к стационарной точке , где . Следовательно, найденная в результате применения метода точкануждается в дополнительном исследовании с целью ее классификации. Анализ точкипроводится следующим образом: если матрица Гессе в точкеявляется положительно определенной, то есть приближение искомой точки . Метод градиентного спуска гарантирует сходимость последовательностик точке минимума для сильно выпуклых функций.
Оценка скорости сходимости получена только для сильно выпуклых функций, в этом случае последовательность сходится к точке минимума функции f(x)со скоростью геометрической прогрессии (линейная сходимость)

Пример.

Решение.

Итерация 0.

Итерация 1.

Стр.: 1, ..., 3