/optim7

Project on optimization methods

Primary LanguageJupyter Notebook

Проект по методам оптимизации №7

Вклад в работу над проектом Кузьмина Г.Ю. - 50%

Вклад в работу над проектом Шарафутдинова Я.Н. - 50%

План работ:

  1. Проверка функции на условие Поляка-Лоясевича, использование градиентного спуска и стандартного метода Гаусса-Ньютона на функции - до 01.04.20;
  2. Использование модифицированного метода Гаусса-Ньютона и метода "трех квадратов" на функции - до 08.04.20;
  3. Проверка адаптивных версий вышеописанных методов на функции - до 15.04.20;
  4. Проверка модифицированной версии (замена одного из слагаемых на случайную несмещенную оценку) метода "трех квадратов" для двух режимов при обучении нейронной сети с условием m>>n, где m - число слагаемых, n - число переменных. Постановка экспериментов для разных r, где r - число слагаемых для случайной оценки. Быстрая реализация решения вспомогательной задачи - до 18.05.20.

Материалы (код и текстовые файлы/сканы с теоретическими выкладками) будут добавляться в репозиторий по мере выполнения.

ДЗ по cvxpy:

  1. Quantile regression - реализация на pytorch работает медленнее (1 min 54 sec vs 3.79 sec в cvxpy) при приблизительно такой же точности. В соответствующей тетрадке находится пример из cvxpy и его аналог в pytorch.
  2. Fault detection - реализация на pytorch работает быстрее (0.5 sec vs 7.5 sec в cvxpy) при такой же точности. В соответствующей тетрадке находится пример из cvxpy и его аналог в pytorch.
  3. Consensus optimization. Данные алгоритм работает медленнее на cvxpy в том смысле, что за одну итерацию проходит больше времени, чем реализованный алгоритм на torch(время на cvxpy - 45 sec., время на torch - 14 sec.). Но алгоритм в пакете cvxpy сходится за меньшее количество итераций(в cvxpy - сходится на первом шаге, в torch - больше 1000 шагов). Скорее всего дело в оптимизационной модели. В реализованном алгоритме на torch использовался SGD.

In Nesterov_three_sq.py there is Nesterov three squares optimization method. In functions.py there is Nesterov function for optimization. In fgm.py there is Fast Gradient method. It was used in Nesterov three squares method. In autograd_work.py there is example of optimization function using Nesterov three squares method.