1 of 10

Методы оптимизации: семинар 7

ФКН НИУ ВШЭ

2024-2025

Маминов А.Д.

2 of 10

Стохастические методы градиентного спуска

  • Стохастический градиентый спуск
  • Стохастический градиентый спуск с импульсом
  • Adagrad
  • Adadelta
  • RMSprop
  • Adam
  • AdaMax
  • Nadam
  • …

2

3 of 10

Стохастические методы оптимизации

  •  

3

4 of 10

Целевая функция (Loss)

  •  

4

5 of 10

Стохастический градиентный спуск (SGD)

  •  

5

6 of 10

SGD с имульсом

  •  

6

7 of 10

AdaGrad (adaptive gradient)

  •  

7

8 of 10

RMSProp (root mean squared propagation)

  •  

8

9 of 10

Adam (adaptive moment estimation)

  •  

9

10 of 10

Ridge Regression (L2-regularization)

  •  

10