Public. Вопросы по оптимизации Б.Т.Поляку 1МАРТА2018

	A	B	C	D
1		Вопрос	Тема	Комментарий Б.Т.Поляка (http://www.ipu.ru/node/12120)
2	1	Борис Теодорович считает что можно найти задачи посередине между convex и non-convex, попросить прокоментировать.	MATH.OPTIMZATION	Очень интересно, что есть некоторые успези в квадратичной оптимзации. "Quadratic.objective + one quadratic constraint has zero duality gap." Советую поискать и обратить внимание на так называемое градиентное доминирование. Convex Optimization - имеет сильно проработанную теорию. Что вообще удалсь же с non-convex optimization это странная путаница когда методы работают. А ещё что точно удалось - так это красивые называния. Один из последних - этот метод стаи волков или блуждающего волка. К.: А что с методом например Branch and Bound, про который например Стефан Бойд упомянает в EE364B ? Б.Т.: Увы он ужасно медленный.
3	2	Комьюнити которое занимается ML часто ссылается на Lecun (так и на вас, так и на Ю.Нестерова, А.Немеровского) когда речь заходит про техники оптимизации. ML комьюнити, считает что это оно придумало SGD, хотя на самом деле это вы в 1960-ых но с другим названием Stochastic Subgradient Method.	OPTIMIZATION /ML	Я лично с ним не знаком, хотя знаком с его работами. Константин, ничего страшного даже если они так думают - главное что техника используется и решает реальные задачи. Так же в последнее время всё таки стали добавлять ссылки на меня.
4	3	Про независимость собыйти в Теории Вероятностей - там она вводится по определению. Есть независимость причинно-следственная. Судя по всему из причинно-следственной независмости реальной следует независимость из тер.вера, но с обратным не совсем всё ясно. Как эти два понятие сосуществуют? “independent random variables were to me (and others, including my teacher Steinhaus) shadowy and not really well-defined objects” - Mark Kac	MATH Probability	Для выяснения подобного рода вопросов я вам советую обратиться к книге Ширяева. Но в целом, да эти две коцепции разные. Однако на правктике они прекрасно сосуществуют, и я вам не советую искать здесь какой-то глубокой фундаментальной ошибки.
5	4	Что почитать по управлению? Как прокачаться с теорией управления с нуля, человеку скажем программисту как я? у меня фрагментированы знания, хоть я и знаю про MPC (EE364B), LQR (CS229), PID (CS233A), но мне хотелось чего-то более целостного прочитать.	MATH Control	1. Книга С.Бойда - Linear Matrix Inequalities покрывает линейное управление, но это вовсе не единственная техника, хотя книга очень хорошая. (https://web.stanford.edu/~boyd/lmibook/lmibook.pdf) 2. Chen - Linear System Theory and Design (Linear Controllers) https://www.amazon.com/Professor-Department-Electrical-Engineering-2012-11-14/dp/B01K0UM4US/ref=la_B000APKPUK_1_8 3. Khalil, Nonlinear Systems (http://www.amazon.com/Nonlinear-Systems-3rd-Hassan-Khalil/dp/0130673897/) 4. Поляк, Щербаков - Роботсная устойчивость управления. Не пугайтесь названия, робостная означает лишь что наши знания об объекте не полны. (https://www.ozon.ru/context/detail/id/3569906/)
6	5	Есть ли альтернатива DL в оптимизации которая решает подобные абстракные задачи, скажем вычислительный граф который построен на теории выпуклой оптимизации ?	MATH.OPTIMZATION /DL	Такие подходы не очень обнодёживающие, т.к. всё таки большинство реальных задач не выпукло. Увы на данный момент какая-либа адекватная классификация невыпуклых задач попросту отсутсвует. Хотя например локальные минимумы могут быть приблизительно иметь одинаковое значение, а может они все сосредоточена в одной области. Различных ситуаций может быть очень много. Обычно говорят задача или convex или non-convex и на этом останавливаются.
7	6	Мне кажется ошеломительных успех в том, что ML комьюнити обошло понятие семантики, т.е. смысла. И хоть явно не отвечают на этот вопрос, но позволяют строить модели по сути семантические. Есть ли иные семантические модели которые пытаются формализовать понятие смысла в математике ?	MATH / LIFE	Ко мне обратился в советском союзе Ботвинник, и мы пытались построить шахматную программу. Он пытался формализовать понятие стартегии, позиции и т.д. Попытки у нас были, но к хорошему результату они не привели. В то время оказалось, что грубый перебор является самой техникой для составления плана игры. Сегодня же DL модели бьют все мыслимые предыдщие результаты.
8	7	Как вы знаете Stephen Boyd и его группа сделала CVX* пакет к которому подключаются некоторые солверы. Например ECOS (http://control.ee.ethz.ch/research/software.php) Ведутся ли разработки по солверам или по парселкам программ в ИПУ РАН?	Software for optimization	Велись в СССР, сейчас мы пользуемся пакетами для своих работ. Однако чтобы создавать собственный подобный софт - у нас нет в этом острой необходимости, а так же мы этого и не можем т.к. соревноваться с группой С. Бойда достаточно не просто.
9	8	Integer Linear Programming не возможно решить быстро, что делают на практике если есть целочисленные переменные в задаче?	MATH.OPTIMZATION	Это важный класс задач. Как правило задачи в каком-то виде овыпукляют. Это ещё называется convex relaxation и решают методами выпуклой оптимизации.
10	9	Если у нас имеется сабградиенты, то верно ли для них chain rule У С.Бойда и Д.Дучи есть упоминание про https://stanford.edu/class/ee364b/lectures/subgradients_notes.pdf про прекомпозицию с афинной функцией, но ничего не сказано про chain rule. Скорее всего chain rule не имеет смысла в этом случае т.к. концепция докозательства этого правила предолагает, что дифферциалы приблизительно равны абсолютному приращению.	MATH.OPTIMZATION /DL	Для цеопчки функций, если проихсодит вычисление в точке которой не нарушено условие диффернцируемости всё нормально, chain rule работает в этой точке. Так что если не косаться особых точек то всё нормально. В практических задачах не часто наблюдается попадание в такую особоую точку. Если всё таки попали то есть несколько теорем в каких случаях chain rule с сабградиентами (вместо обычных градиентов) всё таки работает. У меня есть это в книже. Однако в общем случае chain rule не работает в этом случае.
11	10	2 марта 2018г. у С.Бойда юбилей - ему исполняется 60. В Москву и в Нижний Новгород и другие города России Стефан практическа всегда приезжал за свой счёт. Что удивительно для Американского учёного он очень аккуратно относится к истории науки в тех областях где он работает, и уж так выходит что очень много ссылок идёт на учёных из СССР или Российской империи. И он этого никогда не скрывает.
12		Last update: 2 MARCH 2018
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100