ABCDEFGHIJKLMNOPQRSTUVWXYZ
1
Classic ML & StatsComputer VisionNLP & SequencesMathGenerative & Alignment
2
L1LogReg & SGD. Реализация логистической регрессии через градиентный спуск на NumPy.MLP / MNIST. Полносвязная сеть: влияние функций активации и инициализации весов.Text Vectorization. Сравнение разреженных (TF-IDF) и плотных (Word2Vec) векторов.Numerical Grad. Производные сложных функций и визуализация ландшафта потерь.Vanilla AE. Автоэнкодер как метод снижения размерности. Сравнение с PCA.
3
L2SVM & Optimization. Реализация SVM. Решение задачи квадратичного программирования (или через метод штрафов).CNN / LeNet. Реализация свертки и пулинга. Понимание receptive field.RNN / LSTM. Написание рекуррентной ячейки «руками». Задача предсказания ряда.Manual Backprop. Матричный вывод градиентов для сети с 2+ скрытыми слоями.VAE. Реализация вариационного автоэнкодера. Трюк репараметризации.
4
L3Tree-Based Ensembles. Реализация Random Forest или Gradient Boosting (с нуля, включая построение дерева).Modern Architectures. ResNet и Batch Normalization. Проблема деградации градиентов.Attention Mechanism. Реализация Seq2Seq с классическим вниманием (Luong/Bahdanau).Scalar Autograd. Создание движка автодифференцирования (как Micrograd).GANs. Состязательные сети (WGAN-GP). Стабилизация обучения и анализ дискриминатора.
5
L4Probabilistic Graphical Models. Реализация Скрытых Марковских Моделей (HMM) или Байесовских сетей.ViT / U-Net. Vision Transformer или сегментация. Переход от признаков к контексту.Transformer Engine. Реализация Transformer Encoder-Decoder (Attention, Masking, PosEnc).Tensor Engine. Расширение Autograd до тензоров с поддержкой векторизации.Diffusion Models. Реализация DDPM: процесс зашумления и восстановления через U-Net.
6
L5SVD & Matrix Decomposition. Реализация рекомендательной системы через SVD/ALS с выводом формул через Лагранжиан.Multi-modal / CLIP. Обучение совместного латентного пространства (Text + Image).LLM Optimization. Реализация современных модификаций (RoPE, GQA, LoRA или MoE).Optimizer Research. Написание своего оптимизатора (SAM/Lion) и доказательство сходимости.Alignment (DPO/RLHF). Настройка модели под предпочтения человека.
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100