A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Part | Block | Content | Reading | Assignment due | No of pages to read | ||||||||||||||||||||
2 | I | 1 | Introduction to supervised learning, logistic and linear regression, objective function, gradient descent, stochastic gradient descent. Evaluation, Bias and Variance trade-off, generalization error, training error, cross-validation, regularization, ridge regression and LASSO, probabilistic interpretation of regularization | Efron (2020): Section 1-3,5-6,8 Ruder (2016): Section 1-4 (skip 4.7 and 4.8) DL: 5-5.3 (5.1.4 can be skipped) DL (optional): 4.3 (skip 4.3.1), 5.1.4, 5.9, 8.3, 8.5 ESL: 3.4-3.4.3, 4.4-4.4.1, 4.4.4, 7-7.6, 7.10, 7.12 DLR (optional): 4 - 4.4 (skip 4.4.1-) Video: ISLV: Ch. 1, Video 2, Ch. 4: Video 2,3 (repetition of logistic regression), Ch. 5, Video 1-3 | 1 | Mandatory: 78p Optional: 34p | ||||||||||||||||||||
3 | 2 | Ensemble methods, bagging, boosting, decision trees | ESL: 8.7, 9.2, 10 - 10.3, 10.9-10.13,15-15.3.2, 15.3.4, 16-16.2.2, 16.3-16.3.1 Video: ISLV: Ch. 8, Video 1-5 Chen, T. (2016) Video: 0-34 minutes | 2 | Mandatory: 57p | |||||||||||||||||||||
4 | 3 | Neural network basics, backpropagation (Tensorflow/Keras) | DL: 6 (skip 6.3.3, 6.2.2.4, 6.5.2- , 6.6), 7-7.1, 7.4, 7.7-7.8, 7.12, 8-8.2.6 (skip 8.1.3), 8.4, 8.7.1 DLR (optional): 2-2.3, 2.4.4, 3-3.2 Video: 3B1B1: Ch. 1-4 | 3 | Mandatory: 105p Optional: 23p | |||||||||||||||||||||
5 | 4 | CNN, fine tuning/transfer learning, hyper parameter search | DL: 9-9.4, 11-11.5, 15.2 DLR: 5.1, (5.2, 5.3 is optional, but good for the assignment) Video: Ng (2017) 3B1B2 | 4 | Mandatory: 50p Optional: 24p | |||||||||||||||||||||
6 | Deadline: Project description 1 | |||||||||||||||||||||||||
7 | 5 | Recurrent Nets, Transformer architectures, BERT | DL: 10-10.2 (skip 10.2.1),10.4, 10.10 DLR: 6-6.2 JM: 10-10.2,11-11.3 Alammar, J. (2018b, 2018c) Optional: Alammar, J. (2018a) Devlin et al (2018) Vaswani et al (2017) Olah (2015) Video: Dirac (2019) Phi (2020) | 5 | 29+35+8+8+8+2+11+15= 116p | |||||||||||||||||||||
8 | II | 6 | Introduction to unsupervised learning, pPCA, K-means, Mixture of Gaussians, The EM algorithm | ESL: 6.8, 8.5-8.5.2, 13 - 13.2.1, 13.2.3, 14-14.1, 14.3 (skip 14.3.9, 14.3.10, 14.3.12), 14.5-14.5.1 DL: 5.8, 13-13.1, 19.2 Smyth (2020) Ng (2019) Video: ISLV: Ch. 10, Video 1-3 | 6 | 2+5+5+2+18+10+2+5+2+1+3=60p | ||||||||||||||||||||
9 | 7 | Variational autoencoders, topic models, Large Language Models | DL: 14-14.1 Kingma and Welling (2019): Ch. 1-2.8 Hand (2020) Griffiths and Steyvers (2004) Blei (2012) | 7 | 32 + 24 + 6= 62p | |||||||||||||||||||||
10 | III | 8 | Introduction to reinforcement learning, exploitation vs exploration, bandits, finite Markov decision processes | Sutton and Barto (2020): Ch 1-3 (skip 1.7-1.8, 2.8-2.9, and historical remarks) | 8 | 60p | ||||||||||||||||||||
11 | IV | Project work, Ethics in AI | Verma and Rudin (2018), Video: UnHeard (2023) | |||||||||||||||||||||||
12 | Project work | |||||||||||||||||||||||||
13 | Deadline: Project report | |||||||||||||||||||||||||
14 | Deadline: Second return of assignments | |||||||||||||||||||||||||
15 | ||||||||||||||||||||||||||
16 | ||||||||||||||||||||||||||
17 | ||||||||||||||||||||||||||
18 | ||||||||||||||||||||||||||
19 | ||||||||||||||||||||||||||
20 | ||||||||||||||||||||||||||
21 | ||||||||||||||||||||||||||
22 | ||||||||||||||||||||||||||
23 | ||||||||||||||||||||||||||
24 | ||||||||||||||||||||||||||
25 | ||||||||||||||||||||||||||
26 | ||||||||||||||||||||||||||
27 | ||||||||||||||||||||||||||
28 | ||||||||||||||||||||||||||
29 | ||||||||||||||||||||||||||
30 | ||||||||||||||||||||||||||
31 | ||||||||||||||||||||||||||
32 | ||||||||||||||||||||||||||
33 | ||||||||||||||||||||||||||
34 | ||||||||||||||||||||||||||
35 | ||||||||||||||||||||||||||
36 | ||||||||||||||||||||||||||
37 | ||||||||||||||||||||||||||
38 | ||||||||||||||||||||||||||
39 | ||||||||||||||||||||||||||
40 | ||||||||||||||||||||||||||
41 | ||||||||||||||||||||||||||
42 | ||||||||||||||||||||||||||
43 | ||||||||||||||||||||||||||
44 | ||||||||||||||||||||||||||
45 | ||||||||||||||||||||||||||
46 | ||||||||||||||||||||||||||
47 | ||||||||||||||||||||||||||
48 | ||||||||||||||||||||||||||
49 | ||||||||||||||||||||||||||
50 | ||||||||||||||||||||||||||
51 | ||||||||||||||||||||||||||
52 | ||||||||||||||||||||||||||
53 | ||||||||||||||||||||||||||
54 | ||||||||||||||||||||||||||
55 | ||||||||||||||||||||||||||
56 | ||||||||||||||||||||||||||
57 | ||||||||||||||||||||||||||
58 | ||||||||||||||||||||||||||
59 | ||||||||||||||||||||||||||
60 | ||||||||||||||||||||||||||
61 | ||||||||||||||||||||||||||
62 | ||||||||||||||||||||||||||
63 | ||||||||||||||||||||||||||
64 | ||||||||||||||||||||||||||
65 | ||||||||||||||||||||||||||
66 | ||||||||||||||||||||||||||
67 | ||||||||||||||||||||||||||
68 | ||||||||||||||||||||||||||
69 | ||||||||||||||||||||||||||
70 | ||||||||||||||||||||||||||
71 | ||||||||||||||||||||||||||
72 | ||||||||||||||||||||||||||
73 | ||||||||||||||||||||||||||
74 | ||||||||||||||||||||||||||
75 | ||||||||||||||||||||||||||
76 | ||||||||||||||||||||||||||
77 | ||||||||||||||||||||||||||
78 | ||||||||||||||||||||||||||
79 | ||||||||||||||||||||||||||
80 | ||||||||||||||||||||||||||
81 | ||||||||||||||||||||||||||
82 | ||||||||||||||||||||||||||
83 | ||||||||||||||||||||||||||
84 | ||||||||||||||||||||||||||
85 | ||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||
100 |