A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Date | Class | Content | Slides | Required Reading | Extras | Due | 2021S Lectures | Notes | ||||||||||||||||||
2 | 09/09 | 1 | Organization; Context, Motivation, History, and Languages | L1.pdf | L1P2.pdf | YouTube Link | add compelling applications, i.e. from crossover.ai talk | ||||||||||||||||||||
3 | 09/14 | 2 | Introduction to Model-Based Reasoning | L2.pdf | Intro to Prob. Prog. [Chap. 1] | YouTube Link | |||||||||||||||||||||
4 | 09/16 | 3 | Review - Graphical Models | L3.pdf | essentials-of-bayesian-inference.pdf | YouTube link | too short; should actually go into more details about "derivations" of graphical models at end of lecture; could include graphical model properties; at least D-separation explicitly. even simple conditional independence checks would be nice | ||||||||||||||||||||
5 | 09/21 | 4 | Review - Inference, Learning, Monte Carlo, Sampling | L4-5.pdf | YouTube link | can split into two lectures | |||||||||||||||||||||
6 | 09/23 | 5 | Review - Markov Chain Monte Carlo | L4-5.pdf | lda-sampler.pdf | Demo | YouTube link | should talk about burn-in and trace plots (and require in homeworks) | |||||||||||||||||||
7 | 09/28 | 6 | Review - Before prob. prog.; a non-trivial HMM example | L6.pdf | gmm.pdf | YouTube link | |||||||||||||||||||||
8 | 09/30 | 7 | T&R | ||||||||||||||||||||||||
9 | 10/05 | 8 | Graphical Models, First Order Probabilistic Programming Language (FOPPL), and Sugar | L7-8.pdf | Intro to Prob. Prog. [Chap. 2] | HW 1 | YouTube link | ||||||||||||||||||||
10 | 10/07 | 9 | Graphical Models, First Order Probabilistic Programming Language (FOPPL), and Sugar | L7-8.pdf | YouTube link | ||||||||||||||||||||||
11 | 10/12 | 10 | FOPPL to Graphical Model Compilation | L9.pdf | Intro to Prob. Prog. [Chap. 3, Sec. 3.1] | Project Proposal | YouTube link | ||||||||||||||||||||
12 | 10/14 | 11 | Graph-Based Inference | L10.pdf | Intro to Prob. Prog. [Chap. 3, Sec. 3.2-3.4,3.6] | YouTube link | |||||||||||||||||||||
13 | 10/19 | 12 | Hamiltonian Monte Carlo | L11.pdf | [1, Chaps. 3.5], https://chi-feng.github.io/mcmc-demo/app.html | Demo | HW 2 | YouTube link | actual due date 10/20 | ||||||||||||||||||
14 | 10/21 | 13 | Evaluation-based Inference - Likelihood Weighting, LMH, BBVI | L12.pdf | Intro to Prob. Prog. [Chap. 4, Sec. 4] | YouTube link | probably should do variational inference first; definitely need a slide or two on SGD just to make sure folks know it when it rolls around; there was confusion about the baseline and dimenions in BBVI | ||||||||||||||||||||
15 | 10/26 | 14 | Variational Inference | L13.pdf | NeurIPS Tutorial Video | HW 3 | YouTube link | ||||||||||||||||||||
16 | 10/28 | 15 | Higher Order Probabilistic Programming Languages (HOPPL) | L14.pdf | Intro to Prob. Prog. [Chap. 5] | YouTube link | |||||||||||||||||||||
17 | 11/02 | 16 | SMC - Bootstrap | L15-16.pdf | Intro to Prob. Prog. [Chap. 4, Sec. 3] | Chopin Lecture | YouTube link | ||||||||||||||||||||
18 | 11/04 | 17 | SMC - PMMH | L15-16.pdf | Intro to Prob. Prog. [Chap. 6] | HOPPL SMC/PMCMC | HW 4 | YouTube link | |||||||||||||||||||
19 | 11/09 | 18 | HOPPL Inference | L17.pdf | Intro to Prob. Prog. [Chap. 7, Sec. 1] | YouTube link | |||||||||||||||||||||
20 | 11/11 | 19 | Midterm break | HW 5 | |||||||||||||||||||||||
21 | 11/16 | 20 | Amortized Inference / Guide Programs / Inference Compilation | L18.pdf | [1, Chap. 6.1-6.5] | YouTube link | |||||||||||||||||||||
22 | 11/18 | 21 | Model Learning | L19.pdf | [1, Chap. 7.1] | HW 6 | YouTube link | ||||||||||||||||||||
23 | 11/23 | 22 | Deep Probabilistic Programming | L20.pdf | Last day to drop with a W (maybe?) | YouTube link | |||||||||||||||||||||
24 | 11/25 | 23 | Meta-Learning | L21.pdf | https://www.overleaf.com/read/knxnpkxnvhdt | YouTube link | the first part being total evidence and the meta-learning objective relationship was not clear | ||||||||||||||||||||
25 | 11/30 | 24 | Reinforcement Learning as Inference | L22.pdf | https://www.overleaf.com/read/xkzwqvjtpxjf | YouTube link | |||||||||||||||||||||
26 | 12/02 | 25 | Alternative Variational Bounds | L23.pdf | https://www.overleaf.com/read/ybdjmjkbrgwy | YouTube link | |||||||||||||||||||||
27 | 12/07 | 26 | Reparametrization and Normalizing Flows (guest lecturer: Harvey) | L24.pdf | https://www.overleaf.com/read/vhqhnfvnrkzj | YouTube link | |||||||||||||||||||||
28 | GANs and Adversarially Learned Inference (guest lecturer: Munk) | L25.pdf | https://www.overleaf.com/read/vxkzyxysdvvc | YouTube link | |||||||||||||||||||||||
29 | |||||||||||||||||||||||||||
30 | TBD | Final Project Presentations; In person whenever it happens | Reports due 12/22 midnight. | ||||||||||||||||||||||||
31 | |||||||||||||||||||||||||||
32 | Extras | ||||||||||||||||||||||||||
33 | Automatic differentiation theory | L13 | [2, Chaps. 1-2] | ||||||||||||||||||||||||
34 | Automatic differentiation implementation | L14 | [2, Chaps. 3-4] | ||||||||||||||||||||||||
35 | Next year | ||||||||||||||||||||||||||
36 | Attention and Bayesian Experimental Design | ||||||||||||||||||||||||||
37 | Deep Generative Models; Variational RNNs, Deep Non-linear Dynamical Systems Models | ||||||||||||||||||||||||||
38 | |||||||||||||||||||||||||||
39 | |||||||||||||||||||||||||||
40 | |||||||||||||||||||||||||||
41 | |||||||||||||||||||||||||||
42 | |||||||||||||||||||||||||||
43 | |||||||||||||||||||||||||||
44 | |||||||||||||||||||||||||||
45 | |||||||||||||||||||||||||||
46 | |||||||||||||||||||||||||||
47 | |||||||||||||||||||||||||||
48 | |||||||||||||||||||||||||||
49 | |||||||||||||||||||||||||||
50 | |||||||||||||||||||||||||||
51 | |||||||||||||||||||||||||||
52 | |||||||||||||||||||||||||||
53 | |||||||||||||||||||||||||||
54 | |||||||||||||||||||||||||||
55 | |||||||||||||||||||||||||||
56 | |||||||||||||||||||||||||||
57 | |||||||||||||||||||||||||||
58 | |||||||||||||||||||||||||||
59 | |||||||||||||||||||||||||||
60 | |||||||||||||||||||||||||||
61 | |||||||||||||||||||||||||||
62 | |||||||||||||||||||||||||||
63 | |||||||||||||||||||||||||||
64 | |||||||||||||||||||||||||||
65 | |||||||||||||||||||||||||||
66 | |||||||||||||||||||||||||||
67 | |||||||||||||||||||||||||||
68 | |||||||||||||||||||||||||||
69 | |||||||||||||||||||||||||||
70 | |||||||||||||||||||||||||||
71 | |||||||||||||||||||||||||||
72 | |||||||||||||||||||||||||||
73 | |||||||||||||||||||||||||||
74 | |||||||||||||||||||||||||||
75 | |||||||||||||||||||||||||||
76 | |||||||||||||||||||||||||||
77 | |||||||||||||||||||||||||||
78 | |||||||||||||||||||||||||||
79 | |||||||||||||||||||||||||||
80 | |||||||||||||||||||||||||||
81 | |||||||||||||||||||||||||||
82 | |||||||||||||||||||||||||||
83 | |||||||||||||||||||||||||||
84 | |||||||||||||||||||||||||||
85 | |||||||||||||||||||||||||||
86 | |||||||||||||||||||||||||||
87 | |||||||||||||||||||||||||||
88 | |||||||||||||||||||||||||||
89 | |||||||||||||||||||||||||||
90 | |||||||||||||||||||||||||||
91 | |||||||||||||||||||||||||||
92 | |||||||||||||||||||||||||||
93 | |||||||||||||||||||||||||||
94 | |||||||||||||||||||||||||||
95 | |||||||||||||||||||||||||||
96 | |||||||||||||||||||||||||||
97 | |||||||||||||||||||||||||||
98 | |||||||||||||||||||||||||||
99 | |||||||||||||||||||||||||||
100 |