A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | Y | Z | AA | AB | AC | AD | AE | AF | AG | AH | AI | AJ | AK | AL | AM | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|

1 | Hack University Machine Learning | Grades, attendance, notes, etc. For the ML Course, "attendance" or "grade" will be a fraction between 0 and 1 | ||||||||||||||||||||||||||||||||||||

2 | Date | Teacher | TA | Topic | Subtopic | Subtopic | Subtopic | Lecture | Python | Student 1 | Student 2 | Student 3 | Student 4 | Student 5 | Student 6 | Student 7 | Student 8 | |||||||||||||||||||||

3 | day1 | 2/11 | Thu | Hobs | Getting Started | Applications and types of problems, ethics, machine learning morals, the control problem | Modeling, forecasting, inference, correlation, experimenting | Environment setup, python, linux, virtualbox, vagrant, ssh, matplotlib, etc | /docs/day1 | /huml/day1 | ||||||||||||||||||||||||||||

4 | day2 | 2/14 | Sun | Hobs | Best-Practices software development | Git and GitHub | More environment setup | Bot examples: Will, Slackbot, twip API examples: hack oregon plotpdx project, twitter api, slackapi Python tools for apis: requests, pyton-rtmbot, twython, boto | /docs/day2 | /huml/day2 | ||||||||||||||||||||||||||||

5 | day3 | 2/18 | Thu | Hobs | Dan | Bots and Web Crawlers | DIY Web Crawler | Graph Theory, Graph Data Structures, Regular Expressions, FSA, NFA, DFA, Data-driven video games vs choose-your-own adventure games/books | DIY Chat Bots (twitter or slack) | /docs/day3 | /huml/day3 | |||||||||||||||||||||||||||

6 | day4 | 2/21 | Sun | Hobs | Hobs | Natural Language Proceesing | Bag of words, word vectors, word statistics, n-grams | "Computing" words, "information" metrics, redundancy, word vectors, Dimension Reduction, Latent Dierlicht Allocation | twip, semantic indexing of text files on your laptop | /docs/day4 | /huml/day4 | |||||||||||||||||||||||||||

7 | day5 | 2/25 | Thu | Ebrahim | Time Series | Working with time series data | Dimension Reduction, PCA vs LDA, scatter matrices, saddle point proliferation in high dim spaces | Financial and weather (chaotic) time series, event studies, autocorrelation, allan variance | /docs/day5 | /huml/day5 | ||||||||||||||||||||||||||||

8 | day6 | 2/28 | Sun | Hobs | NLP | NLTK | python-rtmbot | TFIDF, PCA | /docs/day6 | /huml/day6 | ||||||||||||||||||||||||||||

9 | day7 | 3/3 | Thu | Hannes | Hobs | Neural Nets | Perceptrons | Multilayer Perceptrons | Hyperparameter Optimization? Tools? | /docs/day7 | /huml/day7 | |||||||||||||||||||||||||||

10 | day8 | 3/6 | Sun | Cole | Hobs | CNNs | Convolutional Neural Nets | Deep CNNs, regularization, random dropout, feature engineering | Representation visualization (hidden layers)? Tools? | /docs/day8 | /huml/day8 | |||||||||||||||||||||||||||

11 | day9 | 3/10 | Thu | Zeke | Hobs | Big O | Analyzing algorithms for CPU and RAM optimization. Data structures and algorithm patterns. The "algebra" of Big O | N-p hard problems, quantum computers, scalability, parallelizable algorithms, GPUs, limitations and bottle necks, hadoop, gensim, theano | Computational Linguistics (natural language statistics, grammar). Big O for TFIDF | /docs/day9 | /huml/day9 | |||||||||||||||||||||||||||

12 | day10 | 3/13 | Sun | Hobs | Project Day and Python Doctests | NLP, python-rtmbot, Python doctests | Python functions | gensim.summarize | /docs/day10 | /huml/day10 | ||||||||||||||||||||||||||||

13 | day11 | 3/17 | Thu | Grimm | Hobs | Classification | Decision trees: Classification, supervised learning, information theory. | Random forests: ensemble learning. | Kmeans and unsupervised learning -or- Project: Revisit Crime Data | /docs/day11 | /huml/day11 | Problems: Supervised v unsupervised v reinforcemnet, classification v regression. Methods: Bayesian vs Decision trees, Random Forests, Multivariate. Performance: variance and bias, RMSE, outliers. Project: examine the Crime Data in more detail | ||||||||||||||||||||||||||

14 | day12 | 3/20 | Sun | Hobs | Project Day and Word2Vec demo | ssh and tmux on totalgood.org to watch server provisioning for gensim.Word2Vec | gutenberg collection sentence segmentation and Word2Vec training | loading pre-trained Word2Vec model (GoogleNews 300D) | /docs/day12 | /huml/day12 | ||||||||||||||||||||||||||||

15 | day13 | 3/24 | Thu | Hobs | control theory | feedback control, pid, stability (Tacoma Narrows bridge), fundamental frequency, resonance, psd, transfer function | DSP, discrete-time filters, convolution, kalman filters, system identification, adaptive control, optimal control, low pass filter, oatf | trjectory planning, receding horizon, path planning, geospatial data and problems, transformations, rotations, vector spaces | /docs/day13 | /huml/day13 | ||||||||||||||||||||||||||||

16 | day14 | 3/27 | Sun | Hobs | Projects (NLP for forum spam filtering, web scraping titles, home price prediction) | Distances (vector norms) in high dimensional space (TFIDF vectors, word vectors) | Clustering in high dimensional space | /docs/day14 | /huml/day14 | |||||||||||||||||||||||||||||

17 | day15 | 3/31 | Thu | Grimm? Cole? Hannes? | AI | turning test, measures of complexity, measures of intelligence, measures of information and entropy, predictability | inference, training, logic, ontologies, freebase, CYC | state of the art, latest research, FFLabs, NIPS, trends, control problem, what's next | /docs/day15 | /huml/day15 | ||||||||||||||||||||||||||||

18 | day16 | 4/3 | Sun | Hobs | Hack Oregon projects | prediction and ML problems, visualization problems | Sidenotes. AI.The control problem. Cooperating machines. Competitive agents. Genetic algorithms. Training/reinforcement for ethics, moral behavior. | /docs/day16 | /huml/day16 | |||||||||||||||||||||||||||||

19 | ||||||||||||||||||||||||||||||||||||||

20 | ||||||||||||||||||||||||||||||||||||||

21 | ||||||||||||||||||||||||||||||||||||||

22 | ||||||||||||||||||||||||||||||||||||||

23 | Skipped Lectures | |||||||||||||||||||||||||||||||||||||

24 | graph search, graph theory | tree vs graph, directed graph, dependency trees, scale free graph, fully connected graph, bipartite, | depth first, breadth first, dykstra, astar | automatic heuristic formulation | ||||||||||||||||||||||||||||||||||

25 | ? | Hobs | Natural Language Proceesing | "Computing" words, "information" metrics, redundancy, word vectors | Dimension Reduction, Latent Dierlicht Allocation | twip, semantic indexing of text files on your laptop | ||||||||||||||||||||||||||||||||

26 | Binary Classification, Multiclass Classification, Clustering | |||||||||||||||||||||||||||||||||||||

27 | Data | Preprocessing, cleaning, validating | Databases, data structures, | |||||||||||||||||||||||||||||||||||

28 | statistical models | Standard deviation, RMSE, bias vs variance tradeoff (Hannes), Bayes rule, bayes classifier, naive bayes classifier | hidden markov model, markov chain, decision trees | neural nets to predict weather | ||||||||||||||||||||||||||||||||||

29 | image processing | feature generation, representation vs compression, optical flow, stereoscopic processing, structured light, 3d reconstruction, | video processing, compression | tracking, segmentation | /docs/day12 | /huml/day12 | ||||||||||||||||||||||||||||||||

30 | ||||||||||||||||||||||||||||||||||||||

31 | ||||||||||||||||||||||||||||||||||||||

32 | ||||||||||||||||||||||||||||||||||||||

33 | ||||||||||||||||||||||||||||||||||||||

34 | ||||||||||||||||||||||||||||||||||||||

35 | ||||||||||||||||||||||||||||||||||||||

36 | ||||||||||||||||||||||||||||||||||||||

37 | ||||||||||||||||||||||||||||||||||||||

38 | ||||||||||||||||||||||||||||||||||||||

39 | ||||||||||||||||||||||||||||||||||||||

40 | ||||||||||||||||||||||||||||||||||||||

41 | ||||||||||||||||||||||||||||||||||||||

42 | ||||||||||||||||||||||||||||||||||||||

43 | ||||||||||||||||||||||||||||||||||||||

44 | ||||||||||||||||||||||||||||||||||||||

45 | ||||||||||||||||||||||||||||||||||||||

46 | ||||||||||||||||||||||||||||||||||||||

47 | ||||||||||||||||||||||||||||||||||||||

48 | ||||||||||||||||||||||||||||||||||||||

49 | ||||||||||||||||||||||||||||||||||||||

50 | ||||||||||||||||||||||||||||||||||||||

51 | ||||||||||||||||||||||||||||||||||||||

52 | ||||||||||||||||||||||||||||||||||||||

53 | ||||||||||||||||||||||||||||||||||||||

54 | ||||||||||||||||||||||||||||||||||||||

55 | ||||||||||||||||||||||||||||||||||||||

56 | ||||||||||||||||||||||||||||||||||||||

57 | 3. Regression | |||||||||||||||||||||||||||||||||||||

58 | - Linear Regression | |||||||||||||||||||||||||||||||||||||

59 | - Nonlinear Regression | |||||||||||||||||||||||||||||||||||||

60 | - Multivariate Regression | |||||||||||||||||||||||||||||||||||||

61 | 4. Information Theory | |||||||||||||||||||||||||||||||||||||

62 | - Entropy | |||||||||||||||||||||||||||||||||||||

63 | - Thermodynamics | |||||||||||||||||||||||||||||||||||||

64 | - Information | |||||||||||||||||||||||||||||||||||||

65 | - Black Holes and an Expanding Universe | |||||||||||||||||||||||||||||||||||||

66 | 5. Supervised Classification | |||||||||||||||||||||||||||||||||||||

67 | - Application/Motivation | |||||||||||||||||||||||||||||||||||||

68 | - Logistic Regression | |||||||||||||||||||||||||||||||||||||

69 | - Derived from Linear Regression | |||||||||||||||||||||||||||||||||||||

70 | - Decision Tree | |||||||||||||||||||||||||||||||||||||

71 | - Random Forest | |||||||||||||||||||||||||||||||||||||

72 | - Neural Nets | |||||||||||||||||||||||||||||||||||||

73 | - SVM | |||||||||||||||||||||||||||||||||||||

74 | - Genetic Algorithms useful when | |||||||||||||||||||||||||||||||||||||

75 | - fit-test is fast | |||||||||||||||||||||||||||||||||||||

76 | - thoughtful design is hard | |||||||||||||||||||||||||||||||||||||

77 | 6. Unsupervised Classification | |||||||||||||||||||||||||||||||||||||

78 | - Applications/Motivation | |||||||||||||||||||||||||||||||||||||

79 | - Clustering | |||||||||||||||||||||||||||||||||||||

80 | - KMeans | |||||||||||||||||||||||||||||||||||||

81 | - KNN | |||||||||||||||||||||||||||||||||||||

82 | - Neural Nets | |||||||||||||||||||||||||||||||||||||

83 | - Word2Vec | |||||||||||||||||||||||||||||||||||||

84 | 7. Ensemble Methods | |||||||||||||||||||||||||||||||||||||

85 | 8. Meta-parameter search (tuning your learner) | |||||||||||||||||||||||||||||||||||||

86 | - Grid Search | |||||||||||||||||||||||||||||||||||||

87 | - Random Search | |||||||||||||||||||||||||||||||||||||

88 | - Graph search with heuristic | |||||||||||||||||||||||||||||||||||||

89 | 9. Supervised v Unsupervised | |||||||||||||||||||||||||||||||||||||

90 | - Labels | |||||||||||||||||||||||||||||||||||||

91 | - Imbalanced Data Sets | |||||||||||||||||||||||||||||||||||||

92 | 10. Bayesian Inference | |||||||||||||||||||||||||||||||||||||

93 | - Naive Bayes | |||||||||||||||||||||||||||||||||||||

94 | - Non-naive bayes (Markov Models) | |||||||||||||||||||||||||||||||||||||

95 | 11. More Neural Nets | |||||||||||||||||||||||||||||||||||||

96 | - Convolutional | |||||||||||||||||||||||||||||||||||||

97 | - Recurrent | |||||||||||||||||||||||||||||||||||||

98 | - Recursive | |||||||||||||||||||||||||||||||||||||

99 | - Deep | |||||||||||||||||||||||||||||||||||||

100 | - Examples: image processing |

Loading...