Machine Learning - �Basic Principles & Practice�12. Epilogue
Cong Li 李聪
机器学习 – 基础原理与实践
12. 尾声
What We’ve Learned �我们学了什么
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
Popular science course 科普课程
A cross-section view of machine learning�机器学习的一个刨析视角
Inductive Learning 归纳学习
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
Real World Problems 真实问题
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
We see performance improvement w/ multiple enhancements
随着各种改进，我们看到性能的提升
Principle 原理 (1)
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
No assumption, no learning!�无假设，不学习！
Nearest neighbor 最近邻
Close neighbors come from the same class
相似的数据来自于同一类
Principle 原理 (1)
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
No assumption, no learning!�无假设，不学习！
Perceptron or logistic regression 感知器或算术回归
Data are separable by a hyperplane
数据能被超平面分割
Principle 原理 (1)
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
No assumption, no learning!�无假设，不学习！
Convolutional neural network�卷积神经网络
Local & high-level patterns are indicative�局部模式和高层次模式具有指示意义
Principle 原理 (2)
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
Occam’s razor�奥卡姆剃刀
Make as fewer assumptions as possible
尽量少做假设
Simple models w/ good training performance can be powerful �在训练中表现出色的简单模型会很强大
Principle 原理 (2)
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
Occam’s razor�奥卡姆剃刀
Not sure about assumption validity: use margins or improve training confidence
对于假设的合理程度无法确信时：
使用间距或改善训练的置信度
But There’s Another 但还有一个
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
No free lunch: Everything comes at a cost!�没有免费的午餐：凡事皆有代价！
Nearest neighbor 最近邻
You need to define the distance
你必须确定距离
But There’s Another 但还有一个
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
No free lunch: Everything comes at a cost!�没有免费的午餐：凡事皆有代价！
Eager learning 积极学习
What classifier to choose? A linear one?
选什么分类器？线性分类器吗？
But There’s Another 但还有一个
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
No free lunch: Everything comes at a cost!�没有免费的午餐：凡事皆有代价！
Learning w/ margins 带间距的学习
How to determine the margin parameter?�怎么确定间距参数？
But There’s Another 但还有一个
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
No free lunch: Everything comes at a cost!�没有免费的午餐：凡事皆有代价！
Ensemble learning 合奏学习
How to construct different classifiers?�怎么构建不同的分类器？
But There’s Another 但还有一个
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
No free lunch: Everything comes at a cost!�没有免费的午餐：凡事皆有代价！
Kernel methods 核计算方法
What is the kernel? What is its parameter?�哪个核计算？参数选什么？
But There’s Another 但还有一个
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
No free lunch: Everything comes at a cost!�没有免费的午餐：凡事皆有代价！
Complex networks 复杂网络
What is the network structure? How to determine the dropout rate?�网络结构是什么？信息遗失率取多少？
But There’s Another 但还有一个
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
No free lunch: Everything comes at a cost!�没有免费的午餐：凡事皆有代价！
Making the right choice rewards you, e.g, CNN for USPS dataset: 3.29% error rate
正确的选择让你得到好的回报，例如卷积神经网络用于USPS数据集：3.29%的错误率
Nearest neighbor w/ tangent distance: 2.6%!!!
使用正切距离的最近邻：2.6%!!!
Popular Science Course 科普课程
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
Machine Learning 机器学习
Machine Learning – Basic Principles & Practice: 12. Epilogue
机器学习 – 基础原理与实践：12. 尾声
The End