2023 复习提纲
本次考试为开卷，可以带教材、参考书（比如：Bishop、周志华、李航等书籍）和打印的课件（节约用纸，一页纸可打多页ppt），可以携带签字笔、铅笔、直尺、橡皮檫和传统计算器，不得使用手机和笔记本电脑等设备。
包括问答题和计算题。
下面列出复习重点，并非列出的一定考到。
第一章 机器学习简介
机器学习的概念、要素、类型等
过拟合、欠拟合、正则化
贝叶斯公式
第二章 概率论概述
概率的概念、贝叶斯学派vs. 频率论学派、条件独立
伯努利分布、高斯分布
极大似然估计、最大后验估计
第三章 优化算法简介
梯度下降及不同形式
拉格朗日乘子法与KKT条件
对偶
第四章 回归的线性模型
线性回归最小二乘法
岭回归（Ridge Regression）
Lasso回归
第五章 分类的线性模型
线性分类概念
判别函数、概率生成模型、概率判别模型
逻辑回归、朴素贝叶斯分类器
第六章 支持向量机器与核方法
SVM原理、核技巧
第七章 混合模型与期望最大
K-Means、混合高斯和EM算法原理、性质
第八章 高斯过程
高斯过程的基本原理
第九章 集成学习
Bagging、adboost算法
第十章 半监督学习
协同训练（多视图半监督）、基于图的半监督学习算法、S3VM（TSVM）
第十一章 神经网络与深度学习
神经网络基本原理、梯度下降算法、BP反向传播、CNN、RNN
第十二章 强化学习
强化学习基本原理、Q-learning
课程介绍
先导课程
线性代数：向量 / 矩阵 原理 、性质
高数：偏微分
概率论：常用分布、 Bayes 规则
统计学： mean/median/ std, 极大似然
资料
教材：Pattern Recognition and Machine Learning, by Chris Bishop
补充材料：《PRML 中文翻译》 by 马春鹏
课程代码：
- Matlab 实现：http://prml.github.io/
- Python：https://github.com/ctgk/PRML
参考读物：
- 《机器学习》 周志华
- 《统计学习方法》 李航
其它参考书籍：
- Machine Learning , Tom Mitchell
- Machine Learning: a Probabilistic Perspective, Kevin Murphy
- Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond, Bernhard Schlkopf & Alex Smola
- Probabilistic Graphical Models: Principles and Techniques, Daphne Koller & Nir Friedman
期刊 Journals:
- Journal of Machine Learning Research www.jmlr.org
- Machine Learning
- IEEE Transactions on Neural Networks
- IEEE Transactions on Pattern Analysis and Machine Intelligence
会议 Conferences:
- NIPS 、 ICLR 、 ICML 、 AAAI 、 IJCAI
- ACL 、 EMNLP
- CVPR 、 ICCV
- Axiv
考核方式与成绩评定
- 课后作业（20%）
- 课程设计 30% 3-5 人一组
- 口头陈述（10%）
- 报告（20%）
- 期末考试（50%）
内容
- 机器学习简介
- 概率论概述
- 优化算法简介
- 线性回归
- 基本的分类方法
- 支持向量机器与核方法
- 混合模型与期望最大 1
- 混合模型与期望最大 2
- 高斯过程
- 集成学习
- 半监督学习
- 神经网络与深度学习 1
- 神经网络与深度学习 2
- 强化学习
- 课程设计陈述 1
- 课程设计陈述 2