理论是那扇紧锁的门，证明是唯一的钥匙。
翻开这本书，为每一个定理找到属于它的那把钥匙。
《机器学习理论导引》伴读笔记：概念解释 · 证明补充 · 案例分享
📖 在线阅读 | 📥 PDF 下载 | 💬 加入交流群 | 🍉 姊妹篇：南瓜书
周志华、王魏、高尉、张利军等老师所著的《机器学习理论导引》（下称《导引》），填补了国内缺少机器学习理论入门著作的遗憾。该书涵盖机器学习理论中七个核心概念：可学性、复杂度、泛化界、稳定性、一致性、收敛率、遗憾界。
然而，《导引》理论性强、证明精炼，对读者数学背景要求较高。我们编写《钥匙书》这份伴读笔记，旨在帮助读者更快走出迷雾。
《钥匙书》提供三方面补充：
| 📝 概念解释 | 🔍 证明补充 | 💡 案例分享 |
|---|---|---|
| 介绍文中涉及但未阐释的概念 | 解释证明思路，补充省略的推导 | 增加实例，辅助理解抽象理论 |
谁适合阅读：
- 正在研读《机器学习理论导引》，希望有一份参考笔记辅助理解的读者
- 对机器学习理论感兴趣，想要系统入门的研究者和学生
- 已有机器学习实践经验，想要补充理论基础的工程师
| 章节 | 主题 | 核心内容 |
|---|---|---|
| 序言 | 序言 | 从可计算性到可学习性的思考 |
| 第 1 章 | 预备知识 | 概率不等式、基础数学工具 |
| 第 2 章 | 可学性 | PAC 学习框架、可学习性理论 |
| 第 3 章 | 复杂度 | VC 维、Natarajan 维、Rademacher 复杂度 |
| 第 4 章 | 泛化界 | 基于 PAC 框架与 Rademacher 复杂度的泛化保证 |
| 第 5 章 | 稳定性 | 算法稳定性与泛化性的联系 |
| 第 6 章 | 一致性 | 收敛到 Bayes 最优分类器的条件 |
| 第 7 章 | 收敛率 | 优化算法的收敛速度分析 |
| 第 8 章 | 遗憾界 | 在线学习中的遗憾界分析 |
| 附录 | 参考文献 | 范数、凸集、优化等数学基础 |
周志华, 王魏, 高尉, 张利军. 机器学习理论研究导引 [An Introduction to Theoretical Machine Learning]. 北京: 机械工业出版社, 2020年5月. ISBN 978-7-111-65424-7. 204页.
| 职责 | 名单 |
|---|---|
| 主编 | @赵志民 @詹好 |
| 编委 | @李一飞 @王茂霖 @杨昱文 @谢文睿 |
| 致谢 | @张雨 |
- 发现问题？欢迎提 Issue 反馈
- 想要贡献？欢迎提 Pull Request
- 对 Datawhale 感兴趣？请参考 开源项目指南
扫描下方二维码，或关注公众号「Datawhale」，回复关键词 "钥匙书" 加入读者交流群
或加入 QQ 群：704768061
周志华老师所著《机器学习》（西瓜书）是机器学习领域的经典入门教材。Datawhale 在其基础上编写了「南瓜书」，在线阅读：https://datawhalechina.github.io/pumpkin-book
