《经典机器学习实战》第 1 课：导论——是什么、简史、负责任 AI 与标准流程

本文收录于专栏 《经典机器学习实战》

摘要：从规则引擎的破产到机器学习的定义，一趟走完 AI 七十年简史、负责任 AI 六原则与七步标准流程。你将看到 13 维特征让手写规则彻底失效而逻辑回归拿到 98.1%，以及一个整体准确率 85% 的模型如何对少数组近乎抛硬币。

关键字：机器学习,scikit-learn,监督学习,过拟合,训练集测试集,公平性,数据清洗,模型评估

阶段 1 · 导论 | 来源：【原·01-04 合并】| 知识更新至 2026-10
本课实战：stage1/assets/stage1_demos.py，【已实测】

概念讲解

1.1 机器学习是什么

机器学习（Machine Learning, ML）是人工智能的一个子集：用专门的算法从数据中发现隐藏模式，并用这些模式辅助决策，而不是由人显式编写规则。三个关键词：从数据中（原料是数据不是规则）、发现模式（模型是模式的载体）、辅助决策（产出是预测）。

本课程只讲经典机器学习：回归、分类、聚类、NLP 传统方法、时间序列、强化学习入门，主力工具是 Scikit-learn。深度学习和神经网络在本课程不覆盖。

四个常被混用的术语，一张表理清：

对 ML 的能力边界保持清醒：它不是万能的（只在"有数据、有规律、规律可学"的问题上有效），也不是"调包跑个 fit"就完事（80% 的工作量在数据准备和评估）。

为什么不用规则引擎？实测回答。iris 鸢尾花数据（150 样本、4 维特征、3 类），手写一条"花瓣宽度 <0.8 判 setosa、<1.7 判 versicolor、否则 virginica"的规则，准确率 0.960 已经不错——但那是人脑先看了一遍数据分布才写出来的。换 wine 数据集（178 瓶酒、13 个化学指标），规则直接写不出来：

iris (4 维) 手写规则 0.960 逻辑回归 1.000 wine (13 维) 手写规则 不可行（组合爆炸） 逻辑回归 0.981

规则引擎的死穴不在"写得对不对"，而在维度一高就根本写不出来。

1.2 简史：算力、数据、算法三要素

ML 的算法地基有两三百年历史：贝叶斯定理（1763）、最小二乘（1805）、马尔可夫链（1913）、感知机（1957）、最近邻（1967）、反向传播（1970）、RNN（1982）。没有一个算法是大数据时代发明的——数据从来是新的，算法常常是老的。

学科史七十年，起伏有清晰的规律：

• 1950图灵提出"机器能思考吗"；1956达特茅斯会议正式提出"人工智能"；
• 1956-1974 黄金年代：乐观主义高涨（明斯基放话"一代人内解决"）；
• 1974-1980 第一次寒冬：算力不够、组合爆炸、数据匮乏、图灵测试被"中文房间"思想实验挑战；
• 1980s 专家系统：第一批商业成功的 AI 软件（规则引擎+推理引擎）；
• 1987-1993 第二次低谷：专用硬件撞上 PC 崛起；
• 1993 至今：数据和算力双爆炸，ML 渗透生活每个角落。

兴衰三要素浓缩成一条：算力、数据、算法，三齐则繁荣，缺一个就寒冬。1956 年有算法思想但缺算力和数据；2010s 后三要素齐备。

这些两百年前的算法今天还活在工具库里，各跑一行：

fromsklearn.naive_bayesimportGaussianNB# 1763 贝叶斯fromsklearn.linear_modelimportLinearRegression# 1805 最小二乘fromsklearn.neighborsimportKNeighborsClassifier# 1967 最近邻

1763 贝叶斯 → iris 分类 accuracy = 0.978 1967 最近邻 → iris 分类 accuracy = 1.000 1805 最小二乘 → diabetes 回归 R² = 0.477

iris 上接近满分不是算法神，是数据太简单（3 类 4 维 150 样本）；diabetes 上 R²=0.477 说明真实问题里 10 个生理指标只能解释不到一半的变异——真实世界的数据从来不像教科书，这就是后续每课都要做数据清洗和可视化的原因。

1.3 负责任 AI：聚合指标掩盖的伤害

ML 系统已经在做影响人生的决定（医疗、贷款、欺诈识别），错误直接落在具体的人身上。不公平（unfairness）分五类：分配（贷款/招聘对相似条件的人给不同推荐）、服务质量（洗手液机感应不到深肤色的手）、贬损（图像标注把深肤色人像标成大猩猩）、过度/不足代表（图片搜索"程序员"几乎不返回女性）、刻板印象（翻译系统给无性别职业名词自动带上"他/她"）。共同点：伤害很少是故意写进代码的——偏见来自数据，数据的偏见来自社会。

负责任 AI 六原则：公平、可靠与安全、包容、隐私与安全、透明、问责。建模前先做影响评估：有没有已知局限、数据合规性（GDPR/HIPAA）、伤害清单、逐条对照六原则。

这套原则为什么要落地到工具？看实测。构造 3000 人二分类数据：多数组 A 占 90%（特征清晰易学），少数组 B 占 10%（模式难分）——模拟"训练数据没覆盖少数群体"：

整体 accuracy = 0.850 多数组 A = 0.891 少数组 B = 0.478 差距 = 0.414 测试集 90 个 B 组成员，47 个被错分（错误率 52%）

只看整体 85% 像"还行"；拆开看 B 组接近抛硬币。如果这是贷款审批，等于 B 组超过一半的人被随机对待。聚合指标是遮羞布——报告性能时按关键群组拆分是底线动作。发现这类问题的工具（错误分析、群组对比、数据分析、可解释性）在第 21 课《用 RAI 仪表板调试模型》完整展开。

1.4 标准流程：七步闭环

搭建 ML 系统的工作流拆成七步，后续每一节项目课都按这个节拍走：

第①步的判据：能用规则干净利落地解决的问题，不要用 ML；ML 的主场是高维、有数据、有规律的预测问题。数据阶段的铁律：测试集是封印的，只在第⑤步评估时打开。

用 iris 把七步完整跑一遍：问问题（判断品种）→ 备数据（150×4，三类均衡 50/50/50）→ 选方法训练评估（LR 和 KNN 都 1.000——iris 太简单，真实项目里这步才见真差距）→ 调参（网格搜索 KNN 的 K，最优 K=1，5 折交叉验证 0.952）→ 预测（新样本[5.1, 3.5, 1.4, 0.2]→ setosa）。七步每步都有产出物，后面每个项目课都是这七步的放大版。

小结

1. ML = 用算法从数据中发现模式，替代手写规则；规则在 13 维特征前破产，逻辑回归 0.981。
2. 算法地基两三百年（贝叶斯 1763、最小二乘 1805），学科史七十年；兴衰规律 = 算力+数据+算法三要素缺一即寒冬。
3. 负责任 AI：聚合指标掩盖组间差距（整体 0.85 掩盖 B 组 0.478）；五类伤害 + 六原则 + 建模前影响评估。
4. 标准流程七步闭环：问问题→备数据→选方法→训练→评估→调参→预测；测试集封印是铁律。
5. 下一站进入真实数据项目：参见第 2 课《回归入门——环境、工具与数据准备》。

扩展阅读

• 原课 1-Introduction 四课（本课概念基准）：https://github.com/microsoft/ML-For-Beginners/tree/main/1-Introduction
• Scikit-learn 官方用户指南：https://scikit-learn.org/stable/user_guide.html
• 维基百科：机器学习时间线：https://wikipedia.org/wiki/Timeline_of_machine_learning
• "中文房间"思想实验（斯坦福哲学百科）：https://plato.stanford.edu/entries/chinese-room/
• Responsible AI Toolbox（第 21 课主用工具）：https://github.com/microsoft/responsible-ai-toolbox

系列导航

• 上一篇：本课程第一课
• 下一篇：第 02 课《回归入门——环境、工具与数据准备》

更多专栏：