D2L 不确定性估计实战：高斯过程回归从入门到 95% 置信区间

D2L 不确定性估计实战：高斯过程回归从入门到 95% 置信区间

【免费下载链接】d2l-enInteractive deep learning book with multi-framework code, math, and discussions. Adopted at 500 universities from 70 countries including Stanford, MIT, Harvard, and Cambridge.项目地址: https://gitcode.com/gh_mirrors/d2/d2l-en

做股指或房价预测时，模型往往只给一个数，在没见过的数据上也照样给得很笃定——这正是不确定性估计要解决的问题。d2l 仓库的高斯过程章节提供了一套可复现的方法：预测均值之外，还能给出带明确概率含义的置信区间。

🎯 核心能力速览：d2l 里各项能力分别在哪里

这类采样点稀疏、存在缺口的时间序列，正是 GP 的用武之地。上图的 FTSE 100 指数在序列建模章节也出现过，用它来练习"预测下一段并画出区间"非常合适。

🔍 原理拆解：从先验到置信区间

先验放在函数上，而不是权重上

一句话结论：高斯过程就是对"任意有限个点上的函数值"构成的多元高斯分布，核函数决定这族函数长什么样。

书里从一条直线讲起：权重取高斯分布，得到的直线族就是一个 GP，由此把讨论从难以解释的权重挪到函数本身。RBF 核只有两个超参却足够直观——振幅a控制纵向尺度，长度尺度ℓ控制"抖动"程度，且相距超过ℓ的两个输入点几乎不相关，这直接决定了预测离数据多远就开始不靠谱。

闭式解算出后验，置信区间随距离变宽

一句话结论：回归场景下预测均值和方差都有解析式，均值加减两个标准差就是 95% 置信区间。

这正是不确定性估计的落地形态：数据密集处区间窄，数据稀疏处区间宽。书中把不确定度拆成两部分——认知不确定性随数据增多而消失，偶然不确定性来自观测噪声、堆多少数据都消不掉。示例代码学出的噪声标准差是 0.24，而生成数据时用的是 0.25，说明模型不仅会预测，还"知道"数据里有多少噪声。

Kaggle 房价预测这类任务，交付方要的不只是一个数字，而是"大致落在哪个区间"，GP 的后验恰好直接提供这两样。

核超参靠边缘似然自动学，复杂度惩罚内置

一句话结论：最大化边缘似然会自动挑出与数据一致的最简模型，超参不需要手调。

边缘似然把目标拆成"拟合得好不好"和"模型有多复杂"两项，天然实现了奥卡姆剃刀。书中实例从ℓ=0.75起步，优化后收敛到 0.299，与数据生成函数的真实值 0.25 非常接近，说明这一套自动学习机制靠得住。

🚀 上手路径：五步跑通第一个 GP 回归

1. 先读 章节总览，确认 GP 与深度网络是互补而非竞争关系，建立章节地图。
2. 打开gp-intro.md，先看先验与后验的采样函数图，把"函数上的分布"这个直觉立起来。
3. 再进gp-priors.md，跟一遍权重空间到函数空间的推导，重点记住 RBF 核a和ℓ的几何含义。
4. 按gp-inference.md的 from-scratch 代码走完整流程：生成sin(x)+0.5sin(4x)数据、采样先验、最大化边缘似然学出ℓ与σ、最后画出 95% 置信区间。
5. 当数据涨到上万点或需要分类时，切到文中给出的 GPyTorch 写法，它和 PyTorch 生态直接打通。

❓ 选型与常见误区：三个最易混淆的问题

疑问点：GP 是不是只能处理小数据？解答：朴素实现要在 n×n 核矩阵上解线性系统，复杂度约 O(n³)，历史上确实卡在 1 万点左右；近年的可扩展方法已把上限抬高了一个量级，书中也给出了具体做法。

疑问点：分类任务用不了闭式推断怎么办？解答：精确推断的前提是高斯似然。分类或非高斯似然场景改用近似推断，GPyTorch 对此有现成支持，不必自己造轮子。

疑问点：长度尺度ℓ的初值怎么给？解答：交给边缘似然去学，但初值太极端（很大的ℓ配很大的噪声，或相反）可能收敛到不同的局部最优，初值建议从与数据尺度相当的值开始。

下一步：打开 gp-inference.md，按其中的 from-scratch 代码逐段运行，复现那张 95% 置信区间图。

【免费下载链接】d2l-enInteractive deep learning book with multi-framework code, math, and discussions. Adopted at 500 universities from 70 countries including Stanford, MIT, Harvard, and Cambridge.项目地址: https://gitcode.com/gh_mirrors/d2/d2l-en