保形预测与不确定性

01

为什么一个数字不够

决策不仅取决于预测本身，还取决于它周围的置信。「有 70% 的概率下雨」也许意味着带把伞； 「70%，但它很容易是 40% 或 90%」则意味着别的事。把一个点估计当作确定的来对待，是应用建模中最 常见、也最事关重大的错误之一——它恰恰剥走了一个决策者权衡风险所需的信息。

你想要的，是一个带已知可靠度的范围：不是「240」，而是「在 210 与 270 之间，而 那个范围有 90% 的时候是对的」。第二个分句——那个保证——才是难的部分，也是让保形预测特别的地方。

02

两种不确定性

区分不确定性的两个来源会有帮助，因为它们的行为不同：

• 偶然不确定性——世界本身中不可约减的随机性（一枚公平的硬币是真正不可预测的）。更多 的数据不会让它缩小。
• 认知不确定性——来自模型无知的不确定性：数据太少，或一个不像它训练过的任何 东西的输入。这个可以随更多或更好的数据缩小——也是为什么一个模型对远离其训练分布的个案， 本该远没那么确信。

一个好的不确定性估计反映两者——在世界吵闹之处更宽，在模型力不能及之处也更宽。保形预测的吸引力 在于，它交付一个捕获了这一点的有效范围，而无需你显式地对任何一个来源建模。

03

保形的想法：一个免费的保证

保形预测把任何模型的点预测，变成一个集合或区间，它被保证以一个你 所选的比率包含真实答案。挑一个置信水平——比方说 90%——保形预测产出的区间使得，在未来的各个个案 上，真实值落在其中的时候至少占 90%。形式化地，对一个所选的错误率$\alpha$（这里是 0.1），预测集 $C(X)$ 满足：

让这一点非凡的，是它附带的条件之少。它无分布（不假设误差是正态的、或别的任何 东西）、模型无关（它能包住任何预测器——线性模型、随机森林、神经网络、 一个你看不见内部的黑箱），而且这个保证在有限样本下成立，而非只是渐近地。你不必 信任模型，也能信任那个覆盖——一个稀有而宝贵的承诺。

04

它如何运作：先校准，再设阈值

这个机制（以它常见的「分裂保形」形式）出奇地简单——三步：

1. 留出一个校准集——模型没有训练过的数据。
2. 为每一个校准点计算一个不符合度分数——基本上就是模型错得有多离谱（例如残差的 大小）。这建立起对模型实际误差分布的一幅经验图景。
3. 取那些分数的 $(1-\alpha)$ 分位数（90% 覆盖对应第 90 百分位）作为阈值。 对任何新输入，预测区间就是点预测加减那个阈值。

其优雅之处：区间宽度是对照模型在留出数据上真实、观测到的错误校准的，这正是为什么覆盖 保证成立——你不是在假设误差长什么样，你是在测量它们。（唯一的假设是可交换性——校准数据与未来数据是同样抽出来的；下面再细说。）

05

预测集与自适应区间

输出会适应任务，而最好的版本也适应难度：

• 分类 → 一个标签的预测集。当模型有把握时，集合里只有一个标签；当它没把握 时，集合里含好几个（「它是 3、5 或 8」）——集合的大小本身就是一个诚实的不确定性信号。
• 回归 → 一个预测区间。借助自适应方法（如保形化的分位数回归），区间在模型 较不确定之处变宽、在它有把握之处变窄——于是这条带在简单个案上很紧、在困难个案 上恰如其分地谨慎。

那份自适应正是实用上有价值的部分：一条固定宽度的带平均而言诚实，却没有信息量；一个在困难个案上 变大的区间，则确切地告诉决策者该在哪里小心。

06

细则

这个保证是真实的，但很精确，而误读它才是主要的风险：

07

它在我工作中的体现

08

60 秒回顾

无分布的覆盖保证、分裂保形的校准机制，以及边际覆盖／可交换性的告诫，反映了当前的保形预测参考 文献以及机器学习课程。