稳健统计 — rin.contact

关于那些最熟悉的统计量，有一个令人不安的事实：均值、标准差和最小二乘回归全都脆弱。单单一个极端的离群值——一个打字错误、一次传感器故障、一个真实的怪例——就能把均值从数据主体所在之处拖得很远，把标准差吹胀，并把一条回归线从其他所有点都遵循的模式上扳开。而真实数据充满这样的污染。稳健统计是那套正是为抵抗这一点而设计的方法：给出一个反映数据主体的答案，而非被几个坏点挟持。

它独特而极其实用——与那套假设数据干净的经典工具箱是不同的心态。这一页讲为什么标准方法会崩、我们度量稳健性的精确方式（崩溃点）、抵抗性的替代品（中位数、MAD、M 估计量），以及稳健性所逼出的那个判断：修方法，还是调查离群值？它建立在统计学和数据准备页之上。

一个坏点如何劫持一切

这种脆弱来自平方。均值和最小二乘都最小化平方误差，而平方给了离群值巨大的杠杆：一个离十个单位远的点，对损失贡献一百，于是估计值会不惜代价去迁就它。[1, 2, 3, 4, 1000] 的均值是 202——一个没有任何数据点靠近的值，是对「数据落在哪里」一个无用的概括。一个点，全面扭曲。

同样的事发生在回归线上：单单一个高杠杆的离群值，就能把整个拟合旋转过去，产出一条歪曲了其他每个点都展示的那种关系的线。既然在真实数据里离群值是常态、而非例外，一套经不起它们的工具箱就是一项负担—— 这正是稳健方法的全部动机。

崩溃点：度量稳健性

稳健性有一个精确、漂亮的度量：崩溃点——在估计量给出一个无意义（无界地错误）的答案之前，数据中可以被任意污染的那个比例。它是这个领域的标志性数字。

崩溃点：一个估计经得起多少污染。均值在 0% 就崩溃——单单一个被推向无穷的点，就把均值拖向无穷。中位数撑到将近一半数据被污染（50% 崩溃）——位置的最稳健估计。

均值的崩溃点是 0%——单单一个被推向无穷的点就把它拖向无穷。中位数的崩溃点是 50%——你可以污染（将近）一半的数据，而中位数仍然合理地坐落在好的那一半之中。50% 是可能的最大值（超过一半，「离群值」就是数据了），这使中位数成为存在的最稳健的集中趋势估计。那个差距——0% 对 50%——就是稳健统计的全部理由，浓缩在一个对比里。

抵抗性的基础：中位数与 MAD

那些脆弱的经典量的稳健替代品，是你已经半知半解的：

对集中趋势：用中位数代替均值——不受极端值有多极端的影响，只受每一侧坐落着多少个点的影响。
对离散程度：用 MAD（中位数绝对偏差）代替标准差。它是到中位数的绝对距离的中位数——一种对中位数的两阶段使用（中心，然后典型偏差），继承了它 50% 的崩溃点。标准差建立在平方偏差之上，会被单单一个离群值吹胀；MAD 则不当回事。

这些不只是替代品——它们是抵抗性的基础，也是为什么一次稳健的分析常常在做别的之前，先悄悄地把均值换成中位数、把标准差换成 MAD。

M 估计量与 Huber 损失

中位数稳健，但扔掉了信息（它忽略实际的值，只看它们的顺序），所以当数据确实干净时它效率较低。M 估计量是优雅的中间地带：不是最小化平方误差（它过度加权离群值）或绝对误差（稳健但效率较低），而是用一个对小残差表现得像平方误差、对大残差表现得像绝对误差的损失。著名的例子是 Huber 损失：

L_\delta(r) = \begin{cases} \tfrac{1}{2}r^2 & |r| \le \delta \\[4pt] \delta\,(|r| - \tfrac{1}{2}\delta) & |r| > \delta \end{cases}

在阈值 $\delta$ 之下，它是高效的平方损失；之上，损失只线性增长，于是一个遥远的离群值的影响被封顶，而非二次地爆炸。那一个弯就是全部的诀窍——它平滑地降低离群值的权重，同时在表现良好的大多数上保持最小二乘的统计效率。M 估计量给你一个在稳健性与效率之间可调的旋钮，这正是为什么 Huber 损失也作为一个损失函数出现在机器学习里。

稳健回归

同样的脆弱，以及同样的修法，适用于回归。普通最小二乘可能被一个高杠杆的点旋转，而稳健回归抵抗它：

最小绝对偏差（最小化绝对而非平方残差）——回归里中位数的对应物。
Huber / M 估计量回归——上面那种平滑的降权，应用到拟合上。
RANSAC——在随机子集上拟合，保留最多点认同的那个模型，明确地把离群值当作「非共识」忽略掉。在计算机视觉里常见。

它们都有同一个目标：找到数据主体所支持的那条线，而非几个走失的点所要求的那条。

稳健化，还是调查？

稳健统计逼出一个容易搞错的判断，而它是最重要的部分：

（还有那个诚实的代价：当数据真的是干净、表现良好的时候，稳健方法比经典方法稍微低效一点——为你通常都有的、防污染的保险所付的一个小价钱。）

它在我工作中的体现

经得起脏数据的估计

真实的政府数据很脏——打字错误、传感器错误、键入错误的条目、真实的极端案例——所以均值和最小二乘的脆弱是一个活生生的风险，而非教科书的脚注。稳健统计给我的最有价值的本能，是在污染有可能时，用中位数和 MAD而非均值和标准差，这样一小撮坏记录不至于悄悄劫持一个概括或一个拟合的关系。崩溃点（均值 0%，中位数 50%）是记住为什么的那个干脆的方式。

但那个判断才是真正的教训：稳健 ≠ 忽略。廉政或情报数据里的一个离群值，可能正是那个要紧的案件——所以我稳健化那个中心估计，并调查那个离群值（异常检测的心态），而非让一个方法悄悄替我决定。它连到数据准备（处理离群值）、分位数回归（中位数回归是稳健的），以及那个更宏大的主题——不要让几个点在任一方向上把你骗了。

60 秒回顾

均值、标准差和最小二乘都脆弱——它们最小化平方误差，所以一个离群值获得巨大的杠杆，劫持估计。
崩溃点度量稳健性——在估计变得无意义之前你能污染的数据比例。均值 = 0%，中位数 = 50%（最大值）。
抵抗性的基础：中位数（对均值）和 MAD（对标准差）——都是 50% 崩溃。
M 估计量（例如 Huber 损失）= 对小残差用平方误差、对大的用线性——封顶一个离群值的影响，同时保持效率。一个可调的稳健性/效率旋钮。
稳健回归：最小绝对偏差、Huber、RANSAC——拟合主体所支持的那条线。
关键的判断：稳健 ≠ 删除。稳健化估计，并调查离群值——它可能就是信号。（数据干净时有小的效率代价。）

崩溃点、中位数/MAD 的抵抗性、Huber 损失 M 估计量，以及稳健化对调查的判断，反映了当前的稳健统计参考文献以及课程。