高斯过程

01

函数之上的分布

让 GP 特别的那个概念性飞跃：它不是为函数假设一个形式（线性、二次）再估计它的参数，而是直接在所有可能函数的空间之上放一个概率分布，然后用数据把它 收窄。在看到数据之前，GP 表示「任何光滑的函数都有可能」；看到数据之后，它变成「穿过（或靠近） 这些点、而在它们之间可以是任何样子的函数」。

这是非参数的——没有一个带固定数量系数的固定方程；模型的复杂度随数据而增长。而 因为它是函数之上的一个分布，任何一点处的预测本身就是一个分布——一个均值与一个方差——而这恰恰是 那诚实的不确定性的来源。

02

直觉：联合高斯

形式化的定义出奇地干净：一个高斯过程是一组随机变量，其任何有限子集都是联合高斯的。说得更白些——对任何一组输入点，那些点处的 函数值都服从一个多元正态分布。一个 GP 由一个均值函数（往往就是零）和一个协方差函数完全确定：

模型的全部行为，都活在那个协方差函数 $k(x, x')$——核——之中， 它说明函数的值在两个输入 $x$ 与 $x'$ 处有多相关。 那是这个方法的核心，所以值得多停留一会儿。

03

核：假设栖身之处

核编码你对函数的先验信念，也是你做的那唯一一个真正的选择。它的核心想法直观而 熟悉：在输入空间里彼此靠近的点，应当有相似的输出值——恰恰是空间统计里的Tobler 第一定律，这并非巧合，因为克里金就是 一个 GP。

最常见的核（RBF / 平方指数）让两点之间的相关随距离平滑地衰减，由一个长度尺度控制——小的长度尺度意味着函数抖动得快（只有非常邻近的点才相关）；大的意味着它光滑、缓慢变化。 其他核编码周期性（对季节性数据）或粗糙度。选择核，就是你告诉 GP 该期待什么样的函数的 方式——而把它选对，是建模工作的大部分。

04

对数据条件化：后验

魔法在此，而它是纯粹的贝叶斯更新。从 GP先验出发（按核来的所有光滑函数）。观测一些数据点。把 GP 对它们条件化——而 因为一切都是联合高斯的，数学算得出闭式解：结果是另一个 GP，那个后验，带着更新过的 均值与协方差。

后验均值是你最好的预测；后验方差是不确定性——而那关键、漂亮的 性质是：方差在观测数据附近缩小、在远离它处增长。GP 知道它不知道什么：让它在 远离任何数据处预测，它就会这么说，用一条宽带，而非自信地外推出胡话。那种被校准的、感知位置的 不确定性，是没有任何普通回归会免费给你的。

05

它在哪里出彩

GP 在不确定性与小数据要紧之处挣得它们的身价：

• 贝叶斯优化——杀手级应用。要用很少的评估次数调那些昂贵的东西（模型超参数、实验 设置），一个 GP 给目标及其不确定性建模，而你在GP 既有希望、又不确定之处采样下一个—— 用最少的试验高效地探索。
• 空间与地统计——克里金恰恰是 空间之上的一个 GP；在采样点之间带不确定性地预测一个量，就是 GP 回归（对气候/环境工作是天然 契合）。
• 小数据科学——当数据稀少而昂贵时（实验、仿真），一个 GP 的灵活性与内建的不确定性， 胜过一个会过拟合的大模型。

06

诚实的局限

GP 优雅，但并非万能：

07

它在我工作中的体现

08

60 秒回顾

函数之上的分布的取景、核/协方差的角色、闭式的后验，以及 O(n³) 的缩放极限，反映了当前的高斯 过程参考文献以及贝叶斯机器学习课程。