概率图模型

对一个变量在不确定下进行推理，是贝叶斯的故事。但真实的问题涉及许多相互关联的不确定变量——症状与疾病、原因与结果、信号与状态——而对所有这些变量的完整联合分布，大得像天文数字。概率图模型（PGM）用一个漂亮的洞见让这变得可处理：把变量之间的依赖关系画成一张图，而那张图既把分布压缩成可管理的小块，又告诉你如何用它来推理。它是概率论与图论相遇的地方，支撑着大量现代的概率 AI。

它把你已经见过的几条线索系在一起——它是贝叶斯的，它的图就是因果推断里那些同样的DAG，而学习它的结构就是因果发现。这一页讲核心的想法（把独立性化为图）、贝叶斯网络、图如何把联合分布因子分解，以及你如何用证据来推理。

驯服那个不可能的联合分布

关于一组变量你想知道的一切，原则上都在它们的联合分布里——每一种取值组合的概率。问题在于规模：仅仅 30 个是/否变量，联合分布就有超过十亿个条目。你存不下它，更别说从数据中估计它、或用它来计算。必须利用某种结构，而拯救我们的那个结构是独立性——大多数变量并不直接依赖于大多数其他变量。

把条件独立化为图

核心的想法：一张图编码了哪些变量（在条件上）独立于哪些。每个变量是一个节点；两个节点之间的一条边意味着一个直接的依赖；一条缺失的边断言一个条件独立（「一旦我知道了它的父节点，这个变量就再也告诉不了我关于那个变量的任何东西」）。这张图是依赖结构一张紧凑的、人可读的地图——而关键的是，那些独立性假设，正是把那个不可能的联合分布缩成某个又小又可计算的东西的原因。

贝叶斯网络

最常见的 PGM 是贝叶斯网络（或称信念网络）：一个有向无环图（DAG，与因果图同样的结构），其中每个节点只依赖于它的父节点。每个节点带着一张小表——它在给定父节点下的概率——而那个局部的信息，加上这张图，就完整地指定了整个联合分布。

一个经典的贝叶斯网络。雨和洒水器各自都能让草地变湿；雨还影响洒水器是否运行。这张图说草地只依赖于雨和洒水器——于是那个庞大的联合分布因子分解成三个小的局部片段。

那个经典的玩具例子：雨和一个洒水器各自都能让草地变湿，而雨还影响洒水器是否运行。三个节点、几张小表——你就捕捉到了一个可以推理的完整联合分布。

因子分解：为什么它可处理

数学上的回报是因子分解。一个贝叶斯网络说，完整的联合分布就是每个变量在给定其父节点下概率的乘积：

P(X_1, \dots, X_n) = \prod_{i=1}^{n} P\big(X_i \mid \text{parents}(X_i)\big)

这就是一行里的全部魔法。你不是存一张覆盖所有变量的巨大的表，而是存许多小表（每个节点一张，大小只由它那几个父节点决定）。30 个变量那个十亿条目的联合分布，坍缩成了一小撮小表——可存储、可学习、可计算。图里缺失的边，正是许可这次因子分解的那些独立性假设：结构买来了可处理性。

用证据推理：推断

建这个模型的意义在于推断——回答形如 $P(\text{query} \mid \text{evidence})$ 的问题：「在草地是湿的、并且天阴的情况下，下过雨的概率是多少？」你把观测到的变量钳制到它们的取值上，然后计算你关心的那些变量上更新后的分布——贝叶斯的信念更新，在网络中传播。

学习模型

一个 PGM 有两样东西要学：参数（概率表，在给定图的情况下——通常从数据中可以直接得到）和结构（图本身——哪些边存在）。从观测数据中学习结构，正是因果发现，连同它所有的困难（你往往只能恢复出一个等价类）。实践中结构常常来自领域知识——一个专家画出依赖图——而只学习参数，这是一个真正的强项：PGM 让你编码你所知道的，并学习其余的。

它在我工作中的体现

不确定下透明的推理

PGM 在有许多相互关联的不确定变量、且你需要既有原则又可解释的推理之处最重要。与黑箱模型不同，一个贝叶斯网络展示它的推理——这张图是一份「什么依赖于什么」的可审计地图，而像「在给定这个证据下，这是更新后的概率」这样的一次推断，可以在它上面被追溯。在一个需要问责的场景里，那种透明度是真正有价值的：你不仅能为答案辩护，还能为推理的结构辩护。

它还统一了好几页：它是带许多变量的贝叶斯更新，它的 DAG 就是因果推断的图，学习它的结构是因果发现，而它的推断呼应GNN 的消息传递。需要的纪律是尊重那个推断代价——在纠缠的图上精确推理很难，所以你依靠近似——以及这个模型的好坏，只取决于你编码进去的依赖结构。

60 秒回顾

许多变量上的完整联合分布大得像天文数字——PGM 靠利用独立性来驯服它。
一张图编码条件独立：节点 = 变量，一条缺失的边 = 一个独立性。一份紧凑、可读的依赖地图。
一个贝叶斯网络是一个 DAG，其中每个节点依赖于它的父节点；用每个节点的小表，它指定了整个联合分布。
因子分解 $P(X_1..X_n)=\prod_i P(X_i\mid \text{parents})$ 把一张巨大的表变成许多小表——可存储、可学习、可计算。
推断 = $P(\text{query}\mid\text{evidence})$ 。在树上容易（信念传播）；一般而言 NP 难 → MCMC / 近似。
学习参数（容易）+ 结构（= 因果发现，或来自领域知识）。强项：透明、可解释的推理。

把独立性化为图的想法、贝叶斯网络的因子分解，以及精确对近似推断的框架，反映了当前的概率图模型参考文献以及课程。