层次模型与混合效应模型

01

当数据成组而来

核心问题在于，标准模型假设观测独立——但成组的数据 违反了这一点。一组内的观测是相关的（它们共享让这一组成其为组的那个东西），所以把它们当作独立， 会夸大你真正拥有多少信息，并产出过度自信的结论——与空间自相关一模一样的陷阱，只不过这里由组的 成员身份、而非地理来驱动。

更糟的是，你往往真的在意那些组：各学校有何不同？哪些站点偏热？你想要每组的 估计，对每一组实际有多少数据保持诚实。而这正是那两个朴素的办法都栽跟头之处。

02

两个诱人却错误的答案

面对成组的数据，本能是两个极端之一——而两者都有缺陷：

• 完全汇集——彻底忽略那些组；把所有数据扔进一个模型。这抹去了真实的组间 差异，假装每一所学校都是平均的。你恰恰丢掉了你想要的那个组层面的信号。
• 无汇集——为每一组拟合一个完全独立的模型。这会疯狂地过拟合小组： 一所只有三名学生的学校，得到一个基于三个带噪点的估计，却被当作和一所有三千名学生的学校一样 可靠。微小的组产出荒谬、不可信的估计。

一个把组扔掉；另一个不论组的大小盲目地信任每一组。对的答案，住在它们之间——而那个「之间」，就是 全部的洞见。

03

部分汇集：两全其美

部分汇集是那个优雅的折中：给每一组它自己的估计，但把那个估计朝总体平均拉，拉的 幅度取决于这一组有多少数据。一个数据丰富的组，它的估计贴近它自己的数据；一个 数据贫乏的组，它的估计被强力地朝全局均值拉，向所有其他组借力。

正式地做，这之所以奏效，是因为模型把组效应本身当作从一个共享分布——一个组的分布——中 抽出来的，所以估计一个组的效应，会用上关于组在总体上如何变异的信息。那就是被精确化了的「借力」， 也是为什么部分汇集的估计，平均而言比任何一个极端都更接近真相。

04

收缩：可见的签名

部分汇集可见的效果是收缩：极端的组估计被朝总体均值拉（「收缩」），而且组 越小、越吵，被拉得越狠。一个只有一个狂野数据点的组，没法声称一个狂野的估计——模型正确 地说「那大概是噪声」，并把它拽回均值附近。

05

固定对随机效应

那套让所有人都犯晕的词汇，说简单了。一个固定效应，是你具体在意、并想直接比较的 一个变量的单一估计值（比方说，某个处理的总体效应）。一个随机效应，是组层面的变异， 被建模为从一个分布中抽出来的偏差——用于当那些组是从一个更大的总体里抽出的一个样本、而 你在意的是它们之间的变异、而非逐个的它们时。

一个混合效应模型，无非是两者都有——固定效应对应你要估计的总体层面的关系，随机效应 对应组的结构。那个「随机」的部分，恰恰是交付部分汇集的东西：通过假设组效应来自一个共同的分布， 模型就在它们之间共享信息。（这也是为什么层次模型天然是贝叶斯的——那个共享分布，是组效应上的一个先验。）

06

随机截距与随机斜率

组可以以两种方式不同，而模型可以捕获其中之一或两者：

• 随机截距——每一组有它自己的基线水平（有些学校整体上就是分数更高），但一个预测 因子的效应在各组间是共享的。
• 随机斜率——关系本身随组变化（学习时长对成绩的效应，在某些学校比别的 更强）。更灵活，也更消耗数据。

选择允许哪一个，是一个建模决定：随机斜率捕获得更多，但需要足够多的组、以及每组足够的数据，才能 可靠地估计。一如既往，你放进去的结构，应当匹配你相信数据里有的结构——不多不少，否则它不会收敛。

07

它在我工作中的体现

08

60 秒回顾

完全/无/部分汇集的取景、把收缩看作正则化的直觉，以及固定对随机效应的区分，反映了当前的多层建模 参考文献以及统计学课程。