主动学习与半监督学习

01

标注的瓶颈

经济账很赤裸：要训练一个分类器，你需要带标签的样本，而每一个标签都得由一个人来创建——一位 医生标记扫描图、一名分析师给案件打标签、某人转录音频。那才是昂贵的、限速的一步。与此同时， 那些数据的无标签版本却在免费地堆积。自然的问题随之而来：我们能否靠利用无标签的丰盈， 仅从一个小的带标签数据集，就得到一个大的带标签数据集大部分的准确度？这里的两种方法都回答 「能」——以不同的方式。

02

半监督：从无标签的那一堆里学

半监督学习把一个小的带标签集加上一个大的无标签集放在 一起训练，让无标签数据的结构来磨利模型。两种常见的机制：

• 自训练 / 伪标注——在带标签数据上训练一个模型，用它为无标签数据预测标签，把其中最有把握的那些保留为伪标签，再在扩大了的集合上重新训练。模型自举 自己，用它自己有把握的猜测来教自己。
• 标签传播——建一张图把 相似的点连起来，然后让那少数已知的标签沿着边扩散到它们无标签的邻居。标签像染料在 水中那样流向邻近的点。

两者都把廉价的无标签数据变成额外的（近似的）训练信号——但前提是一个关键的假设成立。

03

无标签数据究竟何时有帮助？

无标签数据不是魔法——只有当它的结构告诉你一些关于标签的事情时，它才有帮助。让那成立的 那些假设：

• 聚类假设——同一个稠密簇里的点倾向于 共享一个标签，所以无标签数据揭示出簇（从而决策边界）在哪里。
• 流形假设——数据躺在一个更低维的曲面上，标签沿着它平滑地变化（那个低维结构的想法）。
• 平滑性假设——在一个高密度区域里彼此靠近的点，应该得到相同的标签。

04

主动学习：选择标注什么

主动学习从另一侧攻击成本。它不随机地标注数据，而是让模型选择哪些样本最 值得标注——然后由一个人只标注那些。既然预算很小，把它花在最有信息量的点上 （而非随机的点），每个标签就能换来一个好得多的模型。

它怎么挑？常见的策略都瞄准信息量：

• 不确定性采样——标注模型最没把握的点（在它决策边界附近）。解决那些，教它 的最多。（知道有多没把握，连到不确定性 量化。）
• 委员会查询——训练好几个模型；标注它们分歧最大的点，因为分歧标记出了 真正模棱两可的个案。

05

自监督：现代的表亲

值得一提，因为它驱动着当今最大的那些模型：自监督学习通过一个前置任务，从 无标签数据本身制造标签——从其余部分预测输入被藏起来的一部分（预测下一个词；补全一张图像被遮 住的一块）。完全没有人类标签，模型却学到丰富、通用的表示，之后可以在一个小的带标签集上微调。 这正是 LLM 被预训练的方式（下一个词元的 预测就是一个自监督的前置任务），也是迄今找到的、大规模利用无标签数据最强大的方式。

06

它在哪里出错

两种路子都有一个值得尊重的、特征性的失败模式：

07

它在我工作中的体现

08

60 秒回顾

半监督的假设、伪标注/标签传播的方法、主动学习的查询策略，以及确认偏误的告诫，反映了当前的参考 文献以及机器学习课程。