大语言模型

大语言模型——ChatGPT、Claude 以及当前这波 AI 背后的技术——既可能让人觉得像魔法，也可能让人觉得像威胁，而这两种反应都妨碍了把它们用好。理解它们最清晰的方式，是从其核心那个让人泄气的真相出发：一个 LLM 是一个下一个词元预测器。给它一段文本，它预测最可能的下一块、把它接上去，然后重复。就这样。这些模型身上每一件了不起的事、每一件令人沮丧的事，都源自那一个机制，只不过是在一个真的难以想象的规模上执行的。

这一页从那个机制出发把 LLM 搭起来——驱动它的 transformer、塑造它的训练、引导它的提示，以及你必须尊重才能负责任地使用它们的诚实局限（尤其是幻觉）。它把本板块各处的深度学习、NLP、强化学习与检索线索汇聚到一起。

大规模的下一个词预测器

在其核心，一个 LLM 建模的是在给定之前的一切的条件下、下一个词元（一个词或词片）的概率：

P(\text{token}_t \mid \text{token}_1, \text{token}_2, \dots, \text{token}_{t-1})

为了生成文本，它从那个分布里采样一个词元、把它加到输入上、再预测一次——一次一个词元，自回归地。过去几年里惊人的发现是：当你在一个足够大的模型上、用足够多的文本训练这个简单目标时，你从未显式编程过的能力——翻译、摘要、算术、看似的推理——会作为副产品涌现出来。为了在全人类的书写之上把下一个词预测好，模型被迫学到了大量关于那些书写所描述的世界的东西。目标的简单，掩盖了达成它所需之物的深度。

transformer 引擎

让这一切奏效的架构是 transformer，来自深度学习页，而它的关键部件是自注意力。在处理每一个词元时，注意力让模型能看向上下文里每一个其他词元、并衡量每一个与当前这个有多相关——于是它能把「它」解析到正确的名词、把一个问题连到它的答案，并在长段落里追踪意义。

注意力的两个性质，解释了为什么是 transformer、而非更老的序列模型驱动了这场革命：它直接捕获长程关系（任何词元都能注意到任何其他词元，无论相隔多远），而且它在一个序列上漂亮地并行，正是这一点让在互联网规模的数据上训练在计算上变得可行。transformer 是引擎；规模是燃料。

预训练：阅读整个互联网

预训练是模型学习的地方。它被展示一个庞大的语料库——大部分公开互联网、书籍、代码——并通过梯度下降被训练去预测每一个位置上的下一个词元。不需要标签；文本就是它自己的监督（下一个词就是答案），这就是为什么它能消化数以万亿计的原始文本词。

近来这些跃迁背后的经验引擎是缩放定律：当你把模型规模、数据与算力一起增大时，模型能力可预测地提升。把这三者推得足够远，新的能力就会出现——有时是突然地。这也是为什么这些模型如此昂贵、且集中在少数几个实验室手里：预训练一个前沿模型耗费巨大的算力。你从中得到的是一个基座模型——流畅、有知识，但原始、还不能作为助手使用。那需要第二个阶段。

从基座模型到助手

一个原始的基座模型只会续写文本——问它一个问题，它可能回你更多问题，因为那是一个合理的续写。把它变成一个有帮助的、安全的助手，需要再两个阶段：

三个训练阶段。预训练产出一个流畅但原始的下一个词元预测器；指令微调教它遵循请求；RLHF 让它与人类对有用与安全的偏好对齐。只有在这三者之后，它才是你与之交互的那个助手。

指令微调（监督微调）——在「指令配以好的回应」的样例上进一步训练，教模型去回答，而非只是续写。
RLHF（基于人类反馈的强化学习）——人类对模型的输出排序，一个奖励模型学到那些偏好，而 LLM 被调校去最大化那个奖励——把它推向有帮助、诚实、无害的回答。

上下文学习与提示

让 LLM 如此灵活的那个惊人能力是上下文学习：你只需在提示里描述一个新任务（或展示几个例子），就能让模型去做它，无需重新训练。什么都不给就问它（零样本），或给几个做好的例子（少样本），它就当场适应。模型并不是在训练的意义上学习——它的权重不变——它是在从上下文里识别出任务的模式，并把它续写下去。

这就是为什么提示成了一门技能：你如何框定请求，会实质地改变输出。一个有用的小技巧是思维链——让模型「一步一步地想」——它常常能改善推理，因为生成那些中间步骤，给了它更多相关的词元来条件化答案。这一切都发生在上下文窗口之内：模型一次能注意到的、固定的词元预算。任何在它之外的东西——一段长对话里更早的内容，或一份你没粘贴进来的文档——根本就看不见。

它为何会自信地编造

最重要、需要内化的局限：一个 LLM 没有真相的概念。它生成的是最合理的续写，而非最正确的——而当一个听起来流畅的谬误，比一个别扭的真相更可能时（或者模型干脆就「不知道」），它会带着十足的自信产出那个谬误。这就是幻觉，而它不是一个能被完全打补丁修掉的 bug——它对一个建模可能性、而非事实的系统而言是内在的。

为它锚定：RAG

针对幻觉与知识截止，领先的实用修法是检索增强生成（RAG）。你不依赖模型冻结的记忆，而是先检索相关的文档（通过搜索或嵌入）、把它们粘进上下文，再让模型从那些文档里回答。LLM 于是变成一个可信、当前、可引用的知识来源之上的推理与语言层。

这就是为什么有数十年历史的信息检索机械，忽然坐到了现代 AI 的中心——RAG 里的「R」正是那个检索步骤。它大幅减少（尽管没有消除）编造、让模型能引用它的来源，并在不重新训练的情况下保持它的时效。这是「问一个模型它记得什么」与「让它阅读并摘要你递给它的东西」之间的差别——后者可信得多，也是大多数严肃的 LLM 应用的基础。

它在我工作中的体现

一件强大的工具，用之以纪律

LLM 现在是日常工具箱的一部分——起草、摘要长文档、转换与解释文本、写代码与调试代码。这份理解买来的最重要的一样东西，是那个正确的心智模型：它是一个流畅的下一个词元预测器，而非一个知识库，所以我在语言工作上倚靠它（它擅长之处），并核实每一个事实性断言（它不可信之处），因为幻觉是内在的，而非偶发的。

在政府的环境里，那份纪律没得商量——一份简报里一个自信的编造，比没有答案更糟——这就是为什么RAG（把模型锚定在真实、可引用的文档上）才是真正适合须问责工作的模式，也是为什么它直接连到检索。懂得那套机械——截止点、偏见、RLHF 驱动的过度自信——正是把批判性地使用这些工具，与被它们误导，区分开来的东西。

60 秒回顾

一个 LLM 是一个巨大规模上的下一个词元预测器—— $P(\text{token}_t \mid \text{token}_{1..t-1})$ 。能力从把这件事做好中涌现。
引擎是 transformer + 自注意力（长程 + 可并行）。在互联网规模文本上预训练（自监督）；缩放定律驱动这些跃迁。
三个阶段：预训练（原始）→ 指令微调（遵循请求）→RLHF（对齐人类——但有阿谀奉承的风险）。
上下文学习：在提示里描述/展示任务（零/少样本、思维链）——无需重新训练；受上下文窗口限制。
幻觉是内在的——它建模可能性，而非真相。再加上知识截止、偏见、RLHF 的过度自信。核实每一个事实性断言。
RAG 为它锚定：检索真实文档 → 从中回答。那个「R」就是信息检索——可信赖 LLM 应用的基础。

下一个词元/transformer 的取景、预训练→SFT→RLHF 的流程、幻觉内在性这一点，以及把 RAG 当作锚定，反映了当前的 LLM 参考文献以及亲身的使用。