学习地图卷四 · 大语言模型:从注意力机制到 ChatGPT。 原文:轩辕的编程宇宙 · AI 大模型学习
卷三留下了两个死结:长距离依赖记不住、序列计算无法并行。这一卷看 Transformer 如何一次拆掉它们,并一路长成今天的 ChatGPT。
19 注意力机制
「它太累了」——「它」指谁?让每个词自己决定该看向哪里。
- 每个 token 生成三个向量:Query(我在找什么)、Key(我能提供什么)、Value(我实际携带的信息)。
- 打分
Q·K得到相关性,Softmax 归一化后作为权重,对V加权求和。 - 公式:
Attention(Q, K, V) = softmax(QKᵀ / √d) V,√d用于缩放,防止点积过大导致梯度饱和。
// 缩放点积注意力
scores = (Q * K^T) / sqrt(d);
weights = softmax(scores);
output = weights * V;关键点:注意力不是「注意」,而是按相关性检索信息——一次看到全局,且可并行。
20 多头注意力
一句话里既有指代、又有语法、又有情感——一个「头」忙得过来吗?
- 把 Q/K/V 拆成多组,各自独立做注意力,再拼接、过一层线性变换。
- 不同的头可以学到不同的关系(指代、句法、位置等)。
- 代价可控:总维度不变,只是把维度切分到多个子空间。
关键点:多头 = 多种视角并行观察,把「一个关系」升级为「一组关系」。
21 Transformer 架构
把注意力、FFN、残差拼在一起——2017 年那篇论文到底做了什么?
- 每层包含两个子层:多头自注意力、前馈网络(FFN),各自外面套残差 + 层归一化。
- 位置信息靠位置编码注入,因为注意力本身不区分顺序。
- 编码器堆叠用于理解,解码器堆叠 + 掩码注意力用于生成。
输入 → 位置编码 → [多头注意力 → Add&Norm → FFN → Add&Norm] × N → 输出关键点:Transformer = 注意力负责「取信息」,FFN 负责「做变换」,残差负责「保梯度」。
22 Tokenizer 分词器
模型眼里的「字」是什么?为什么 strawberry 数不对 r 的个数?
- 模型处理的基本单位不是字符、也不是词,而是 token(子词)。
- 常见算法:BPE(按频率合并高频字符对)、WordPiece、SentencePiece。
- 「strawberry」会被切成若干 token,模型看到的是 token 序列,自然数不清字母个数。
关键点:tokenizer 决定了词表大小、序列长度与多语言能力,是模型能力的第一道边界。
23 编码器、解码器与大语言模型
同样是 Transformer,BERT 为什么不能生成文章,GPT 为什么是主流?
| 类型 | 结构 | 训练目标 | 擅长 |
|---|---|---|---|
| Encoder-only(BERT) | 双向注意力 | 完形填空(MLM) | 理解、分类、检索 |
| Decoder-only(GPT) | 单向掩码注意力 | 预测下一个 token | 生成、对话 |
| Encoder-Decoder(T5) | 双向编码 + 自回归解码 | 序列到序列 | 翻译、摘要 |
关键点:Decoder-only 结构简单、目标统一、易扩展规模化,因此成了主流大模型的选择。
24 残差连接与层归一化
96 层 Transformer——梯度怎么从第 96 层传回第 1 层而不消失?
- 残差连接:
y = x + F(x),给梯度留一条直通路径。 - 层归一化:对每个样本的特征维度做归一化,稳定数值分布。
- 现代实现多为 Pre-Norm(先归一化再进子层),训练更稳定,也不需精细的 warmup。
关键点:这两个「配件」不是技巧,而是深层网络能训起来的必要条件。
25 预训练 · 监督微调 · 强化学习
「会接话」和「会帮忙」之间有一道鸿沟——ChatGPT 的三个训练阶段。
- 预训练(Pre-training):海量语料,目标是预测下一个 token,学到语言与知识。
- 监督微调(SFT):用高质量「指令 → 回答」数据,让模型学会按指令办事。
- 强化学习(RLHF / DPO):用人类偏好让回答更有用、更安全、更符合期望。
关键点:预训练提供能力,SFT 提供格式,RL 提供偏好与对齐。
26 KV 缓存、稀疏注意力与 FlashAttention
注意力的账单是 O(n²)——处理一本书,工程师用什么手段把它变快?
- KV 缓存:自回归生成时缓存历史 K/V,避免每步重算,用空间换时间。
- 稀疏 / 局部注意力:只算必要的 token 对,把 O(n²) 降下来。
- FlashAttention:通过分块计算与 IO 优化,让显存占用和速度都更好——数学不变,工程变快。
关键点:这些优化都不改变「模型在算什么」,只改变「算得多快、多省」。
27 MoE 混合专家架构
GPT-4 据说有 1.8 万亿参数——推理每次却只用其中一小部分,怎么做到的?
- 把 FFN 拆成多个「专家」,由门控网络为每个 token 选择 Top-K 个专家。
- 总参数可以极大,但每个 token 的实际计算量(激活参数)只占一小部分。
- 代价是显存占用高、负载均衡和通信复杂。
关键点:MoE 把「参数规模」和「单次计算量」解耦——这是超大规模模型的关键一招。
28 模型蒸馏
大模型的能力能「传授」给小模型吗——软标签里藏着什么「暗知识」?
- 让学生模型拟合教师模型的输出分布(软标签),而不只是硬标签。
- 软标签包含类别间的相对关系,这部分信息被称为「暗知识」。
- 常见做法:蒸馏损失 = KL(教师分布 ‖ 学生分布),可与原始任务损失加权组合。
关键点:蒸馏压缩的是参数规模,但能保留相当一部分能力。
29 串讲:从 N-gram 到 Transformer
学了这么多细节,怎么把它们重新串成一条线?
- 每一代技术,都是来解上一代死结的:稀疏 → 词向量 → 窗口 → RNN → 记忆衰减 → LSTM → 无法并行 → 注意力 → Transformer。
- 主线始终没变:建模
P(下一个词 | 前文),变的只是用什么结构去逼近它。 - 复杂度从「查表」升级到「全局检索 + 变换」,这是质变而非量变。
关键点:把知识串成因果链,比记住每个名词更重要。
30 前沿与未来:下一程
ChatGPT 之后呢?
- 更长上下文:从几万到百万 token,注意力与缓存是主要瓶颈。
- 更高效的架构:MoE、线性注意力、状态空间模型(如 Mamba)等。
- 多模态统一:文本、图像、音频、视频进入同一个表示空间。
- Agent 与工具使用:从「会回答」到「会行动」。
- 对齐与安全:能力增长的同时,可控性成为核心议题。
关键点:结构在变、规模在涨,但目标依旧是「用更少的计算,更准地预测下一个 token」。
小结
| 环节 | 关键概念 | 解决的问题 |
|---|---|---|
| 信息交互 | 注意力 / 多头 | 长距离依赖 + 全局检索 |
| 基础结构 | Transformer | 可并行、可堆叠 |
| 输入处理 | Tokenizer | 文本 → 数字 |
| 训练稳定 | 残差 + LayerNorm | 深层梯度与数值稳定 |
| 训练流程 | 预训练 → SFT → RLHF | 能力 → 格式 → 对齐 |
| 推理加速 | KV 缓存 / FlashAttention | 速度与显存 |
| 规模扩展 | MoE | 参数与计算解耦 |
| 能力压缩 | 蒸馏 | 用小模型承接大模型 |
下一站:卷五 · 附录。