Skip to content

学习地图卷四 · 大语言模型:从注意力机制到 ChatGPT。 原文:轩辕的编程宇宙 · AI 大模型学习

卷三留下了两个死结:长距离依赖记不住、序列计算无法并行。这一卷看 Transformer 如何一次拆掉它们,并一路长成今天的 ChatGPT。

19 注意力机制 ​

「它太累了」——「它」指谁?让每个词自己决定该看向哪里。

  • 每个 token 生成三个向量:Query(我在找什么)、Key(我能提供什么)、Value(我实际携带的信息)。
  • 打分 Q·K 得到相关性,Softmax 归一化后作为权重,对 V 加权求和。
  • 公式:Attention(Q, K, V) = softmax(QKᵀ / √d) V,√d 用于缩放,防止点积过大导致梯度饱和。
js
// 缩放点积注意力
scores = (Q * K^T) / sqrt(d);
weights = softmax(scores);
output = weights * V;

关键点:注意力不是「注意」,而是按相关性检索信息——一次看到全局,且可并行。

20 多头注意力 ​

一句话里既有指代、又有语法、又有情感——一个「头」忙得过来吗?

  • 把 Q/K/V 拆成多组,各自独立做注意力,再拼接、过一层线性变换。
  • 不同的头可以学到不同的关系(指代、句法、位置等)。
  • 代价可控:总维度不变,只是把维度切分到多个子空间。

关键点:多头 = 多种视角并行观察,把「一个关系」升级为「一组关系」。

21 Transformer 架构 ​

把注意力、FFN、残差拼在一起——2017 年那篇论文到底做了什么?

  • 每层包含两个子层:多头自注意力、前馈网络(FFN),各自外面套残差 + 层归一化。
  • 位置信息靠位置编码注入,因为注意力本身不区分顺序。
  • 编码器堆叠用于理解,解码器堆叠 + 掩码注意力用于生成。
text
输入 → 位置编码 → [多头注意力 → Add&Norm → FFN → Add&Norm] × N → 输出

关键点:Transformer = 注意力负责「取信息」,FFN 负责「做变换」,残差负责「保梯度」。

22 Tokenizer 分词器 ​

模型眼里的「字」是什么?为什么 strawberry 数不对 r 的个数?

  • 模型处理的基本单位不是字符、也不是词,而是 token(子词)。
  • 常见算法:BPE(按频率合并高频字符对)、WordPiece、SentencePiece。
  • 「strawberry」会被切成若干 token,模型看到的是 token 序列,自然数不清字母个数。

关键点:tokenizer 决定了词表大小、序列长度与多语言能力,是模型能力的第一道边界。

23 编码器、解码器与大语言模型 ​

同样是 Transformer,BERT 为什么不能生成文章,GPT 为什么是主流?

类型结构训练目标擅长
Encoder-only(BERT)双向注意力完形填空(MLM)理解、分类、检索
Decoder-only(GPT)单向掩码注意力预测下一个 token生成、对话
Encoder-Decoder(T5)双向编码 + 自回归解码序列到序列翻译、摘要

关键点:Decoder-only 结构简单、目标统一、易扩展规模化,因此成了主流大模型的选择。

24 残差连接与层归一化 ​

96 层 Transformer——梯度怎么从第 96 层传回第 1 层而不消失?

  • 残差连接:y = x + F(x),给梯度留一条直通路径。
  • 层归一化:对每个样本的特征维度做归一化,稳定数值分布。
  • 现代实现多为 Pre-Norm(先归一化再进子层),训练更稳定,也不需精细的 warmup。

关键点:这两个「配件」不是技巧,而是深层网络能训起来的必要条件。

25 预训练 · 监督微调 · 强化学习 ​

「会接话」和「会帮忙」之间有一道鸿沟——ChatGPT 的三个训练阶段。

  1. 预训练(Pre-training):海量语料,目标是预测下一个 token,学到语言与知识。
  2. 监督微调(SFT):用高质量「指令 → 回答」数据,让模型学会按指令办事。
  3. 强化学习(RLHF / DPO):用人类偏好让回答更有用、更安全、更符合期望。

关键点:预训练提供能力,SFT 提供格式,RL 提供偏好与对齐。

26 KV 缓存、稀疏注意力与 FlashAttention ​

注意力的账单是 O(n²)——处理一本书,工程师用什么手段把它变快?

  • KV 缓存:自回归生成时缓存历史 K/V,避免每步重算,用空间换时间。
  • 稀疏 / 局部注意力:只算必要的 token 对,把 O(n²) 降下来。
  • FlashAttention:通过分块计算与 IO 优化,让显存占用和速度都更好——数学不变,工程变快。

关键点:这些优化都不改变「模型在算什么」,只改变「算得多快、多省」。

27 MoE 混合专家架构 ​

GPT-4 据说有 1.8 万亿参数——推理每次却只用其中一小部分,怎么做到的?

  • 把 FFN 拆成多个「专家」,由门控网络为每个 token 选择 Top-K 个专家。
  • 总参数可以极大,但每个 token 的实际计算量(激活参数)只占一小部分。
  • 代价是显存占用高、负载均衡和通信复杂。

关键点:MoE 把「参数规模」和「单次计算量」解耦——这是超大规模模型的关键一招。

28 模型蒸馏 ​

大模型的能力能「传授」给小模型吗——软标签里藏着什么「暗知识」?

  • 让学生模型拟合教师模型的输出分布(软标签),而不只是硬标签。
  • 软标签包含类别间的相对关系,这部分信息被称为「暗知识」。
  • 常见做法:蒸馏损失 = KL(教师分布 ‖ 学生分布),可与原始任务损失加权组合。

关键点:蒸馏压缩的是参数规模,但能保留相当一部分能力。

29 串讲:从 N-gram 到 Transformer ​

学了这么多细节,怎么把它们重新串成一条线?

  • 每一代技术,都是来解上一代死结的:稀疏 → 词向量 → 窗口 → RNN → 记忆衰减 → LSTM → 无法并行 → 注意力 → Transformer。
  • 主线始终没变:建模 P(下一个词 | 前文),变的只是用什么结构去逼近它。
  • 复杂度从「查表」升级到「全局检索 + 变换」,这是质变而非量变。

关键点:把知识串成因果链,比记住每个名词更重要。

30 前沿与未来:下一程 ​

ChatGPT 之后呢?

  • 更长上下文:从几万到百万 token,注意力与缓存是主要瓶颈。
  • 更高效的架构:MoE、线性注意力、状态空间模型(如 Mamba)等。
  • 多模态统一:文本、图像、音频、视频进入同一个表示空间。
  • Agent 与工具使用:从「会回答」到「会行动」。
  • 对齐与安全:能力增长的同时,可控性成为核心议题。

关键点:结构在变、规模在涨,但目标依旧是「用更少的计算,更准地预测下一个 token」。

小结 ​

环节关键概念解决的问题
信息交互注意力 / 多头长距离依赖 + 全局检索
基础结构Transformer可并行、可堆叠
输入处理Tokenizer文本 → 数字
训练稳定残差 + LayerNorm深层梯度与数值稳定
训练流程预训练 → SFT → RLHF能力 → 格式 → 对齐
推理加速KV 缓存 / FlashAttention速度与显存
规模扩展MoE参数与计算解耦
能力压缩蒸馏用小模型承接大模型

下一站:卷五 · 附录。

Released under the MIT License.