学习地图卷三 · 自然语言处理:让机器读懂语言的几十年接力。 原文:轩辕的编程宇宙 · AI 大模型学习
有了表示和学习能力,接下来要看机器如何一步步学会处理语言:从「数数」到「记忆」,每一代方案都在给上一代打补丁。
14 语言的概率游戏:N-gram
不懂语法、不懂语义,光靠「数数」能不能接出下一个词?
- 思路:用统计代替理解,
P(wₜ | wₜ₋₁, …, wₜ₋ₙ₊₁)直接用语料中的出现频率估计。 - 常见形式:Bigram(看前 1 个词)、Trigram(看前 2 个词)。
- 局限:上下文窗口固定、数据稀疏(没见过的组合概率为 0)、参数量随词表指数爆炸。
js
// bigram 条件概率
P(w2 | w1) = count(w1, w2) / count(w1);关键点:N-gram 证明了「语言可以被概率化」,但还没有真正「理解」。
15 词向量
为什么「国王 − 男人 + 女人 ≈ 女王」?词的含义如何变成坐标?
- 把词映射成稠密向量(Word2Vec、GloVe),语义相近的词在空间中彼此靠近。
- 训练方式:Skip-gram(用中心词预测上下文)、CBOW(用上下文预测中心词)。
- 向量运算能捕捉语义关系,这是「分布式表示」的核心收益。
js
// 语义类比:vec("国王") - vec("男人") + vec("女人") ≈ vec("女王")关键点:词向量解决了稀疏与泛化问题,让「相似」在语义层面可计算。
16 前馈神经网络语言模型
N-gram 的稀疏灾难是怎么被绕开的?
- 用神经网络代替查表:输入前 n-1 个词的词向量,拼接后过一层隐藏层,输出下一个词的概率分布。
- 泛化来自词向量共享:没见过的组合也能给出合理概率。
- 局限:窗口仍然固定,n 一变大,输入层就膨胀。
关键点:这一步把「统计语言模型」推进成了「神经网络语言模型」。
17 RNN 循环神经网络
固定窗口看不到更早的词——能不能给网络装上「记忆」?
- 隐藏状态在时间步之间传递:
hₜ = f(Wxₜ + Uhₜ₋₁ + b)。 - 理论上能利用任意长的历史,参数量不随序列长度增长。
- 问题:长距离依赖会梯度消失/爆炸,训练时难以并行。
js
// 每个时间步复用同一组参数
h = tanh(Wx[t] + U * hPrev + b);关键点:RNN 用「状态」换来了记忆,但记忆并不牢靠。
18 LSTM 长短期记忆网络
RNN 的记忆为什么传不远?——给记忆装上「阀门」
- 引入细胞状态
C与三个门:遗忘门、输入门、输出门。 - 门用 Sigmoid 输出 0~1 的比例,决定「留多少、写多少、读多少」。
- 细胞状态近似线性传递,梯度可以更稳定地穿过很多时间步。
js
// 三个门
f = σ(Wf[h, x] + bf); // 遗忘
i = σ(Wi[h, x] + bi); // 输入
o = σ(Wo[h, x] + bo); // 输出
C = f * Cprev + i * tanh(Wc[h, x] + bc);
h = o * tanh(C);关键点:门控解决了「记多久」的问题,但串行计算的天花板仍然存在——这正是 Transformer 要拆掉的。
小结
| 模型 | 解决的问题 | 遗留的不足 |
|---|---|---|
| N-gram | 用概率处理语言 | 稀疏、窗口固定 |
| 词向量 | 语义可计算、缓解稀疏 | 词义不分语境 |
| 前馈语言模型 | 泛化到未见组合 | 窗口仍固定 |
| RNN | 引入记忆、共享参数 | 梯度消失、难并行 |
| LSTM | 门控保留长距离信息 | 串行计算、仍非全局 |
学完这一卷,语言模型的「历史包袱」已经摆在明面上。下一卷进入大语言模型。