Skip to content

学习地图卷三 · 自然语言处理:让机器读懂语言的几十年接力。 原文:轩辕的编程宇宙 · AI 大模型学习

有了表示和学习能力,接下来要看机器如何一步步学会处理语言:从「数数」到「记忆」,每一代方案都在给上一代打补丁。

14 语言的概率游戏:N-gram ​

不懂语法、不懂语义,光靠「数数」能不能接出下一个词?

  • 思路:用统计代替理解,P(wₜ | wₜ₋₁, …, wₜ₋ₙ₊₁) 直接用语料中的出现频率估计。
  • 常见形式:Bigram(看前 1 个词)、Trigram(看前 2 个词)。
  • 局限:上下文窗口固定、数据稀疏(没见过的组合概率为 0)、参数量随词表指数爆炸。
js
// bigram 条件概率
P(w2 | w1) = count(w1, w2) / count(w1);

关键点:N-gram 证明了「语言可以被概率化」,但还没有真正「理解」。

15 词向量 ​

为什么「国王 − 男人 + 女人 ≈ 女王」?词的含义如何变成坐标?

  • 把词映射成稠密向量(Word2Vec、GloVe),语义相近的词在空间中彼此靠近。
  • 训练方式:Skip-gram(用中心词预测上下文)、CBOW(用上下文预测中心词)。
  • 向量运算能捕捉语义关系,这是「分布式表示」的核心收益。
js
// 语义类比:vec("国王") - vec("男人") + vec("女人") ≈ vec("女王")

关键点:词向量解决了稀疏与泛化问题,让「相似」在语义层面可计算。

16 前馈神经网络语言模型 ​

N-gram 的稀疏灾难是怎么被绕开的?

  • 用神经网络代替查表:输入前 n-1 个词的词向量,拼接后过一层隐藏层,输出下一个词的概率分布。
  • 泛化来自词向量共享:没见过的组合也能给出合理概率。
  • 局限:窗口仍然固定,n 一变大,输入层就膨胀。

关键点:这一步把「统计语言模型」推进成了「神经网络语言模型」。

17 RNN 循环神经网络 ​

固定窗口看不到更早的词——能不能给网络装上「记忆」?

  • 隐藏状态在时间步之间传递:hₜ = f(Wxₜ + Uhₜ₋₁ + b)。
  • 理论上能利用任意长的历史,参数量不随序列长度增长。
  • 问题:长距离依赖会梯度消失/爆炸,训练时难以并行。
js
// 每个时间步复用同一组参数
h = tanh(Wx[t] + U * hPrev + b);

关键点:RNN 用「状态」换来了记忆,但记忆并不牢靠。

18 LSTM 长短期记忆网络 ​

RNN 的记忆为什么传不远?——给记忆装上「阀门」

  • 引入细胞状态 C 与三个门:遗忘门、输入门、输出门。
  • 门用 Sigmoid 输出 0~1 的比例,决定「留多少、写多少、读多少」。
  • 细胞状态近似线性传递,梯度可以更稳定地穿过很多时间步。
js
// 三个门
f = σ(Wf[h, x] + bf);   // 遗忘
i = σ(Wi[h, x] + bi);   // 输入
o = σ(Wo[h, x] + bo);   // 输出
C = f * Cprev + i * tanh(Wc[h, x] + bc);
h = o * tanh(C);

关键点:门控解决了「记多久」的问题,但串行计算的天花板仍然存在——这正是 Transformer 要拆掉的。

小结 ​

模型解决的问题遗留的不足
N-gram用概率处理语言稀疏、窗口固定
词向量语义可计算、缓解稀疏词义不分语境
前馈语言模型泛化到未见组合窗口仍固定
RNN引入记忆、共享参数梯度消失、难并行
LSTM门控保留长距离信息串行计算、仍非全局

学完这一卷,语言模型的「历史包袱」已经摆在明面上。下一卷进入大语言模型。

Released under the MIT License.