Skip to content

学习地图卷一 · 基础数学:机器如何「看见」世界? 原文:轩辕的编程宇宙 · AI 大模型学习

模型的世界里没有「猫」和「老虎」,只有一串数字。这一卷要回答的问题是:如何把万物变成数字,并且让「相似」这件事可以被计算。

01 什么是向量 ​

计算机只认识数字,它怎么知道「猫」和「老虎」比「猫」和「金鱼」更像?

  • 向量就是一串有序数字,是机器对事物的表示(representation)。
  • 一个词、一张图、一段音频,最终都会被编码成一个向量。
  • 判断相似,不看标签,而看向量在空间中的位置与方向。

关键点:向量的维度决定表达能力,向量之间的距离决定「像不像」。

02 向量的常见运算 ​

「相似」可以被计算吗?

  • 加法:两个位移的合成,a + b 逐分量相加。
  • 点积:a·b = Σ aᵢ bᵢ,结果同时编码了长度与夹角。
  • 余弦相似度:cosθ = a·b / (|a| |b|),只关心方向,不关心长度。
js
// 余弦相似度
function cosine(a, b) {
  let dot = 0, na = 0, nb = 0;
  for (let i = 0; i < a.length; i++) {
    dot += a[i] * b[i];
    na += a[i] * a[i];
    nb += b[i] * b[i];
  }
  return dot / (Math.sqrt(na) * Math.sqrt(nb));
}

关键点:点积是「相似」的计算原型,注意力机制里的 Q·K 就是它在神经网络中的形态。

03 什么是矩阵 ​

神经网络每一层把一组数字变成另一组数字——这个变换用什么来表示?

  • 矩阵就是线性变换的参数表,一个 m × n 矩阵表示从 n 维到 m 维的映射。
  • 矩阵乘向量,本质是拿矩阵的每一行与向量做点积。
  • 神经网络的一层,通常写作 y = Wx + b。
js
// y = Wx + b
function linear(W, x, b) {
  return W.map((row, i) => row.reduce((s, w, j) => s + w * x[j], 0) + b[i]);
}

关键点:矩阵不神秘,它只是把「一组权重」打包成了一个可批量计算的形状。

04 什么是线性变换 ​

矩阵乘法到底在做什么?

  • 把整个空间一起旋转、拉伸、缩放、切变,而不是逐个点地搬运。
  • 只要知道基向量被映射到哪里,就确定了整个空间的走向。
  • 平移不是线性变换,所以实际实现里用 + b 单独补上。

关键点:理解矩阵乘法,先想「空间怎么被搬动」,再想「数字怎么被乘加」。

05 什么是梯度 ​

蒙着眼睛站在山坡上,怎么走到山谷最低点?

  • 梯度是各偏导数组成的向量,指向函数增长最快的方向。
  • 所以往梯度的反方向走,就是下降最快的方向。
  • 更新公式:参数 = 参数 - 学习率 × 梯度。
js
// 梯度下降
w = w - lr * grad;

关键点:学习率决定「一步迈多大」——太大越过山谷,太小走不到。

06 概率与信息 ​

神经网络的输出为什么叫「概率」?

  • 网络输出的是任意大小的分数(logits),需要经过 Softmax 才变成和为 1 的概率分布。
  • 交叉熵衡量两个分布差多远:L = -Σ yᵢ log pᵢ,正确类概率越接近 1,损失越小。
  • 信息熵衡量不确定性,越均匀越高、越确定越低。

关键点:训练目标本质上是在「让预测分布逼近真实分布」,交叉熵就是这个逼近程度的度量。

小结 ​

概念一句话在模型里的位置
向量事物的数字表示输入、词向量、隐藏状态
点积 / 余弦相似度的计算方式注意力打分
矩阵线性变换的参数表每一层的权重 W
线性变换对空间的整体搬动特征变换
梯度增长最快的方向反向传播、参数更新
概率与信息输出的可信度与差距Softmax、交叉熵损失

学完这一卷,机器才具备「看见」世界的能力。下一卷进入神经网络。

Released under the MIT License.