学习地图卷一 · 基础数学:机器如何「看见」世界? 原文:轩辕的编程宇宙 · AI 大模型学习
模型的世界里没有「猫」和「老虎」,只有一串数字。这一卷要回答的问题是:如何把万物变成数字,并且让「相似」这件事可以被计算。
01 什么是向量
计算机只认识数字,它怎么知道「猫」和「老虎」比「猫」和「金鱼」更像?
- 向量就是一串有序数字,是机器对事物的表示(representation)。
- 一个词、一张图、一段音频,最终都会被编码成一个向量。
- 判断相似,不看标签,而看向量在空间中的位置与方向。
关键点:向量的维度决定表达能力,向量之间的距离决定「像不像」。
02 向量的常见运算
「相似」可以被计算吗?
- 加法:两个位移的合成,
a + b逐分量相加。 - 点积:
a·b = Σ aᵢ bᵢ,结果同时编码了长度与夹角。 - 余弦相似度:
cosθ = a·b / (|a| |b|),只关心方向,不关心长度。
js
// 余弦相似度
function cosine(a, b) {
let dot = 0, na = 0, nb = 0;
for (let i = 0; i < a.length; i++) {
dot += a[i] * b[i];
na += a[i] * a[i];
nb += b[i] * b[i];
}
return dot / (Math.sqrt(na) * Math.sqrt(nb));
}关键点:点积是「相似」的计算原型,注意力机制里的 Q·K 就是它在神经网络中的形态。
03 什么是矩阵
神经网络每一层把一组数字变成另一组数字——这个变换用什么来表示?
- 矩阵就是线性变换的参数表,一个
m × n矩阵表示从 n 维到 m 维的映射。 - 矩阵乘向量,本质是拿矩阵的每一行与向量做点积。
- 神经网络的一层,通常写作
y = Wx + b。
js
// y = Wx + b
function linear(W, x, b) {
return W.map((row, i) => row.reduce((s, w, j) => s + w * x[j], 0) + b[i]);
}关键点:矩阵不神秘,它只是把「一组权重」打包成了一个可批量计算的形状。
04 什么是线性变换
矩阵乘法到底在做什么?
- 把整个空间一起旋转、拉伸、缩放、切变,而不是逐个点地搬运。
- 只要知道基向量被映射到哪里,就确定了整个空间的走向。
- 平移不是线性变换,所以实际实现里用
+ b单独补上。
关键点:理解矩阵乘法,先想「空间怎么被搬动」,再想「数字怎么被乘加」。
05 什么是梯度
蒙着眼睛站在山坡上,怎么走到山谷最低点?
- 梯度是各偏导数组成的向量,指向函数增长最快的方向。
- 所以往梯度的反方向走,就是下降最快的方向。
- 更新公式:参数 = 参数 - 学习率 × 梯度。
js
// 梯度下降
w = w - lr * grad;关键点:学习率决定「一步迈多大」——太大越过山谷,太小走不到。
06 概率与信息
神经网络的输出为什么叫「概率」?
- 网络输出的是任意大小的分数(logits),需要经过 Softmax 才变成和为 1 的概率分布。
- 交叉熵衡量两个分布差多远:
L = -Σ yᵢ log pᵢ,正确类概率越接近 1,损失越小。 - 信息熵衡量不确定性,越均匀越高、越确定越低。
关键点:训练目标本质上是在「让预测分布逼近真实分布」,交叉熵就是这个逼近程度的度量。
小结
| 概念 | 一句话 | 在模型里的位置 |
|---|---|---|
| 向量 | 事物的数字表示 | 输入、词向量、隐藏状态 |
| 点积 / 余弦 | 相似度的计算方式 | 注意力打分 |
| 矩阵 | 线性变换的参数表 | 每一层的权重 W |
| 线性变换 | 对空间的整体搬动 | 特征变换 |
| 梯度 | 增长最快的方向 | 反向传播、参数更新 |
| 概率与信息 | 输出的可信度与差距 | Softmax、交叉熵损失 |
学完这一卷,机器才具备「看见」世界的能力。下一卷进入神经网络。