学习地图卷二 · 神经网络:从一个神经元,到一台会学习的机器。 原文:轩辕的编程宇宙 · AI 大模型学习
上一卷解决了「如何表示」,这一卷解决「如何学习」:把表示喂给一张网,让它自己从数据里调整参数。
07 神经元结构
一个只会「加权投票」的小开关,凭什么是智能的起点?
- 神经元 = 输入的加权求和 + 偏置,再过一个非线性函数。
- 公式:
y = f(Σ wᵢ xᵢ + b),单个神经元能表达的只是一个带权重的判断。 - 单独看很弱,但大量神经元并行排列,就能组合出复杂边界。
js
function neuron(x, w, b, f) {
const z = x.reduce((s, xi, i) => s + xi * w[i], 0) + b;
return f(z);
}关键点:权重决定「看哪几个输入」,偏置决定「门槛高低」。
08 激活函数
为什么一百层直线叠起来还是直线?
- 线性叠加的复合仍是线性,没有激活函数,深网络等价于一个单层线性变换。
- 激活函数给网络引入「弯折」,使其能逼近任意非线性函数。
- 常见选择:ReLU(计算简单、缓解梯度消失)、Sigmoid(输出 0~1,易饱和)、Tanh(输出 -1~1)。
js
const relu = (z) => Math.max(0, z);
const sigmoid = (z) => 1 / (1 + Math.exp(-z));关键点:激活函数的位置和形状,决定了网络的表达能力与训练难易。
09 神经网络与训练
神经元叠成一张网,「训练」到底在做什么?
- 网络 = 多层「线性变换 + 激活」的堆叠:
y = f₂(W₂ f₁(W₁ x))。 - 前向传播负责「算预测」,训练负责「让参数朝正确方向改动」。
- 训练是一个循环:预测 → 算损失 → 求梯度 → 更新参数。
关键点:网络结构决定能表达什么,训练过程决定能否找到它。
10 损失函数
「错得有多离谱」怎么变成一个可以比较的数?
- 损失函数把预测与真实答案的差距压缩成一个标量,作为优化的目标。
- 回归常用 MSE:
L = (1/n) Σ (ŷ - y)²。 - 分类常用交叉熵:预测越自信且正确,损失越接近 0。
js
const mse = (yHat, y) => yHat.reduce((s, v, i) => s + (v - y[i]) ** 2, 0) / y.length;关键点:损失函数定义「好」的标准,选错了,训练方向就错了。
11 Softmax
一组任意大小的分数,怎么变成一组加起来等于 1 的概率?
- 先取指数把负数变正、放大差距,再归一化:
pᵢ = e^{zᵢ} / Σ e^{zⱼ}。 - 输出可直接解释为「属于各类的概率」。
- 实践中要减去最大值再取指数,防止上溢出。
js
function softmax(z) {
const m = Math.max(...z);
const e = z.map((v) => Math.exp(v - m));
const sum = e.reduce((a, b) => a + b, 0);
return e.map((v) => v / sum);
}关键点:Softmax 是「分数 → 概率」的标准转换器,通常与交叉熵连用。
12 梯度下降与优化器
知道了往哪边走是下坡,一步该迈多大?
- 梯度下降:
w = w - lr × grad,学习率决定步长。 - 学习率太大会震荡甚至发散,太小则收敛极慢。
- 优化器在梯度下降上加改进:Momentum(利用历史方向)、Adam(自适应学习率 + 动量)。
js
// 带动量的更新
v = beta * v + grad;
w = w - lr * v;关键点:优化器不改变「方向对不对」,只改变「走得多快、多稳」。
13 反向传播
输出层错了,第一层的某个权重该负多大责任?
- 本质是链式法则:从损失往回逐层计算每个参数的偏导。
- 前向传播缓存中间结果,反向时逐层复用,避免重复计算。
- 参数越多,反向传播的效率优势越明显——这是深度学习能规模化的前提。
关键点:反向传播 = 自动求导的高效实现,是「训练」能落地的那一环。
小结
| 概念 | 一句话 | 作用 |
|---|---|---|
| 神经元 | 加权求和 + 非线性 | 最基本的计算单元 |
| 激活函数 | 引入弯折 | 提供非线性表达能力 |
| 网络与训练 | 多层堆叠 + 迭代更新 | 从数据中学习 |
| 损失函数 | 把误差压成一个数 | 定义优化目标 |
| Softmax | 分数转概率 | 输出可解释的分布 |
| 优化器 | 决定步长与方向修正 | 收敛速度与稳定性 |
| 反向传播 | 链式法则逐层求导 | 高效计算梯度 |
学完这一卷,机器已经会「学习」了。下一卷进入自然语言处理。