Skip to content

学习地图卷二 · 神经网络:从一个神经元,到一台会学习的机器。 原文:轩辕的编程宇宙 · AI 大模型学习

上一卷解决了「如何表示」,这一卷解决「如何学习」:把表示喂给一张网,让它自己从数据里调整参数。

07 神经元结构 ​

一个只会「加权投票」的小开关,凭什么是智能的起点?

  • 神经元 = 输入的加权求和 + 偏置,再过一个非线性函数。
  • 公式:y = f(Σ wᵢ xᵢ + b),单个神经元能表达的只是一个带权重的判断。
  • 单独看很弱,但大量神经元并行排列,就能组合出复杂边界。
js
function neuron(x, w, b, f) {
  const z = x.reduce((s, xi, i) => s + xi * w[i], 0) + b;
  return f(z);
}

关键点:权重决定「看哪几个输入」,偏置决定「门槛高低」。

08 激活函数 ​

为什么一百层直线叠起来还是直线?

  • 线性叠加的复合仍是线性,没有激活函数,深网络等价于一个单层线性变换。
  • 激活函数给网络引入「弯折」,使其能逼近任意非线性函数。
  • 常见选择:ReLU(计算简单、缓解梯度消失)、Sigmoid(输出 0~1,易饱和)、Tanh(输出 -1~1)。
js
const relu = (z) => Math.max(0, z);
const sigmoid = (z) => 1 / (1 + Math.exp(-z));

关键点:激活函数的位置和形状,决定了网络的表达能力与训练难易。

09 神经网络与训练 ​

神经元叠成一张网,「训练」到底在做什么?

  • 网络 = 多层「线性变换 + 激活」的堆叠:y = f₂(W₂ f₁(W₁ x))。
  • 前向传播负责「算预测」,训练负责「让参数朝正确方向改动」。
  • 训练是一个循环:预测 → 算损失 → 求梯度 → 更新参数。

关键点:网络结构决定能表达什么,训练过程决定能否找到它。

10 损失函数 ​

「错得有多离谱」怎么变成一个可以比较的数?

  • 损失函数把预测与真实答案的差距压缩成一个标量,作为优化的目标。
  • 回归常用 MSE:L = (1/n) Σ (ŷ - y)²。
  • 分类常用交叉熵:预测越自信且正确,损失越接近 0。
js
const mse = (yHat, y) => yHat.reduce((s, v, i) => s + (v - y[i]) ** 2, 0) / y.length;

关键点:损失函数定义「好」的标准,选错了,训练方向就错了。

11 Softmax ​

一组任意大小的分数,怎么变成一组加起来等于 1 的概率?

  • 先取指数把负数变正、放大差距,再归一化:pᵢ = e^{zᵢ} / Σ e^{zⱼ}。
  • 输出可直接解释为「属于各类的概率」。
  • 实践中要减去最大值再取指数,防止上溢出。
js
function softmax(z) {
  const m = Math.max(...z);
  const e = z.map((v) => Math.exp(v - m));
  const sum = e.reduce((a, b) => a + b, 0);
  return e.map((v) => v / sum);
}

关键点:Softmax 是「分数 → 概率」的标准转换器,通常与交叉熵连用。

12 梯度下降与优化器 ​

知道了往哪边走是下坡,一步该迈多大?

  • 梯度下降:w = w - lr × grad,学习率决定步长。
  • 学习率太大会震荡甚至发散,太小则收敛极慢。
  • 优化器在梯度下降上加改进:Momentum(利用历史方向)、Adam(自适应学习率 + 动量)。
js
// 带动量的更新
v = beta * v + grad;
w = w - lr * v;

关键点:优化器不改变「方向对不对」,只改变「走得多快、多稳」。

13 反向传播 ​

输出层错了,第一层的某个权重该负多大责任?

  • 本质是链式法则:从损失往回逐层计算每个参数的偏导。
  • 前向传播缓存中间结果,反向时逐层复用,避免重复计算。
  • 参数越多,反向传播的效率优势越明显——这是深度学习能规模化的前提。

关键点:反向传播 = 自动求导的高效实现,是「训练」能落地的那一环。

小结 ​

概念一句话作用
神经元加权求和 + 非线性最基本的计算单元
激活函数引入弯折提供非线性表达能力
网络与训练多层堆叠 + 迭代更新从数据中学习
损失函数把误差压成一个数定义优化目标
Softmax分数转概率输出可解释的分布
优化器决定步长与方向修正收敛速度与稳定性
反向传播链式法则逐层求导高效计算梯度

学完这一卷,机器已经会「学习」了。下一卷进入自然语言处理。

Released under the MIT License.