线性回归

模型是一台带旋钮的机器。给它例子——输入加上正确答案——然后不断转动旋钮直到答案正确，这个过程叫训练。历史上第一台会转旋钮的机器就是线性回归。

它假设世界看起来像 答案 = 权重 × 输入 + 偏置。权重表示关系有多陡；偏置（截距）表示输入为零时直线从哪里开始。两个旋钮、一条直线，却有无数种拟合方式。

对每个数据点，用预测值减去真实值，得到残差——点到直线的垂直距离。正数表示直线太低，负数表示太高。

如果直接把残差相加，一条在某处高 100、在另一处低 100 的直线反而会得满分。所以我们要先把每个残差平方。平方消除了符号，并且对大错误的惩罚远重于小错误。这些平方值的平均数就是均方误差（MSE）——记分板。

想象一张巨大的表格：行是权重，列是偏置，每个格子里放着这一对参数的 MSE。把这些格子画成地形——高度是误差，地面是旋钮取值——线性回归永远给出一个平滑的凸碗，只有一个最低点。

脚下的坡度有个名字：梯度。它指向上升方向，所以你要朝相反方向迈步。步子大小就是学习率（α）。太小训练慢如蜗牛；太大你就会跳过山谷、在对面墙上弹回来。

let w = 0, b = 0;
const lr = 0.01;

for (let epoch = 0; epoch < 400; epoch++) {
  let gradW = 0, gradB = 0;

  for (const { x, y } of data) {
    const residual = (w * x + b) - y;  // prediction - truth
    gradW += 2 * residual * x;         // dMSE/dw
    gradB += 2 * residual;             // dMSE/db
  }

  gradW /= data.length;                // average over the batch
  gradB /= data.length;

  w -= lr * gradW;                     // step downhill
  b -= lr * gradB;
}

1. 1预测：把每个例子送入当前旋钮。
2. 2衡量：计算残差，并归并成一个损失数值。
3. 3归责：计算每个旋钮贡献了多少（梯度）。
4. 4修正：让两个旋钮沿梯度的反方向稍微移动。
5. 5重复，直到损失不再改善。

这个五步循环再也不会改变。一个 4000 亿参数的语言模型跑的也是同一个循环——只是旋钮和损失更复杂了。

线性回归假设四件事：关系大致是直的、误差相互独立、误差离散程度恒定、没有哪个点占主导。破坏其中一条，拟合可能看起来很自信，其实是错的。

• 离群点：因为误差被平方，一个极大的数值会把整条直线拖过去。
• 曲率：销量对价格不是直线。给模型喂 x 和 x²，它就能拟合曲线——这仍然是「线性」回归，只是对其参数线性。
• 外推：用 50–200 平方米的房子拟合出的直线，对一栋 5000 平方米的宅邸毫无可信度。
• 相关 ≠ 因果：直线可以完美，而它背后的故事完全荒谬。