Lineare Regression

Ein Modell ist eine Maschine mit Drehknöpfen. Ihr Beispiele zu geben — Eingaben samt richtigen Antworten — und an den Knöpfen zu drehen, bis die Antworten stimmen, heißt Training. Die allererste Maschine mit Drehknöpfen ist die lineare Regression.

Sie nimmt an, die Welt sehe aus wie Antwort = Gewicht × Eingabe + Bias. Das Gewicht sagt, wie steil die Beziehung ist; der Bias (Achsenabschnitt) sagt, wo die Gerade bei Eingabe null beginnt. Zwei Knöpfe, eine Gerade, unendlich viele Anpassungen.

Ziehen Sie für jeden Datenpunkt die Wahrheit von der Vorhersage ab, erhalten Sie das Residuum: den senkrechten Abstand vom Punkt zur Geraden. Positiv heißt, die Gerade liegt zu tief, negativ zu hoch.

Würde man Residuen einfach addieren, könnte eine Gerade, die hier 100 zu hoch und dort 100 zu tief liegt, perfekt abschneiden. Deshalb quadrieren wir jedes Residuum. Quadrieren entfernt das Vorzeichen und bestraft große Fehler viel härter als kleine. Der Mittelwert dieser Quadrate ist der mittlere quadratische Fehler (MSE) — die Anzeigetafel.

Stellen Sie sich eine riesige Tabelle vor: Zeilen sind Gewichte, Spalten sind Bias-Werte, und jede Zelle enthält den MSE dieses Paares. Zeichnen Sie diese Zellen als Landschaft — Höhe ist Fehler, Boden sind Knopfwerte — und die lineare Regression ergibt immer eine glatte konvexe Schüssel mit genau einem tiefsten Punkt.

Die Neigung unter Ihren Füßen hat einen Namen: der Gradient. Er zeigt bergauf, also treten Sie in die Gegenrichtung. Die Größe Ihres Schritts ist die Lernrate (α). Zu klein und das Training kriecht; zu groß und Sie springen über das Tal und prallen an der gegenüberliegenden Wand ab.

let w = 0, b = 0;
const lr = 0.01;

for (let epoch = 0; epoch < 400; epoch++) {
  let gradW = 0, gradB = 0;

  for (const { x, y } of data) {
    const residual = (w * x + b) - y;  // prediction - truth
    gradW += 2 * residual * x;         // dMSE/dw
    gradB += 2 * residual;             // dMSE/db
  }

  gradW /= data.length;                // average over the batch
  gradB /= data.length;

  w -= lr * gradW;                     // step downhill
  b -= lr * gradB;
}

1. 1Vorhersagen: jedes Beispiel durch die aktuellen Knöpfe schicken.
2. 2Messen: Residuen berechnen und zu einer Verlustzahl verdichten.
3. 3Beschuldigen: berechnen, wie viel jeder Knopf beitrug (der Gradient).
4. 4Korrigieren: beide Knöpfe leicht gegen den Gradienten verschieben.
5. 5Wiederholen, bis der Verlust nicht mehr besser wird.

Diese Fünf-Schritt-Schleife ändert sich nie wieder. Ein Sprachmodell mit 400 Milliarden Parametern läuft durch dieselbe Schleife — nur Knöpfe und Verlust werden aufwendiger.

Lineare Regression setzt vier Dinge voraus: die Beziehung ist grob gerade, Fehler sind unabhängig, ihre Streuung ist konstant und kein einzelner Punkt dominiert. Brich eine davon, und die Anpassung kann sicher wirken und trotzdem falsch sein.

• Ausreißer: ein riesiger Wert zieht die ganze Gerade, weil Fehler quadriert werden.
• Krümmung: Umsatz gegen Preis ist keine Gerade. Geben Sie dem Modell x und x², passt es eine Kurve an — weiterhin »lineare« Regression, linear in ihren Parametern.
• Extrapolation: eine Gerade aus Häusern von 50–200 m² sagt nichts Verlässliches über eine Villa mit 5.000 m².
• Korrelation ≠ Kausalität: eine Gerade kann perfekt sein und die Geschichte dahinter Unsinn.