Regresión lineal

Un modelo es una máquina con mandos. Darle ejemplos —entradas junto con las respuestas correctas— y girar los mandos hasta que las respuestas salgan bien se llama entrenamiento. La primera máquina de girar mandos es la regresión lineal.

Supone que el mundo se parece a respuesta = peso × entrada + sesgo. El peso indica cuán pronunciada es la relación; el sesgo (ordenada en el origen) indica dónde empieza la recta cuando la entrada vale cero. Dos mandos, una recta, infinitos ajustes posibles.

Para cada punto de datos, resta la verdad a la predicción y obtienes el residuo: la distancia vertical del punto a la recta. Positivo significa que la recta queda demasiado baja; negativo, demasiado alta.

Sumar los residuos permitiría que una recta que va 100 por encima en un punto y 100 por debajo en otro puntuara perfecto. Por eso elevamos al cuadrado cada residuo. El cuadrado elimina el signo y castiga mucho más los errores grandes que los pequeños. La media de esos cuadrados es el error cuadrático medio (MSE), el marcador.

Imagina una hoja de cálculo gigante: las filas son pesos, las columnas son sesgos y cada celda contiene el MSE de ese par. Dibuja esas celdas como un paisaje —altura = error, suelo = valores de los mandos— y la regresión lineal siempre da un cuenco convexo y suave con exactamente un punto bajo.

La pendiente bajo tus pies tiene nombre: el gradiente. Apunta hacia arriba, así que das un paso en dirección contraria. El tamaño de ese paso es la tasa de aprendizaje (α). Demasiado pequeña y el entrenamiento se arrastra; demasiado grande y saltas al otro lado del valle y rebotas en la pared opuesta.

let w = 0, b = 0;
const lr = 0.01;

for (let epoch = 0; epoch < 400; epoch++) {
  let gradW = 0, gradB = 0;

  for (const { x, y } of data) {
    const residual = (w * x + b) - y;  // prediction - truth
    gradW += 2 * residual * x;         // dMSE/dw
    gradB += 2 * residual;             // dMSE/db
  }

  gradW /= data.length;                // average over the batch
  gradB /= data.length;

  w -= lr * gradW;                     // step downhill
  b -= lr * gradB;
}

1. 1Predecir: pasa cada ejemplo por los mandos actuales.
2. 2Medir: calcula los residuos y redúcelos a un solo número de pérdida.
3. 3Culpar: calcula cuánto contribuyó cada mando (el gradiente).
4. 4Corregir: mueve ambos mandos un poco a contracorriente del gradiente.
5. 5Repetir hasta que la pérdida deje de mejorar.

Ese bucle de cinco pasos nunca vuelve a cambiar. Un modelo de lenguaje de 400 mil millones de parámetros ejecuta el mismo bucle: solo se vuelven más elaborados los mandos y la pérdida.

La regresión lineal supone cuatro cosas: que la relación es más o menos recta, que los errores son independientes, que su dispersión es constante y que ningún punto domina. Rompe una y el ajuste puede parecer seguro mientras está equivocado.

• Valores atípicos: un valor enorme arrastra toda la recta porque los errores van al cuadrado.
• Curvatura: ventas frente a precio no es una recta. Da al modelo x y x² y ajustará una curva; sigue siendo regresión «lineal», lineal en sus parámetros.
• Extrapolación: una recta ajustada con casas de 50 a 200 m² no dice nada fiable sobre un palacete de 5.000 m².
• Correlación ≠ causalidad: una recta puede ser perfecta y la historia que hay detrás, un disparate.