Doğrusal Regresyon

Bir model, düğmeleri olan bir makinedir. Ona örnekler vermek — girdiler ve doğru cevaplar — ve cevaplar doğru çıkana kadar düğmeleri çevirmek eğitim olarak adlandırılır. Düğme çeviren ilk makine doğrusal regresyondur.

Dünyanın cevap = ağırlık × girdi + sapma gibi göründüğünü varsayar. Ağırlık ilişkinin ne kadar dik olduğunu söyler; sapma (kesişim) girdi sıfırken doğrunun nerede başladığını gösterir. İki düğme, bir doğru, sonsuz sayıda olası uydurma.

Her veri noktası için tahminden gerçeği çıkarın; kalanı (residual) elde edersiniz: noktanın doğruya dikey uzaklığı. Pozitif değer doğrunun çok altta kaldığını, negatif değer çok üstte olduğunu gösterir.

Kalanları toplasaydık, bir yerde 100 fazla, başka yerde 100 eksik olan bir doğru kusursuz puan alırdı. Bu yüzden her kalanı önce karesini alırız. Kare alma işareti yok eder ve büyük hataları küçüklerden çok daha sert cezalandırır. Bu karelerin ortalaması ortalama kareler hatasıdır (MSE) — skorboard.

Dev bir tablo düşünün: satırlar ağırlıklar, sütunlar sapmalar ve her hücre o çiftin MSE'sini tutuyor. Bu hücreleri bir manzara olarak çizin — yükseklik hata, zemin düğme değerleri — ve doğrusal regresyon her zaman tek bir dip noktası olan pürüzsüz bir konveks kâse verir.

Ayağınızın altındaki eğimin bir adı var: gradyan. Yukarıyı gösterir, bu yüzden ters yöne adım atarsınız. Adımınızın büyüklüğü öğrenme oranıdır (α). Çok küçükse eğitim sürünür; çok büyükse vadinin karşısına atlar ve karşı duvardan geri seker.

let w = 0, b = 0;
const lr = 0.01;

for (let epoch = 0; epoch < 400; epoch++) {
  let gradW = 0, gradB = 0;

  for (const { x, y } of data) {
    const residual = (w * x + b) - y;  // prediction - truth
    gradW += 2 * residual * x;         // dMSE/dw
    gradB += 2 * residual;             // dMSE/db
  }

  gradW /= data.length;                // average over the batch
  gradB /= data.length;

  w -= lr * gradW;                     // step downhill
  b -= lr * gradB;
}

1. 1Tahmin et: her örneği mevcut düğmelerden geçir.
2. 2Ölç: kalanları hesapla ve tek bir kayıp sayısına indir.
3. 3Suçla: her düğmenin ne kadar katkıda bulunduğunu hesapla (gradyan).
4. 4Düzelt: iki düğmeyi gradyanın tersine biraz kaydır.
5. 5Kayıp iyileşmeyi durdurana kadar tekrarla.

Bu beş adımlı döngü bir daha asla değişmez. 400 milyar parametreli bir dil modeli aynı döngüyü çalıştırır; yalnızca düğmeler ve kayıp daha ayrıntılı hâle gelir.

Doğrusal regresyon dört şeyi varsayar: ilişki kabaca düzdür, hatalar bağımsızdır, yayılımları sabittir ve tek bir nokta baskın değildir. Birini bozun ve uydurma kendinden emin görünürken yanlış olabilir.

• Aykırı değerler: hatalar kareye alındığı için tek bir dev değer tüm doğruyu kendine çeker.
• Eğrilik: satış ile fiyat bir doğru değildir. Modele x ve x² verin, bir eğri uydurur; yine de «doğrusal» regresyondur, parametrelerinde doğrusal.
• Dışdeğerleme: 50-200 m²'lik evlerle uydurulan doğru, 5.000 m²'lik bir konak için güvenilir hiçbir şey söylemez.
• Korelasyon ≠ nedensellik: doğru kusursuz olabilir, arkasındaki hikâye ise saçma.