الانحدار الخطي

النموذج آلة لها مقابض. إعطاؤه أمثلة — مدخلات مع الإجابات الصحيحة — وإدارة المقابض حتى تصحّ الإجابات يُسمى التدريب. وأول آلة تُدار مقابضها بهذه الطريقة هي الانحدار الخطي.

يفترض أن العالم يشبه الإجابة = الوزن × المدخل + الانحياز. الوزن يحدّد مدى حدّة العلاقة، والانحياز (التقاطع) يحدّد من أين يبدأ الخط عندما يكون المدخل صفرًا. مقبضان، خط واحد، وعدد لا نهائي من الملاءمات.

لكل نقطة بيانات، اطرح الحقيقة من التوقّع فتحصل على البواقي: المسافة العمودية من النقطة إلى الخط. القيمة الموجبة تعني أن الخط منخفض جدًا، والسلبية أنه مرتفع جدًا.

لو جمعنا البواقي لتساوت خطوط كثيرة: خط يعلو بمقدار 100 في موضع وينخفض بمقدار 100 في موضع آخر قد يحصل على درجة كاملة. لذلك نربّع كل باقٍ أولًا. التربيع يلغي الإشارة ويعاقب الأخطاء الكبيرة أشد بكثير من الصغيرة. ومتوسط تلك المربعات هو متوسط الخطأ التربيعي (MSE) — لوحة النتائج.

تخيّل جدولًا ضخمًا: الصفوف أوزان والأعمدة انحيازات، وفي كل خلية قيمة MSE لذلك الزوج. ارسم هذه الخلايا كتضاريس — الارتفاع هو الخطأ والأرض هي قيم المقابض — وسيعطيك الانحدار الخطي دائمًا قصعة محدَّبة ناعمة لها نقطة منخفضة واحدة بالضبط.

للانحدار تحت قدمك اسم: التدرّج. إنه يشير إلى الأعلى، لذا تخطو في الاتجاه المعاكس. وحجم خطوتك هو معدّل التعلّم (α). صغير جدًا فيزحف التدريب؛ أو كبير جدًا فتعبر الوادي وترتدّ عن الجدار المقابل.

let w = 0, b = 0;
const lr = 0.01;

for (let epoch = 0; epoch < 400; epoch++) {
  let gradW = 0, gradB = 0;

  for (const { x, y } of data) {
    const residual = (w * x + b) - y;  // prediction - truth
    gradW += 2 * residual * x;         // dMSE/dw
    gradB += 2 * residual;             // dMSE/db
  }

  gradW /= data.length;                // average over the batch
  gradB /= data.length;

  w -= lr * gradW;                     // step downhill
  b -= lr * gradB;
}

1. 1تنبّأ: مرّر كل مثال عبر المقابض الحالية.
2. 2قِس: احسب البواقي واجمّعها في رقم خسارة واحد.
3. 3حاسِب: احسب مقدار مساهمة كل مقبض (التدرّج).
4. 4صحّح: حرّك المقبضين قليلًا عكس التدرّج.
5. 5كرّر حتى تتوقّف الخسارة عن التحسّن.

هذه الحلقة الخماسية لا تتغيّر مرة أخرى أبدًا. نموذج لغوي بـ400 مليار معامل يشغّل الحلقة نفسها، لكن المقابض والخسارة تصبح أكثر تعقيدًا فقط.

يفترض الانحدار الخطي أربعة أمور: أن العلاقة شبه مستقيمة، وأن الأخطاء مستقلة، وأن انتشارها ثابت، وأن لا نقطة واحدة تهيمن. اكسر أحدها فقد تبدو الملاءمة واثقة وهي مخطئة.

• القيم المتطرفة: قيمة ضخمة واحدة تسحب الخط كله لأن الأخطاء مربّعة.
• الانحناء: المبيعات مقابل السعر ليست خطًا. أعطِ النموذج x وx² فيلائم منحنى — ويبقى «انحدارًا خطيًا»، أي خطيًا في معاملاته.
• الاستقراء: خط ملائم لمنازل بمساحة 50–200 متر مربع لا يقول شيئًا موثوقًا عن قصر بمساحة 5,000 متر مربع.
• الارتباط ≠ السببية: قد يكون الخط مثاليًا والقصة وراءه هراء.