طريقة المربعات الصغرى

نادرًا ما تقع ثلاث نقاط على مستقيم واحد، لذا يفوّت كل مستقيم بعضًا منها. على اليسار تظهر النقاط وأفضل مستقيم وبواقيه، وهي الفروق الرأسية التي يساوي مجموع مربعاتها ⁦SSE⁩. وعلى اليمين تشكّل الارتفاعات الثلاثة نفسها متجهًا واحدًا في الفضاء، ويصبح إيجاد أفضل مستقيم هو إسقاط هذا المتجه على مستوى. يمكنك تحريك النقاط وتجربة مستقيم من اختيارك ومقارنة نموذجين أبسط.

لماذا تصبح البيانات نقطة واحدة؟ اكتب الارتفاعات الثلاثة في متجه واحد $\vec b = (y_1, y_2, y_3)$. إنه السهم الأزرق على اليمين، وتحمل المحاور الأسماء $y_1, y_2, y_3$ لأن كل محور يقيس ارتفاعًا. يأخذ المستقيم القيم $c + m x_i$ عند قيم $x_i$ الثلاث، وهو ما يعطي المتجه $c\,\mathbf 1 + m\,\vec x$ حيث $\mathbf 1 = (1, 1, 1)$. في النموذج العام $y = c + mx$، إذا لم تكن قيم $x_i$ كلها متساوية، تملأ هذه المتجهات المستوى الشفاف المار بـ $\mathbf 1$ و$\vec x$ مع تغيّر $c$ و$m$. إذن كل مستقيم يمكنك رسمه على اليسار يقابله نقطة في هذا المستوى.

اختر أي مستقيم. بواقيه هي إحداثيات $\vec b$ ناقص إحداثيات نقطته في المستوى، لذا فإن ⁦SSE⁩ له تساوي مربع المسافة بينهما. لذلك يقابل أفضل مستقيم النقطة $\vec p$ في المستوى الأقرب إلى $\vec b$، أي الإسقاط المتعامد. متجه البواقي $\vec r = \vec b - \vec p$ عمودي على المستوى، وبالتالي فهو عمودي على كل من $\mathbf 1$ و$\vec x$. وعند كتابة هاتين الزاويتين القائمتين بصيغة جبرية نحصل على المعادلتين الطبيعيتين:

عند تفعيل الزوايا القائمة والاتزان، تتحول البواقي إلى نوابض رأسية متساوية الصلابة. تتناسب محصلة قواها مع $\sum r_i$، وعزمها حول الأصل مع $\sum x_i r_i$. تجعل أفضل ملاءمة عامة كليهما صفرًا. أما النموذج الثابت فلا يتطلب إلا انعدام محصلة القوى، والمستقيم المار بالأصل لا يتطلب إلا انعدام العزم.

مستقيمك، المرسوم بالأحمر، ينتمي دائمًا إلى النموذج الحالي؛ لذا تقع نقطته $\vec q$ في المستوى أو المستقيم نفسه الذي يضم $\vec p$. والإزاحة من $\vec p$ إلى $\vec q$ تقع فيه أيضًا، بينما $\vec r$ عمودي عليه، فتقسّم مبرهنة فيثاغورس خطأك تقسيمًا دقيقًا. تبلغ ⁦SSE⁩ لمستقيمك قيمتها الصغرى إذا وفقط إذا كان $\vec q = \vec p$.

يحتفظ كل من النموذجين الأصغر بعمود واحد. ملاءمة $y = c$ تسقط $\vec b$ على المستقيم المار بـ $\mathbf 1$، وتكون قيمة $c$ هي متوسط الارتفاعات. أما ملاءمة $y = mx$ فتسقط على المستقيم المار بـ $\vec x$، أو على نقطة الأصل وحدها عندما تكون كل قيمة من قيم $x_i$ صفرًا. عندما لا تكون قيم $x_i$ كلها متساوية، يكون هذان مستقيمين مختلفين في المستوى. لا يحتوي أي نموذج على الآخر، ويعطي المستقيم العام ملاءمة لا تقل جودة عن كليهما. وهذا الإسقاط نفسه هو جوهر الانحدار الخطي.