الانحدار الخطي

يتنبأ الانحدار الخطي البسيط بقيمة $y$ من $x$ باستخدام مستقيم المربعات الصغرى $\hat y = a + bx$: المستقيم الذي يحقق أصغر مجموع لمربعات البواقي. باقي النقطة $e = y - \hat y$ هو مقدار ارتفاعها فوق المستقيم، ويكون سالبًا تحته. عندما تكون النقاط قليلة، يرتبط بكل باقٍ مربع، فيصبح المجموع مساحة تراها. يمكنك إزاحة مستقيمك وتدويره بحثًا عن الحد الأدنى، ومقارنة المستقيم الملائم بسحابة محاكاة من 1000 نقطة.

لماذا يمر المستقيم بالمركز $(\bar x, \bar y)$؟ اكتب أي مستقيم على الصورة $y = h + b(x - \bar x)$، حيث $h$ ارتفاعه عند $\bar x$. مجموع بواقيه $n(\bar y - h)$، وينقسم مجموع مربعاتها إلى جزأين:

هنا $S_{xx}$ و$S_{yy}$ و$S_{xy}$ هي مجاميع مربعات الانحرافات عن المتوسطات وحواصل ضربها. يعتمد الجزء الأول على الارتفاع وحده، والثاني على الميل وحده، لذا يكون أفضل ارتفاع لأي ميل هو $\bar y$: يمر أفضل مستقيم بالمركز ويكون مجموع بواقيه 0. عند تدويره حول المركز، يتبع المجموع القطع المكافئ $P(b)$. عندما لا تكون قيم $x$ كلها متساوية، تقع نقطة الحد الأدنى الوحيدة عند $b = S_{xy}/S_{xx}$.

ماذا تقيس $R^2$؟ المستقيم الأفقي $y = \bar y$ يقابل نقطة القطع المكافئ عند الميل 0، ومجموع مربعاته هو التغيّر الكلي $\mathrm{SST} = S_{yy}$. يترك المستقيم الملائم $\mathrm{SSE}$؛ وعندما تتفاوت قيم $y$، تكون $R^2 = 1 - \mathrm{SSE}/\mathrm{SST}$ نسبة التغيّر في $y$ التي يفسّرها. عندما يتفاوت كلا الإحداثيين، تتحقق $R^2 = r^2$، لذا فإن ارتباطًا قدره ⁦0.5⁩ يفسّر الربع فقط. التفسير هنا ملاءمة، لا سببية.

لماذا يكون المستقيم أقل ميلًا من السحابة؟ بالوحدات المعيارية، تنبؤاته هي $\hat z_y = r\,z_x$. لذا عندما $|r| < 1$، تحصل نقطة بعيدة عن $\bar x$ على تنبؤ يبعد عن $\bar y$ بعدد من الانحرافات المعيارية أقل من بُعد النقطة عن $\bar x$. في سحابة بيضوية مثل سحابة المحاكاة، يتبع مستقيم الانحراف المعياري، ذو الميل $\pm s_y/s_x$، اتجاه السحابة كما تراه العين، ويكون مستقيم الانحدار أقل ميلًا. لا شيء يسحب البيانات إلى الخلف: ينطبق الأثر على أي بيانات من هذا النوع. وتوقّع $x$ من $y$ يُظهره في الاتجاه الآخر، بمستقيم ثانٍ يمر بالمركز ويبدو أشد ميلًا في الرسم. في سحابة كهذه، تُظهر متوسطات $y$ داخل شرائط ضيقة من $x$ هذا الأثر؛ فهي قريبة من مستقيم الانحدار، لكنها لا تقع عليه تمامًا. جاءت التسمية من دراسة فرانسيس غالتون للأطوال عام 1886: كان أبناء الآباء شديدي الطول أو القِصر أقل تطرفًا في المتوسط.

متى يمكن أن يضلّل المستقيم؟ رفع نقطة بمقدار 1 يرفع قيمتها الملائمة بمقدار قيمة رافعتها $h = 1/n + (x - \bar x)^2/S_{xx}$، التي تزداد مع البُعد عن $\bar x$. قد تكون قيمة الرافعة لنقطة منفردة بعيدة في اتجاه $x$ قريبة من 1: يتبعها المستقيم، لذا قد يبدو باقيها صغيرًا حتى لو خالفت كل النقاط الأخرى. وحتى في سحابة كبيرة، تستطيع نقطة كهذه تدوير المستقيم. وقد تكون $r$ قريبة من 1 بينما البواقي موجبة عند الطرفين وسالبة في الوسط، فتشكّل منحنى لا يتبعه أي مستقيم.