Distribusi sampling

Statistik adalah bilangan yang dihitung dari sampel, seperti rata-rata atau mediannya. Ambil berulang kali sampel independen dengan ukuran $n$ yang sama dari satu populasi dan hitung statistiknya setiap kali. Nilai-nilai itu membentuk distribusi samplingnya. Nilai harapannya dikurangi nilai sebenarnya adalah bias; simpangan bakunya adalah galat baku. Tiga lapisan memisahkan tiga distribusi: populasi, $n$ nilai dalam satu sampel, dan distribusi sampling, dengan satu titik per sampel.

Mengapa satu sampel tetap lebar saat rata-rata makin mengumpul? Sampel adalah salinan kasar populasi. Jadi ketika $n$ bertambah, simpangan bakunya $s$ mendekati $\sigma$ milik populasi, bukan menyusut. Rata-rata $n$ nilai independen berbeda: nilai di atas dan di bawah pusat saling mengimbangi sebagian. Untuk populasi apa pun dengan varians hingga, $\operatorname{Var}(\bar x) = \sigma^2/n$, sehingga galat baku rata-rata adalah $\sigma/\sqrt{n}$. Ukuran sampel empat kali lipat membuatnya separuh. Jadi galat baku bukan sebaran satu sampel: ia menyatakan seberapa jauh rata-rata berubah dari satu sampel ke sampel lain. Mengapa rata-rata juga berbentuk lonceng dijelaskan oleh teorema limit pusat.

Mengapa varians sampel dibagi dengan $n - 1$? Setiap sampel memenuhi $\sum (x - \mu)^2 = \sum (x - \bar x)^2 + n(\bar x - \mu)^2$. Jumlah kuadrat simpangan paling kecil jika diukur dari rata-rata sampel itu sendiri. Dibandingkan jumlah yang diukur dari rata-rata sebenarnya, kekurangannya adalah $n(\bar x - \mu)^2$, yang rata-ratanya $n$ kali varians $\bar x$: tepat $\sigma^2$. Jadi rata-rata $\sum (x - \bar x)^2$ adalah $(n - 1)\sigma^2$; membagi dengan $n - 1$ membuat $s^2$ tak bias, sedangkan membagi dengan $n$ memberi kekurangan rata-rata sebesar $\sigma^2/n$. Koreksi ini hanya untuk varians: karena fungsi akar kuadrat cekung ke bawah, $s$ sendiri masih meremehkan $\sigma$ secara rata-rata (sekitar 6% untuk data normal dengan $n = 5$). Maksimum kurang dari target karena alasan yang lebih sederhana: pada populasi seragam, setiap nilai di bawah 100, sehingga maksimum sampel juga rata-rata di bawah 100.

Apakah rata-rata selalu lebih baik untuk menaksir pusat? Bergantung pada populasinya. Untuk populasi simetris, rata-rata dan median sama-sama berpusat pada pusat sebenarnya; yang lebih baik adalah yang galat bakunya lebih kecil. Untuk data normal, galat baku median lebih besar: saat $n$ besar, sekitar $\sqrt{\pi/2} \approx 1.25$ kali galat baku rata-rata. Untuk data Laplace, dengan ekor lebih berat, nilainya lebih kecil: dalam pendekatan sampel besar yang sama, sekitar $1/\sqrt{2} \approx 0.71$ kali. Satu nilai ekstrem menggeser rata-rata tetapi hampir tidak menggeser median, dan ekor berat sering menghasilkan nilai ekstrem. Untuk populasi miring, keduanya dapat menaksir bilangan berbeda: populasi eksponensial di sini memiliki rata-rata 50 dan median $40 + 10\ln 2 \approx 46.93$.