Örnekleme dağılımı

İstatistik, bir örneklemden hesaplanan sayıdır; örneğin ortalaması veya medyanı. Aynı anakütleden tekrar tekrar aynı $n$ büyüklüğünde bağımsız örneklemler çekip her seferinde istatistiği hesaplayın. Bu değerler onun örnekleme dağılımını oluşturur. Beklenen değerinden gerçek değer çıkarılınca yanlılık elde edilir; standart sapması standart hatadır. Üç katman üç dağılımı ayrı tutar: anakütle, tek örneklemin $n$ değeri ve her örneklemden bir noktayla örnekleme dağılımı.

Tek bir örneklem geniş kalırken ortalamalar neden daralır? Örneklem, anakütlenin kaba bir kopyasıdır; bu yüzden $n$ büyürken standart sapması $s$ küçülmek yerine anakütlenin $\sigma$ değerine yaklaşır. $n$ bağımsız değerin ortalaması farklı davranır: merkezin üstündeki ve altındaki değerler kısmen birbirini dengeler. Sonlu varyanslı her anakütlede $\operatorname{Var}(\bar x) = \sigma^2/n$ olduğundan ortalamanın standart hatası $\sigma/\sqrt{n}$ olur. Örneklem büyüklüğünü dört katına çıkarmak bunu yarıya indirir. Dolayısıyla standart hata tek örneklemin yayılımı değildir; ortalamanın örneklemden örnekleme ne kadar oynayacağını söyler. Ortalamaların neden çan biçimi de aldığını merkezi limit teoremi açıklar.

Örneklem varyansı neden $n - 1$ ile bölünür? Her örneklem $\sum (x - \mu)^2 = \sum (x - \bar x)^2 + n(\bar x - \mu)^2$ eşitliğini sağlar. Kareli sapmalar toplamı, örneklemin kendi ortalamasından ölçüldüğünde en küçüktür. Gerçek ortalamadan ölçülen toplamdan $n(\bar x - \mu)^2$ kadar eksiktir. Bu farkın ortalaması, $\bar x$ için varyansın $n$ katıdır: tam olarak $\sigma^2$. Böylece $\sum (x - \bar x)^2$ ortalama olarak $(n - 1)\sigma^2$ eder; $n - 1$ ile bölmek $s^2$ için yanlılığı giderir, $n$ ile bölmek ise ortalama $\sigma^2/n$ eksik sonuç verir. Düzeltme yalnızca varyans içindir: karekök fonksiyonu konkav olduğundan, $s$ yine ortalama olarak $\sigma$ değerini düşük tahmin eder (normal veride $n = 5$ için yaklaşık 6%). Maksimumun eksik kalmasının daha basit bir nedeni vardır: düzgün anakütlede her değer 100’ün altındadır, dolayısıyla örneklem maksimumu da ortalama olarak 100’ün altında kalır.

Merkezi tahmin etmek için ortalama her zaman daha mı iyidir? Anakütleye bağlıdır. Simetrik anakütlede ortalama ve medyanın ikisi de gerçek merkezde merkezlenir; dolayısıyla standart hatası küçük olan daha iyidir. Normal veride medyanınki daha büyüktür: büyük $n$ için ortalamanınkinin yaklaşık $\sqrt{\pi/2} \approx 1.25$ katıdır. Kuyrukları daha ağır olan Laplace verisinde daha küçüktür; yine büyük örneklemler için yaklaşık $1/\sqrt{2} \approx 0.71$ katıdır. Tek bir uç değer ortalamayı kaydırır ama medyanı çok az değiştirir; ağır kuyruklar sık uç değer üretir. Çarpık anakütlede ikisi farklı sayıları tahmin edebilir: buradaki üstel anakütlenin ortalaması 50, medyanı $40 + 10\ln 2 \approx 46.93$ olur.