確率密度関数

確率密度関数$f$は、面積によって連続確率変数$X$を表します。$P(a \le X \le b) = \int_a^b f(x)\,dx$であり、$f \ge 0$、全体の面積は1です。この図では数直線を幅$w$の階級に分け、各階級の正確な確率、またはそれを$w$で割った値を棒の高さにして、$f$に重ねています。下には累積分布関数$F$があります。棒の高さを密度にすると、$w$を半分にするたびに棒が$f$に近づきます。5種類の分布を試せ、そのうち1つは手描きできます。

高さ$f(x)$は何を表しているのでしょう？確率そのものではなく、単位長さあたりの確率です。各階級の確率を階級幅で割った値は、その階級での$f$の平均値です。したがって、$f$が$x$で連続なら、$w$が小さくなるにつれて$x$を含む棒の高さは$f(x)$に近づき、短い区間では$P(x \le X \le x + \Delta x) \approx f(x)\,\Delta x$が成り立ちます。密度が1を超えてもよく、確率は超えられないのはこのためです。確率は面積なので、高くても細い領域なら面積は小さくなり得ます。1点は幅0の区間ですから、$f(x)$の値にかかわらず$P(X = x) = 0$です。このような変数では、$\le$と$<$のどちらを使っても確率は同じです。

密度と累積分布関数はどうつながるのでしょう？$F(x) = P(X \le x)$は$x$より左側にある$f$のグラフの下の面積です。そのため、上図の$[a, b]$上の面積は、下図の増加量$F(b) - F(a)$に等しくなります。各階級の確率は、その階級での$F$の増加量なので、$w$で割った棒の高さは、その階級での$F$の割線の傾きです。$w$が小さくなると割線は接線に近づきます。$f$が連続なところでは$F'(x) = f(x)$となり、これが微積分の基本定理です。一様密度の両端のように$f$が跳ぶところでは、$F$に角ができ、左右からの傾きは$f$のそれぞれの側の値になります。$f$を1点でだけ変えても面積は変わらず、確率も変わりません。

ヒストグラムを密度と比べる前に、なぜ棒の高さを階級幅で割るのでしょう？割らないと棒は確率を表し、階級を狭めると$f$ではなく0に近づきます。$w$で割れば、幅によらず数直線全体の棒の面積の合計は1になります。そのため階級の分け方が異なるヒストグラムを比較したり、$f$に重ねたりできます。データのヒストグラムも同じ仕組みで、正確な確率の代わりに、その階級に入る標本の割合を使います。