機率密度函數

機率密度函數$f$透過面積描述連續隨機變數$X$：$P(a \le X \le b) = \int_a^b f(x)\,dx$，其中$f \ge 0$，總面積為1。這裡將數線分成組距為$w$的各組，每根柱子表示該組的精確機率，或該機率除以$w$，並與$f$曲線疊在一起；下方則是累積分布函數$F$。柱高表示密度時，將$w$逐次減半，就會讓柱高趨近$f$。有五種分布可供嘗試，其中一種可以自己畫。

高度$f(x)$量的是什麼？是每單位長度的機率，不是機率本身。每組機率除以組距，是$f$在該組的平均值。因此，若$f$在$x$處連續，當$w$縮小，包含$x$的那根柱子就趨近$f(x)$；對短區間則有$P(x \le X \le x + \Delta x) \approx f(x)\,\Delta x$。這就是密度可以超過1、機率卻不行的原因：機率是面積，高而窄的區域也可能只有很小的面積。單一點是寬度為0的區間，所以不論$f(x)$是多少，都有$P(X = x) = 0$。對這樣的隨機變數，$\le$與$<$給出的機率相同。

密度和累積分布函數有什麼關係？$F(x) = P(X \le x)$是$x$左側、$f$曲線下的面積，因此上圖$[a, b]$上的面積，就是下圖的增加量$F(b) - F(a)$。每組的機率是$F$在該組上的增加量，所以除以$w$後的柱高，就是$F$在該組上的割線斜率。當$w$縮小，割線逐漸趨近切線：在$f$連續的地方，$F'(x) = f(x)$，這就是微積分基本定理。在$f$跳躍的地方，例如均勻密度的兩端，$F$有轉角，左右兩側的斜率分別是$f$兩側的值。只改變$f$在單一點的值，不會改變任何面積，因此也不改變機率。

為什麼直方圖要先除以組距，才能與密度比較？不除以組距時，柱高是機率，組距縮小後會趨近0，而非$f$。除以$w$後，不論組距多大，整條數線上的柱子總面積都是1，因此能比較不同分組的直方圖，也能與$f$疊在一起。資料的直方圖也是如此，只是用每組占樣本的比例取代精確機率。