概率密度函数

概率密度函数$f$用面积描述连续随机变量$X$：$P(a \le X \le b) = \int_a^b f(x)\,dx$，其中$f \ge 0$，总面积为1。这里把数轴分成宽为$w$的组，每根柱子是一组的精确概率，或者它除以$w$，画在$f$上；下面是累积分布函数$F$。柱高取每组的概率除以$w$时，把$w$逐级减半，柱子就贴近$f$；有五种分布可选，其中一种自己画。

$f(x)$的高度量的是什么？是每单位长度上的概率，不是概率。一组的概率除以组距，是$f$在这一组上的平均值；所以只要$f$在$x$处连续，$w$越小，$x$所在那根柱子就越接近$f(x)$，短区间的概率满足$P(x \le X \le x + \Delta x) \approx f(x)\,\Delta x$。密度因此可以大于1，概率却不会：概率是面积，又高又窄的一块，面积可以很小。一个点是宽度为0的区间，所以不论$f(x)$多大，$P(X = x) = 0$；对这样的随机变量，用$\le$还是$<$，概率都一样。

密度和累积分布函数怎样对应？$F(x) = P(X \le x)$是$f$在$x$左边的面积，所以上图$[a, b]$上的面积，就是下图的上升量$F(b) - F(a)$。一组的概率是$F$在这一组上的上升量，所以柱高除以$w$以后，就是$F$在这一组上割线的斜率。$w$变小，割线就转向切线：在$f$连续的地方，$F'(x) = f(x)$，这正是微积分基本定理。在$f$跳跃的地方，比如均匀分布的两端，$F$有一个折角，两侧的斜率分别是$f$在两侧的值。只改$f$在一个点上的值，任何面积都不变，所以任何概率也不变。

直方图为什么要先除以组距，才能和密度比较？不除的话，柱高就是概率，组越窄，柱子越沉向0，而不是贴近$f$。除以$w$以后，不论组距多大，整条数轴上的柱子总面积都是1，所以组距不同的直方图可以互相比较，也可以叠在$f$上。用数据做的直方图也一样，只是每组的精确概率换成落在这一组的样本比例。