Плотность вероятности

Плотность вероятности $f$ описывает непрерывную случайную величину $X$ через площади: $P(a \le X \le b) = \int_a^b f(x)\,dx$, причём $f \ge 0$, а общая площадь равна 1. Здесь прямая разбита на интервалы ширины $w$. Высота каждого столбца равна точной вероятности его интервала либо этой вероятности, делённой на $w$; столбцы наложены на $f$. Ниже показана функция распределения $F$. Когда столбцы показывают плотность, последовательное деление $w$ пополам приближает их к $f$. Можно попробовать пять распределений, одно из которых рисуется от руки.

Что измеряет высота $f(x)$? Вероятность на единицу длины, а не саму вероятность. Вероятность интервала, делённая на его ширину, — это среднее значение $f$ на интервале. Поэтому там, где $f$ непрерывна в точке $x$, высота столбца, содержащего $x$, стремится к $f(x)$ при уменьшении $w$, а для короткого промежутка выполняется $P(x \le X \le x + \Delta x) \approx f(x)\,\Delta x$. Вот почему плотность может превышать 1, хотя вероятность не может: вероятность — это площадь, и высокая узкая область может иметь небольшую площадь. Одна точка — промежуток нулевой ширины, поэтому $P(X = x) = 0$ независимо от значения $f(x)$. Для такой случайной величины знаки $\le$ и $<$ дают одинаковые вероятности.

Как связаны плотность и функция распределения? $F(x) = P(X \le x)$ — это площадь под $f$ слева от $x$. Значит, площадь над $[a, b]$ на верхнем графике равна приросту $F(b) - F(a)$ на нижнем. Вероятность интервала — это прирост $F$ на нём, поэтому после деления на $w$ высота столбца равна наклону секущей $F$ на этом интервале. При уменьшении $w$ секущая приближается к касательной: там, где $f$ непрерывна, $F'(x) = f(x)$, согласно основной теореме анализа. В точках скачка $f$, например на границах равномерной плотности, у $F$ есть излом; наклоны слева и справа равны значениям $f$ с соответствующих сторон. Изменение $f$ в одной точке не меняет ни одной площади, а значит, и ни одной вероятности.

Почему перед сравнением гистограммы с плотностью высоты столбцов делят на ширину интервалов? Без деления столбцы показывают вероятности и при сужении интервалов стремятся к 0, а не к $f$. После деления на $w$ общая площадь столбцов по всей прямой равна 1 при любой ширине. Поэтому гистограммы с разными разбиениями можно сравнивать между собой и накладывать на $f$. Гистограмма данных устроена так же, но вместо точной вероятности интервала используется доля выборки, попавшая в него.