확률과 통계 · 큰 수의 법칙

큰 수의 법칙

같은 시행을 독립적으로 반복하면 성공 비율은 계속 흔들리면서도 장기적으로 그 확률에 수렴합니다. 초반의 앞섬은 보상되지 않고 희석됩니다.

01

이 시각화에서 보는 큰 수의 법칙

X1,X2,…X_1, X_2, \dots를 유한한 평균 μ=E[X]\mu = E[X]을 갖는 한 분포에서 독립적으로 추출한 값들이라 합시다. E∣X∣<∞E|X| < \infty이면 충분합니다. Xˉn\bar X_n는 처음 n개의 평균입니다. 큰 수의 법칙은 Xˉn→μ\bar X_n \to \mu을 말합니다. 약한 법칙은 확률수렴, 강한 법칙은 확률 1로 수렴한다는 뜻입니다. 동전에서는 앞면일 때 XiX_i이 1이므로 Xˉn=p^n=Hn/n\bar X_n = \hat p_n = H_n/n은 앞면 비율이고 μ=p\mu = p입니다. 이 페이지에서는 100 000번 던진 경로를 하나 이상 추적하며 비율이 왜 안정되는지 살펴봅니다.

편차 하나, 두 눈금
Hn−np=n (p^n−p),SD(p^n)=p(1−p)n,SD(Hn−np)=np(1−p)H_n - np = n\,(\hat p_n - p), \qquad \mathrm{SD}(\hat p_n) = \sqrt{\tfrac{p(1-p)}{n}}, \qquad \mathrm{SD}(H_n - np) = \sqrt{np(1-p)}

위층은 p^n\hat p_n, 아래층은 기대 횟수보다 많은 앞면 수 Hn−npH_n - np를 보여 줍니다. 공정한 동전에서는 ‘앞면 수 빼기 뒷면 수’의 절반입니다. 같은 편차가 위에서는 줄고 아래에서는 커집니다. 각 n의 점선 띠는 이항분포의 정확한 95% 범위입니다. HnH_n가 아래에 있을 확률과 위에 있을 확률이 각각 2.5% 이하인 가장 좁은 정수 구간 [an,bn][a_n, b_n]이므로 적어도 95%를 포함합니다. 수치 표시는 정확한 포함 확률을 줍니다. 비율로는 [an/n, bn/n][a_n/n,\ b_n/n], 개수로는 [an−np, bn−np][a_n - np,\ b_n - np]인 같은 사건입니다. 처음 열 번 앞면으로 앞선 동전은 다섯 번 앞면으로 시작한 동전과 이후 모든 결과를 공유합니다. 둘은 항상 앞면 수가 정확히 5개 다르므로 비율 차이는 정확히 5/n5/n입니다. 앞섬은 보상되지 않고 희석됩니다.

02

살펴볼 점

  • 띠는 점별입니다. 고정된 각 n에서 적어도 95%의 경로가 안에 있지만, 모든 n에서 계속 안에 머무는 경로는 훨씬 드뭅니다. 경로가 가끔 띠를 벗어나는 것은 법칙이 예상하는 현상이지 법칙의 실패가 아닙니다.
  • 초반의 앞섬을 갚아 주는 것은 없습니다. 앞면이 연속으로 나와도 다음 앞면 확률은 여전히 p입니다. 다르게 생각하는 것이 도박사의 오류이며, ‘연속 결과 이후 집계’ 창으로 확인할 수 있습니다. 같은 초과 개수를 점점 커지는 n으로 나누기 때문에 비율이 안정됩니다.
  • 띠의 폭은 1/n1/\sqrt{n}처럼 줄어듭니다. 같은 95%에서 정확한 소수 한 자리를 더 얻으려면 약 백 배 더 던져야 합니다. 이 법칙에는 유한한 평균이 필요합니다. 코시분포는 n번 추출한 평균도 한 번 추출한 값보다 안정적이지 않습니다. 중심극한정리 페이지를 보세요.
  • 야코프 베르누이는 추측술(1713)에서 동전 던지기 같은 시행에 대한 경우를 증명했습니다. ‘큰 수의 법칙’이라는 이름은 푸아송(1837)이 붙였습니다.
03

조작 방법

  • 빨간 버튼은 고정된 시드로 미리 계산한 던지기를 재생합니다. 실행 중에 누르면 정지하고 다시 누르면 이어 가며, 끝난 뒤에는 다음 시드로 던집니다. 그림의 아무 곳이나 누르거나 드래그하여 커서를 움직이세요. 수치 표시는 커서 왼쪽의 결과만 사용합니다. 공유는 시드, 알고리즘 버전, 커서를 저장합니다.
04

관련 개념

  • H16이항분포준비 중
  • H19중심극한정리
  • H18표집분포준비 중
  • H20신뢰구간준비 중
  • H05정규분포준비 중

더 읽어 보기: Wikipedia: Law of large numbers (영어); OpenStax, Introductory Statistics 2e, 3.1 Terminology (영어); MacTutor 수학사 아카이브: Jacob Bernoulli (영어).