Полиномиальное распределение независимых случайных величин

Традиционная интерпретация 20-го века

Полиномиа́льное распределе́ние' в теории вероятностей — это обобщение биномиального распределения одной случайной величины на случай независимых испытаний случайного эксперимента с несколькими возможными исходами.

Определение

Пусть $X_1,\ldots ,X_n$ - независимые одинаково распределённые случайные величины, такие, что их распределение задаётся функцией вероятности:

$\mathbb{P}(X_i = j) = p_j,\; j=1,\ldots, k$.

Интуитивно событие $\{X_i = j\}$ означает, что испытание с номером $i$ привело к исходу $j$. Пусть случайная величина $Y_j$ равна количеству испытаний, приведших к исходу $j$:

$Y_j = \sum_{i=1}^n \mathbf{1}_{\{X_i = j\}},\; j = 1,\ldots, k$.

Тогда распределение вектора $\mathbf{Y} = (Y_1,\ldots,Y_k)^{\top}$ имеет функцию вероятности

$p_{\mathbf{Y}}(\mathbf{y}) = \left\{ \begin{matrix} {n \choose {y_1 \ldots y_k}} p_1^{y_1}\ldots p_k^{y_k}, & \sum\limits_{j=1}^k y_i = n \\ 0, & \sum\limits_{j=1}^k y_i \not= n \end{matrix} \right., \quad \mathbf{y} = (y_1,\ldots, y_k)^{\top} \in \mathbb{N}^k_0$,

где

${n \choose {y_1 \ldots y_k}} \equiv \frac{n!}{y_1! \ldots y_k!}$ — полиномиальный коэффициент.

Вектор средних и матрица ковариации

Математическое ожидание случайной величины $Y_j$имеет вид: $\mathbb{E}[Y_j] = np_j$. Диагональные элементы матрицы ковариации $\Sigma = (\sigma_{ij})$ являются дисперсиями биномиальных случайных величин, а следовательно

$\sigma_{jj}=\mathrm{D}[Y_j] = np_j(1-p_j),\; j =1,\ldots, k$.

Для остальных элементов имеем

$\sigma_{ij} = \mathrm{cov}(Y_i,Y_j) = -np_ip_j,\; i \not= j$.

Ранг матрицы ковариации полиномиального распределения равен $k - 1$.

Постулаты и их ложность

Традиционная интерпретация 20-го века полиномиального распределения  

основана на трёх ложных постулатах

1. Характеристики случайных величин $X_1,\ldots,X_k$ полиномиального распределения определены при повторных независимых экспериментах, то есть методом выбора с возвращением;

2.  Каждая из случайных величин $X_i$, $i=1,\ldots,k$ полиномиального распределения имеет биномиальное распределение c математическим ожиданием $np_i$ и дисперсий $np_iq_i$, где $q_i=1-p_i$;

3. Биномиальное распределение является распределением одной случайной величины $X_i$, $i=1,\ldots,k$ :

$P(X_i=n_i)={n\choose n_i} p_i^{n_i}q_i^{n-n_i}$.

Ложность постулатов доказывается тремя теоремами , .

Теорема 1. Случайные величины $X_2,\ldots,X_k$ (кроме первой, в общем случае ) мультиномиального распределения не являются независимыми и не имеют независимые математические ожидания $np_i,\quad i=1,\ldots,k$.

Доказательство. Если бы каждая из случайных величин мультиномиального распределения имела независимое математическое ожидание, равное $np_i$, то произведение математических ожиданий случайных величин обязано было быть математическим ожиданием мультиномиального распределения

$E(X_1=n_1\cdots X_k=n_k)=np_1\cdots np_k=n^kp_1\cdots p_k.$

Тогда при неограниченном возрастании числа $n$ независимых экспериментов математическое ожидание мультиномиального распределения устремилось бы к бесконечности, что недопустимо, поскольку сумма всех вероятностей распределения, включая и его математическое ожидание, согласно аксиоматике Колмогорова, обязана быть равной единице. 

Теорема доказана.

Теорема 2. Каждая из случайных величин мультиномиального распределения не имеет биномиальное распределение $P(X_i=n_i)={n\choose n_i} p_i^{n_i}q_i^{n-n_i}$.

Доказательство. Если бы случайные величины $X_1,\ldots,X_k$ и их характеристики были независимыми, и каждая из этих величин имела бы биномиальное распределение

$P(X_i=n_i)={n\choose n_i} p_i^{n_i}q_i^{n-n_i}$, то по правилу перемножения независимых вероятностей их произведение

$P(X_1=n_1,\ldots,X_k=n_k)={n\choose n_1}\cdots {n\choose n_k} p_1^{n_1}q_1^{n-n_1}\cdots p_k^{n_k}q_k^{n-n_k}$

должно было быть вероятностью полиномиального распределения. Однако полученный результат не соответствует формуле полиномиального распределения. Теорема доказана.

Теорема 3. Биномиальное распределение есть распределение двух случайных величин.

Доказательство. Если утверждается, что полиномиальное распределение естественным образом обобщает биномиальное распределение и совпадает с последним при числе случайных величин и/или экспериментов, равных двум ($k=2$ и/или $n=2$), то, с учетом этих условий из формулы полиномиального распределения обязаны получить биномиальное распределение как распределение двух случайных величин:

$P(X_1=n_1, X_2=n_2)= \frac{n!}{n_1! n_2!} p_1^{n_1}p_2^{n_2},$

$2\le k \le n< \infty, \quad n_1+n_2=n=2, \quad p_1+p_2=1.$

Теорема доказана.

По аналогии с разложением бинома и получением биномиального распределения двух случайных величин, представленного выше, В.Я. Буняковский в 1846 году определил мультиномиальное (полиномиальное) распределение независимых случайных величин (в те времена зависимые случайные величины ещё не были известными)

$P(X_1=n_1,\ldots,X_k=n_k)=\frac{n!}{n_1!\cdots n_k!}p_1^{n_1}\cdots p_k^{n_k},$

$2\le k \le n< \infty, \quad n_1+\ldots+n_k=n, \quad p_1+ \ldots +p_ k =1.$

На с.19 В.Я. Буняковский написал: "Так как вся эта теория основана на весьма простом разложении степени многочленного количества, то мы считаем излишним входить в дальнейшие подробности по этому вопросу."