Vecteurs aléatoires

Les événements \(\bigcap_{j \ne i} [X_j = x_j]\), lorsque \((x_j)_{j \ne i}\) parcourt \(\prod_{j \ne i} X_j(\Omega)\), forment un système complet d'événements. Par la formule des probabilités totales (rappelée des chapitres précédents) appliquée à \([X_i = x_i]\), $$ P(X_i = x_i) = \sum_{(x_j)_{j \ne i}} P\!\left([X_i = x_i] \cap \bigcap_{j \ne i} [X_j = x_j]\right) = \sum_{(x_j)_{j \ne i}} P\!\left(\bigcap_{j=1}^n [X_j = x_j]\right). $$

En développant le produit et par linéarité de l'espérance, $$ \begin{aligned} \operatorname{Cov}(X, Y) &= E\bigl(XY - E(X)Y - E(Y)X + E(X)E(Y)\bigr) && \text{(développement)} \\ &= E(XY) - E(X)E(Y) - E(Y)E(X) + E(X)E(Y) && \text{(linéarité)} \\ &= E(XY) - E(X)E(Y). && \end{aligned} $$

La symétrie et la bilinéarité découlent de la forme de Koenig et de la linéarité de l'espérance ; \(\operatorname{Cov}(X, X) = E((X - E(X))^2) = V(X) \ge 0\). Pour l'inégalité, on pose \(U = X - E(X)\), \(V_0 = Y - E(Y)\), donc \(\operatorname{Cov}(X, Y) = E(U V_0)\), \(V(X) = E(U^2)\), \(V(Y) = E(V_0^2)\). Si \(E(V_0^2) = 0\) les deux membres sont nuls ; sinon, pour tout \(t \in \mathbb{R}\), $$ E\bigl((U + t V_0)^2\bigr) = E(V_0^2)\, t^2 + 2 E(U V_0)\, t + E(U^2) \ge 0 $$ (espérance d'un carré). Ce trinôme en \(t\) étant positif ou nul pour tout \(t\), son discriminant est \(\le 0\) : $$ 4\,E(U V_0)^2 - 4\,E(U^2)E(V_0^2) \le 0, \quad\text{soit}\quad \operatorname{Cov}(X, Y)^2 \le V(X)\, V(Y). $$

En utilisant \(V(Z) = \operatorname{Cov}(Z, Z)\) et la bilinéarité de la covariance, $$ \begin{aligned} V(X + Y) &= \operatorname{Cov}(X + Y, X + Y) && \\ &= \operatorname{Cov}(X, X) + 2\operatorname{Cov}(X, Y) + \operatorname{Cov}(Y, Y) && \text{(bilinéarité, symétrie)} \\ &= V(X) + V(Y) + 2\operatorname{Cov}(X, Y). && \end{aligned} $$

Pour \(X, Y\) indépendantes, \(E(XY) = E(X)E(Y)\) (admis par le programme). Donc \(\operatorname{Cov}(X, Y) = E(XY) - E(X)E(Y) = 0\), et le théorème de la variance d'une somme donne \(V(X + Y) = V(X) + V(Y)\).

L'inégalité de covariance \(\operatorname{Cov}(X, Y)^2 \le V(X)V(Y)\) donne, en divisant par \(\sigma(X)^2\sigma(Y)^2 > 0\), \(\rho(X, Y)^2 \le 1\), soit \(|\rho| \le 1\). L'égalité a lieu exactement dans le cas d'égalité de Cauchy–Schwarz pour les variables centrées \(U = X - E(X)\) et \(V_0 = Y - E(Y)\), c'est-à-dire lorsque \(V_0 = a U\) presque sûrement pour un scalaire \(a \ne 0\), soit \(Y - E(Y) = a(X - E(X))\), donc \(Y = aX + b\) presque sûrement avec \(b = E(Y) - aE(X)\). Le signe de \(\rho\) est celui de \(a\) car \(\operatorname{Cov}(X, Y) = a\, V(X)\).

Les deux sont des récurrences sur \(n\) à partir du cas \(n = 2\) (rappelé de la première année). Pour le produit, au rang \(n+1\) : \(X_1 \cdots X_n\) est indépendante de \(X_{n+1}\) par le lemme des coalitions, donc \(E(X_1 \cdots X_{n+1}) = E(X_1 \cdots X_n)E(X_{n+1}) = E(X_1)\cdots E(X_n) E(X_{n+1})\) par hypothèse de récurrence.

En développant \(V\!\left(\sum_i X_i\right) = \operatorname{Cov}\!\left(\sum_i X_i, \sum_j X_j\right)\) par bilinéarité on obtient \(\sum_i \operatorname{Cov}(X_i, X_i) + \sum_{i \ne j}\operatorname{Cov}(X_i, X_j) = \sum_i V(X_i) + 2\sum_{i < j}\operatorname{Cov}(X_i, X_j)\). Lorsque les \(X_i\) sont mutuellement indépendantes, tous les \(\operatorname{Cov}(X_i, X_j) = 0\) pour \(i \ne j\), laissant \(\sum_i V(X_i)\).

Les deux par récurrence sur \(n\) ; on donne le cas Poisson \(n = 2\). Pour \(X \sim \mathcal{P}(\lambda)\), \(Y \sim \mathcal{P}(\mu)\) indépendantes, et \(k \in \mathbb{N}\), la convolution discrète donne $$ \begin{aligned} P(X + Y = k) &= \sum_{j=0}^k P(X = j)P(Y = k - j) && \text{(indépendance)} \\ &= \sum_{j=0}^k e^{-\lambda}\frac{\lambda^j}{j!}\, e^{-\mu}\frac{\mu^{k-j}}{(k-j)!} && \\ &= \frac{e^{-(\lambda+\mu)}}{k!}\sum_{j=0}^k \binom{k}{j}\lambda^j \mu^{k-j} && \text{(}\tfrac{1}{j!(k-j)!} = \tfrac{1}{k!}\binom kj\text{)} \\ &= e^{-(\lambda+\mu)}\frac{(\lambda + \mu)^k}{k!}, && \text{(formule du binôme)} \end{aligned} $$ qui est la loi \(\mathcal{P}(\lambda + \mu)\). Le pas de récurrence utilise le lemme des coalitions. Pour la binomiale, l'argument le plus net est la décomposition en Bernoulli : \(\mathcal{B}(m_i, p)\) est la loi d'une somme de \(m_i\) variables \(\mathcal{B}(p)\) indépendantes (nombre de succès en \(m_i\) épreuves indépendantes de probabilité \(p\)), donc une somme de \(\mathcal{B}(m_i, p)\) indépendantes est une somme de \(\sum_i m_i\) variables \(\mathcal{B}(p)\) indépendantes, soit \(\mathcal{B}(\sum_i m_i, p)\). En particulier \(\mathcal{B}(n, p)\) redonne \(E = np\) et \(V = np(1-p)\).

Gamma, \(n = 2\), \(X \sim \gamma(\nu)\), \(Y \sim \gamma(\nu')\) indépendantes. Par convolution (le théorème de convolution s'applique directement lorsque \(\nu \ge 1\) ou \(\nu' \ge 1\), une densité étant alors bornée ; lorsque \(\nu < 1\) et \(\nu' < 1\) les deux densités sont non bornées et la légitimité est admise), pour \(x > 0\), avec le changement de variable \(t = xv\), $$ \begin{aligned} h(x) &= \int_0^x \frac{t^{\nu-1}e^{-t}}{\Gamma(\nu)}\frac{(x-t)^{\nu'-1}e^{-(x-t)}}{\Gamma(\nu')}\,\mathrm{d}t && \\ &= \frac{x^{\nu+\nu'-1}e^{-x}}{\Gamma(\nu)\Gamma(\nu')}\int_0^1 v^{\nu-1}(1-v)^{\nu'-1}\,\mathrm{d}v. && \end{aligned} $$ C'est \(C\, x^{\nu+\nu'-1}e^{-x}\mathbf{1}_{x>0}\), la forme de la densité \(\gamma(\nu+\nu')\) ; comme \(h\) est d'intégrale \(1\), \(C = 1/\Gamma(\nu+\nu')\), donc \(X + Y \sim \gamma(\nu + \nu')\). Puis récurrence sur \(n\) via le lemme des coalitions. La stabilité normale est admise en général : le cas \(\mathcal{N}(0,1)\) découle d'un calcul de convolution analogue à celui de la loi gamma, et on admet l'extension à des espérances et variances quelconques (la convolution générale étant plus lourde).

\([\max \le x] = \bigcap_i [X_i \le x]\) (le plus grand est \(\le x\) ssi tous le sont), donc par indépendance \(F_{\max}(x) = \prod_i P(X_i \le x) = \prod_i F_{X_i}(x)\). De même \([\min > x] = \bigcap_i [X_i > x]\), donc \(1 - F_{\min}(x) = P(\min > x) = \prod_i P(X_i > x) = \prod_i(1 - F_{X_i}(x))\).