Sommes de variables aléatoires, concentration, loi des grands nombres

• Si \(X\) et \(Y\) sont indépendantes, alors \(V(X + Y) = V(X) + V(Y)\) (additivité, admise). Plus généralement, si \(X_1, \dots, X_n\) sont indépendantes, \(V(X_1 + \dots + X_n) = V(X_1) + \dots + V(X_n)\).
• Pour toute variable aléatoire \(X\) et tous réels \(a\) et \(b\) : \(V(aX) = a^2\,V(X)\) et \(\sigma(aX) = |a|\,\sigma(X)\). De plus \(V(aX + b) = a^2\,V(X)\) : comme \(E(aX + b) = E(aX) + b\), l'écart \((aX + b) - E(aX + b)\) est égal à \(aX - E(aX)\), donc ajouter \(b\) ne change pas la variance.

1. Repérer les étapes de l'expérience (épreuve \(1\), …, épreuve \(n\)).
2. Définir une variable simple \(X_i\) sur chaque étape : un résultat, ou une indicatrice valant \(1\) si un événement se produit et \(0\) sinon.
3. Écrire \(X = X_1 + \dots + X_n\) et expliquer pourquoi l'égalité vaut pour toute issue : ce que chaque terme apporte.
4. Additionner : \(E(X) = E(X_1) + \dots + E(X_n)\) toujours ; \(V(X) = V(X_1) + \dots + V(X_n)\) quand les \(X_i\) sont indépendantes (sans indépendance, l'additivité peut tomber en défaut).

• Si \(X_1, \dots, X_n\) sont des variables de Bernoulli indépendantes de même paramètre \(p\), alors \(X_1 + \dots + X_n\) suit la loi binomiale \(\mathcal{B}(n\,;\,p)\).
• Réciproquement, une variable \(X \sim \mathcal{B}(n\,;\,p)\), nombre de succès d'un schéma de Bernoulli, se décompose en \(X = X_1 + \dots + X_n\), où \(X_i = 1\) si l'épreuve \(i\) est un succès et \(X_i = 0\) sinon ; les \(X_i\) sont des variables de Bernoulli indépendantes de paramètre \(p\).

• \(E(X) = n p\) (espérance),
• \(V(X) = n p (1 - p)\) (variance),
• \(\sigma(X) = \sqrt{n p (1 - p)}\) (écart-type).

• Pour la somme : $$V(S_n) = n\sigma^2 \quad \text{et} \quad \sigma(S_n) = \sigma\sqrt{n}.$$
• Pour la moyenne : $$V(M_n) = \frac{\sigma^2}{n} \quad \text{et} \quad \sigma(M_n) = \frac{\sigma}{\sqrt{n}}.$$

1. Identifier \(\mu\), \(V\) et \(\delta\) : \(\delta\) est la distance de \(\mu\) aux bornes de l'intervalle, sa demi-largeur, pas sa largeur.
2. Appliquer l'inégalité : \(P(|X - \mu| \ge \delta) \le \dfrac{V}{\delta^2}\).
3. Pour une minoration de \(P(\mu - \delta < X < \mu + \delta)\), passer au contraire : \(P(|X - \mu| < \delta) \ge 1 - \dfrac{V}{\delta^2}\).
4. Lire le résultat comme une borne, « au plus » ou « au moins », jamais comme la valeur de la probabilité.

1. Écrire l'inégalité de concentration : \(P(|M_n - \mu| \ge \delta) \le \dfrac{V}{n\delta^2}\).
2. Exiger que la borne soit au plus \(\alpha\) : \(\dfrac{V}{n\delta^2} \le \alpha\), c'est-à-dire \(n \ge \dfrac{V}{\alpha\delta^2}\).
3. Prendre pour \(n\) le plus petit entier strictement positif au moins égal à \(\dfrac{V}{\alpha\delta^2}\) : cette taille suffit, elle n'est pas forcément la plus petite qui convienne, car l'inégalité n'est pas exacte.
4. Pour une fréquence (\(X_i\) indicatrices d'un événement de probabilité \(p\)), \(V = p(1 - p) \le \dfrac{1}{4}\), donc \(n \ge \dfrac{1}{4\alpha\delta^2}\) suffit quel que soit \(p\).

1. Simuler un échantillon : une fonction qui renvoie une liste de \(n\) valeurs de \(X\).
2. Calculer la moyenne de chaque échantillon et ranger les \(N\) moyennes dans une liste.
3. Mesurer la dispersion : l'écart-type \(s\) de la liste des moyennes, à comparer à \(\dfrac{\sigma}{\sqrt{n}}\).
4. Compter la proportion des moyennes à distance au plus \(k \dfrac{\sigma}{\sqrt{n}}\) de \(E(X)\), pour \(k = 1\), \(2\), \(3\).

import random

def sample(n):
    """n rolls of a fair die"""
    return [random.randint(1, 6) for _ in range(n)]

def mean(values):
    return sum(values) / len(values)

def std(values):
    m = mean(values)
    return (sum((v - m) ** 2 for v in values) / len(values)) ** 0.5

N, n = 200, 100                       # N samples of size n
means = [mean(sample(n)) for _ in range(N)]
s = std(means)                        # spread of the N sample means
print(s, 1.708 / n ** 0.5)            # to compare with sigma / sqrt(n)
for k in (1, 2, 3):
    inside = sum(1 for m in means if abs(m - 3.5) <= k * 1.708 / n ** 0.5)
    print(k, inside / N)