Éducation Nationale Française · ECGappliquées 2
Estimation
La statistique transforme des données en connaissance sur une loi inconnue. On observe un \(n\)-échantillon \((X_1, \dots, X_n)\) de copies indépendantes d'une variable \(X\) dont la loi est connue à un paramètre \(\theta\) près, et l'on veut estimer \(\theta\) — ou une quantité réelle \(g(\theta)\) telle que son espérance. Un estimateur est une fonction de l'échantillon, \(T_n = \varphi(X_1, \dots, X_n)\), qui n'utilise pas \(\theta\) ; l'exemple central est la moyenne empirique \(\overline{X_n}\). Ce chapitre comporte deux volets. D'abord, l'estimation ponctuelle : on met en place le vocabulaire, on compare des estimateurs candidats (un estimateur juste en moyenne, \(E_\theta(T_n) = g(\theta)\), est le plus fiable, et entre deux tels celui de plus petite variance est préféré), et l'on présente le principe du maximum de vraisemblance sur les lois de Bernoulli et de Poisson. Ensuite, l'estimation par intervalle : plutôt qu'un seul nombre pour \(g(\theta)\), on donne un intervalle aléatoire qui capture la vraie valeur avec un niveau de confiance \(1 - \alpha\) fixé à l'avance, construit par l'inégalité de Bienaymé-Tchebychev, par normalité exacte lorsque \(\sigma\) est connu, et par le théorème central limite. Conventions : \((\mu_\theta)_{\theta \in \Theta}\) est la famille des lois candidates, \(\Theta \subset \mathbb{R}\) (éventuellement \(\mathbb{R}^2\)) l'ensemble des paramètres ; \(E_\theta\), \(V_\theta\) sont calculées sous \(P_\theta\) ; \(\overline{X_n} = \frac1n \sum_{k=1}^n X_k\) est la moyenne empirique. (Le fait qu'un tel estimateur se fixe sur \(g(\theta)\) quand \(n\) grandit — sa convergence — n'est ici que commenté sur des exemples, jamais traité formellement.)
I
Le problème de l'estimation et le vocabulaire
I.1
Modèle statistique et échantillonnage
On étudie un phénomène dont la loi est connue par son type (Bernoulli, Poisson, exponentielle, normale…) mais non par son paramètre. Pour apprendre le paramètre, on répète l'expérience de façon indépendante et l'on recueille un échantillon.
Définition — Modèle statistique et \(n\)-échantillon
Un modèle statistique est une famille de lois \((\mu_\theta)_{\theta \in \Theta}\) indexée par un paramètre \(\theta\) dans un ensemble \(\Theta \subset \mathbb{R}\) (ou \(\mathbb{R}^2\)), dont la vraie valeur est inconnue et caractérise la loi. Un \(n\)-échantillon de loi mère \(\mu_\theta\) est un \(n\)-uplet \((X_1, \dots, X_n)\) de variables i.i.d. de loi \(\mu_\theta\) ; un échantillon observé \((x_1, \dots, x_n)\) est une réalisation de \((X_1, \dots, X_n)\). Exemple
Trois modèles typiques. Sondage : à la veille d'une élection, \(X = 1\) si un électeur interrogé au hasard choisit le candidat \(A\), sinon \(0\) ; \(X \hookrightarrow \mathcal{B}(\theta)\) avec \(\Theta = [0, 1]\), \(\theta\) la proportion votant \(A\). Durée de vie : la durée \(X\) d'un appareil sans mémoire, \(X \hookrightarrow \mathcal{E}(\theta)\), \(\Theta = ]0, +\infty[\). Comptage : le nombre \(X\) d'arrivées à un péage en une heure, \(X \hookrightarrow \mathcal{P}(\theta)\).
Les notations \(E_\theta\) et \(V_\theta\)
La vraie valeur de \(\theta\) étant inconnue, tous les calculs sont menés sous chaque probabilité \(P_\theta\) — la probabilité pour laquelle l'échantillon \((X_1, \dots, X_n)\) est i.i.d. de loi mère \(\mu_\theta\) — de sorte que les conclusions valent quelle que soit la vraie valeur. On note \(E_\theta(X)\), \(V_\theta(X)\) l'espérance et la variance sous \(P_\theta\) — elles dépendent de \(\theta\) (par exemple \(E_\theta(X_i) = \theta\), \(V_\theta(X_i) = \theta(1 - \theta)\) pour un échantillon de Bernoulli).
Compétences à pratiquer
- Mettre en place un modèle statistique
I.2
Estimateurs et moyenne empirique
Un estimateur est toute quantité calculée à partir de l'échantillon et servant à deviner \(g(\theta)\). Surtout, il ne doit pas utiliser \(\theta\) — précisément ce que l'on cherche.
Définition — Estimateur et estimation
Soit \(g : \Theta \to \mathbb{R}\). Un estimateur de \(g(\theta)\) est une variable aléatoire \(T_n = \varphi(X_1, \dots, X_n)\), où \((X_1, \dots, X_n)\) est un \(n\)-échantillon et \(\varphi\) ne dépend pas de \(\theta\). Une estimation est une réalisation \(t_n = \varphi(x_1, \dots, x_n)\) sur un échantillon observé. (Un estimateur est une variable aléatoire ; une estimation est un nombre.) Définition — Moyenne empirique
La moyenne empirique est l'estimateur \(\overline{X_n} = \dfrac{X_1 + \dots + X_n}{n}\), l'estimateur le plus naturel de l'espérance de la loi mère. Exemple
Pour un échantillon de Bernoulli \(\mathcal{B}(\theta)\), \(\overline{X_n}\) estime \(\theta\) (l'espérance de la loi mère). Sur l'échantillon observé \(1, 0, 0, 1, 0\) (\(n = 5\)), l'estimation est \(\overline{x_5} = \tfrac15(1 + 0 + 0 + 1 + 0) = \tfrac25\). Exemple
Pour un échantillon exponentiel \(\mathcal{E}(\theta)\), \(E(X) = \tfrac1\theta\), donc \(\overline{X_n}\) estime \(g(\theta) = \tfrac1\theta\) (il est plus facile d'estimer \(\tfrac1\theta\) que \(\theta\) directement). Pour un échantillon uniforme \(\mathcal{U}([0, \theta])\), \(E(X) = \tfrac\theta2\), donc \(T_n = 2\overline{X_n}\) estime \(\theta\) ; \(\max(X_1, \dots, X_n)\) est un autre estimateur de \(\theta\). Méthode — Construire un estimateur à partir d'un échantillon
Pour estimer \(g(\theta)\), le relier à une quantité de l'échantillon d'espérance \(g(\theta)\) : le plus souvent, exprimer \(g(\theta)\) à l'aide de l'espérance \(E_\theta(X)\) et utiliser la moyenne empirique (ou un multiple), formant \(T_n = \varphi(X_1, \dots, X_n)\) sans utiliser \(\theta\). Compétences à pratiquer
- Construire des estimateurs et calculer des estimations
II
Estimateurs sans biais et leur comparaison
II.1
Estimateurs sans biais
Un estimateur est sans biais lorsqu'il est juste en moyenne : aucune erreur systématique. Le biais est l'écart entre l'estimation moyenne et la cible.
Définition — Estimateur sans biais
Un estimateur \(T_n\) de \(g(\theta)\) (admettant une espérance sous chaque \(P_\theta\)) est sans biais lorsque $$ \forall \theta \in \Theta, \qquad E_\theta(T_n) = g(\theta). $$ Sinon il est biaisé. Une suite \((T_n)\) d'estimateurs est asymptotiquement sans biais lorsque \(E_\theta(T_n) \to g(\theta)\) quand \(n \to +\infty\), pour tout \(\theta\). Exemple
L'estimateur constant \(B_n = 0\) a \(E_\theta(B_n) = 0\) pour tout \(\theta\) : il est sans biais pour \(g(\theta) = 0\), mais biaisé pour tout \(g\) avec \(g(\theta) \ne 0\) (par exemple pour l'espérance \(m \ne 0\), son biais est \(-m\)). Être sans biais est donc relatif à la cible \(g(\theta)\). Proposition — La moyenne empirique est sans biais
Pour un échantillon dont la loi mère admet une espérance finie \(m\), \(E(\overline{X_n}) = m\) : la moyenne empirique est un estimateur sans biais de \(m\).
Par linéarité de l'espérance, \(E(\overline{X_n}) = \dfrac1n \sum_{k=1}^n E(X_k) = \dfrac1n \cdot n m = m\) (chaque \(X_k\) a l'espérance \(m\) de la loi mère).
Exemple
\(A_n = \dfrac{2}{n(n+1)} \sum_{k=1}^n k X_k\) est-il un estimateur sans biais de \(m\) ?
Par linéarité, $$ \begin{aligned} E(A_n) &= \frac{2}{n(n+1)} \sum_{k=1}^n k\, E(X_k) && \text{(linéarité)} \\
&= \frac{2}{n(n+1)}\, m \sum_{k=1}^n k && \text{(}E(X_k) = m\text{)} \\
&= \frac{2}{n(n+1)}\, m \cdot \frac{n(n+1)}{2} = m && \text{(}\textstyle\sum_{k=1}^n k = \tfrac{n(n+1)}{2}\text{)}. \end{aligned} $$ Donc \(A_n\) est sans biais pour \(m\).
Proposition — La variance empirique est sans biais
Pour une loi mère admettant une variance finie \(\sigma^2\) et \(n \ge 2\), la variance empirique $$ S_n'^2 = \frac{1}{n - 1} \sum_{k=1}^n (X_k - \overline{X_n})^2 $$ est un estimateur sans biais de \(\sigma^2\).
Comme \(\sum_k X_k = n\overline{X_n}\), le développement donne \(\sum_{k=1}^n (X_k - \overline{X_n})^2 = \sum_{k=1}^n X_k^2 - n\,\overline{X_n}^2\). En prenant les espérances avec \(E(X_k^2) = \sigma^2 + m^2\) et \(E(\overline{X_n}^2) = V(\overline{X_n}) + m^2 = \dfrac{\sigma^2}{n} + m^2\) : $$ \begin{aligned} E\Bigl( \sum_{k=1}^n (X_k - \overline{X_n})^2 \Bigr) &= \sum_{k=1}^n E(X_k^2) - n\, E(\overline{X_n}^2) = n(\sigma^2 + m^2) - n\Bigl( \tfrac{\sigma^2}{n} + m^2 \Bigr) \\
&= n\sigma^2 + nm^2 - \sigma^2 - nm^2 = (n - 1)\sigma^2. \end{aligned} $$ En divisant par \(n - 1\), \(E(S_n'^2) = \sigma^2\).
La convention \(\tfrac1n\) contre \(\tfrac{1}{n-1}\)
La preuve montre que \(\frac1n \sum_k (X_k - \overline{X_n})^2\) a pour espérance \(\frac{n-1}{n}\sigma^2 \ne \sigma^2\) : elle est biaisée. Le facteur \(\frac{1}{n-1}\) corrige exactement ce biais, c'est pourquoi la variance empirique inférentielle utilise \(\frac{1}{n-1}\) (la version \(\frac1n\) est la variance descriptive usuelle d'une série de données, biaisée ici comme estimateur de \(\sigma^2\)).
Compétences à pratiquer
- Montrer qu'un estimateur est sans biais
II.2
Comparer des estimateurs sans biais
Lorsque plusieurs estimateurs sans biais d'un même \(g(\theta)\) sont disponibles, le plus fiable est le moins dispersé : celui dont les estimations se regroupent le plus autour de \(g(\theta)\) — c'est-à-dire celui de plus petite variance.
Définition — Un meilleur estimateur sans biais
Soient \(T_n\) et \(U_n\) deux estimateurs sans biais de \(g(\theta)\) (admettant des variances). On dit que \(T_n\) est un meilleur estimateur de \(g(\theta)\) que \(U_n\) lorsque $$ \forall \theta \in \Theta, \qquad V_\theta(T_n) \le V_\theta(U_n) $$ (strictement meilleur si de plus l'inégalité est stricte pour au moins un \(\theta\)). Méthode — Comparer deux estimateurs sans biais
Vérifier que les deux sont sans biais (\(E_\theta = g(\theta)\)), puis calculer et comparer leurs variances \(V_\theta(T_n)\) et \(V_\theta(U_n)\) ; celui de plus petite variance pour tout \(\theta\) est le meilleur estimateur. Exemple
Pour un échantillon de Bernoulli \(\mathcal{B}(\theta)\), comparer les estimateurs sans biais \(\overline{X_n}\) et \(A_n = \dfrac{2}{n(n+1)} \sum_{k=1}^n k X_k\) de \(\theta\).
Les deux sont sans biais (ci-dessus). Par indépendance, \(V_\theta(\overline{X_n}) = \dfrac{\theta(1 - \theta)}{n}\), tandis que $$ \begin{aligned} V_\theta(A_n) &= \frac{4}{n^2(n+1)^2} \sum_{k=1}^n k^2\, V_\theta(X_k) && \text{(indépendance ; mise à l'échelle)} \\
&= \frac{4\,\theta(1-\theta)}{n^2(n+1)^2} \sum_{k=1}^n k^2 && \text{(}V_\theta(X_k) = \theta(1-\theta)\text{)} \\
&= \frac{4\,\theta(1-\theta)}{n^2(n+1)^2} \cdot \frac{n(n+1)(2n+1)}{6} && \text{(}\textstyle\sum k^2 = \tfrac{n(n+1)(2n+1)}{6}\text{)} \\
&= \frac{2(2n+1)}{3n(n+1)}\,\theta(1-\theta). \end{aligned} $$ Pour \(0 < \theta < 1\) le rapport \(\dfrac{V_\theta(A_n)}{V_\theta(\overline{X_n})} = \dfrac{2(2n+1)}{3(n+1)} \ge 1\) (égal en \(n = 1\), strictement plus grand pour \(n \ge 2\)) ; en \(\theta \in \{0, 1\}\) les deux variances s'annulent. Donc \(\overline{X_n}\) a une variance au plus égale à celle de \(A_n\) (strictement plus petite pour \(n \ge 2\) et \(0 < \theta < 1\)) : c'est un meilleur estimateur de \(\theta\) que \(A_n\).
La variance d'un estimateur sans biais mesure la dispersion de ses estimations autour de \(g(\theta)\). Comparer deux estimateurs sans biais par leur variance est le seul critère de comparaison utilisé ici ; le risque quadratique — qui serait nécessaire pour comparer des estimateurs biaisés — dépasse ce cours.
Méthode — Python — comparer deux estimateurs par simulation
Pour voir lequel de deux estimateurs sans biais d'un même \(g(\theta)\) est le meilleur, engendrer de nombreux échantillons par simulation, calculer chaque estimateur sur chaque échantillon, et superposer les histogrammes des estimations. Les deux histogrammes sont centrés sur \(g(\theta)\) (les deux estimateurs sont sans biais), donc le meilleur estimateur est celui dont l'histogramme est le plus étroit — celui de plus petite variance. \begin{verbatim} import numpy as np import matplotlib.pyplot as plt theta, n, N = 0.4, 60, 1000 # vrai parametre, taille, repetitions E = np.random.binomial(1, theta, size=(N, n)) # N echantillons de Bernoulli mean_est = E.mean(axis=1) # moyenne empirique k = np.arange(1, n + 1) A_est = (2 / (n * (n + 1))) * (E * k).sum(axis=1) # l'estimateur A_n plt.hist(mean_est, bins=30, density=True, alpha=0.5) plt.hist(A_est, bins=30, density=True, alpha=0.5) plt.axvline(theta) # la vraie valeur plt.show() \end{verbatim} Compétences à pratiquer
- Comparer des estimateurs sans biais
III
Maximum de vraisemblance
La moyenne empirique est un estimateur naturel, mais ce n'est pas le seul moyen systématique d'en produire un. Le principe du maximum de vraisemblance fournit une recette générale : retenir la valeur du paramètre qui rend l'échantillon observé le plus probable. On en présente le principe et on l'instancie sur les deux lois demandées ; aucun théorème général n'est établi.
Définition — Vraisemblance et estimateur du maximum de vraisemblance
Soit \((X_1, \dots, X_n)\) un \(n\)-échantillon d'une loi dépendant d'un paramètre \(\theta \in \Theta\), et soit \((x_1, \dots, x_n)\) un échantillon observé. La vraisemblance pour \((x_1, \dots, x_n)\) est la fonction de \(\theta\) $$ L_n(\theta) = \prod_{k=1}^n P_\theta(X_k = x_k) \quad \text{(loi discrète)}, \qquad L_n(\theta) = \prod_{k=1}^n f_\theta(x_k) \quad \text{(densité } f_\theta\text{)}. $$ Lorsque \(L_n\) admet un maximum sur \(\Theta\) atteint en un unique point, ce point est l'estimation du maximum de vraisemblance \(\theta_n^*\) de \(\theta\) ; en écrivant \(\theta_n^* = \varphi(x_1, \dots, x_n)\), la variable aléatoire \(\varphi(X_1, \dots, X_n)\) est l'estimateur du maximum de vraisemblance. En pratique on maximise la log-vraisemblance \(\ln L_n\), qui a les mêmes variations que \(L_n\) (le logarithme est strictement croissant) mais transforme le produit en somme. Méthode — Trouver un estimateur du maximum de vraisemblance
Sur un échantillon observé \((x_1, \dots, x_n)\), on procède en quatre étapes. - Étape 1. Écrire la vraisemblance \(L_n(\theta)\) comme le produit des \(n\) probabilités (ou densités) individuelles aux valeurs observées.
- Étape 2. Prendre la log-vraisemblance \(\ln L_n(\theta)\), transformant le produit en somme.
- Étape 3. Dériver en \(\theta\) et étudier le signe de la dérivée pour localiser l'unique maximisant \(\theta_n^*\).
- Étape 4. Lire \(\theta_n^* = \varphi(x_1, \dots, x_n)\) ; l'estimateur est \(\varphi(X_1, \dots, X_n)\).
Exemple — Maximum de vraisemblance pour un paramètre de Bernoulli
Soit \((X_1, \dots, X_n)\) un \(n\)-échantillon de \(\mathcal{B}(p)\), \(p \in\, ]0, 1[\) inconnu, observé \((x_1, \dots, x_n) \in \{0, 1\}^n\), et notons \(s_n = \sum_{k=1}^n x_k\). Comme \(P_p(X_k = x_k) = p^{x_k}(1-p)^{1-x_k}\), $$ \begin{aligned} \ln L_n(p) &= \sum_{k=1}^n \bigl( x_k \ln p + (1 - x_k)\ln(1-p) \bigr) && \text{log du produit} \\
&= s_n \ln p + (n - s_n)\ln(1 - p) && \text{(}\textstyle s_n = \sum_k x_k\text{)}. \end{aligned} $$ Sa dérivée vaut \(\dfrac{s_n}{p} - \dfrac{n - s_n}{1 - p} = \dfrac{s_n - np}{p(1-p)}\), positive puis négative, donc \(\ln L_n\) est maximale en l'unique point \(p = \dfrac{s_n}{n} = \overline{x_n}\). L'estimateur du maximum de vraisemblance de \(p\) est donc la moyenne empirique \(\overline{X_n}\). Exemple — Maximum de vraisemblance pour un paramètre de Poisson
Soit \((X_1, \dots, X_n)\) un \(n\)-échantillon de \(\mathcal{P}(\lambda)\), \(\lambda > 0\) inconnu, observé \((x_1, \dots, x_n) \in \mathbb{N}^n\), et notons \(s_n = \sum_{k=1}^n x_k\). Comme \(P_\lambda(X_k = x_k) = \mathrm{e}^{-\lambda} \dfrac{\lambda^{x_k}}{x_k!}\), $$ \begin{aligned} \ln L_n(\lambda) &= \sum_{k=1}^n \bigl( -\lambda + x_k \ln \lambda - \ln(x_k!) \bigr) && \text{log du produit} \\
&= -n\lambda + s_n \ln \lambda - \sum_{k=1}^n \ln(x_k!) && \text{(}\textstyle s_n = \sum_k x_k\text{)}. \end{aligned} $$ Sa dérivée vaut \(-n + \dfrac{s_n}{\lambda} = \dfrac{s_n - n\lambda}{\lambda}\), positive puis négative, donc \(\ln L_n\) est maximale en l'unique point \(\lambda = \dfrac{s_n}{n} = \overline{x_n}\). L'estimateur du maximum de vraisemblance de \(\lambda\) est de nouveau la moyenne empirique \(\overline{X_n}\) — cohérent avec \(E_\lambda(X) = \lambda\).
L'estimateur du maximum de vraisemblance dépend de la loi : c'est la moyenne empirique pour \(\mathcal{B}(p)\) et \(\mathcal{P}(\lambda)\) (toutes deux d'espérance \(E(X) = \theta\)), mais ce n'est pas nécessairement la moyenne empirique pour d'autres lois. Le principe est ici énoncé et appliqué sur des exemples ; aucune propriété générale (convergence, biais) n'est démontrée.
Une estimation ponctuelle n'est presque jamais exactement égale à la quantité qu'elle estime : sur un échantillon malchanceux, même un bon estimateur se trompe. L'estimation par intervalle contrôle cette incertitude. Plutôt que de donner un seul nombre pour \(g(\theta)\), on donne un intervalle aléatoire qui capture la vraie valeur avec une probabilité fixée à l'avance — le niveau de confiance \(1 - \alpha\). Ce chapitre construit de tels intervalles de trois façons : l'inégalité de Bienaymé-Tchebychev donne un intervalle grossier valable pour toute taille d'échantillon ; pour une loi mère normale d'écart-type connu l'intervalle est précis et exact ; et le théorème central limite donne un intervalle plus précis (mais conservatif) valable seulement asymptotiquement. Il referme le parcours de l'estimation ouvert au chapitre précédent. Conventions : \((X_n)\) sont i.i.d.\ de loi mère \(\mu_\theta\), paramètre \(\theta \in \Theta \subset \mathbb{R}\) inconnu ; \(E_\theta, V_\theta\) sont calculées sous \(P_\theta\) ; \(U_n = \varphi(X_1, \dots, X_n)\) et \(V_n = \psi(X_1, \dots, X_n)\) sont des estimateurs tels que \(P_\theta(U_n \le V_n) = 1\) pour tout \(\theta\) ; \(\overline{X_n} = \frac1n \sum_{k=1}^n X_k\) est la moyenne empirique ; \(\Phi\) est la fonction de répartition de \(\mathcal{N}(0, 1)\) ; pour \(\alpha \in\,]0,1[\), \(t_\alpha\) est l'unique réel tel que \(\Phi(t_\alpha) = 1 - \tfrac\alpha2\).
Compétences à pratiquer
- Le principe du maximum de vraisemblance
IV
Intervalles de confiance : définition et vocabulaire
Le chapitre précédent jugeait un estimateur par son biais et sa variance, mais aucun tel critère ne garantit que la valeur lue sur un échantillon est proche de \(g(\theta)\). L'idée est maintenant d'entourer \(g(\theta)\) par un intervalle aléatoire \([U_n, V_n]\) — construit à partir de l'échantillon, jamais de \(\theta\) — et de contrôler la probabilité que cet intervalle contienne la vraie valeur. Dans toute cette section \((U_n)_{n \ge 1}\) et \((V_n)_{n \ge 1}\) désignent deux suites d'estimateurs de \(g(\theta)\) avec \(P_\theta(U_n \le V_n) = 1\) pour tout \(\theta\) et tout \(n\).
Définition — Intervalle de confiance au niveau \(1-\alpha\)
Soit \(\alpha \in [0, 1]\). Le couple \([U_n, V_n]\) est un intervalle de confiance de \(g(\theta)\) au niveau de confiance \(1 - \alpha\) lorsque $$ \forall \theta \in \Theta, \qquad P_\theta\bigl( U_n \le g(\theta) \le V_n \bigr) \ge 1 - \alpha. $$ Le réel \(\alpha\) est le risque. Pour \(\omega \in \Omega\), l'intervalle \([U_n(\omega), V_n(\omega)]\) est une réalisation de l'intervalle de confiance, aussi appelée intervalle de confiance observé.
Deux choses sont aléatoires dans \(P_\theta(U_n \le g(\theta) \le V_n)\) : les bornes \(U_n\) et \(V_n\). L'inconnue \(g(\theta)\) est un nombre fixe ; c'est l'intervalle qui bouge d'un échantillon à l'autre. Le niveau \(1 - \alpha\) mesure la fréquence à laquelle cet intervalle aléatoire capture la cible fixe.
On recherche très souvent un intervalle de confiance centré en une estimation ponctuelle de \(g(\theta)\), de la forme \([T_n - \varepsilon, T_n + \varepsilon]\). C'est celui qui réalise l'étude qui choisit le niveau \(1 - \alpha\), donc le risque accepté \(\alpha\) : \(\alpha = 0{,}05\) (95\pourcent) est le choix courant, \(\alpha = 0{,}01\) dans les domaines sensibles (aérospatiale, nucléaire). Plus le risque est petit, plus l'intervalle est large ; plus l'échantillon est grand, plus on peut le resserrer.
Exemple
Un sondage de \(n = 1000\) personnes donne, pour la proportion \(p\) d'une opinion, l'intervalle de confiance observé \([0{,}134, 0{,}274]\) au niveau \(0{,}95\). Cela ne dit pas « \(p \in [0{,}134, 0{,}274]\) avec probabilité \(0{,}95\) » — \(p\) est fixe et l'intervalle est désormais un couple de nombres fixé. Cela dit : la procédure produisant de tels intervalles capture le vrai \(p\) dans au moins \(95\pourcent\) des échantillons ; sur au plus \(5\pourcent\) elle le manque. Le risque porte sur la méthode, non sur cette réalisation.
La figure montre plusieurs réalisations d'un intervalle de confiance sous forme de barres horizontales, autour de la droite verticale marquant l'inconnue fixe \(g(\theta)\). La plupart des barres traversent la droite (elles capturent la cible) ; une petite fraction — le risque \(\alpha\) — la manque entièrement. 
Compétences à pratiquer
- Lire et interpréter un intervalle de confiance
V
Intervalles de confiance par l'inégalité de Bienaymé-Tchebychev
Lorsqu'un estimateur \(T_n\) est sans biais pour \(g(\theta)\) et possède une variance que l'on peut majorer sans utiliser \(g(\theta)\), l'inégalité de Bienaymé-Tchebychev transforme cette majoration en intervalle de confiance. Cet intervalle est garanti pour toute taille d'échantillon — il n'est pas asymptotique — au prix d'être large.
Proposition — Inégalité de Bienaymé-Tchebychev (rappel)
Établie au chapitre de la convergence : si \(T_n\) admet une variance, alors pour tout \(\varepsilon > 0\), $$ P\bigl( |T_n - E(T_n)| \ge \varepsilon \bigr) \le \frac{V(T_n)}{\varepsilon^2}. $$ Méthode — Intervalle de confiance par Bienaymé-Tchebychev
Avec un estimateur sans biais \(T_n\) de \(g(\theta)\) dont la variance est connue (ou majorée) sans faire intervenir \(g(\theta)\), on procède en trois étapes. L'argument est court et doit être refait à chaque utilisation. - Étape 1. Appliquer Bienaymé-Tchebychev à \(T_n\), avec \(E_\theta(T_n) = g(\theta)\) : pour \(\varepsilon > 0\), \(P_\theta(|T_n - g(\theta)| \ge \varepsilon) \le V_\theta(T_n)/\varepsilon^2\).
- Étape 2. Majorer \(V_\theta(T_n)/\varepsilon^2\) par une quantité indépendante de \(g(\theta)\), puis fixer cette majoration égale à \(\alpha\) pour déterminer \(\varepsilon\).
- Étape 3. L'événement complémentaire donne \(P_\theta(|T_n - g(\theta)| < \varepsilon) \ge 1 - \alpha\) ; résoudre \(|T_n - g(\theta)| < \varepsilon\) pour isoler \(g(\theta)\). L'intervalle fermé \([T_n - \varepsilon, T_n + \varepsilon]\) contient cet événement strict, donc il a une probabilité \(\ge 1 - \alpha\).
Proposition — Intervalle de confiance de Bienaymé-Tchebychev pour un paramètre de Bernoulli
Soit \((X_1, \dots, X_n)\) un \(n\)-échantillon de loi \(\mathcal{B}(p)\) avec \(p\) inconnu, et \(\alpha \in\, ]0, 1]\). Alors $$ \Bigl[ \overline{X_n} - \frac{1}{2\sqrt{n\alpha}}, \ \overline{X_n} + \frac{1}{2\sqrt{n\alpha}} \Bigr] $$ est un intervalle de confiance de \(p\) au niveau \(1 - \alpha\).
La moyenne empirique est sans biais, \(E(\overline{X_n}) = p\), et \(V(\overline{X_n}) = \dfrac{p(1-p)}{n}\). Comme \(p(1-p) \le \tfrac14\) sur \([0, 1]\), on a \(V(\overline{X_n}) \le \dfrac{1}{4n}\), majoration indépendante de \(p\). Bienaymé-Tchebychev donne alors, pour \(\varepsilon > 0\), $$\begin{aligned} P\bigl( |\overline{X_n} - p| \ge \varepsilon \bigr) &\le \frac{V(\overline{X_n})}{\varepsilon^2} && \text{Bienaymé-Tchebychev appliquée à } \overline{X_n} \\
&\le \frac{1}{4 n \varepsilon^2} && \text{majoration } p(1-p) \le \tfrac14. \end{aligned}$$ On pose \(\dfrac{1}{4 n \varepsilon^2} = \alpha\), soit \(\varepsilon = \dfrac{1}{2\sqrt{n\alpha}}\). L'événement complémentaire donne $$ P\Bigl( |\overline{X_n} - p| < \tfrac{1}{2\sqrt{n\alpha}} \Bigr) \ge 1 - \alpha, $$ et \(|\overline{X_n} - p| < \varepsilon \Leftrightarrow \overline{X_n} - \varepsilon < p < \overline{X_n} + \varepsilon\) ; cet événement ouvert est contenu dans l'intervalle fermé \([\overline{X_n} - \varepsilon, \overline{X_n} + \varepsilon]\), qui a donc une probabilité \(\ge 1 - \alpha\) — l'intervalle annoncé.
Exemple
Prenons le risque \(\alpha = 0{,}05\). Pour \(n = 100\) la demi-largeur vaut \(\dfrac{1}{2\sqrt{100 \times 0{,}05}} = \dfrac{1}{2\sqrt5} \approx 0{,}22\) : l'intervalle \([\overline{X_n} - 0{,}22, \overline{X_n} + 0{,}22]\) a une amplitude \(0{,}44\) — énorme quand \(p \in [0, 1]\). Pour \(n = 1000\) la demi-largeur tombe à \(\dfrac{1}{2\sqrt{50}} \approx 0{,}07\). Inversement, pour estimer \(p\) avec une demi-largeur d'au plus \(0{,}01\) au risque \(0{,}05\) il faut \(\dfrac{1}{2\sqrt{n \times 0{,}05}} \le 0{,}01\), soit \(n \ge \dfrac{1}{4 \times 0{,}05 \times 0{,}01^2} = 50000\). Compétences à pratiquer
- Construire des intervalles par Bienaymé-Tchebychev
VI
Intervalle de confiance exact pour la moyenne d'une loi normale (écart-type connu)
L'intervalle de Bienaymé-Tchebychev fonctionne pour toute loi mais est grossier. Lorsque la loi mère est normale d'écart-type connu \(\sigma\), la moyenne empirique est elle-même exactement normale, et l'on obtient un intervalle précis au niveau exact \(1 - \alpha\) — sans approximation, sans asymptotique.
Proposition — Intervalle de confiance exact pour une moyenne normale d'écart-type connu
Soit \((X_1, \dots, X_n)\) un \(n\)-échantillon de loi \(\mathcal{N}(m, \sigma^2)\) avec \(m\) inconnu et \(\sigma\) connu, et \(\alpha \in\, ]0, 1[\). Alors $$ \Bigl[ \overline{X_n} - t_\alpha \frac{\sigma}{\sqrt n}, \ \overline{X_n} + t_\alpha \frac{\sigma}{\sqrt n} \Bigr], \qquad t_\alpha = \Phi^{-1}\!\Bigl(1 - \tfrac\alpha2\Bigr), $$ est un intervalle de confiance de \(m\) au niveau exact \(1 - \alpha\).
Une somme de variables normales indépendantes est normale (chapitre des vecteurs aléatoires), donc \(\overline{X_n} = \tfrac1n \sum_k X_k \hookrightarrow \mathcal{N}\bigl(m, \tfrac{\sigma^2}{n}\bigr)\), et sa forme centrée réduite est exactement normale centrée réduite : $$ Z = \sqrt n\, \frac{\overline{X_n} - m}{\sigma} \hookrightarrow \mathcal{N}(0, 1). $$ Par définition de \(t_\alpha\), et avec \(\Phi(-t_\alpha) = 1 - \Phi(t_\alpha)\), $$\begin{aligned} P\bigl( -t_\alpha \le Z \le t_\alpha \bigr) &= \Phi(t_\alpha) - \Phi(-t_\alpha) && \text{fonction de répartition de } \mathcal{N}(0,1) \\
&= 2\Phi(t_\alpha) - 1 && \text{symétrie } \Phi(-t_\alpha) = 1 - \Phi(t_\alpha) \\
&= 2\Bigl(1 - \tfrac\alpha2\Bigr) - 1 && \text{définition } \Phi(t_\alpha) = 1 - \tfrac\alpha2 \\
&= 1 - \alpha. \end{aligned}$$ Or \(-t_\alpha \le \sqrt n \tfrac{\overline{X_n} - m}{\sigma} \le t_\alpha\) équivaut à \(\overline{X_n} - t_\alpha \tfrac{\sigma}{\sqrt n} \le m \le \overline{X_n} + t_\alpha \tfrac{\sigma}{\sqrt n}\), donc \(P\bigl( \overline{X_n} - t_\alpha \tfrac{\sigma}{\sqrt n} \le m \le \overline{X_n} + t_\alpha \tfrac{\sigma}{\sqrt n} \bigr) = 1 - \alpha\).
Deux valeurs de \(t_\alpha\) reviennent et se lisent dans la table de la loi normale : \(t_{0{,}05} = \Phi^{-1}(0{,}975) \approx 1{,}96\) et \(t_{0{,}01} = \Phi^{-1}(0{,}995) \approx 2{,}57\).
Exemple
Une machine remplit des bouteilles dont le contenu suit \(\mathcal{N}(m, \sigma^2)\) d'écart-type connu \(\sigma = 2\,\)mL. Sur \(n = 25\) bouteilles la moyenne observée est \(\overline{x} = 10{,}4\,\)mL. Au niveau \(0{,}95\) (\(t_{0{,}05} \approx 1{,}96\)), la demi-largeur vaut \(1{,}96 \times \tfrac{2}{\sqrt{25}} = 1{,}96 \times 0{,}4 = 0{,}784\), donnant l'intervalle observé \([10{,}4 - 0{,}784, \ 10{,}4 + 0{,}784] = [9{,}62, 11{,}18]\) (en mL).
Cet intervalle requiert \(\sigma\) connu. Lorsque \(\sigma\) est inconnu, on estime \(\sigma^2\) par la variance empirique \(S_n'^2 = \frac{1}{n-1} \sum_{k=1}^n (X_k - \overline{X_n})^2\) (l'estimateur sans biais du chapitre précédent) ; l'intervalle obtenu repose alors sur la loi de Student et dépasse le cadre de ce cours.
Compétences à pratiquer
- Calculer pour une moyenne normale
VII
Intervalles de confiance asymptotiques
Pour une loi mère générale le théorème central limite ne décrit \(\overline{X_n}\) qu'à la limite, de sorte que le niveau de confiance qu'il fournit n'est atteint que pour \(n\) grand. Cela appelle une notion plus faible — l'intervalle de confiance asymptotique — dans laquelle le niveau cible est approché quand \(n \to +\infty\).
Définition — Intervalle de confiance asymptotique au niveau \(1-\alpha\)
Soit \(\alpha \in [0, 1]\). Une suite \(\bigl( [U_n, V_n] \bigr)_{n \ge 1}\) est un intervalle de confiance asymptotique de \(g(\theta)\) au niveau \(1 - \alpha\) lorsque, pour tout \(\theta \in \Theta\), il existe une suite \((\alpha_n)_{n \ge 1}\) de réels dans \([0, 1]\) de limite \(\alpha\) telle que $$ \forall n \ge 1, \qquad P_\theta\bigl( U_n \le g(\theta) \le V_n \bigr) \ge 1 - \alpha_n. $$
La différence avec un intervalle de confiance (non asymptotique) compte : un intervalle asymptotique n'a un niveau « acceptable » que pour \(n\) grand (\(\alpha_n\) proche de \(\alpha\)), sans règle indiquant à partir de quel \(n\) — une perte de précision. En pratique on le traite comme un véritable intervalle de confiance au risque \(\alpha\) dès que \(n \ge 30\), \(np \ge 5\) et \(n(1-p) \ge 5\) (les seuils d'approximation normale de la loi binomiale, vérifiés avec \(\overline{X_n}\) à la place du \(p\) inconnu).
Proposition — Intervalle de confiance asymptotique pour un paramètre de Bernoulli
Soit \((X_1, \dots, X_n)\) un \(n\)-échantillon de loi \(\mathcal{B}(p)\) avec \(p \in\, ]0, 1[\) inconnu, et \(\alpha \in\, ]0, 1[\). Alors $$ \Bigl[ \overline{X_n} - \frac{t_\alpha}{2\sqrt n}, \ \overline{X_n} + \frac{t_\alpha}{2\sqrt n} \Bigr], \qquad t_\alpha = \Phi^{-1}\!\Bigl(1 - \tfrac\alpha2\Bigr), $$ est un intervalle de confiance asymptotique de \(p\) au niveau \(1 - \alpha\).
Ici \(m = p\) et \(\sigma^2 = p(1-p) \ne 0\), donc le théorème central limite donne \(\sqrt n\, \dfrac{\overline{X_n} - p}{\sqrt{p(1-p)}} \xrightarrow{\mathcal{L}} \mathcal{N}(0, 1)\). Posons \(\beta_n = P\Bigl( -t_\alpha < \sqrt n\, \tfrac{\overline{X_n} - p}{\sqrt{p(1-p)}} \le t_\alpha \Bigr)\). Comme \(\pm t_\alpha\) sont des points de continuité de \(\Phi\), la limite aux points de continuité du chapitre de la convergence donne $$\begin{aligned} \lim_{n \to +\infty} \beta_n &= \Phi(t_\alpha) - \Phi(-t_\alpha) && \text{convergence en loi, points de continuité} \\
&= 2\Phi(t_\alpha) - 1 && \text{symétrie } \Phi(-t_\alpha) = 1 - \Phi(t_\alpha) \\
&= 1 - \alpha && \text{définition } \Phi(t_\alpha) = 1 - \tfrac\alpha2. \end{aligned}$$ En isolant \(p\) dans l'événement, \(-t_\alpha < \sqrt n \tfrac{\overline{X_n} - p}{\sqrt{p(1-p)}} \le t_\alpha\) équivaut à \(\overline{X_n} - t_\alpha \tfrac{\sqrt{p(1-p)}}{\sqrt n} \le p < \overline{X_n} + t_\alpha \tfrac{\sqrt{p(1-p)}}{\sqrt n}\). Comme \(p(1-p) \le \tfrac14\), cet intervalle semi-ouvert est contenu dans l'intervalle fermé \(\bigl[ \overline{X_n} - \tfrac{t_\alpha}{2\sqrt n}, \overline{X_n} + \tfrac{t_\alpha}{2\sqrt n} \bigr]\) (sa demi-largeur \(t_\alpha \tfrac{\sqrt{p(1-p)}}{\sqrt n}\) est au plus \(\tfrac{t_\alpha}{2\sqrt n}\)). Ainsi \(P\bigl( \overline{X_n} - \tfrac{t_\alpha}{2\sqrt n} \le p \le \overline{X_n} + \tfrac{t_\alpha}{2\sqrt n} \bigr) \ge \beta_n\). En posant \(\alpha_n = 1 - \beta_n \in [0, 1]\), on a \(\alpha_n \to \alpha\) et, pour tout \(n\), $$ P_\theta\Bigl( \overline{X_n} - \tfrac{t_\alpha}{2\sqrt n} \le p \le \overline{X_n} + \tfrac{t_\alpha}{2\sqrt n} \Bigr) \ge 1 - \alpha_n, $$ ce qui est exactement la définition d'un intervalle de confiance asymptotique au niveau \(1 - \alpha\).
Méthode — Intervalle de confiance asymptotique à partir d'une convergence en loi
Pour construire un intervalle de confiance asymptotique de \(g(\theta)\), on procède en trois étapes. Comme précédemment l'argument est refait à chaque utilisation. - Étape 1. Exhiber une convergence en loi \(Y_n \xrightarrow{\mathcal{L}} Y\) — en général via le théorème central limite, dont on énonce les hypothèses.
- Étape 2. Choisir \(a < b\) (points de continuité de \(F_Y\)) avec \(F_Y(b) - F_Y(a) = 1 - \alpha\) ; pour un intervalle centré prendre \(a = -t_\alpha\), \(b = t_\alpha\).
- Étape 3. Résoudre \(a < Y_n \le b\) pour isoler \(g(\theta)\), en majorant toute occurrence restante de \(g(\theta)\) par une quantité indépendante de lui (par exemple \(p(1-p) \le \tfrac14\)).
Exemple
Au risque \(\alpha = 0{,}05\) (\(t_\alpha \approx 1{,}96\)) et \(n = 1000\), l'intervalle asymptotique \(\bigl[ \overline{X_n} - \tfrac{1{,}96}{2\sqrt{1000}}, \overline{X_n} + \tfrac{1{,}96}{2\sqrt{1000}} \bigr]\) a une demi-largeur \(\approx 0{,}031\), amplitude \(0{,}062\) — contre \(0{,}14\) pour l'intervalle de Bienaymé-Tchebychev au même \(n\). Pour atteindre une demi-largeur \(0{,}01\) il faut \(\tfrac{1{,}96}{2\sqrt n} \le 0{,}01\), soit \(n \ge \bigl( \tfrac{1{,}96}{0{,}02} \bigr)^2 = 9604\), contre \(50000\) pour Bienaymé-Tchebychev. L'intervalle du théorème central limite est bien plus précis. Méthode — Python — TP Thème 4 : estimer le niveau réel par simulation
Pour comparer les deux intervalles de Bernoulli, simuler \(m\) échantillons de taille \(n\) pour un vrai \(p\) fixé, et compter combien de fois chaque intervalle capture \(p\). Les deux utilisent la majoration conservative \(p(1-p) \le \tfrac14\), donc tous deux sur-couvrent ; mais l'intervalle de Bienaymé-Tchebychev sur-couvre grossièrement (niveau empirique \(\approx 100\pourcent\)), tandis que l'intervalle du théorème central limite est bien plus proche de la cible (niveau empirique \(\approx 98\pourcent\) pour \(p = 0{,}21\), contre les \(95\pourcent\) nominaux). \begin{verbatim} import numpy as np p, n, m = 0.21, 1000, 10000 # vrai parametre, taille echantillon, repetitions t = 1.96 # t_alpha pour alpha = 0.05 BT, CLT = 0, 0 for _ in range(m): Xbar = np.mean(np.random.binomial(1, p, n)) # moyenne empirique observee if abs(Xbar - p) < 1 / (2 * np.sqrt(0.05 * n)): # Bienayme-Tchebychev BT += 1 if abs(Xbar - p) < t / (2 * np.sqrt(n)): # theoreme central limite CLT += 1 print(100 * BT / m, 100 * CLT / m) # niveaux empiriques, en pourcent \end{verbatim}
Les intervalles de confiance referment le parcours de l'estimation : le chapitre précédent produisait des estimations ponctuelles et jugeait leur qualité, celui-ci transforme les fluctuations d'un estimateur en un intervalle qui capture l'inconnue avec une confiance fixée. Trois constructions se côtoient — Bienaymé-Tchebychev (grossière, mais exacte pour tout \(n\)), la normalité exacte (précise et exacte, quand la loi est normale d'écart-type connu) et le théorème central limite (plus précis que Bienaymé-Tchebychev, mais seulement asymptotique). Décider entre des hypothèses au vu d'un tel intervalle — les tests statistiques — dépasse ce cours.
Compétences à pratiquer
- Construire des intervalles asymptotiques
VIII
Pour aller plus loin
Compétences à pratiquer
- Comparer et interpréter les intervalles
Aller à la section