Éducation Nationale Française · ECGapprofondies 2
Projection orthogonale
Dans un espace euclidien, un vecteur \(x\) projette une « ombre » unique sur un sous-espace \(F\) : sa projection orthogonale \(p_F(x)\), le point de \(F\) le plus proche de \(x\). Construite sur la décomposition \(E = F \oplus F^\perp\) du chapitre sur le produit scalaire, \(p_F\) décompose \(x = p_F(x) + (x - p_F(x))\) en sa partie dans \(F\) et sa partie orthogonale à \(F\). Dans une base orthonormée de \(F\), la projection devient une somme de produits scalaires, \(p_F(x) = \sum_i \langle x, e_i\rangle\, e_i\) ; et \(p_F(x)\) résout un problème de minimisation — c'est la meilleure approximation de \(x\) dans \(F\). C'est la géométrie qui se cache derrière les moindres carrés et la droite de régression. Conventions : \(E\) est un espace euclidien (un espace vectoriel réel de dimension finie muni d'un produit scalaire, comme au chapitre sur le produit scalaire) et \(F\) un sous-espace, de sorte que \(E = F \oplus F^\perp\) ; \(\langle \cdot, \cdot\rangle\) et \(\|\cdot\|\) sont le produit scalaire et sa norme. Un projecteur orthogonal se révèle être un endomorphisme symétrique — le sujet du prochain chapitre d'algèbre.
I
Projection orthogonale sur un sous-espace
I.1
Définition et caractérisation
On travaille dans un espace euclidien \(E\) (de dimension finie, muni d'un produit scalaire) et un sous-espace \(F\). Rappelons le théorème du supplémentaire orthogonal du chapitre sur le produit scalaire : \(E = F \oplus F^\perp\), donc tout vecteur se décompose de manière unique en une partie dans \(F\) plus une partie orthogonale à \(F\). La projection orthogonale sur \(F\) retient la première partie. Géométriquement, elle abaisse une perpendiculaire de \(x\) sur \(F\) — le pied de cette perpendiculaire est \(p_F(x)\).
Définition — Projection orthogonale
Soit \(F\) un sous-espace de l'espace euclidien \(E\), de sorte que \(E = F \oplus F^\perp\) (théorème du supplémentaire orthogonal du chapitre sur le produit scalaire). La projection orthogonale sur \(F\) est la projection \(p_F\) sur \(F\) parallèlement à \(F^\perp\) : pour \(x \in E\) écrit de manière unique \(x = u + w\) avec \(u \in F\) et \(w \in F^\perp\), on pose \(p_F(x) = u\). Le vecteur \(p_F(x)\) est la projection orthogonale de \(x\) sur \(F\). Proposition — Caractérisation de la projection orthogonale
Pour \(x \in E\) et \(v \in E\), $$ v = p_F(x) \iff \bigl( v \in F \ \text{ et } \ x - v \in F^\perp \bigr). $$
Par \(E = F \oplus F^\perp\), \(x\) admet une décomposition unique \(x = u + w\) avec \(u \in F\), \(w \in F^\perp\), et \(p_F(x) = u\) par définition. Si \(v = p_F(x) = u\), alors \(v \in F\) et \(x - v = w \in F^\perp\). Réciproquement, supposons \(v \in F\) et \(x - v \in F^\perp\). Alors \(x = v + (x - v)\) est une décomposition de \(x\) en un élément de \(F\) plus un élément de \(F^\perp\) ; par l'unicité de cette décomposition, \(v = u = p_F(x)\).
Exemple — Projection sur une droite
Soit \(F = \mathrm{Vect}(a)\) avec \(a \ne 0_E\). La projection orthogonale de \(x\) sur \(F\) est $$ p_F(x) = \frac{\langle x, a\rangle}{\|a\|^2}\, a. $$ En effet, \(p_F(x) = \lambda a\) pour un certain \(\lambda \in \mathbb{R}\) (il appartient à la droite), et la caractérisation impose \(x - \lambda a \in F^\perp\), soit \(\langle x - \lambda a, a\rangle = 0\), c'est-à-dire \(\langle x, a\rangle - \lambda \|a\|^2 = 0\), donc \(\lambda = \langle x, a\rangle / \|a\|^2\).
La figure montre la projection de \(x\) sur un sous-espace \(F\) : le pied \(p_F(x)\) appartient à \(F\), et l'écart \(x - p_F(x)\) est orthogonal à \(F\). 
Méthode — Calculer \(p_F(x)\) à partir d'une base de \(F\) — les quatre étapes
Lorsqu'une base \((u_1, \dots, u_p)\) de \(F\) (pas nécessairement orthonormée) est donnée : - écrire \(p_F(x) = \sum_{i=1}^p \lambda_i u_i\) (il appartient à \(F\)) ;
- imposer \(x - p_F(x) \in F^\perp\), ce qui (orthogonalité testée sur les générateurs) signifie \(\langle x - p_F(x), u_j\rangle = 0\) pour tout \(j\) ;
- c'est un système linéaire en les inconnues \(\lambda_1, \dots, \lambda_p\) : \(\sum_{i} \lambda_i \langle u_i, u_j\rangle = \langle x, u_j\rangle\) pour chaque \(j\) ;
- le résoudre (le système a toujours une unique solution — voir la remarque ci-dessous) et reporter.
La matrice du système de l'étape 3 est la matrice de Gram \(\bigl( \langle u_i, u_j\rangle \bigr)_{i,j}\) de la base \((u_1, \dots, u_p)\) (ce nom est hors du vocabulaire exigible, utilisé ici seulement pour la justification). La matrice de Gram d'une base est inversible (de façon équivalente : la décomposition \(x = p_F(x) + (x - p_F(x))\) est unique), donc le système a exactement une solution. On ne s'en sert que pour garantir que la méthode en quatre étapes aboutit toujours.
Exemple
Dans \(\mathbb{R}^3\) (produit scalaire canonique), projeter \(x = (2, 2, 2)\) sur le plan \(F = \mathrm{Vect}\bigl( u_1, u_2 \bigr)\) avec \(u_1 = (1, 1, 0)\) et \(u_2 = (0, 1, 1)\).
On écrit \(p_F(x) = \lambda_1 u_1 + \lambda_2 u_2\) et on impose \(\langle x - p_F(x), u_j\rangle = 0\). Avec \(\langle u_1, u_1\rangle = 2\), \(\langle u_1, u_2\rangle = 1\), \(\langle u_2, u_2\rangle = 2\), \(\langle x, u_1\rangle = 4\), \(\langle x, u_2\rangle = 4\), le système est $$ \begin{aligned} 2\lambda_1 + \lambda_2 &= 4 && \text{(test contre } u_1\text{)} \\
\lambda_1 + 2\lambda_2 &= 4 && \text{(test contre } u_2\text{)}. \end{aligned} $$ La résolution donne \(\lambda_1 = \lambda_2 = \tfrac{4}{3}\), donc $$ p_F(x) = \tfrac{4}{3}(1,1,0) + \tfrac{4}{3}(0,1,1) = \bigl( \tfrac{4}{3}, \tfrac{8}{3}, \tfrac{4}{3} \bigr). $$ Vérification : \(x - p_F(x) = \bigl( \tfrac{2}{3}, -\tfrac{2}{3}, \tfrac{2}{3} \bigr)\) vérifie \(\langle x - p_F(x), u_1\rangle = \tfrac{2}{3} - \tfrac{2}{3} = 0\) et \(\langle x - p_F(x), u_2\rangle = -\tfrac{2}{3} + \tfrac{2}{3} = 0\).
Proposition — \(p_F\) est un projecteur linéaire
L'application \(p_F\) est linéaire, vérifie \(p_F \circ p_F = p_F\), et $$ \operatorname{Im} p_F = F, \qquad \operatorname{Ker} p_F = F^\perp, \qquad p_{F^\perp} = \operatorname{id}_E - p_F. $$
Par définition, \(p_F\) est la projection sur \(F\) parallèlement au supplémentaire \(F^\perp\) (au sens du projecteur général associé à une somme directe, vu au chapitre d'algèbre linéaire). Ce chapitre donne toutes les propriétés énoncées : une projection associée à \(E = F \oplus F^\perp\) est linéaire, idempotente, d'image \(F\) et de noyau \(F^\perp\), et la projection complémentaire — sur \(F^\perp\) parallèlement à \(F\) — est \(\operatorname{id}_E - p_F\), qui est exactement \(p_{F^\perp}\) puisque \(E = F^\perp \oplus (F^\perp)^\perp = F^\perp \oplus F\) (en utilisant \((F^\perp)^\perp = F\) dans l'espace euclidien \(E\), rappelé du chapitre sur le produit scalaire).
Proposition — Projection sur un hyperplan par sa normale
Soit \(H = \{n\}^\perp\) un hyperplan de l'espace euclidien \(E\) de vecteur normal \(n \ne 0_E\) (pas nécessairement unitaire). Alors pour tout \(x \in E\), $$ p_{H^\perp}(x) = \frac{\langle x, n\rangle}{\|n\|^2}\, n, \qquad p_H(x) = x - \frac{\langle x, n\rangle}{\|n\|^2}\, n. $$
Ici \(E\) est euclidien et \(H = \{n\}^\perp\) est un hyperplan, donc \(\dim H = \dim E - 1\) et \(\dim H^\perp = \dim E - \dim H = 1\). Comme \(\langle n, h\rangle = 0\) pour tout \(h \in H\) (définition de \(H = \{n\}^\perp\)), le vecteur non nul \(n\) appartient à \(H^\perp\) ; étant une droite, \(H^\perp = \mathrm{Vect}(n)\). Par l'exemple de la projection sur une droite, \(p_{H^\perp}(x) = \dfrac{\langle x, n\rangle}{\|n\|^2}\, n\). Puis \(p_H = \operatorname{id}_E - p_{H^\perp}\) par la Proposition précédente (appliquée à \(H^\perp\), dont l'orthogonal est \(H\)), d'où \(p_H(x) = x - \dfrac{\langle x, n\rangle}{\|n\|^2}\, n\).
Compétences à pratiquer
- Calculer une projection orthogonale à partir d'une base
I.2
Expression dans une base orthonormée
Lorsque \(F\) est muni d'une base orthonormée, la projection prend sa forme la plus simple : une seule somme de produits scalaires, un terme par vecteur de base. Aucun système linéaire à résoudre.
Théorème — Projection par une base orthonormée
Soit \(F\) un sous-espace de l'espace euclidien \(E\) muni d'une base orthonormée \((e_1, \dots, e_p)\). Alors pour tout \(x \in E\), $$ p_F(x) = \sum_{i=1}^p \langle x, e_i\rangle\, e_i. $$
Posons \(v = \sum_{i=1}^p \langle x, e_i\rangle\, e_i\) ; alors \(v \in F\). Pour chaque indice \(j\), en effectuant le produit scalaire avec \(e_j\) et en utilisant \(\langle e_i, e_j\rangle = \delta_{i,j}\), $$ \begin{aligned} \langle x - v, e_j\rangle &= \langle x, e_j\rangle - \sum_{i=1}^p \langle x, e_i\rangle \langle e_i, e_j\rangle && \text{(bilinéarité)} \\
&= \langle x, e_j\rangle - \langle x, e_j\rangle = 0 && \text{(}\langle e_i, e_j\rangle = \delta_{i,j}\text{)}. \end{aligned} $$ Donc \(x - v\) est orthogonal à chaque \(e_j\), donc (orthogonalité testée sur les générateurs) à tout \(F\) : \(x - v \in F^\perp\). Comme \(v \in F\) et \(x - v \in F^\perp\), la caractérisation donne \(v = p_F(x)\).
Méthode — Calculer \(p_F(x)\) avec une base orthonormée
Si une base orthonormée \((e_1, \dots, e_p)\) de \(F\) est disponible, appliquer directement \(p_F(x) = \sum_{i} \langle x, e_i\rangle\, e_i\) — sans système. Si la base est seulement orthogonale (deux à deux orthogonale mais non unitaire), normaliser chaque terme donne \(p_F(x) = \sum_{i} \dfrac{\langle x, e_i\rangle}{\|e_i\|^2}\, e_i\) (chaque terme est la projection sur la droite \(\mathrm{Vect}(e_i)\)). Si l'on ne dispose que d'une base non orthogonale, le système linéaire en quatre étapes de la sous-section précédente est en général plus court qu'une orthonormalisation préalable. Exemple
Dans \(\mathbb{R}^3\) (produit scalaire canonique), soit \(F = \mathrm{Vect}(e_1, e_2)\) avec \(e_1 = \tfrac{1}{\sqrt 2}(1, 1, 0)\) et \(e_2 = \tfrac{1}{\sqrt 2}(1, -1, 0)\) (famille orthonormale). Projeter \(x = (3, 1, 5)\) sur \(F\).
La base est orthonormée, donc \(p_F(x) = \langle x, e_1\rangle\, e_1 + \langle x, e_2\rangle\, e_2\). Ici \(\langle x, e_1\rangle = \tfrac{1}{\sqrt 2}(3 + 1) = 2\sqrt 2\) et \(\langle x, e_2\rangle = \tfrac{1}{\sqrt 2}(3 - 1) = \sqrt 2\), donc $$ p_F(x) = 2\sqrt 2 \cdot \tfrac{1}{\sqrt 2}(1,1,0) + \sqrt 2 \cdot \tfrac{1}{\sqrt 2}(1,-1,0) = 2(1,1,0) + (1,-1,0) = (3, 1, 0). $$ C'est cohérent : \(F\) est le plan \(z = 0\), et la projection de \((3,1,5)\) sur ce plan annule simplement la troisième coordonnée.
Un projecteur orthogonal est un endomorphisme symétrique
Un projecteur \(p\) d'un espace euclidien est la projection orthogonale sur son image exactement lorsque \(\operatorname{Im} p \perp \operatorname{Ker} p\), et cela équivaut à ce que \(p\) soit un endomorphisme symétrique (sa matrice dans toute base orthonormée est symétrique). L'étude complète des endomorphismes symétriques et le théorème spectral font l'objet du prochain chapitre ; on ne fait que signaler le lien ici.
Compétences à pratiquer
- Projeter avec une base orthonormée
II
Distance à un sous-espace et moindres carrés
II.1
Meilleure approximation : distance à un sous-espace
La projection orthogonale n'est pas seulement une construction algébrique : parmi tous les vecteurs de \(F\), \(p_F(x)\) est le plus proche de \(x\). C'est ce qui fait de la projection orthogonale l'outil de tout problème de « meilleure approximation », à commencer par les moindres carrés.
Définition — Distance à un sous-espace
La distance de \(x \in E\) à un sous-espace \(F\) est $$ d(x, F) = \inf_{y \in F} \|x - y\|. $$ On montre ci-dessous que cette borne inférieure est un minimum, atteint en l'unique point \(p_F(x)\) ; ce point est alors appelé meilleure approximation de \(x\) dans \(F\) (au sens des moindres carrés). Théorème — La projection réalise la distance
Soit \(F\) un sous-espace de \(E\) et \(x \in E\). L'ensemble \(\{\|x - y\| : y \in F\}\) admet un minimum, atteint en l'unique point \(y = p_F(x)\), et $$ d(x, F) = \|x - p_F(x)\|. $$
Soit \(y \in F\). Décomposons \(x - y = \bigl( x - p_F(x) \bigr) + \bigl( p_F(x) - y \bigr)\), où \(x - p_F(x) \in F^\perp\) et \(p_F(x) - y \in F\) (\(p_F(x)\) et \(y\) sont tous deux dans \(F\)). Ces deux vecteurs sont orthogonaux, donc par Pythagore $$ \begin{aligned} \|x - y\|^2 &= \|x - p_F(x)\|^2 + \|p_F(x) - y\|^2 && \text{(Pythagore)} \\
&\ge \|x - p_F(x)\|^2 && \text{(}\|p_F(x) - y\|^2 \ge 0\text{)}. \end{aligned} $$ Ainsi \(\|x - y\| \ge \|x - p_F(x)\|\) pour tout \(y \in F\), avec égalité ssi \(\|p_F(x) - y\| = 0\), soit \(y = p_F(x)\). Le minimum vaut donc \(\|x - p_F(x)\|\), atteint seulement en \(y = p_F(x)\).
La figure montre la distance \(d(x, F)\) comme la longueur du segment perpendiculaire de \(x\) à son pied \(p_F(x)\) sur \(F\) : tout autre point \(y\) de \(F\) est strictement plus loin de \(x\). 
Proposition — Formule de distance par Pythagore
Pour \(x \in E\) et un sous-espace \(F\), $$ d(x, F)^2 = \|x\|^2 - \|p_F(x)\|^2. $$
Décomposons \(x = p_F(x) + \bigl( x - p_F(x) \bigr)\), somme orthogonale (\(p_F(x) \in F\), \(x - p_F(x) \in F^\perp\)). Par Pythagore \(\|x\|^2 = \|p_F(x)\|^2 + \|x - p_F(x)\|^2\), et \(\|x - p_F(x)\|^2 = d(x, F)^2\) par le théorème précédent ; en réarrangeant, on obtient la formule.
Exemple
Dans \(\mathbb{R}^3\) (produit scalaire canonique), calculer la distance de \(x = (1, 2, 3)\) au plan \(H\) d'équation \(x_1 + x_2 + x_3 = 0\).
Le plan est \(H = \{n\}^\perp\) de normale \(n = (1, 1, 1)\), \(\|n\|^2 = 3\). Par la Proposition de projection sur un hyperplan, $$ p_H(x) = x - \frac{\langle x, n\rangle}{\|n\|^2}\, n = (1,2,3) - \frac{6}{3}(1,1,1) = (-1, 0, 1), $$ qui appartient bien à \(H\) (\(-1 + 0 + 1 = 0\)). La distance est $$ d(x, H) = \|x - p_H(x)\| = \|(2, 2, 2)\| = \sqrt{12} = 2\sqrt 3. $$ De façon équivalente \(d(x, H) = \dfrac{|\langle x, n\rangle|}{\|n\|} = \dfrac{6}{\sqrt 3} = 2\sqrt 3\), la distance d'un point à un hyperplan par sa normale.
Méthode — Minimiser une quantité par une projection orthogonale
Pour minimiser une expression de la forme \(\|x - u\|^2\) où \(u\) parcourt un sous-espace \(F\) : - reconnaître l'espace produit scalaire ambiant et le sous-espace \(F\) sur lequel \(u\) varie ;
- le minimum existe et est atteint en \(u = p_F(x)\) ;
- calculer \(p_F(x)\) (système ou base orthonormée), puis la valeur minimale \(\|x - p_F(x)\|^2 = \|x\|^2 - \|p_F(x)\|^2\).
Exemple
Calculer \(\displaystyle \inf_{(a, b) \in \mathbb{R}^2} \int_{-1}^1 \bigl( t^2 - a t - b \bigr)^2\, \mathrm{d}t\).
On travaille dans \(E = \mathbb{R}_2[X]\) avec le produit scalaire \(\langle P, Q\rangle = \int_{-1}^1 P(t)\, Q(t)\, \mathrm{d}t\). L'intégrale vaut \(\|X^2 - (aX + b)\|^2\), donc la borne inférieure est \(d(X^2, F)^2\) pour \(F = \mathrm{Vect}(1, X) = \mathbb{R}_1[X]\) ; elle est atteinte en \(aX + b = p_F(X^2)\). Sur \([-1, 1]\) la base \((1, X)\) est orthogonale : \(\langle 1, X\rangle = \int_{-1}^1 t\, \mathrm{d}t = 0\), avec \(\|1\|^2 = \int_{-1}^1 1\, \mathrm{d}t = 2\) et \(\|X\|^2 = \int_{-1}^1 t^2\, \mathrm{d}t = \tfrac{2}{3}\). D'où $$ \begin{aligned} p_F(X^2) &= \frac{\langle X^2, 1\rangle}{\|1\|^2}\, 1 + \frac{\langle X^2, X\rangle}{\|X\|^2}\, X && \text{(projection en base orthogonale)} \\
&= \frac{\int_{-1}^1 t^2\, \mathrm{d}t}{2}\, 1 + \frac{\int_{-1}^1 t^3\, \mathrm{d}t}{2/3}\, X = \frac{2/3}{2}\, 1 + 0 \cdot X = \tfrac{1}{3}, \end{aligned} $$ donc la meilleure approximation est \(a = 0\), \(b = \tfrac{1}{3}\). La valeur minimale est $$ \int_{-1}^1 \bigl( t^2 - \tfrac{1}{3} \bigr)^2 \mathrm{d}t = \int_{-1}^1 \bigl( t^4 - \tfrac{2}{3} t^2 + \tfrac{1}{9} \bigr) \mathrm{d}t = \tfrac{2}{5} - \tfrac{2}{3}\cdot\tfrac{2}{3} + \tfrac{1}{9}\cdot 2 = \tfrac{2}{5} - \tfrac{2}{9} = \tfrac{8}{45}. $$ La borne inférieure vaut donc \(\dfrac{8}{45}\), atteinte en \((a, b) = \bigl( 0, \tfrac{1}{3} \bigr)\).
Compétences à pratiquer
- Calculer une distance et minimiser
II.2
Moindres carrés et pseudo-solutions
Cette sous-section est un enrichissement, pas un cœur exigible : les moindres carrés, les pseudo-solutions et la droite de régression sont signalés comme résultats non exigibles par le programme. Ils constituent une application directe du théorème de distance de la sous-section précédente, inclus pour le TP Python et pour la lecture économique d'une régression. Un système surdéterminé \(AX = B\) — plus d'équations que d'inconnues — a rarement une solution exacte ; la pseudo-solution est le \(X\) qui s'en approche le plus, en minimisant \(\|AX - B\|\). C'est l'ajustement par moindres carrés.
On munit \(\mathcal{M}_{n,1}(\mathbb{R})\) (vecteurs colonnes) du produit scalaire canonique \(\langle Y, Z\rangle = {}^t Y\, Z = \sum_{k} y_k z_k\) et de sa norme \(\|Y\| = \sqrt{{}^t Y\, Y}\). Avec cette structure, \(\|AX - B\|\) et la projection orthogonale sur \(\operatorname{Im} A\) sont bien définis, et la sous-section précédente s'applique.
Définition — Pseudo-solution
Soient \(A \in \mathcal{M}_{n,p}(\mathbb{R})\) et \(B \in \mathcal{M}_{n,1}(\mathbb{R})\). Une pseudo-solution (ou solution au sens des moindres carrés) du système \(AX = B\) est une colonne \(X_0 \in \mathcal{M}_{p,1}(\mathbb{R})\) minimisant \(\|AX - B\|\) sur tous les \(X \in \mathcal{M}_{p,1}(\mathbb{R})\). Exemple
Le système \(\begin{cases} x = 1 \\ x = 3 \end{cases}\), soit \(AX = B\) avec \(A = \begin{psmallmatrix} 1 \\ 1 \end{psmallmatrix}\) et \(B = \begin{psmallmatrix} 1 \\ 3 \end{psmallmatrix}\), n'a pas de solution exacte. Sa pseudo-solution minimise \(\|AX - B\|^2 = (x - 1)^2 + (x - 3)^2\) ; cette parabole en \(x\) est minimale en \(x = 2\), la moyenne des deux seconds membres. La pseudo-solution est donc \(X_0 = 2\) — la valeur la plus proche, au sens des moindres carrés, de satisfaire les deux équations. Théorème — Existence et unicité de la pseudo-solution
Si \(\operatorname{rank} A = p\) (rang plein en colonnes), alors \(AX = B\) admet une unique pseudo-solution \(X_0\).
Lorsque \(X\) parcourt \(\mathcal{M}_{p,1}(\mathbb{R})\), le vecteur \(AX\) parcourt exactement le sous-espace \(\operatorname{Im} A\) de \(\mathcal{M}_{n,1}(\mathbb{R})\), donc minimiser \(\|AX - B\|\) revient à minimiser \(\|Y - B\|\) sur \(Y \in \operatorname{Im} A\). Par le théorème de distance, cela admet un unique minimiseur \(Y_0 = p_{\operatorname{Im} A}(B)\). Il reste à voir qu'un unique \(X_0\) donne \(AX_0 = Y_0\). L'application \(f : X \mapsto AX\) de \(\mathcal{M}_{p,1}\) dans \(\mathcal{M}_{n,1}\) est linéaire avec \(\operatorname{Im} f = \operatorname{Im} A\) de dimension \(\operatorname{rank} A = p\) ; par le théorème du rang \(\dim \operatorname{Ker} f = p - p = 0\), donc \(f\) est injective. Il y a donc exactement un \(X_0\) avec \(AX_0 = Y_0\), et c'est l'unique pseudo-solution.
Proposition — Équations normales
Supposons \(\operatorname{rank} A = p\), de sorte que \({}^t\!A\, A \in \mathcal{M}_p(\mathbb{R})\) est inversible. La pseudo-solution \(X_0\) de \(AX = B\) est l'unique solution des équations normales $$ {}^t\!A\, A\, X_0 = {}^t\!A\, B, \qquad \text{de façon équivalente} \qquad X_0 = \bigl( {}^t\!A\, A \bigr)^{-1}\, {}^t\!A\, B. $$
Inversibilité de \({}^t\!A\, A\). Si \({}^t\!A\, A\, X = 0\), alors \(\|AX\|^2 = {}^t X\, {}^t\!A\, A\, X = 0\), donc \(AX = 0\) ; comme \(\operatorname{rank} A = p\), l'application \(X \mapsto AX\) est injective (théorème d'existence), d'où \(X = 0\). La matrice \(p \times p\) \({}^t\!A\, A\) est donc injective, donc inversible. Dérivation des équations. Par le théorème d'existence, la pseudo-solution vérifie \(AX_0 = p_{\operatorname{Im} A}(B)\), donc \(B - AX_0 \in (\operatorname{Im} A)^\perp\). Or \((\operatorname{Im} A)^\perp = \operatorname{Ker} {}^t\!A\) (une colonne \(Z\) est orthogonale à tout \(AX\) ssi \({}^t(AX) Z = {}^t X\, {}^t\!A\, Z = 0\) pour tout \(X\), ssi \({}^t\!A\, Z = 0\)), donc \({}^t\!A\,(AX_0 - B) = 0\), soit \({}^t\!A\, A\, X_0 = {}^t\!A\, B\). Comme \({}^t\!A\, A\) est inversible, cela fixe \(X_0 = ({}^t\!A\, A)^{-1}\, {}^t\!A\, B\). Cadre : le programme signale cette dérivation par projection et la forme close comme non exigibles (cette dernière est établie en TP) ; on la consigne ici par souci de complétude.
Méthode — Python — ajuster une droite de régression aux moindres carrés
Pour ajuster une droite \(y = m x + c\) à un nuage de points \((x_i, y_i)_{1 \le i \le n}\) : former la matrice de conception \(A\) dont la première colonne est le vecteur des abscisses \((x_i)\) et la seconde une colonne de uns, poser \(B = (y_i)\), et résoudre les équations normales \({}^t\!A\, A\, X = {}^t\!A\, B\) pour \(X = {}^t(m, c)\). En Python, c'est une seule résolution linéaire (le rang plein en colonnes exige que les abscisses \(x_i\) ne soient pas toutes égales). \begin{verbatim} import numpy as np # data points (x_i, y_i) x = np.array([0.0, 1.0, 2.0]) y = np.array([1.0, 2.0, 2.0]) # design matrix A: first column x, second column ones A = np.column_stack([x, np.ones_like(x)]) B = y # normal equations (A^T A) X = A^T B X = np.linalg.solve(A.T @ A, A.T @ B) m, c = X print("slope m =", m, " intercept c =", c) \end{verbatim}
La figure montre les trois points de données et la droite de régression ajustée : les moindres carrés choisissent la droite minimisant la somme des carrés des écarts verticaux aux points. 
Exemple
Déterminer la droite de régression aux moindres carrés \(y = m x + c\) par les points \((0, 1)\), \((1, 2)\), \((2, 2)\) à l'aide des équations normales.
Le système \(y_i = m x_i + c\) est \(AX = B\) avec $$ A = \begin{pmatrix} 0 & 1 \\
1 & 1 \\
2 & 1 \end{pmatrix}, \quad X = \begin{pmatrix} m \\
c \end{pmatrix}, \quad B = \begin{pmatrix} 1 \\
2 \\
2 \end{pmatrix}. $$ Les deux colonnes de \(A\) sont indépendantes, donc \(\operatorname{rank} A = 2\) et le théorème s'applique. On calcule $$ {}^t\!A\, A = \begin{pmatrix} 5 & 3 \\
3 & 3 \end{pmatrix}, \qquad {}^t\!A\, B = \begin{pmatrix} 6 \\
5 \end{pmatrix}. $$ Les équations normales \({}^t\!A\, A\, X_0 = {}^t\!A\, B\) s'écrivent \(5m + 3c = 6\) et \(3m + 3c = 5\). Par soustraction, \(2m = 1\), donc \(m = \tfrac{1}{2}\), puis \(3c = 5 - \tfrac{3}{2} = \tfrac{7}{2}\), donc \(c = \tfrac{7}{6}\). La droite de régression est $$ y = \tfrac{1}{2}\, x + \tfrac{7}{6}. $$
Pour aller plus loin
Le projecteur orthogonal est le prototype d'un endomorphisme symétrique : le prochain chapitre étudie les endomorphismes symétriques et démontre le théorème spectral — toute matrice symétrique est orthogonalement diagonalisable. Le point de vue de la minimisation ouvert ici reparaît aussi au chapitre d'optimisation, où des arguments de type projection traitent les extrema sous contrainte.
Compétences à pratiquer
- Résoudre un problème de moindres carrés
III
Pour aller plus loin
Compétences à pratiquer
- Problèmes de synthèse
Aller à la section