Soit a et b deux vecteurs de R 2 , et soit θ l’angle entre les deux (le signe n’importe pas). On rappelle que ha, bi := kak · kbk · cos(θ) (définition de cos !).

Correction du TD7.

MNO, L3, Dauphine, 2019-2020 D. Gontier, gontier@ceremade.dauphine.fr

Échauffement et rappels

Exercice 1. (Erreur numérique du produit scalaire, à faire rapidement)

Soit a et b deux vecteurs de R ² , et soit θ l’angle entre les deux (le signe n’importe pas). On rappelle que ha, bi := kak · kbk · cos(θ) (définition de cos !).

a/ Soit w ∈ R ² un bruit numérique tel que kwk kak. Montrer que a + w ≈ a.

b/ Dans quel cas peut-on avoir

ha, bi ≈ hw, bi ?

c/ En déduire que le calcul d’un produit scalaire est sensible au bruit si les vecteurs sont presque orthogonaux.

a/ C’est la définition, on a k(a + w) − ak = kwk kak, donc, à l’échelle de a, les vecteur a + w et a sont très proches.

b/ Puisque hw, bi ≤ kwk · kbk est très petit par Cauchy-Schwarz, et est beaucoup plus petit que kak · kbk, on a ha, bi ≈ hx, bi seulement si cos(θ) ≈ 0, c’est à dire si les vecteurs a et b sont presque orthogonaux.

c/ Si a et b sont presque orthogonaux, une petit erreur sur a peut se transformer en grande erreur sur le calcul de ha, bi. Il faut donc éviter de calculer numériquement des produits scalaires de vecteurs presque orthogonaux.

Exercice 2. (Polynôme minimal, rappels)

Soit A ∈ S _d ( R ) un matrice symétrique, et soit λ ₁ ≤ λ ₂ ≤ · · · ≤ λ _d ses valeurs propres.

Soit π le polynôme minimal de A (π est le polynôme unitaire de plus petit degré tel que π(A) = 0).

a/ Montrer que si P ∈ R [X ] est tel que P(A) = 0, alors P est divisible par π. En déduire que π divise χ(X ) := det(X I d − A) = (X − λ ₁ )(X − λ ₂ ) · · · (X − λ _d ) (polynôme caractéristique).

b/ Soit r ∈ N le degré de π. Montrer que la famille de matrices { I d , A, A ² , · · · , A ^r } est liée.

c/ Soit r ⁰ ∈ N le nombre de valeurs propres différentes parmi {λ ₁ , · · · λ _d }. On note {µ 1 < µ ₂ < · · · < µ _r

} = {λ 1 , · · · λ _d } .

Montrer que r ⁰ = r, puis que π(X ) = (X − µ 1 )(X − µ 2 ) · · · (X − µ r ).

a/ On effectue la division de P par µ, et on obtient P(X ) = π(X)M (X ) + R(X), avec degR < degπ. En évaluant en A, on obtient R(A) = 0. Par définition de π, on doit avoir R = 0. On en déduit que π divise P .

D’après le théorème de Cayley-Hamilton, on a χ(A) = 0 (une matrice annule son polynôme caractéristique).

Donc π divise χ. En particulier, les racines de π sont parmi {λ ₁ , · · · , λ _d }.

b/ En écrivant π(X ) = a 0 + a 1 X + · · · + a _r−1 X ^r−1 + X ^r , on obtient a ₀ I d + a ₁ A + · · · + a _r−1 A ^r−1 + A ^r = 0.

On a trouvé une combinaison linéaire de la famille { I d , A, · · · , A ^r } qui s’annule (le coefficient devant A ^r vaut 1), donc cette famille est liée.

c/ On a π(A) = 0. En évaluant en un vecteur propre u _i , on obtient π(A)u _i = 0, donc π(λ _i ) = 0. Le polynôme π est un polynôme unitaire qui s’annule en tous les λ i . Comme il y a r ⁰ valeurs distinctes, on a deg π ≥ r ⁰ , donc r ≥ r ⁰ .

Réciproquement, le polynôme P(X ) := (X − µ 1 ) · · · (X − µ r

) est unitaire de degré r ⁰ , et on a P (A)u i = P (λ i )u i = 0,

pour tout 1 ≤ i ≤ d. La matrice P(A) vaut 0 sur la base u _i , c’est donc la matrice nulle : P(A) = 0. Par

minimalité de π, on en déduit r ⁰ ≥ r. Au final, on a bien r = r ⁰ , et même P = π.

Espaces de Krylov

Dans la suite A ∈ S _d ⁺⁺ , b ∈ R ^d , et on note (en tant que R -espace vectoriel) K n := Vect

b, Ab, · · · A ⁿ⁻¹ b , et K 0 := {0}.

On note A := P n

i=1 λ i |u i ihu i | (décomposition spectrale), avec 0 < λ 1 ≤ · · · ≤ λ d et (u i ) 1≤i≤n une base de R ^d . Exercice 3.

a/ Montrer que K n ⊂ K n+1 pour tout n ∈ N , et que AK n ⊂ K n+1 .

b/ Montrer que K _n = K _n+1 si et seulement si il existe un polynôme unitaire Q ∈ R n [X ] tel que Q(A)b = 0.

En déduire que si K n = K n+1 , alors K n = K n+1 = K n+2 = · · · .

On peut donc parler du plus petit indice n ∈ N pour lequel K n ⊂ K n+1 . c/ Soit π le polynôme minimal de A, de degré r ∈ N . Montrer que K r = K r+1 .

d/ Soit b i := hu i , bi. Montrer que Q(A)b = 0 si et seulement si pour tout 1 ≤ i ≤ d, on a Q(λ i )b i = 0.

e/ On introduit I l’ensemble des indices pour lesquels b i 6= 0, puis r ˜ ∈ N le nombre de valeurs propres (λ i ) i∈I

différentes parmi les indices I. Autrement dit,

I := {i ∈ [1, n], b _i 6= 0} , et r ˜ = ] {λ i , i ∈ I} . Montrer que r ˜ ≤ r et que K r ˜ = K r+1 ˜ .

f/ Montrer que r ˜ est le plus petit indice n ∈ N pour lequel K _n = K _n+1 . g/ Montrer que x ^∗ := A ⁻¹ b appartient à K _{r ˜} .

a/ Trivial (cf cours).

b/ On a K n+1 = K n ssi A ⁿ b ∈ K n , c’est à dire A ⁿ b ∈ Vect

b, Ab, · · · , A ⁿ⁻¹ b . Dans ce cas, il existe des réels a 0 , a 1 , · · · a _n−1 tel que

A ⁿ b = a 0 b + a 1 Ab + · · · + a _n−1 A ⁿ⁻¹ b = a 0 + a 1 A + · · · + a _n−1 A ⁿ⁻¹ b.

En notant Q(X ) := X ⁿ − a 0 + · · · + a _n−1 X ⁿ⁻¹

∈ R ⁿ [X ], Q est un polynôme unitaire qui vérifie Q(A)b = 0.

La réciproque est similaire.

Enfin, si Q(A)b = 0 avec Q(A) ∈ R n [X], alors Q k (X ) := X ^k Q(X ) est un polynôme unitaire de R n+k [X ] qui vérifie Q k (A)b = A ^k Q(A)b = 0.

c/ D’après la définition de π, on a π(A) = 0. En particulier, π(A)b = 0, puis K r ⊂ K r+1 . d/ En utilisant la décomposition spectral de A, on a

Q(A)b =

d

X

i=1

Q(λ _i )|u _i ihu _i , bi =

d

X

i=1

(Q(λ _i )b _i ) u _i .

Comme u i est une base, ce vecteur est nul ssi Q(λ i )b i = 0 pour tout 1 ≤ i ≤ d.

e/ On a Q(λ i )b i ssi Q(λ i ) = 0 ou b i = 0. Avec la définition de I, on doit donc avoir Q(λ i ) = 0 pour tout i ∈ I. En notant

{µ 1 < µ 2 < · · · < µ r ˜ } = {λ i , i ∈ I},

les valeurs distinctes de ces valeurs propres, on a Q(A)b = 0 ssi Q(µ j ) = 0 pour tout 1 ≤ j ≤ r ⁰ .

En prenant en particulier Q(X ) := (X − µ 1 ) · · · (X − µ r

), on a Q(A)b = 0 et Q ∈ R r ˜ [X]. Donc K r ˜ ⊂ K r+1 ˜ . f/ Réciproquement, si Q unitaire vérifie Q(µ _j ) = 0 pour tout 1 ≤ j ≤ r ⁰ , alors Q a r ⁰ racines distinctes, et deg Q ≥ r ⁰ . Cela montre que ˜ r est le plus petit indice vérifiant K _n ⊂ K _n+1 .

g/ D’après le cours, x ˜ ∈ K _d . Or K _{r ˜} = K _{r+1 ˜} = · · · = K _d , donc x ˜ ∈ K _d .

Exercice 4. (Algorithme de Lanczos pour le calcul de la plus petite valeur propre) On rappelle que

λ 1 = min

hx, Axi

kxk ² , x ∈ R ^d \ {0}

.

On veut calculer λ 1 , et on l’approxime par θ ₁ ⁽ⁿ⁾ := min

hx, Axi

kxk ² , x ∈ K n \ {0}

.

a/ Montrer que la suite θ ₁ ⁽ⁿ⁾

n∈ N

est décroissante, minorée par λ 1 . En déduire qu’elle admet une limite λ ^(∞) ₁ . b/ On note b i := hu i , bi. Montrer que

λ 1 ≤ λ ⁽ⁿ⁾ ₁ := min ( P d

i=1 λ _i |P (λ _i )| ² b ² _i P d

i=1 |P(λ i )| ² b ² _i , P ∈ R n−1 [X ] avec P (A)b 6= 0 )

.

c/ En déduire que l’erreur à l’étape n est (attention aux indices !)

θ ⁽ⁿ⁾ ₁ − λ 1

≤ min

( P d

i=2 (λ _i − λ ₁ ) |P (λ _i )| ² b ² _i P d

i=1 |P(λ i )| ² b ² _i , P ∈ R n−1 [X ] avec P(A)b 6= 0 )

. (∗).

d/ On suppose que λ ₁ est strictement plus petit que λ ₂ : λ ₁ < λ ₂ ≤ · · · ≤ λ _d et que b ₁ := hu ₁ , bi 6= 0. En considérant P (X) := (X − λ ₂ )(X − λ ₃ ) · · · (X − λ _d ), montrer que P ∈ R d−1 [X ], que P (A)b ∈ K _d ( R ) \ {0}, et enfin que θ ₁ ^(d) = λ 1 .

a/ On a K 1 ⊂ K 2 ⊂ · · · ⊂ · · · ⊂ R ^d . On minimise donc la même fonctionnelle x 7→ ^hx,Axi _kxk

sur des espaces de plus en plus grands, donc la valeur du minimum diminue.

On en déduit que θ ⁽ⁿ⁾ ₁ est décroissante, et que λ ₁ ≤ θ ₁ ⁽ⁿ⁾ pour tout n. La suite θ ⁽ⁿ⁾ ₁ est décroissante minorée par λ ₁ , donc converge.

b/ Tout élément de K _n est de la forme P (A)b avec P ∈ R n−1 [X ]. On a donc θ ⁽ⁿ⁾ ₁ = min

( hP (A)b, AP (A)bi

kP (A)bk ² , P ∈ R n−1 [X], P (A)b 6= 0 )

.

En utilisant la décomposition spectral de A, on a hP (A)b, AP (A)bi =

* _d X

i=1

P (λ _i )hu _i , biu _i ,

d

X

j=1

λ _j P(λ _j )hu _j , biu _j +

.

En utilisant la bilinéarité du produit scalaire, et le fait que (u _i ) _i est une base orthonormée, on obtient hP(A)b, AP (A)bi =

d

X

i=1

λ _i |P(λ _i )| ² b ² _i ,

qui est l’expression au numérateur. L’expression pour le dénominateur est similaire.

c/ Comme θ ⁽ⁿ⁾ ₁ ≥ λ 1 , on a

θ ⁽ⁿ⁾ ₁ − λ 1

= θ ₁ ⁽ⁿ⁾ − λ 1 = min{· · · } − λ 1 = min{· · · − λ 1 λ 1 }. Enfin, on a, en réduisant au même dénominateur,

P d

i=1 λ i |P (λ i )| ² b ² _i P d

i=1 |P (λ _i )| ² b ² _i − λ ₁ = P d

i=1 λ i |P (λ i )| ² b ² _i − P d

i=1 λ 1 |P(λ i )| ² b ² _i P d

i=1 |P (λ _i )| ² b ² _i = P d

i=1 (λ i − λ 1 ) |P (λ i )| ² b ² _i P d

i=1 |P(λ i )| ² b ² _i . On remarque qu’au numérateur, le terme i = 1 s’annule, donc la somme peut commencer à i = 2.

d/ On pose P(X ) = (X − λ 2 ) · · · (X − λ d ). P est un polynôme unitaire de degré d − 1, donc P ∈ R d−1 [X ].

On a

P(A)b =

d

X

i=1

P(λ i )b i u i = P(λ 1 )b 1 u 1 6= 0, car b 1 6= 0 et P (λ 1 ) 6= 0. Pour ce polynôme, on trouve P d

i=2 λ i |P (λ i )| ² b ² _i = 0, (le numérateur s’annule), et donc

θ ^(d) ₁ = λ ₁ .

Chebyshev, le retour

Exercice 5. (Une propriété des polynômes de Chebyshev)

On rappelle que que n-ème polynôme de Chebyshev est défini par (cf TD6 exo 5) T ₀ (x) = 1, T ₁ (x) = x, T _n+2 (x) = 2xT _n (x) − T _n−1 (x).

a/ Rappel. Montrer que pour tout x ∈ [−1, 1], on a T _n (x) = cos(n arccos(x)). En déduire que pour tout x ∈ [−1, 1], on a |T _n (x)| ≤ 1.

b/ Montrer que pour tout |x| > 1, on a ¹ T _n (x) = cosh(n arcosh(x)). En déduire que T _n est croissante sur [1, ∞].

Soit a < b < c trois réels. On cherche un polynôme "grand" en x = a, et "petit" sur l’intervalle [b, c]. On pose

P n (x) := T n

2x − b − c c − b

. c/ Montrer que pour tout x ∈ [b, c], on a |P n (x)| ≤ 1.

d/ Montrer que |T n (−x)| = |T n (x)|. En déduire que |P n (a)| = |T n (1 + 2ρ)| avec ρ := ^b−a _c−b . e/ Soit R := exp (arcosh(1 + 2ρ)). Montrer que R = 1 + 2ρ + 2 p

ρ ² + ρ.

f/ Montrer que

|P n (a)| ≥ 1 2 R ⁿ .

g/ Applications. En prenant a = λ 1 , b = λ 2 et c = λ d dans (∗) de l’exo précédent, montrer que

θ ⁽ⁿ⁾ ₁ − λ ₁ ≤

4(λ _d − λ ₁ )kbk ² b ² ₁

1 R ²ⁿ . En déduire que

θ ₁ ⁽ⁿ⁾

converge linéairement vers λ ₁ à taux au plus R ² . Pas de correction pour le moment...

Variantes du gradient conjugué

Exercice 6. (Examen 2017-2018, Le gradient conjugué réduit) Soit A ∈ S _d ⁺⁺ , b ∈ R ^d , et soit Q(x) := ¹ ₂ x ^T Ax − b ^T x.

Soit (u ₁ , . . . , u _m ) ∈ ( R ^d ) ^m une famille de m vecteurs orthonormés, avec m ≤ d, et soit K := Vect(u ₁ , . . . , u _m ).

On veut résoudre le problème d’optimisation sous contraintes

(∗) argmin {Q(x), x ∈ K} . a/ Montrer que (∗) admet une unique solution, qu’on notera x ^∗ ∈ K.

b/ Montrer que x ∈ K si et seulement si il existe y ∈ R ^m tel que x = U y, où U ∈ M _d×m est la matrice dont la i-ème colonne est u i .

c/ Montrer que x ^∗ = U y ^∗ , où y ^∗ ∈ R ^m est solution du problème (∗∗) argmin

1

2 y ^T (U ^T AU )y − (U ^T b) ^T y, y ∈ R ^m

.

d/ Montrer que U ^T U = I m , puis que U ^T AU ∈ S _m ⁺⁺ . e/ En déduire que x ^∗ = U (U ^T AU ) ⁻¹ U ^T b.

f/ Proposer des itérations de type (GC) pour résoudre (*). Combien d’itérations faut-il pour trouver x ^∗ ? g/ Montrer que la projection P K sur K peut-être définie à partir d’un problème de type (∗).

h/ Montrer que P K = U U ^T .

a/ L’ensemble K est un sous-espace vectoriel de R ^d , donc est un fermé convexe, et Q est une fonction coercive strictement convexe sur K, donc admet un unique minimum.

b/ Par définition on a ImU = Ran{u ₁ , · · · u _m }, donc K := Im U , et tout élément x ∈ K est de la forme x = U y avec y ∈ R ^m .

1. On rappelle l’identité cosh(a + b) + cosh(a − b) = 2 cosh(a) cosh(b)

c/ En paramétrisation x ∈ K par x = Uy avec y ∈ R ^m , on a Q(U y) = 1

2 (U y) ^T A(U y) − b ^T (U y).

De plus, on a (U y) ^T = y ^T U ^T et b ^T U = (U ^T b) ^T . Donc Q(Uy) = 1

2 y ^T (U ^T AU )y − (U ^T b) ^T y.

En minimisant sur y ∈ R ^m , on obtient (∗∗).

d/ La matrice M = U ^T U est de taille m × m, et vérifie M ij = u ^T _i u j = hu i , u k i = δ ij car les vecteurs (u i ) sont orthonormés. Donc M = I m .

On a (U ^T AU ) ^T = U ^T A ^T U = U ^T AU car A est symétrique, donc la matrice U ^T AU est symétrique.

La matrice U ^T AU est de taille m × m, donc U ^T AU ∈ S m ( R ).

Pour tout y ∈ R ^m , on a

hy, U ^T AU yi _R

= hU y, A(Uy)i _R

≥ λ 1 (A)kUyk ² _R

≥ 0,

donc A _U ∈ S _m ⁺ . De plus, si hy, U ^T AU yi = 0, cela implique que Uy = 0. En multipliant par U ^T à gauche, on obtient y = 0, et donc A _U est injective. Au final, A _U ∈ S _m ⁺⁺ .

e/ Notons A _U = U ^T AT et b _U = U ^T b. Le problème (∗∗) est la minimisation de la forme quadratique Q _U (y) := ¹ ₂ y ^T A _U y − b ^T _U y sur R ^m . La matrice A _U est définie positive d’après la question précédente, donc Q _U est coercive strictement convexe, et admet un unique minimum y ^∗ . En écrivant que ∇Q U (y ^∗ ) = 0, on obtient A U y ^∗ = b U , puis y ^∗ = (A U ) ⁻¹ b U . Enfin, comme x ^∗ = Uy ^∗ d’après la question c/, on a x ^∗ = U (U ^T AU ) ⁻¹ U ^T b, comme souhaité.

f/ On peut utiliser le GC pour résoudre le problème (∗∗). Cela donne la solution y ^∗ en au plus m itérations (c’est donc très intéressant si m d). Cela donne les itérations suivantes.

On pose y 0 = 0 _R

, p 0 = r 0 = b U , puis α _n = hr _n , A _U r _n i

hp n , A U p n i , y _n+1 = y _n + α _n p _n , r _n+1 = r _n − α _n A _U p _n , β _n = − kr _n+1 k ²

kr n k ² , p _n+1 = r _n+1 + β _n p _n . On pose à la fin des itérations x ^∗ = U y ^∗ .

g/ La projection sur K est définie par

∀b ∈ R ^d , P _K (b) := argmin 1

2 kx − bk ² , x ∈ K

.

On a ¹ ₂ kx − bk ² = ¹ ₂ x ^T x − b ^T x + ¹ ₂ b ^T b. Le terme ¹ ₂ b ^T b est une constante de x, et ne joue pas de rôle dans la minimisation. On a donc aussi

∀b ∈ R ^d , P K (b) := argmin 1

2 x ^T x − b ^T x, x ∈ K

.

C’est un problème de type (∗) avec A = I d .

h/ D’après la question e/, la solution avec A = I d est P _K (b) = U(U ^T U ) ⁻¹ U ^T b. Or U ^T U = I m , donc

P _K (b) = U U ^T b. Ceci étant vrai pour tout b ∈ R ^d , on a P _K = U U ^T .