tels que (∀x ∈ H) hT x|xi ≥ γkT xk2

Universit´e Pierre et Marie Curie – Paris 6 Examen de rattrapage Licence de Math´ematiques Analyse Hilbertienne et Num´erique

9 septembre 2005 13h30 `a 16h30, Amphi 41A

R´esoudre chaque probl`eme sur une feuille s´epar´ee. Les appareils

´electroniques et les documents sont interdits. Les solutions devront ˆetre r´edig´ees de mani`ere rigoureuse. Lorsque des r´esultats du cours seront utilis´es, ils devront clairement ˆetre ´enonc´es. On notera que certaines questions peuvent ˆetre r´esolues ind´ependamment.

Probl`eme I. (50 points) Dans tout le probl`eme, H 6={0H} est une espace hilbertien r´eel et P d´esigne l’ensemble des homomorphismes non nuls, born´es, autoadjoints, et positifs surH.

1. Soient T un op´erateur de P et γ ∈ ]0,+∞[ tels que (∀x ∈ H) hT x|xi ≥ γkT xk². Montrer que γ ≤1/kTk.

2. Soient T ∈P etγ ∈]0,1/kTk[.

(a) Montrer que Id−γT ∈P.

(b) Montrer que (∀x ∈ H) hT x|xi ≥ γkT xk². On pourra pour cela utiliser le lemme suivant.

Lemme. Soient T₁ et T₂ deux op´erateurs de P tels que T₁ ◦T₂ = T₂ ◦T₁. Alors T₁◦T₂ ∈P.

(c) Montrer que (∀x∈ H) kx−γT xk² ≤ kxk²−γ²kT xk². (d) Montrer que kId−γTk ≤1.

3. Soient T ∈P, γ ∈]0,1/kTk], et y ∈ImT. ´Etant donn´e x⁽⁰⁾ ∈ H, on construit une suite (x^(k))k≥0 via l’algorithme

(∀k ∈N) x^(k+1) =x^(k)−γT x^(k)+γy. (1)

(a) Soit x∈ H un vecteur tel que T x=y. Montrer les propri´et´es suivantes : i. (∀k∈N) x^(k+1)−x= (Id−γT)(x^(k)−x).

ii. (∀k∈N) kx^(k+1)−xk² ≤ kx^(k)−xk²−γ²kT x^(k)−yk². iii. (kx^(k)−xk²)k≥0 converge.

(b) Montrer que (T x^(k))k≥0 converge vers y.

(c) Montrer que si x∈ H est la limite d’une sous-suite (x^(lk))k≥0, alors T x=y.

(d) Montrer que dans (c) toute la suite (x^(k))k≥0 converge vers x.

(e) Conclure que si dimH<+∞, alors (x^(k))_k≥0converge vers une solution de l’´equation T x=y.

(f) L’algorithme (1) correspond `a la m´ethode du gradient pour quelle fonctionf: H → R?

4. Question bonus : Soit V un sous-espace vectoriel ferm´e de H tel que V 6= {0_H} et V 6=H, et soit T l’op´erateur de projection sur V. Montrer queT ∈Pet que Id−T ∈P.

Probl`eme II. (50 points) Dans tout le probl`eme, h· | ·id´esigne le produit scalaire canonique deRⁿ, et k · k=k · k₂ la norme associ´ee. La norme matricielle correspondante sera not´ee||| · |||.

On s’int´eresse `a la vitesse de convergence de l’algorithme du gradient conjugu´e appliqu´e au syst`eme lin´eaire Ax = b. On suppose que A ∈ R^n×n est sym´etrique et d´efinie positive. On note λ₁ ≤λ₂ ≤ · · · ≤λ_n les valeurs propres deA, et (v₁, v₂, . . . , v_n) une base orthonormale de vecteurs propres associ´es.

1. Soit (xk)1≤k≤n une base de Rⁿ.

(a) Donner l’algorithme de Gram-Schmidt appliqu´e `a cette base (on appellera (y_k)_1≤k≤n la base orthonorm´ee ainsi obtenue).

(b) D´emontrer que pour tout k ≤n, vect(x₁, . . . , x_k) = vect(y₁, . . . , y_k).

2. Exprimer le conditionnement cond(A) de A pour la norme ||| · |||.

3. On d´efinit, pour tout x∈Rⁿ, J(x) = ¹₂hAx|xi − hb |xi.

(a) D´emontrer que le syst`eme Ax=b admet une solution unique, que l’on notera u.

(b) D´emontrer queJ admet un minimiseur unique, et que ce minimiseur est la solution u du syst`eme Ax=b.

4. Pour tout x∈Rⁿ, on pose kxk_A=p

hAx|xi.

(a) D´emontrer que k · kA est une norme.

(b) D´emontrer que k · k_A et k · k sont ´equivalentes, et calculer inf_x6=0kxk²_A/kxk² et sup_x6=0kxk²_A/kxk².

5. Soit u⁽⁰⁾ ∈ Rⁿ. On pose w⁽⁰⁾ = r⁽⁰⁾ = ∇J(u⁽⁰⁾) et on d´efinit par r´ecurrence les trois suites (u^(k))k∈N, (w^(k))k∈N et (r^(k))k∈N de la fa¸con suivante :

– si w^(k)= 0,alors u^(k+1) =u^(k), w^(k+1) =r^(k+1) = 0 etα^(k) =µ^(k) = 0 ; – si w^(k)6= 0,on pose







u^(k+1) =u^(k)−µ^(k)w^(k), avec µ^(k)=

∇J(u^(k))|w^(k) /

Aw^(k) |w^(k) , r^(k+1) =∇J(u^(k+1)),

w^(k+1) =r^(k+1)+α^(k)w^(k), avec α^(k)=kr^(k+1)k²/kr^(k)k².

On rappelle que la suite (r^(k))k∈N est orthogonale. Dans tout le probl`eme, on supposera que r^(k) 6= 0. On pose Kk = vect(r⁽⁰⁾, . . . , r^(k)).

(a) D´emontrer que w^(k)∈K_k, puis queµ^(k) =kr^(k)k²/

Aw^(k) |w^(k) . (b) D´emontrer que K_k= vect(r⁽⁰⁾, Ar⁽⁰⁾, . . . , A^kr⁽⁰⁾).

(c) En d´eduire que J restreinte `au⁽⁰⁾+K_k atteint son minimum en u^(k+1).

6. Question bonus : On note e^(k) =u^(k)−ul’erreur au pas k. D´emontrer qu’il existe un polynˆome Q_k de degr´e au plus k tel que e^(k) =Q_k(A)e⁽⁰⁾. Que vautQ_k(0) ?

7. Question bonus : On suppose que λ₁ < λ_n, et on admet l’in´egalit´e : ke^(k)k ≤2√

γ (√

γ−1)/(√

γ+ 1)k

ke⁽⁰⁾k,

o`u γ = cond(A). Le majorant converge-t-il et, si oui, quelle est sa limite ? 8. Question bonus : Que dire de l’algorithme dans le cas λ1 =λn?

Paris 6 – Licence de Math´ematiques – Analyse Hilbertienne et Num´erique Solution de l’examen de septembre 2005

Solution du Pb I :

1. Puisque T est non-nul, kTk 6= 0. Par Cauchy-Schwarz, pour kxk = 1, γkT xk² ≤ hT x|xi ≤ kT xk · kxk =kT xk, donc γkT xk ≤1. Par suite γkTk = sup_kxk=1kT xk ≤1, i.e., γ ≤1/kTk.

2. (a) (Id−γT)^∗ = Id−γT^∗ = Id−γT. Par Cauchy-Schwarz h(Id−γT)x|xi = kxk² − γhT x|xi ≥ kxk²−γkT xk · kxk ≥ kxk²−γkTk²· kxk² =kxk²(1−γkTk)≥0. De plus, 16=γkTk ⇒ Id6=γT ⇒ Id−γT 6= 0.

(b) On pose T1 = T et T2 = Id−γT. Alors T1 et T2 remplissent les conditions du lemme et donc T₁ ◦ T₂ = T(Id−γT) ≥ 0. Par suite, puisque T^∗ = T, 0 ≤ hT ◦(Id−γT)x|xi=hT x|xi−γhT(T x)|xi=hT x|xi−γhT x|T^∗xi=kT xk² = hT x|xi −γkT xk², i.e., hT x|xi ≥γkT xk².

(c) D’apr`es (b), kx−γT xk² = kxk² −2γhT x|xi+γ²kT xk² ≤ kxk² −2γ²kT xk² + γ²kT xk² =kxk² −γ²kT xk².

(d) Prenons kxk= 1. D’apr`es (c), k(Id−γT)xk ≤p

kxk²−γ²kT xk² ≤ kxk= 1.

3. (a) i. x^(k+1)−x=x^(k)−γT x^(k)+γy−x=x^(k)−γT x^(k)+γT x−x= (Id−γT)(x^(k)−x).

ii. D’apr`es i. et 3.(c) kx^(k+1) − xk² = k(Id−γT)(x^(k) − x)k² ≤ kx^(k) −xk² − γ²kT(x^(k)−x)k² =kx^(k)−xk²−γ²kT x^(k)−yk².

iii. D’apr`es ii. (∀k ∈ N) 0 ≤ kx^(k+1)−xk² ≤ kx^(k) −xk². Ainsi, (kx^(k) −xk²)k≥0

est monotone et born´ee, donc convergente.

(b) Soit x tel que T x = y. D’apr`es (a)ii et (a)iii. 0 ≤ kT x^(k)−yk² ≤ (kx^(k) −xk² − kx^(k+1)−xk²)/γ² →0. Donc T x^(k) →y.

(c) Supposons que x^(lk) → x. Par continuit´e de T, on a T x^(lk) → T x. Mais par (b), T x^(lk) →y. Donc T x=y.

(d) Dans (c), kx^(lk) −xk → 0 et T x = y. Donc (a)iii. implique que (kx^(k) −xk)k≥0

converge. Donc n´ecessairement kx^(k)−xk →0.

(e) D’apr`es (a)ii. (x<sup>(k)</sup>)k≥0est born´ee. Si dimH <+∞, elle poss`ede donc une sous-suite convergeante. La conclusion d´ecoule donc de (c) et (d).

(f) Pour f: x7→ ¹₂hT x|xi − hx|yi, (1) devient (∀k ∈N) x^(k+1) =x^(k)−γ∇f(x^(k)).

4. Par hypoth`ese T et Id−T ne peuvent ˆetre nuls. Puisque Id−T = P<sub>V</sub><sup>⊥</sup>, il suffit de montrer que T = T<sup>∗</sup> et T ≥ 0 (d’apr`es le Th´eor`eme de projection, T est lin´eaire et kTk= 1). On utilise la propri´et´e d’orthogonalit´e du projecteurT. Soit (x, y)∈ H². On a hT x|yi=hT x|y−T yi+hT x|T yi=hT x|T yi=hT x−x|T yi+hx|T yi=hx|T yi et donc T^∗ =T. Par ailleurs, hT x|x−T xi= 0 ⇒ hT x|xi=kT xk² ≥0.

Solution du Pb II :

1. (a) L’algorithme d’orthonormalisation de Schmidt s’´ecrit y₁ = x₁/kx₁k, et pour tout k ∈ {1,2, . . . , n}, z_k+1 =x_k+1−Pk

j=1hx_k+1 |y_jiy_j, ety_k+1 =z_k+1/kz_k+1k.

(b) On proc`ede par r´ecurrence : pour n = 1, vect(x1) = vect(y1) par d´efinition de y₁. Supposons maintenant que vect(y₁, . . . , y_k) = vect(x₁, . . . , x_k). Alors pour tout j ≤ k, y_j ∈ vect(x₁, . . . , x_k) ⊂ vect(x₁, . . . , x_k+1). Donc, par d´efinition de y_k+1, on obtientyk+1 ∈vect(x1, . . . , xk+1). Ainsi, vect(y1, . . . , yk+1)⊂vect(x1, . . . , xk+1).

Comme (y_j)1≤j≤k+1est orthonorm´ee, donc libre, de mˆeme que la famille (x_j)1≤j≤k+1, ces deux sous-espaces ont mˆeme dimension et sont donc ´egaux.

2. Par d´efinition, cond(A) = |||A||| |||A⁻¹|||. De plus, kAxk ≤ λ_nkxk, est cette valeur est atteinte pour x = v_n. Donc |||A||| = λ_n. De mˆeme, |||A⁻¹||| = 1/λ₁. Donc cond(A) = λn/λ1.

3. (a) A est sym´etrique d´efinie positive, donc inversible. Donc le syst`eme Ax =b admet une solution unique.

(b) En utilisant l’in´egalit´e de Cauchy-Schwarz, on a J(x)≥ ^λ₂¹kxk²− kbkkxk ≥ −^kbk_2λ²

1. La fonctionJest donc minor´ee. On noteJ₀ = infJ.Or d’apr`es l’in´egalit´e pr´ec´edente, on peut trouver R > 0 tel que kxk ≥ R ⇒ J(x) ≥ J₀ + 1. Ainsi, inf

Rⁿ

J = inf

BR

J.

CommeJ est continue et B_R compacte, il existeu∈B_R tel queJ(u) =J₀.Remar- quons de plus que ∇J(x) = Ax−b, et que donc tout minimiseur v´erifie Au = b.

Comme ce syst`eme admet une unique solution d’apr`es la question pr´ec´edente, le minimiseur est unique.

4. (a) Il est clair que kxkA ≥ 0 pour tout x ∈ Rⁿ, et que pour tout λ ∈ R, kλxkA =

|λ|kxk_A. De plus, la forme quadratique x 7→ hAx|xi est positive, donc le produit scalaire associ´e v´erifie l’in´egalit´e de Cauchy-Schwarz. Ainsi, pour tousx, y ∈Rⁿ,on akx+yk²_A=kxk²_A+kyk²_A+ 2hAx|yi ≤ kxk²_A+kyk²_A+ 2kxkAkykA,ce qui d´emontre l’in´egalit´e triangulaire. Enfin, kxk_A ≥λ₁kxk², et donckxk_A= 0 ⇒x= 0.

(b) Il est clair que λ₁kxk² ≤ hAx |xi ≤ λ_nkxk², ce qui prouve que k · k_A et k · k sont

´

equivalentes. De plus, infx6=0kxk²_A/kxk² ≥λ₁, et cette borne inf´erieure est atteinte pour x =v₁. Enfin, sup_x6=0kxk²_A/kxk² ≤ λ_n, et cette borne sup´erieure est atteinte pourx=v_n.

5. (a) Montrons par r´ecurrence que w^(k) ∈ K_k. Pour k = 0, c’est ´evident. Supposons donc que w^(k) ∈ K_k. Donc w^(k) ∈ K_k+1 et par d´efinition de w^(k+1) et puisque r^(k+1) ∈ K_k+1, on d´eduit que w^(k+1) ∈ K_k+1, ce qui ach`eve la r´ecurrence. Ainsi w^(k−1) ∈Kk−1,ce qui implique par orthogonalit´e de la suiter^(k)que

w^(k−1) |r^(k)

= 0. Ainsi,

∇J(u^(k))|w^(k)

=

r^(k) |w^(k)

=

r^(k)|r^(k)+αk−1w^(k−1)

= kr^(k)k², d’o`u la valeur de µ_k.

(b) On proc`ede par r´ecurrence. Il est clair que K₀ = vect(r⁽⁰⁾). Supposons que K_k = vect(r⁽⁰⁾, . . . , A^kr⁽⁰⁾). On a r^(k+1) = Au^(k+1) −b = Au^(k)−µ^(k)Aw^(k)−b = r^(k)−

µ^(k)Aw^(k).De plus,Aw^(k) ∈vect(Ar⁽⁰⁾, . . . , A^k+1r⁽⁰⁾),doncr^(k+1) ∈vect(r⁽⁰⁾, . . . , A^k+1r⁽⁰⁾).

Ainsi,K_k+1 ⊂vect(r⁽⁰⁾, . . . , A^k+1r⁽⁰⁾).R´eciproquement, par d´efinition, on ar^(k+1) = r^(k) − µ^(k)Aw^(k) = r^(k) − µ^(k)Ar^(k) − α^(k−1)µ^(k)Aw^(k−1). D’autre part, en utili- sant l’hypoth`ese de r´ecurrence, on a µ<sup>(k)</sup>Ar<sup>(k)</sup> = β<sup>(k+1)</sup>A<sup>k+1</sup>r<sup>(0)</sup> + t<sup>(k)</sup>, pour un certain r´eel β<sup>(k)</sup> et un certain t<sup>(k)</sup> ∈ K<sub>k</sub>. Ainsi, r<sup>k+1</sup> = β<sup>(k+1)</sup>A<sup>k+1</sup>r<sup>(0)</sup> + s<sup>(k)</sup>, o`u s^(k) ∈ K_k. En calculant le produit scalaire de cette ´egalit´e avec r^(k+1), on obtient 0 6= kr^(k+1)k² = β^(k+1)

A^(k+1)r⁽⁰⁾ |r^(k+1)

, donc β^(k+1) 6= 0, et donc A^k+1r⁽⁰⁾ = _β(k+1)¹ (r^(k+1) −s^(k)) ∈ K_k+1. L’hypoth`ese de r´ecurrence implique alors que vect(r⁽⁰⁾, . . . , A^k+1r⁽⁰⁾)⊂K_k+1.

(c) Remarquons tout d’abord queu^(l+1)−u^(l) ∈K_lpour toutl, doncu^(k+1)−u⁽⁰⁾ ∈K_k. D’autre part, tout vecteur deu⁽⁰⁾+Kks’´ecritu⁽⁰⁾+t^(k) =u^(k+1)+u⁽⁰⁾−u^(k+1)+t^(k), avec t^(k) ∈ K_k. Ce vecteur s’´ecrit donc u^(k+1) + h, avec h ∈ K_k. De plus, par convexit´e de la fonctionnelle J, on a J(u^(k+1)+h)≥J(u^(k+1)) +

∇J(u^(k+1))|h

= J(u^(k+1)) +

r^(k+1) |h

=J(u^(k+1)) par orthogonalit´e de la suiter^(k). Ceci d´emontre que J atteint son minimum sur u⁽⁰⁾+K_k en u^(k+1).

6. On a clairement Ae^(k) = r^(k). De plus, d’apr`es la question 5b, on sait que r^(k) = Pk

j=0β_jA^jr⁽⁰⁾.Ces deux ´egalit´es impliquentAe^(k) =Pk

j=0β_jA^j+1e⁽⁰⁾.Comme de plusA

est inversible, on obtient quee^(k) =Q_k(A)e⁽⁰⁾,o`uQ_k est un polynˆome de degr´e au plusk.

D’autre part, ce polynˆome v´erifie ´egalementr^(k) =Q_k(A)r⁽⁰⁾.Or on a vu `a la question 5b quer^(k+1) =r^(k)−µ^(k)Aw^(k).En particulier, si on noteβle coefficient de degr´e z´ero deQk

etγ celui deQ_k+1, on a donc (γ−β)r⁽⁰⁾ =AP_k(A)r⁽⁰⁾, o`uP<sub>k</sub> est un polynˆome. Comme, toujours d’apr`es la question 5b, le syst`eme de vecteurs (r⁽⁰⁾, Ar⁽⁰⁾, . . . , A^kr(0)) est libre, on en d´eduit que β=γ. Donc Qk(0) ne d´epend pas de k. Ainsi, Qk(0) =Q0(0) = 1.

7. D’apr`es la question 2,γ =λn/λ1 >1, donc 0<(√

γ−1)/(√

γ+ 1)<1,ce qui implique que le majorant de e^(k) converge vers 0.

8. Si λ_n =λ₁, alors la matriceA est une homoth´etie : A=λ₁I_n.Ainsi, u=b/λ₁. De plus, w⁽⁰⁾ =r⁽⁰⁾ =λ₁u⁽⁰⁾−b, et donc µ⁽⁰⁾ =kr⁽⁰⁾k²/

Aw⁽⁰⁾ |w⁽⁰⁾

= 1/λ₁. Ceci implique que u⁽¹⁾ =u⁽⁰⁾−w⁽⁰⁾/λ₁ =b/λ₁ =u. Donc l’algorithme converge en une seule ´etape.