Analyse Numérique I Sup'Galilée, Ingénieurs MACS, 1ère année François Cuvelier

(1)

Analyse Numérique I

Sup'Galilée, Ingénieurs MACS, 1ère année

François Cuvelier

Laboratoire d'Analyse Géométrie et Applications Institut Galilée

Université Paris XIII.

2015/10/28

2015/10/28 1 / 55

(2)

Chapitre IV

Résolution de systèmes linéaires

2015/10/28 2 / 55

(3)

Plan

1 Méthodes directes

2 Normes vectorielles et normes matricielles

Normes vectorielles Normes matricielles Suites de vecteurs et de matrices

3 Conditionnement d'un système linéaire

4 Méthodes itératives Principe

Notations

Méthode de Jacobi Méthode de Gauss-Seidel Méthode de relaxation Etude de la convergence Algorithmes

Principe de base Méthode de Jacobi Méthode de Gauss-Seidel Jeux algorithmiques Méthode S.O.R.

2015/10/28 3 / 55

(4)

Soient APM_npKq une matrice inversible et bbbPKⁿ. Résoudre

Axxx “bbb

Le calcul de la matrice inverse A^-1revient à résoudre n systèmes linéaires.

Pour résoudre un système linéaire, on ne calcule pas la matrice inverse associée.

‚ Méthodes directes : On cherche Minversible tel queMAfacilement inversible

Axxx “bbb ðñ MAxxx “Mbbb.

‚ Méthodes itératives : On chercheB et ccc,

xxx^r^k^`¹^s“Bxxx^r^k^s`ccc, k ě0, xxx^r⁰^s donné en espérant lim_kÑ`8xxx^r^k^s “xxx.

2015/10/28 4 / 55

(5)

Plan

Notations

Normes vectorielles et normes matricielles Normes vectorielles 2015/10/28 5 / 55

(6)

Denition

Une norme sur un espace vectoriel V est une application}‚}:V ÑR^` qui vérie les propriétés suivantes

˛ }vvv} “0ðñvvv “0,

˛ }αvvv} “ |α| }vvv}, @αPK, @vvv PV,

˛ }uuu```vvv} ď }uuu} ` }vvv}, @ puuu,,,vvvq PV² (inégalité triangulaire).

Une norme sur V est également appelée norme vectorielle . On appelle espace vectoriel normé un espace vectoriel muni d'une norme.

(7)

Proposition

Soit vvv P Kⁿ. Pour tout nombre réel p ě 1, l'application }‚}_p dénie par

}vvv}_p“

˜ _n ÿ

i“1

|v_i|^p

¸_1{p

est une norme sur Kⁿ. Normes usitées :

}vvv}₁“ ÿn

i“1

|v_i|, }vvv}₂ “

˜ _n ÿ

i“1

|v_i|²

¸₁{2

, }vvv}₈“ max

iPv1,nw|v_i|.

(8)

Lemme 2.1: Inégalité de Cauchy-Schwarz

@xxx,yyy PKⁿ

| xxxx,yyyy | ď }xxx}₂}yyy}₂. (1) Cette inégalité s'appelle l'inégalité de Cauchy-Schwarz. On a égalité si et seulement si xxx et yyy sont colinéaires.

(9)

Lemme 2.2: Inégalité de Hölder Pour pą1 et _p¹ `¹_q “1,on a@uuu,vvv PKⁿ

ÿn

i“1

|u_iv_i| ď

˜ _n ÿ

i“1

|u_i|^p

¸₁_{_p˜ _n ÿ

i“1

|v_i|^q

¸₁_{_q

“ }uuu}_p}vvv}_q. (2) Cette inégalité s'appelle l'inégalité de Hölder.

(10)

Denition 2.3

Deux normes }‚} et }‚}¹, dénies sur un même espace vectoriel V, sont équivalentes s'il exite deux constantes C et C¹ telles que

}vvv}¹ ďC}vvv} et }vvv} ďC¹}vvv}¹ pour tout vvv PV. (3)

Proposition

Sur un espace vectoriel de dimension nie toutes les normes sont équiv- alentes.

(11)

Plan

Notations

Normes vectorielles et normes matricielles Normes matricielles 2015/10/28 11 / 55

(12)

Denition 2.4

Une norme matricielle surM_npKqest une application}‚}:M_npKq Ñ R^` vériant

1 }A} “0ðñA“0,

2 }αA} “ |α| }A},@αPK,@APM_npKq,

3 }A`B} ď }A} ` }B}, @ pA,Bq PM_npKq² (inégalité triangulaire)

4 }AB} ď }A} }B}, @ pA,Bq PM_npKq² Peut-on étendre cette dénition sur M_m_,_npKq?

(13)

Proposition:

Etant donné une norme vectorielle}‚}surCⁿ,l'application}‚}_s:M_npCq ÑR^`dénie par

}A}_s“sup

vvvPCⁿ vvv‰0

}Avvv}

}vvv} “ sup

vvvPCⁿ }vvv}ď1

}Avvv} “ sup

vvvPCⁿ }vvv}“1

}Avvv}, (4)

est une norme matricielle, appelée norme matricielle subordonnée (à la norme vectorielle donnée).

De plus

}Avvv} ď }A}_s}vvv} @vvvPCⁿ (5) et la norme}A}peut se dénir aussi par

}A}_s“inftαPR:}Avvv} ďα}vvv}, @vvvPKⁿu. (6) Il existe au moins un vecteur uuuPCⁿtel que

uuu‰0 et }Auuu} “ }A}_s}uuu}. (7)

Enn une norme subordonnée vérie toujours

}I}_s“1 (8)

(14)

Théorème 3 SoitAPM_npKq. On a

}A}₁^def“ sup

vvvPKⁿ vvv‰0

}Avvv}₁

}vvv}₁ “ max

jPv1,nw

ÿn

i“1

|a_ij| (9)

}A}₂^def“ sup

vvvPKⁿ vvv‰0

}Avvv}₂ }vvv}₂ “a

ρpA^˚Aq “a

ρpAA^˚q “ }A^˚}₂ (10)

}A}₈ ^def“ sup

vvvPKⁿ vvv‰0

}Avvv}₈

}vvv}₈ “ max

iPv1,nw

ÿn

j“1

|aij| (11)

La norme}‚}₂ est invariante par transformation unitaire :

UU^˚ “Iùñ }A}₂ “ }AU}₂“ }UA}₂ “ }U^˚AU}₂. (12)

(15)

Corollaire 3.1

1 Si une matriceA est hermitienne, ou symétrique (donc normale), on a}A}₂“ρpAq.

2 Si une matriceA est unitaire, ou orthogonale (donc normale), on a}A}₂“1.

(16)

Plan

Notations

Normes vectorielles et normes matricielles Suites de vecteurs et de matrices 2015/10/28 16 / 55

(17)

Denition 3.2

Soit V un espace vectoriel muni d'une norme }‚}, on dit qu'une suite pvvv_kqd'éléments de V converge vers un élément vvv PV , si

kÑ8lim }vvv_k ´vvv} “0 et on écrit

vvv “ lim

kÑ8vvv_k.

(18)

Théorème 4: admis

SoitB une matrice carrée. Les conditions suivantes sont équivalentes :

1 lim_kÑ8B^k “0,

2 lim_kÑ8B^kvvv “0 pour tout vecteur vvv,

3 ρpBq ă1,

4 }B} ă1 pour au moins une norme matricielle subordonnée }‚}.

Théorème 5: admis

Soit B une matrice carrée, et }‚} une norme matricielle quelconque.

Alors

klimÑ8

›

›B^k

›

1{k

“ρpBq.

(19)

Soient APM_npKq inversible et bbbPKⁿ. Axxx “bbb

De petites erreurs sur les données engendrent-elles de petites erreurs sur la solution?

Conditionnement d'un système linéaire 2015/10/28 19 / 55

(20)

Exemple de R.S. Wilson

Soient

A“

¨

˚

˝

10 7 8 7

7 5 6 5

8 6 10 9

7 5 9 10

˛

‹

‚

, ∆A“

¨

˚

˝

0 0 ₁₀¹ ¹₅

252 1

25 0 0

0 ´₅₀¹ ´₁₀₀¹¹ 0

´₁₀₀¹ ´₁₀₀¹ 0 ´₅₀¹

˛

‹

‚

et bbb^t“ p32,23,33,31q,p∆bqp∆p∆bqbq^t “` ₁

100,´₁₀₀¹ , ₁₀₀¹ ,´₁₀₀¹ ˘

.Des calculs exacts donnent

Axxx“bbb ðñ xxx^t“ p1,1,1,1q Auuu“ pbbb`∆∆∆bbbq ðñ uuu^t“

ˆ91 50,´9

25, 27 20, 79

100

˙

« p1.8,´0.36,1.3,0.79q pA`∆Aqvvv“bbb ðñ vvv^t“ p´81,137,´34,22q pA`∆Aqyyy“ pbbb`∆∆∆bbbq ðñ yyy^t“

ˆ

´18283543

461600 , 31504261

461600 ,´3741501

230800,5235241 461600

˙

« p´39.61,68.25,´16.21,11.34q

(21)

Soient APM_npKq inversible et bbbPKⁿ. Axxx “bbb

De petites erreurs sur les données engendrent-elles de petites erreurs sur la solution?

Non, pas forcément!

Le système linéaire prédédent est mal conditionné.

On dit qu'un système linéaire est bien conditionné ou qu'il a un bon conditionnement si de petites perturbations des données n'entrainent qu'une variation raisonnable de la solution.

Est-il possible de "mesurer" le conditionnement d'une matrice?

(22)

Denition 6.1

Soit }.} une norme matricielle subordonnée, le conditionnement d'une matrice régulièreA, associé à cette norme, est le nombre

condpAq “ }A}›

›A^-1›

›. Nous noterons cond_ppAq “ }A}_p›

›A^-1›

›p.

(23)

Proposition:

SoitA une matrice régulière. On a les propriétés suivantes

1 @αPK^˚,condpαAq “condpAq.

2 condppAq ě1,@p P v1,`8w.

3 cond2pAq “1 si et seulement si A“αQavecα PK^˚ etQ matrice unitaire

(24)

Théorème 7:

SoitAune matrice inversible. Soient xxx et xxx```∆x∆∆x les solutions respec-x tives de

Axxx “bbb et Apxxx```∆∆∆xxxq “bbb```∆∆∆bbb. Supposons bbb ‰000,alors l'inégalité

}∆∆∆xxx}

}xxx} ďcondpAq}∆∆∆bbb}

}bbb}

est satisfaite, et c'est la meilleure possible : pour une matriceAdonnée, on peut trouver des vecteurs bbb ‰000 et∆∆∆bbb ‰000 tels qu'elle devienne une égalité.

(25)

Théorème:

Soient A etA`∆A deux matrices inversibles. Soient xxx et xxx```∆∆∆xxx les solutions respectives de

Axxx “bbb et pA`∆Aq pxxx```∆∆∆xxxq “bbb. Supposons bbb ‰000,alors on a

}∆x∆∆xx}

}xxx```∆∆∆xxx} ďcondpAq}∆A}

}A} .

Remarque 7.1

Une matrice est donc bien conditionnée si son conditionnement est proche de 1.

(26)

Plan

Notations

Méthodes itératives Principe 2015/10/28 26 / 55

(27)

Méthodes itératives pour la résolution du système linéaire Axxx “bbb.

Trouver une matrice d'itérationB et d'un vecteur ccc telles que xxx^r^k^`¹^s “Bxxx^r^k^s`ccc, k ě0, xxx^r⁰^s arbitraire vérie

klimÑ8xxx^r^k^s“xxx avec˜ xxx˜“A^-1bbb

Méthodes itératives Principe 2015/10/28 27 / 55

(28)

Plan

Notations

Méthodes itératives Notations 2015/10/28 28 / 55

(29)

Soit APM_npKq une matrice régulière, avec@i P v1,nw, ai,i ‰0

A “

¨

˚

˝

a1,1 0 ¨ ¨ ¨ 0 0 ... ... ...

... ... ... 0 0 ¨ ¨ ¨ 0 an,n

˛

‹

‚

`

¨

˚

˝

0 ¨ ¨ ¨ ¨ ¨ ¨ 0 a2,1 ... ...

... ... ... ...

an,1 ¨ ¨ ¨ an,n´1 0

˛

‹

‚

`

¨

˚

˝

0 a1,2 ¨ ¨ ¨ a1,n

... ... ... ...

... ... an´1,n

0 ¨ ¨ ¨ ¨ ¨ ¨ 0

˛

‹

‚

“ D´E´F“

¨

˚

˝

... ´F

D

´E ...

˛

‹

‚

Méthodes itératives Notations 2015/10/28 29 / 55

(30)

Plan

Notations

Méthodes itératives Méthode de Jacobi 2015/10/28 30 / 55

(31)

Axxx “bbb ðñ @i, b_i “ ÿn

j“1

a_i,jx_j “

i´1

ÿ

j“1

a_i,jx_j `a_i,ix_i` ÿn

j“i`1

a_i,jx_j

La méthode itérative de Jacobi : b_i “

i´1

ÿ

j“1

a_i,jx_j^r^k^s`a_i,ix_i^r^k^`¹^s` ÿn

j“i`1

a_i,jx_j^r^k^s @i P v1,nw

bbb“Dxxx^r^k^`¹^s´Exxx^r^k^s´Fxxx^r^k^s

ou encore

x_i^r^k^`¹^s“ 1 a_ii

˜ b_i ´

ÿn

j“1,j‰i

a_ijx_j^r^k^s

¸

@i P v1,nw

xxx^r^k^`¹^s“D^-1pE`Fqxxx^r^k^s`D^-1bbb

(32)

j“1

a_i,jx_j “

i´1

ÿ

j“1

j“i`1

a_i,jx_j

La méthode itérative de Jacobi : b_i “

i´1

ÿ

j“1

a_i,jx_j^r^k^s`a_i,ix_i^r^k^`¹^s` ÿn

j“i`1

a_i,jx_j^r^k^s @i P v1,nw

bbb“Dxxx^r^k^`¹^s´Exxx^r^k^s´Fxxx^r^k^s ou encore

x_i^r^k^`¹^s“ 1 a_ii

˜ b_i ´

ÿn

j“1,j‰i

a_ijx_j^r^k^s

¸

@i P v1,nw

xxx^r^k^`¹^s“D^-1pE`Fqxxx^r^k^s`D^-1bbb

(33)

Plan

Notations

Méthodes itératives Méthode de Gauss-Seidel 2015/10/28 32 / 55

(34)

j“1

a_i,jx_j “

i´1

ÿ

j“1

j“i`1

a_i,jx_j

La méthode itérative de Gauss-Seidel : bi “ai,ix_i^r^k^`¹^s`

i´1

ÿ

j“1

ai,jx_j^r^k^`¹^s` ÿn

j“i`1

ai,jx_j^r^k^s @i P v1,nw

bbb“Dxxx^r^k^`¹^s´Exxx^r^k^`¹^s´Fxxx^r^k^s

ou encore

x_i^p^k^`¹^q“ 1 a_ii

˜ b_i ´

i´1

ÿ

j“1

a_ijx_j^r^k^`¹^s´ ÿn

j“i`1

a_ijx_j^r^k^s

¸

@i P v1,nw

xxx^r^k^`¹^s “ pD´Eq^-1Fxxx^r^k^s` pD´Eq^-1bbb

(35)

j“1

a_i,jx_j “

i´1

ÿ

j“1

j“i`1

a_i,jx_j

La méthode itérative de Gauss-Seidel : bi “ai,ix_i^r^k^`¹^s`

i´1

ÿ

j“1

ai,jx_j^r^k^`¹^s` ÿn

j“i`1

ai,jx_j^r^k^s @i P v1,nw

bbb“Dxxx^r^k^`¹^s´Exxx^r^k^`¹^s´Fxxx^r^k^s ou encore

x_i^p^k^`¹^q“ 1 a_ii

˜ b_i ´

i´1

ÿ

j“1

a_ijx_j^r^k^`¹^s´ ÿn

j“i`1

a_ijx_j^r^k^s

¸

@i P v1,nw

xxx^r^k^`¹^s “ pD´Eq^-1Fxxx^r^k^s` pD´Eq^-1bbb

(36)

Plan

Notations

Méthodes itératives Méthode de relaxation 2015/10/28 34 / 55

(37)

Soit w PR^˚.

x_i^r^k^`¹^s “wˆx_i^r^k^`¹^s` p1´wqx_i^r^k^s

où xˆ_i^r^k^`¹^s est obtenu à partir de l'une des deux méthodes précédentes.

Avec la méthode de Gauss-Seidel : méthode S.O.R. (successive over relaxation)

x_i^r^k^`¹^s “ w a_ii

˜ bi´

i´1

ÿ

j“1

aijx_j^r^k^`¹^s´ ÿn

j“i`1

aijx_j^r^k^s

¸

` p1´wqx_i^r^k^s @i P v1,nw

Exercice 8.1:

Déterminer la matrice d'itération Bet le vecteur ccc tels que xxx^r^k^`¹^s“Bxxx^r^k^s`ccc

en fonction deD,E,F,et bbb.

(38)

Proposition:

On pose L“D^-1E etU“D^-1F.

La matrice d'itération de la méthode de Jacobi, notée J, est donnée par

J“D^-1pE`Fq “L`U, (13) La matrice d'itération de la méthode S.O.R., notéeL_w,est donnée par

L_w “ ˆD

w ´E

˙_-1ˆ 1´w

w D`F

˙

“ pI´wLq^-1pp1´wqI`wUq. et elle vérie (14)

ρpL_wq ě |w ´1|. (15) La matrice d'itération de Gauss-Seidel estL₁ et elle correspond à

L₁ “ pD´Eq^-1F“I´L^-1U. (16)

(39)

Plan

Notations

Méthodes itératives Etude de la convergence 2015/10/28 37 / 55

(40)

Théorème:

En décomposant A sous la forme A “ M´N avec M régulière et en posant

B“M^-1N et ccc “M^-1bbb, la suite dénie par

xxx^r⁰^s PKⁿ et xxx^r^k^`¹^s “Bxxx^r^k^s`ccc

converge versxxx¯“A^-1bbb quelque soit xxx^r⁰^s si et seulement siρpBq ă1.

(41)

Corollaire:

Soit A une matrice vériant a_i,i ‰ 0 @i. Une condition nécessaire de convergence pour la méthode S.O.R. est que 0ăw ă2.

Théorème: voir Lascaux-Théodor, vol.2, Théorème 19 et 20, pages 346 à 349

Soit Aune matrice à diagonale strictement dominante ou une matrice inversible à diagonale fortement dominante alors

‚ la méthode de Jacobi est convergente,

‚ si w Ps0,1sla méthode de Relaxation est convergente.

(42)

Théorème

SoitAune matrice hermitienne inversible en décomposée enA“M´N où M est inversible. Soit B “ I´ M^-1A, la matrice de l'itération.

Supposons queM^˚`N(qui est hermitienne) soit dénie positive. Alors ρpBq ă1 si et seulement siA est dénie positive.

Théorème

Soit A une matrice hermitienne dénie positive, alors la méthode de relaxation converge si et seulement si w Ps0,2r.

(43)

Plan

Notations

Méthodes itératives Algorithmes 2015/10/28 41 / 55

(44)

Principe de base

Résoudre :

Axxx “bbb Méthodes itératives :

xxx^r⁰^s PKⁿ et xxx^r^k^`¹^s “Bxxx^r^k^s`ccc Algorithme :

xxx^r0s donné

Pour k“0, 1,¨ ¨ ¨ faire xxx^rk`1s ÐBxxx^rks`ccc Fin Pour

Critère d'arrêt? Stockage de tous les xxx^r^k^s?

(45)

La convergence de ces méthodes n'est pas assurées et si il y a convergence le nombre d'itération nécessaire n'est (à priori) pas connu.

ùñ boucle Tantque Critères d'arrêt :

‚ nombre maximum d'itérations

‚ εą0 permet l'arrêt des calculs si xxx^r^k^s susament proche dexxx¯“A^-1bbb Comment choisir le critère d'arrêt pour la convergence?

Exemple de critère d'arrêt pour la convergence : Soit rrr^r^k^s “bbb´Axxx^r^k^s le résidu.

›

›rrr^rks›

› }bbb} ďε Car dans ce cas, on a avec eee^r^k^s “xxx¯´xxx^r^k^s

›

›eee^r^k^s›

›

}xxx}¯ ďεcondpAq

(46)

›

›rrr^rks›

› }bbb} ďε

Car dans ce cas, on a avec eee^r^k^s “xxx¯´xxx^r^k^s

›

›eee^r^k^s›

›

}xxx}¯ ďεcondpAq

(47)

›

›rrr^rks›

› }bbb} ďε Car dans ce cas, on a avec eee^r^k^s “xxx¯´xxx^r^k^s

›

›eee^r^k^s›

›

}xxx}¯ ďεcondpAq

(48)

Algorithme 1 Méthode itérative pour la résolution d'un système linéaireAxxx“bbb Données :

A : matrice deM_npKq, bbb : vecteur deKⁿ, xxx⁰ : vecteur initial deKⁿ, ε : la tolérence,εPR^`,

kmax : nombre maximum d'itérations, kmaxPN^˚ Résultat :

xxxtol : un vecteur deKⁿsi convergence, sinonH

1: kÐ0,xxxtolÐ H

2: xxxÐxxx⁰,rrrÐbbb´Axxx,

3: tolÐεp}bbb} `1q

4: Tantque }rrr} ątol et kďkmax faire

5: kÐk`1

6: pppÐxxx Źppp contient le vecteur précédent

7: xxxÐcalcul de l'itérée suivante en fonction de ppp,A,bbb,...

8: rrrÐbbb´Axxx,

9: Fin Tantque

10: Si}rrr} ďtol alors ŹConvergence

11: xxxtolÐxxx

12: Fin Si

(49)

Pour Jacobi , la suite des itérées est dénie par x_i^r^k^`¹^s“ 1

a_ii

˜ b_i ´

ÿn

j“1,j‰i

a_ijx_j^r^k^s

¸

, @i P v1,nw.

Algorithme2 R

0

1: kÐ⁰,^x^x^x^tolÐ H

2:xxxÐ^x^x^x⁰,^r^r^rÐ^b^b^b´A^x^x^x,

3: tolÐεp}^b^b^b} `¹q

4: Tantque }^r^r^r} ą^tol^et^kď^kmax^faire

5: kÐ^k`¹

6: pppÐ^x^x^x

7:

8: x

x

xÐ^alul^par^Jaobi

9: r

r

rÐ^b^b^b´A^x^x^x,

10: FinTantque

11: Si}^r^r^r} ď^tol^alors Ź^Convergene

12: xxx tolÐ^x^x^x

13: FinSi

Algorithme2 R

1

5: kÐ^k`¹

6: pppÐ^x^x^x

7: PouriÐ¹^àⁿ^faire

8: xiÐ ¹

a

ii

˜

bi´

n

ÿ

j“¹,j‰ⁱ

aijp p

pj

¸

9: FinPour

10: r

r

rÐ^b^b^b´A^x^x^x,

11:FinTantque

12:Si}^r^r^r} ď^tol^alors Ź^Convergene

13: xxx tolÐ^x^x^x

14:FinSi

(50)

Algorithme2 R

1

5: kÐ^k`¹

6: pppÐ^x^x^x

8:

9: x

iÐ ¹

a

ii

˜

b

i´

n

ÿ

j“1,j‰i a

ij p pp

j

¸

10: FinPour

11: r

r

rÐ^b^b^b´A^x^x^x,

12: FinTantque

13: Si}^r^r^r} ď^tol^alors

14: xxx tolÐ^x^x^x

15: FinSi

Algorithme2 R

2

5: kÐ^k`¹

6: pppÐ^x^x^x

8: SÐ⁰

9: PourjÐ¹^àⁿp^j‰ⁱq^faire

10: SÐ^S´^ai,j

p

j

11: FinPour

12: x

iÐ ¹

a

ii

p^bi´^Sq

13: FinPour

14: rrrÐ^b^b^b´A^x^x^x,

15:FinTantque

16:Si}^r^r^r} ď^tol^alors

17: x

x

x tolÐ^x^x^x

18:FinSi