Introduction aux m ́ethodes it ́eratives

Universit´ e Mohamed Seddik Ben Yahia - Jijel

Facult´ e des Sciences Exactes et Informatique D´ epartement de Math´ ematiques

N d’ordre : N de s´ erie :

M´ emoire

Pour l’obtention du diplˆ ome de : Master Sp´ ecialit´ e :Math´ ematiques Appliqu´ ees

Option :EDP et Applications

Th` eme

Introduction aux m´ ethodes it´ eratives

Pr´ esent´ e par :

Benchabane Hayat Belhour Faiza Devant le jury :

Pr´ esident : S.Lounis M.C.B Univ. Jijel Encadreur : I.Kecis M.C.B Univ. Jijel Examinateur : S.Maarouf M.C.B Univ. Jijel

2016-2017

N os remerciements vont tout premi` erement ` a Dieu tout puissant pour la volont´ e, la sant´ e, et la patience qu’il nous a donn´ e pour terminer ce m´ emoire.

N ous remercions vivement Docteur Ilyas Kecis , enseignant ` a l’universit´ e de Jijel, D’avoir voulu proposer le sujet et assurer la direction de ce m´ emoire, sa disponibilit´ e, son soutien, ses encouragements et ses pr´ ecieux conseils tout au long de ce travail nous

ont beaucoup aid´ e. Nous tenons ` a lui exprimer ici toute notre reconnaissance et tout notre respect.

N ous remercions vivement Madame Sabrina Lounis pour avoir accept´ e de pr´ esider le jury et ´ evaluer ce m´ emoire.

N ous adressons ´ egalement nos sinc` eres remerciements ` a mademoiselle sara maarouf pour avoir bien voulu prendre la responsabilit´ e d’´ evaluer ce travail.

F inalement, nous tenons ` a remercier chaleureusement nos ch´ eres familles pour leur soutien, leur patience, leurs encouragements et tout ce qu’elles ont fait pour nous tout

au long de cette p´ eriode.

Sans oublier de remercier tous les enseignants du d´ epartement de math´ ematiques qui de pr` es ou de loin ont contribu´ e ` a notre formation.

Merci

J e remercie Dieu de m’avoir donn´ ee la sant´ e pour finir ce travail

J e d´ edie ce modeste travail :

A ma m` ere Rachida, A la m´ emoire de mon p` ere Ahmed qui a fait de moi ce que je suit aujourd’hui.

A leur amour et leurs sacrifices.

A mes fr` eres :Houssem,Mohammed,Karim .

A mes sœurs Adila,Safia et son mari´ e N oro

A toutes la famille benchabane sans exception

A mes amis : Naima ,Nadjma,Faiza,Sara,Meriem,Saida,Houda,Zahra.

Ainsi que tous les coll` egues de ma promotion

A tous qui m’ont aid´ e de pr´ es ou de loin

A tous mes enseignants depuis le primaire jusqu’` a maintenant.

T oxicologie de l’environnement ann´ ee 2016-2017

Hayat

J e remercie dieu de m’avoir donn´ ee la sant´ e pour finir ce travail

J e d´ edi´ e ce travail :

C elle pour laquelle je ne rendrais jamais assez ma tr` es ch` ere m` ere.

Celui qui repr´ esente pour moi l’exemple de courage de volont´ e et l’´ ecole de la patience mon tr` es ch` ere p` ere.

A mon mari : Imad.

A mes fr` eres : Youcef, Abd Ennour.

A mes sœurs : Ranya, Imene .

A mon binˆ ome Hayat qui a partag´ e avec moi les moments difficiles de ce travail et ` a sa famille.

E t ` a toute ma grande famille.

T out mes amies : Ines, Djahida, Sihem, Houda, Ilhem, Mofida.

T out la promotion : MI 2016-2017.

E t ` a tous qui ne sont chers.

Faiza

Introduction iii

1 Pr´ eliminaires 1

1.1 Quelques d´ efinitions et propri´ et´ es sur les matrices . . . . 2

1.2 Valeurs et vecteurs propres . . . . 3

1.3 Normes matricielles . . . . 5

1.4 Matrices d´ efinies positives . . . . 7

2 M´ ethodes it´ eratives 9 2.1 Notations et d´ efinitions . . . . 9

2.1.1 Point fixe . . . . 10

2.1.2 la consistance . . . . 11

2.1.3 La convergence . . . . 11

2.2 M´ ethodes it´ eratives lin´ eaires . . . . 13

2.2.1 Trois formes normales . . . . 13

2.2.2 R´ esultats de convergence . . . . 16

2.2.3 Choix d’un test d’arrˆ et . . . . 20

2.2.4 It´ erations ` a deux termes . . . . 22

2.3 M´ ethodes it´ eratives classiques . . . . 23

2.3.1 It´ eration de Richardson . . . . 23

2.3.2 It´ eration de Jacobi, Gauss-Seidel et relaxation . . . . 32

2.3.3 Convergence de Jacobi, Gauss-Seidel et relaxation . . . . 36

3 Alg` ebre des it´ erations lin´ eaires. 39 3.1 It´ eration adjointe, sym´ etrique et d´ efinie positive . . . . 39

3.1.1 It´ eration adjointe . . . . 39

3.1.2 It´ erations sym´ etriques . . . . 42

3.1.3 It´ erations d´ efinies positives . . . . 44

3.2 It´ erations lin´ eaires damped . . . . 46

3.2.1 L’it´ eration damped de Jacobi . . . . 48

3.3 Addition des it´ erations lin´ eaires . . . . 48

i

3.4 Produit (compos´ ee) des it´ erations . . . . 51

3.4.1 D´ efinitions et propri´ et´ es . . . . 51

3.4.2 Construction d’it´ erations sym´ etriques . . . . 54

3.5 Transformation (pr´ econditionnement) . . . . 57

3.5.1 Transformation ` a gauche . . . . 57

3.5.2 Transformation ` a droite . . . . 60

3.5.3 Transformation centr´ ee . . . . 62

4 Analyse des it´ erations d´ efinies positives 64 4.1 Diff´ erents cas de positivit´ e . . . . 64

4.2 Analyse de convergence . . . . 68

4.2.1 Cas 1, Cas 2 et Cas 3 . . . . 68

4.2.2 Cas 4 : W + W

ou N + N

d´ efinie positive . . . . 70

4.2.3 Cas 5 :It´ eration sym´ etrique Φ

. . . . 72

4.2.4 Cas 6 : d´ ecomposition hermitienne de A . . . . 73

Bibliographie 75

Les m´ ethodes it´ eratives ont presque 200 ans. La premi` ere m´ ethode it´ erative pour les syst` emes des ´ equations lin´ eaires est due ` a Carl Friedrich Gauss [16]. Sa m´ ethode des moindres carr´ es a conduit ` a un grand syst` eme des ´ equations o` u la m´ ethode de l’´ elimination de Gauss ne peut pas ˆ etre appliqu´ ee. Vingt ans plus tard, Carl Gustav Jacobi [12] a d´ ecrit une m´ ethode tr` es similaire ` a celle de Gauss. En 1874, Philips Lundwig Seidel [13], un ´ etudiant de Jacobi, a ´ ecrit ´ egalement sur une m´ ethode it´ erative pour r´ esoudre des

´

equations dues ` a la m´ ethode des moindres carr´ ees.

Un syst` eme lin´ eaire de n ´ equations et n inconnus x



 

 

a

x

+ a

x

+ . . . + a

x

= b

, .. .

a

x

+ a

x

+ . . . + a

x

= b

s’´ ecrit sous la forme Ax = b. Ces syst` emes lin´ eaires interviennent dans un grand nombre de probl` emes num´ eriques, par exemple

(a) L’approximation des solutions des EDP, que ce soit par les diff´ erences finies ou par les ´ el´ ements finis. Le probl` eme model se donne par l’´ equation de la chaleur. Dans ce cas, les syst` emes lin´ eaires sont des variantes discr` etes de probl` emes continus.

( −∆u(x, y) = f (x, y) sur Ω ⊂ R

,

u(x, y) = 0 sur ∂Ω (1)

(b) les probl` emes d’interpolation, lorsque l’on cherche ` a approcher une fonction connue seulement ` a un nombre fini de n points par un polynˆ ome P

. le Calcul de P

revient

`

a r´ esoudre un syst` eme de n equations.

(c) Les probl` emes d’optimisation qui utilisent les moindres carr´ ees.

Les algorithmes de r´ esolutions des syst` emes lin´ eaires se classent en trois grandes cat´ egories : les m´ ethodes directes (´ el´ emination de Gauss, factorisation de Cholesky, etc), les m´ ethodes it´ eratives (Jacobi, Gauss-seidel, etc) et les m´ ethodes projectives (gradient conjugu´ e, etc).

Les m´ ethodes directes sont les plus efficaces parce qu’elles fournissent la solution exacte en un nombre fini d’it´ erations. La strat´ egie est de transformer le syst` eme Ax = b en deux syst` emes dont les matrices sont triangulaires o` u la r´ esolution est particuli` erement simple.

Les m´ ethodes directes ont l’inconv´ enient de n´ ecessiter une assez grande place de m´ emoire.

elles deviennent coˆ uteuses en temps et en m´ emoire lorsque la taille du syst` eme est ´ elev´ ee.

iii

L’utilisation des m´ ethodes it´ eratives a tendance ` a s’imposer avec l’augmentation de la puissance des ordinateurs. Le principe consiste ` a construire une suite des solutions approch´ ees convergent vers la solution exacte. Ces m´ ethodes s’appliquent surtout aux syst` emes dont la matrice est creuse (contient beaucoup de z´ ero) ce qu’est le cas dans les syst` emes issus d’une discr´ etisation par ´ el´ ements finis ou diff´ erences finies. En g´ en´ eral, les m´ ethodes it´ eratives ne permettent pas d’obtenir la solution exacte, n´ eanmoins, chaque it´ eration donne une meilleure approximation de la solution. On s’arrˆ ete d´ es que la pr´ ecision (condition d’arrˆ et) d´ esir´ ee est atteinte.

Ce m´ emoire est constitu´ e de quatre chapitres :

On commence par un chapitre introductif qui rappelle et pr´ esente les r´ esultats fondamen-

taux du calcul matriciel ainsi que les notions et les th´ eor` emes utilis´ es pour d´ emontrer

les r´ esultats des autres chapitres. On aborde dans le deuxi` eme chapitre les m´ ethodes

it´ eratives lin´ eaires en donnant les propri´ et´ es majeures notamment la consistance et la

convergence. On pr´ esente ´ egalement une ´ etude d´ etaill´ ee sur les quatre it´ erations les plus

fr´ equentes Richardson, Jacobi, Gauss-Seidel et la relaxation. L’ensemble des it´ erations

lin´ eaires forme un alg` ebre, sur lequel, plusieurs op´ erations sont d´ efinies. L’´ etude de ces

op´ erations fait l’objet du chapitre 3. Le dernier chapitre est consacr´ e ` a donner quelques

crit` eres de convergence sur les it´ erations lin´ eaires qui poss` edent certaines propri´ et´ es de

positivit´ e.

Pr´ eliminaires

Ce chapitre introductif a pour but de rappeler les r´ esultats fondamentaux de l’analyse matricielle que l’on va utiliser dans les autres chapitres. Selon les probl` emes qui se posent plus tard, on est amen´ e ` a utiliser un grand nombre d’outils diff´ erents que l’on accepte sans d´ emonstration. Pour plus d’information on se r´ ef` ere ` a [17, 18].

Notation

• K le corps R ou C .

• A

, A

respectivement, la matrice transpos´ ee et hermitienne de A.

• A

= (A

)

, A

= (A

)

.

• h·, ·i produit scalaire.

• k · k

norme euclidienne.

• hx, yi

= hAx, yi.

• k · k

norme associ´ ee ` a h·, ·i

.

• k · k

norme infini.

• | · | valeur absolue dans R (module dans C ).

• λ

(A) plus grande valeur propre de A.

• λ

(A) plus petite valeur propre de A.

• ρ(A) rayon spectral de la matrice A.

• spec (A) spectre de la matrice A.

• Cond (A) conditionnement de A.

• D(Φ) domaine de d´ efinition de l’it´ eration Φ.

• det(A) determinant de A.

• Re(z) partie r´ eelle de z ∈ C .

• M

( K ) l’espace des matrices.

• ker(A) noyau de A.

• L ensemble des it´ eration lin´ eaires et consistantes.

• L

ensemble des it´ erations d´ efinies positives.

1

• L

ensemble des it´ erations semi-d´ efinies positives.

• L

ensemble des it´ erations sym´ etriques.

• L

ensemble des it´ erations directement d´ efinies positives

• N = {0, 1, 2, 3, . . .}.

• resp. : respectivement.

• P

ensemble des polynˆ ome dont le degr´ e ≤ n.

1.1 Quelques d´ efinitions et propri´ et´ es sur les ma- trices

Dans tous les chapitres M

( K ), p, q ∈ N est l’espace vectoriel sur le corps K form´ e par les matrices de taille p (lignes) ×q (colonnes), ` a ´ el´ ements dans K . Dans les cas o` u les corps des scalaires peut ˆ etre choisi indiff´ eremment ´ egal ` a R ou C , on le d´ esignera par K . D´ efinition 1.1.1 Soit A = (a

) ∈ M

( K ), on d´ efinit la transpos´ ee et l’adjointe de A respectivement par

A

:= (a

)

, A

:= (a

)

. Si K = R alors A

= A

.

Lemme 1.1.2 les propri´ et´ es suivantes ont lieu

(A

)

= A, (A + B)

= A

+ B

, (λA)

= λA

, λ ∈ K (AB)

= B

A

, (A

)

= (A

)

(A + B)

= A

+ B

, (λA)

= λA

, λ ∈ K (AB)

= B

A

, (A

)

= (A

)

la d´ efinition suivante donne les classes des matrices tr` es couramment utilis´ ees que ce soit dans l’analyse num´ erique ou dans l’alg` ebre.

D´ efinition 1.1.3

(a) Une matrice A = (a

) ∈ M

( K ) est dite :

(1) diagonale si a

= 0 pour tout i 6= j. Dans ce cas, on note A = diag (a

, a

, . . . , a

), (2) identit´ e si elle est diagonale et a

= 1, ∀i. On la note I

= diag(1, 1, . . . , 1),

(3) triangulaire sup´ erieure si a

= 0 pour tout i > j, (4) triangulaire inf´ erieure si a

= 0 pour tout i < j, (5) sym´ etrique si K = R et A = A

,

(7) hermitienne si K = C et A = A

,

(8) orthogonale si K = R et AA

= A

A = I

,

(9) unitaire si K = C et AA

= A

A = I

, (10) Normale si AA

= A

A.

(b) les matrices A et B commutent si

AB = BA.

(c) Les matrices A, B ∈ M

( K ) sont dites semblable s’il existe une matrice r´ eguli` ere T , telle que

A = T

BT.

Si T est unitaire, les matrices A et B sont dites unitairement semblables.

D´ efinition 1.1.4 L’application h·, ·i : K

× K

→ K d´ efinie par hx, yi =

( y

x = P

i=1

x

y

si K = R y

x = P

i=1

x

y

si K = C

est appel´ ee produit scalaire euclidien si K = R et hermitien si K = C . On a aussi hAx, yi = hx, A

yi.

Matrice inversible

D´ efinition 1.1.5 On dit que la matrice carr´ ee A de taille N est inversible ou r´ eguli` ere s’il existe une matrice B de taille N telle que AB = BA = I

. La matrice B est appel´ ee inverse de A et on note A

. De plus

(AB)

= B

A

, (A

)

= (A

)

, (A

)

= (A

)

. Th´ eor` eme 1.1.6 Soit A ∈ M

( K ), les propri´ et´ es suivantes sont ´ equivalentes

(a) A est r´ eguli` ere (inversible), (b) rang (A) = N ,

(c) det(A) 6= 0,

(d) Ax = 0 si et seulement si x = 0,

(e) pour tout b ∈ K

: Ax = b poss` ede une unique solution.

(e) ker A = {0}.

1.2 Valeurs et vecteurs propres

D´ efinition 1.2.1

(a) On dit que λ ∈ K est une valeur propre de A s’il existe x 6= 0 tel que Ax = λx. Le

vecteur x est le vecteur propre associ´ e ` a λ. L’ensemble de toutes les valeurs propres est appel´ e le spectre de A not´ e par spec (A). On a

spec (A

) = spec (A) et spec (A

) = { ¯ λ : λ ∈ spec (A)}.

(b) Le rayon spectral de A que l’on note ρ(A) se donne par ρ(A) := max{|λ| : λ ∈ spec (A)}

Le rayon spectral v´ erifi´ e les propri´ et´ es suivantes

ρ(ζA) = |ζ|ρ(A) ∀ζ ∈ K , ∀A ∈ M

( K ), ρ(A

) = (ρ(A))

∀k ∈ N

et , ∀A ∈ M

( K ),

ρ(A) = ρ(B) ∀A, B ∈ M

( K ),

ρ(A) = ρ(A

) = ρ(A

) ∀A ∈ M

( K ), ρ(AB) = ρ(BA)∀A ∈ M

( K ), B ∈ M

( K ).

Th´ eor` eme 1.2.2

(a) Les valeurs propres des matrices semblables A et B co¨ıncident spec (A) = spec (B).

(b) Soit P

∈ P

, alors

spec (P

(A)) = {P

(λ) : λ ∈ spec (A)}.

D´ ecomposition de Schur

Pour une matrice arbitraire, on peut prouver qu’elle est unitairement semblable ` a une matrice triangulaire, comme l’affirme le r´ esultat suivant.

Th´ eor` eme 1.2.3 (voir [17])

(a) Pour toute matrice A ∈ M

( K ), il existe une matrice unitaire U ∈ M

( K ) et une matrice triangulaire sup´ erieure R telles que

A = U RU

Les ´ el´ ement diagonaux de R sont les valeurs propres de A.

(b) Si A est normale alors, il existe D diagonale et U unitaire telles que A = U DU

avec D = diag (λ

), λ

∈ spec (A).

(c) Si de plus, A est hermitienne alors, on a la mˆ eme d´ ecomposition que (b) avec

λ

∈ R .

Th´ eor` eme 1.2.4 Soient A, B deux matrices normales alors, A et B commutent si et seulement si il existe une matrice unitaire Q telle que

Q

AQ = diag {λ

}, Q

BQ = diag {µ

}. (1.1) o` u λ

∈ spec (A) et µ

∈ spec (B).

1.3 Normes matricielles

D´ efinition 1.3.1 Une norme matricielle est une application k · k : M

( K ) → R telle que pour toutes A, B ∈ M

( K ) on a

(1) kAk ≥ 0 et kAk = 0 si et seulement si A = 0, (2) kαAk = |α|kAk, ∀α ∈ K

(3) kA + Bk ≤ kAk + kBk (in´ egalit´ e triangulaire),

(4) kABk ≤ kAkkB k, A ∈ M

( K ), BA ∈ M

( K )( norme multiplicative).

D´ efinition 1.3.2 On dit qu’une norme matricielle k·k est compatible ou consistante avec une norme vectorielle k · k

si

kAxk

≤ kAkkxk

, ∀x ∈ R

, ∀x ∈ K

, A ∈ M

( K ) Proposition 1.3.3 L’application k · k d´ efinie sur M

( K ) par

kAk = sup

v∈K^M−{0}

kAvk

kv k

= sup

kvk∗≤1

kAvk = sup

kvk∗=1

kAvk,

est une norme matricielle appel´ ee la norme matricielle subordonn´ ee ou induite par la norme vectoriel.

Lemme 1.3.4

(a) Les valeurs propres d’une matrice hermitienne sont r´ eelles.

(b)

spec (A

A) ⊂ R

. Preuve.

Soient λ ∈ spec (A

A) et x 6= 0 le vecteur propre associ´ e ` a λ.

(a)

hAx, xi = hx, A

xi = hx, Axi ⇒ hλx, xi = hx, λxi

⇒ λkxk

= λkxk

⇒ λ = λ ⇔ λ ∈ R . (b)

kAxk

= hAx, Axi = hA

Ax, xi = hλx, xi = λkxk

> 0 ⇒ λ > 0.

Proposition 1.3.5 Soit A ∈ M

( C ). On a kAk

= max

1≤j≤n n

X

i=1

|a

|,

kAk

= p

ρ(A

A) = p

ρ(AA

) = kA

k

, kAk

= max

1≤i≤n n

X

j=1

|a

|.

Conditionnement

D´ efinition 1.3.6 Soit k·k une norme matricielle subordonn´ ee. Pour toute matrice inver- sible A ∈ M

( C ), on appelle conditionnement de A relativement ` a la norme matricielle k · k le nombre

cond(A) = kA

kkAk.

Th´ eor` eme 1.3.7 Soit A ∈ M

( C ) une matrice inversible, nous avons les propri´ et´ es suivantes

(a) Cond (A) = Cond (A

) et Cond (αA) = Cond (A) pour tout α ∈ K − {0}, (b) Si A est une matrice normale, on a

Cond

(A) = λ

(A)/λ

(A).

Proposition 1.3.8 Soient A ∈ M

( K ) et k · k une norme consistante, alors (a)

ρ(A) ≤ kAk. (1.2)

(b)

m→+∞

lim kA

k

= ρ(A). (1.3) (c) Soient A ∈ M

( K ) et ε > 0. Il existe une norme matricielle consistante k · k

(d´ ependant de ε) telle que

kAk

≤ ρ(A) + ε (1.4)

Ainsi, pour une tol´ erance fix´ ee aussi petite que voulue, il existe toujours une norme matri- cielle telle que la norme de A soit arbitrairement proche du rayon spectral de A, c’est-` a-dire

ρ(A) = inf

k·k

kAk.

l’infimum ´ etant pris sur l’ensemble de toutes les normes consistantes.

Th´ eor` eme 1.3.9 Soit A ∈ M

( K ), alors

m→∞

lim kA

k = 0 ⇔ ρ(A) < 1

⇔

X

k=0

A

converge et

∞

X

k=0

A

= (I − A)

1.4 Matrices d´ efinies positives

D´ efinition 1.4.1

Une matrice A ∈ M

( K ) est dite

(a) d´ efinie positive, si A = A

et hAx, xi > 0 pour tout x ∈ K

− {0}, (b) semi-d´ efinie positive, si A = A

et hAx, xi ≥ 0 pour tout x ∈ K

, (c) d´ efinie n´ egative, si −A est d´ efinie positive

(d) semi-d´ efinie n´ egative, si −A est semi-d´ efinie n´ egative.

Notation

On ´ ecrit A > 0 pour toute matrice d´ efinie positive A. On ´ ecrit ´ egalement A ≥ 0, A < 0 et A ≤ 0 respectivement, pour exprimer les d´ efinitions (b)-(d).

Les termes (semi) d´ efinie positive et (semi) d´ efinie n´ egative (semi-d´ efinie n´ egative) d´ efinissent un ordre partial sur l’ensemble des matrices hermitiennes. Ce qui justifie la d´ efinition sui- vante

D´ efinition 1.4.2

Pour toutes matrices hermitiennes A et B, on d´ efinit

A > B ⇔ A − B > 0 ⇔ A − B est d´ efinie positive .

A ≥ B, A < B et A ≤ B sont d´ efinies de fa¸con similaire. Toute in´ egalit´ e de la forme A > B implique implicitement que les deux matrices A et B sont hermitiennes.

Lemme 1.4.3 (voir Lemme C2 [5])

Soient A, B ∈ M

( K ), les propri´ et´ es suivantes ont lieu

A > 0 ⇔ CAC

> 0 ∀C ∈ M

( K ) r´ eguli` ere , (1.5) A > B ⇔ CAC

> CBC

∀C ∈ M

( K ) r´ eguli` ere , (1.6) A ≥ 0 ⇔ CAC

≥ 0 ∀C ∈ M

( K ), (1.7) A ≥ B ⇔ CAC

≥ CBC

∀C ∈ M

( K ), (1.8) A ≥ B ⇔ C

AC ≥ C

BC ∀C ∈ M

( K ), (1.9)

A, B ≥ 0 ⇒ A + B ≥ 0, (1.10)

A, B ≥ 0 ⇒ A + B > 0 si A > 0 ou B > 0, (1.11) A > 0 ⇔ ζA > 0 ∀ζ > 0, (1.12) ζI ≤ A ≤ ξI ⇔ spec (A) ⊂ [ζ, ξ] si A hermitienne , (1.13)

−ξ ≤ A ≤ ξ ⇔ kAk

≤ ξ si A hermitienne , (1.14)

A ≥ B > 0 ⇔ 0 < A

≤ B

. (1.15)

Lemme 1.4.4 A > 0 (resp. A ≥ 0) si et seulement si la matrice A est hermitienne, et toutes les valeurs propres de A sont strictement positives (resp. positive).

Corollaire 1.4.5 La matrice A

A est d´ efinie positive.(Il suffit d’utiliser Lemme 1.3.4 et le fait que A

A est hermitienne)

Lemme 1.4.6

(a) Toute matrice d´ efinie positive est r´ eguli` ere.

(b)

A > 0 ⇔ A

> 0.

(c) Soit A = (a

)

∈ M

( K ) alors

A > 0 ⇒ a

> 0 et A ≥ 0 ⇒ a

≥ 0 i = 1 · · · N. (1.16) Par cons´ equent, diag {a

} est d´ efinie positive (semi-d´ efinie positive)

Lemme 1.4.7

(a) 0 ≤ A ≤ B implique que kAk

≤ kBk

et ρ(A) ≤ ρ(B).

(b) 0 ≤ A < B implique que kAk

< kBk

et ρ(A) < ρ(B).

Remarque 1.4.8 Si les matrices A et B sont d´ efinies positives (semi-d´ efinie positive), le produit AB n’a que des valeurs propres strictement positives ( positives).

Th´ eor` eme 1.4.9 (voir Th´ eor` eme 1.7 [17])

(a) Pour toute matrice(semi) d´ efinie positive A, il existe une et une seule matrice B qui soit (semi) d´ efinie postive et qui v´ erifie B

= A. On l’appelle la racine carr´ ee de A et on la note A

. Pour son inverse on utilise la notation A

= (A

)

.

(b) A

commute avec A et tout polynˆ ome de A.

(c) A

est l’unique solution (semi) d´ efinie positive de l’´ equation matricielle X

= A o` u A est (semi) d´ efinie positive.

D´ efinition 1.4.10 Soit A une matrice d´ efinie positive, on d´ efinit le produit scalaire as- soci´ e ` a A par

hx, yi

:= hAx, yi. (1.17) La norme associ´ ee ` a h·, ·i

est

kxk

= p

hAx, xi = q

hA

x, A

xi = kA

xk

. (1.18) La norme matricielle induite par k · k

est

kBk

= kA

BA

k. B ∈ M

( K ). (1.19)

M´ ethodes it´ eratives

Dans ce chapitre, on ´ etudie les propri´ et´ es fondamentales des m´ ethodes it´ eratives no- tamment la consistance et la convergence. Une ´ etude d´ etaill´ ee a ´ et´ e ´ etablie sur les quatre it´ erations de base : Richardson, Jacobi, Gausse-Seidel et la relaxation.

2.1 Notations et d´ efinitions

Au cours de ce travail, on cherche ` a r´ esoudre le syst` eme

Ax = b (2.1)

o` u A ∈ M

( K ) est une matrice suppos´ ee r´ eguli` ere afin de garantir la solvabilit´ e de (2.1) pour tout b ∈ K

.

D´ efinition 2.1.1 Une m´ ethode it´ erative (non n´ ecessairement lin´ eaire) est une applica- tion

Φ : K

× K

× K

→ K

(x, b, A) →Φ(x, b, A).

On note x

= x

(x

, b, A), m ∈ N , les it´ er´ es g´ en´ er´ es par la m´ ethode Φ ` a partir d’une condition (valeur) initiale x

∈ K

. La suite g´ en´ er´ ee se donne par

( x

(y, b, A) := y,

x

(y, b, A) := Φ(x

(y, b, A), b, A), m ≥ 0. (2.2) Parfois, on ´ ecrit

x

:= Φ(x

, b, A), m ≥ 0 (2.3)

Remarque 2.1.2 L’´ ecriture Φ(x, b, A) signifie que la m´ ethode Φ est d´ ependante et ap- plicable aux donn´ ees (data) A et b. Ici, le mot ”applicable” dit que l’it´ eration Φ est bien

9

d´ efinie (mˆ eme si la suite (x

) est divergente). Comme la matrice A est suppos´ ee fix´ ee dans la plus part des cas, on ´ ecrit souvent x

(y, b) := Φ(x

(y, b), b). Par Φ(·, ·, A), on exprime le fait que l’it´ eration (2.2) est appliqu´ ee exclusivement ` a la matrice A.

D´ efinition 2.1.3

(a) D(Φ) := {A : Φ(·, ·, A) est bien d´ efinie} est le domaine de d´ efinition de Φ.

(b) Une it´ eration est dite ”alg´ ebrique” si la d´ efinition de Φ(·, ·, A) est bas´ ee seulement sur les donn´ ees de A ∈ D(Φ).

2.1.1 Point fixe

Les m´ ethodes it´ eratives de la r´ esolution du syst` eme Ax = b s’´ ecrivent en g´ en´ erales sous la forme x = Φ(x), ce qui repr´ esente une m´ ethode de point fixe.

D´ efinition 2.1.4 Un point x

= x

(b, A) est dit point fixe de l’it´ eration Φ correspondant

`

a b ∈ K

et A ∈ D(Φ) si : x

= Φ(x

, b, A).

Le lemme suivant donne une relation entre le point fixe de Φ et la suite g´ en´ er´ ee par (2.2).

Lemme 2.1.5 supposons que Φ soit continue par rapport ` a la premi` ere variable. Si lim

x

(y, b, A) =: x

existe, alors x

= Φ(x

, b, A).

Preuve.

On a

x

= Φ(x

, b, A) si

x

→ x

⇒ x

→ x

alors

m→+∞

lim x

= lim

m→+∞

Φ(x

, b, A) Φ est continue, donc

m→+∞

lim x

= Φ( lim

m→+∞

x

, b, A) d’o` u

x

= Φ(x

, b, A)

donc x

est un point fixe de Φ(·, b, A).

2.1.2 la consistance

Le Lemme 2.1.5 dit que les r´ esultats possibles d’une m´ ethode it´ erative doivent ˆ etre cherch´ ees dans l’ensemble des points fixes. En effet, les approximations x

de la solution x sont consistantes de fa¸con qu’elles convergent vers une limite x

qui se consid` ere (sous certaines conditions) comme la solution du syst` eme. Ce point x

, d’apr` es le dernier lemme, appartient ` a l’ensemble des points fixes. Cette relation entre la solution et le point fixe fait l’objet de la d´ efinition suivante.

D´ efinition 2.1.6 On dit qu’une m´ ethode it´ erative Φ est consistante si pour tous b ∈ K

et A ∈ D(Φ) : toute solution du syst` eme Ax = b est un point fixe de Φ(·, b, A).

Remarque 2.1.7 Selon la D´ efinition 2.1.6, la consistance signifie que pour tous b, x ∈ K

et toute matrice A ∈ D(Φ), l’implication suivante est satisfaite

Ax = b ⇒ x = Φ(x, b, A).

L’implication inverse donne une forme alternative (non ´ equivalente) de la consistance, et r´ epond ` a la question : est-ce-que chaque point fixe est une solution ?, c’est-` a-dire :

∀x un point fixe de Φ ⇒ ∀b ∈ K

, ∀A ∈ D(Φ) : Ax = b. (2.4) Notons que les deux variantes de consistantes ci-dessus, n’exigent pas la r´ egularit´ e de A.

Mˆ eme si la matrice A n’est pas r´ eguli` ere (singuli` ere), le syst` eme Ax = b peut avoir une solution pour certain b ∈ K

. Alors, la D´ efinition 2.1.6 implique l’existence d’un point fixe de Φ(·, b, A). Vice versa, (2.4) assure l’existence d’une solution d´ es que Φ(·, b, A) admet un point fixe.

2.1.3 La convergence

Une d´ efinition naturelle de la convergence d’une m´ ethode it´ erative Φ semble d’ˆ etre

m→+∞

lim x

(y, b, A) existe pour tous y, b ∈ K

. (2.5) O` u x

(y, b, A) est la suite g´ en´ er´ ee par (2.3) et li´ ee ` a la valeur initiale x

:= y, tandis que A ∈ D(Φ) est une matrice fix´ ee. D’apr` es cette d´ efinition, la m´ ethode it´ erative peut converger vers des limites diff´ erentes selon la valeur initiale y qu’est choisie arbitrairement dans K

. Il est donc int´ eressant de donner une d´ efinition plus forte rendant la convergence ind´ ependante de la condition initiale.

D´ efinition 2.1.8 Soit A ∈ D(Φ) fix´ ee.

La m´ ethode it´ erative Φ(·, ·, A) est dite convergente si pour tout b ∈ K

, il existe une limite

x

(b, A) de (2.3) ind´ ependamment de la premi` ere variable (condition initiale).

Remarque 2.1.9 Dans tout ce qui suit, on suppose souvent que la m´ ethode it´ erative est consistante et convergente dans le sens : Φ consistante pour toute matrice A ∈ D(Φ) et l’it´ eration particuli` ere Φ(·, ·, A) associ´ ee ` a A est convergente.

Th´ eor` eme 2.1.10 On suppose que Φ soit continue par rapport ` a la premi` ere variable, alors

Φ est consistante et convergente si et seulement si A r´ eguli` ere et Φ v´ erifie (2.4) et (2.5).

Preuve.

(i) La propri´ et´ e (2.5) d´ ecoule de la D´ efinition 2.1.8. Supposons que A soit singuli` ere, alors l’´ equation Ax = 0 admet une autre solution y

6= 0 avec la solution trivial x

= 0. La consistance implique que x

et y

sont des points fixes de Φ par rapport ` a b = 0. On d´ efinit les deux suites constantes

x

(x

, 0, A) = Φ(x

, 0, A) = x

x

(y

, 0, A) = Φ(y

, 0, A) = y

d’apr` es la d´ efinition de la convergence on obtient x

= y

, ce qui contredit l’hypoth` ese x

6= y

. Il nous reste qu’` a montrer (2.4). La d´ efinition de la convergence montre que Φ ne peut avoir qu’un seul point fixe par rapport ` a b (il suffit de prendre deux suites avec deux valeurs initiales diff´ erentes). La r´ egularit´ e de A assure l’existence et l’unicit´ e de la solution de Ax = b, il d´ ecoule de la consistance que cette solution est le seul point fixe de Φ par rapport ` a b, ce qui traduit (2.4).

(ii) Soit x

(y, b) la suite g´ en´ er´ ee par l’it´ eration Φ. D’apr` es le Lemme 2.1.5 x

:= lim

m→+∞

x

(y, b) est un point fixe de Φ par rapport ` a b,

la propri´ et´ e (2.4) implique que ce point fixe est une solution de syst` eme Ax = b. De plus cette solution est unique selon la r´ egularit´ e de A. Comme ce point est la limite de x

(y, b), alors cette suite poss` ede seulement une limite ind´ ependante de y, ce qui traduit la convergente au sens de la D´ efinition 2.1.8.

La convergence implique l’unicit´ e du point fixe par rapport ` a b selon la premi` ere impli- cation (i), et par (2.4) ce point fixe est l’unique solution de Ax = b, ce qui ´ etablit la consistance de Φ.

Remarque 2.1.11 La consistance n’est pas suffisante pour assurer la convergence.

Exemple 2.1.12 consid´ erons le syst` eme

2Ix = b (A = 2I ).

On veut r´ esoudre ce syst` eme avec la m´ ethode it´ erative ( x

= Φ(x

, b, A) = −x

+ b

x

= 0. (2.6)

Soit x la solution de Ax = b, est-ce que Φ(x, b, A) = x ?

Φ(x, b, A) = −x + b = −x + Ax = −x + 2x = x, donc (2.6) est consistante.

D’autre part

x

= −x

+ b = x

− b + b, ∀m = 1, 2, 3, . . .

⇒ x

= x

, m = 1, 2, 3, . . . et

x

= x

= −x

+ b = x

− b + b

⇒ x

= x

, m = 0, 1, 2, . . . ce qui implique

( x

= x

= x

= b x

= x

= x

= 0 alors

x

=

( b si m est impair 0 si m est pair, d’o` u (x

) est divergente.

2.2 M´ ethodes it´ eratives lin´ eaires

2.2.1 Trois formes normales

Premi` ere forme normale

D´ efinition 2.2.1 (L’it´ eration lin´ eaire, la matrice d’it´ eration)

Une m´ ethode it´ erative Φ est dite lin´ eaire si Φ(x, b) est lin´ eaire par rapport ` a (x, b), de fa¸ con plus pr´ ecise, s’il existe deux matrices M et N telle que

Φ(x, b, A) = M [A]x + N [A]b. (2.7)

Dans la plupart des cas, A est suppos´ ee fix´ ee, on ´ ecrit alors

Φ(x, b) = M x + N b. (2.8)

La matrice M = M [A] est appel´ ee la matrice d’it´ eration de Φ.

Φ est lin´ eaire en (x, b), en effet, on prend (x, b) et (y, c) ∈ k

associ´ es aux syst` emes Ax = b et Ay = c, alors

Φ((x, b) + (y, c)) = Φ(x + y, b + c) = M(x + y) + N(b + c)

= (M x + N b) + (M y + N c) = Φ(x, b) + Φ(y, c).

De plus, pour α ∈ K , on a

Φ(α(x, y)) = Φ(αx, αy) = M (αx) + N (αy)

= αM x + αN y = α(M x + N y) = αΦ(x, y).

L’it´ eration (2.3) s’´ ecrit sous la forme (2.9) qui repr´ esente la premi` ere forme normale de la m´ ethode Φ.

x

= Φ(x

, b, A) = M x

+ N b, m ≥ 0. (2.9) Notation 2.2.2 On note M

la matrice d’it´ eration d’une m´ ethode it´ erative appel´ ee

0

XY

. Lorsque Φ doit ˆ etre pr´ eciser, on note M

.

Remarque 2.2.3 L’it´ eration Φ(·, ·, A) est alg´ ebrique au sens (b) de la D´ efinition 2.1.3 si et seulement si les matrices M et N sont des fonctions explicites de A.

Consistance et deuxi` eme forme normale

Pour une m´ ethode it´ erative lin´ eaire et consistante Φ, toute solution du syst` eme Ax = b est un point fixe par rapport ` a b, avec x = M x+N b. Chaque x ∈ K

peut ˆ etre une solution du syst` eme Ax = b (en prenant b := Ax), alors

x = M x + N b = M x + N Ax = (M + N A)x, ∀x ∈ K

, (2.10) ce qui conduit ` a

M [A] + N [A]A = I, (2.11)

o` u, bri` evement

M + N A = I. (2.12)

Th´ eor` eme 2.2.4 (La consistance)

Une it´ eration lin´ eaire Φ est consistante si et seulement si la matrice d’it´ eration M peut ˆ

etre d´ etermin´ ee ` a partir de N par

M [A] = I − N [A]A , ∀A ∈ D(Φ), (2.13)

de plus, si A est r´ eguli` ere alors N se repr´ esente en fonction de M

N [A] = (I − M[A])A

. (2.14)

Preuve

⇒) ´ Evident(d’apr` es la d´ efinition (2.11)).

⇐) Soit x ∈ K

: Ax = b. Supposons que la matrice d’it´ eration M s’´ ecrive sous la forme M [A] = I − N [A]A pour toute A ∈ D(Φ).

On a

M[A] = I − N [A]A ⇒ M [A]x = x − N [A]Ax, ∀x ∈ K

⇒ x = M [A]x + N [A]b

⇒ x = Φ(x, b).

La combinaison de (2.13) dans (2.9) donne

x

= M [A]x

+ N [A]b

= (I − N [A]A)x

+ N [A]b d’o` u

x

= x

− N [A](Ax

− b), m > 0. (2.15) L’it´ eration (2.15) s’appelle la deuxi` eme forme normale de Φ dont la matrice de la deuxi` eme forme normale est

N = N [A] = N

= N

[A].

Remarque 2.2.5 La deuxi` eme forme normale associ´ ee au syst` eme Ax = b se d´ etermine seulement via la matrice N [A]. Ce qui permet ` a l’it´ eration (2.15), avec N choisie arbi- trairement dans M

( K ), de repr´ esenter toutes les it´ erations lin´ eaires et consistantes. On note

L = {Φ : K

× K

× K

→ K

lin´ eaire et consistance} (2.16) Troisi` eme forme normale

La troisi` eme forme normale d’une it´ eration lin´ eaire s’´ ecrit comme suit

W [A](x

− x

) = Ax

− b, m ≥ 0. (2.17) W = W [A] = W

= W

[A] est appel´ ee la matrice de la troisi` eme forme normale de Φ.

L’it´ eration (2.17) donne une forme implicite de x

, elle peut s’´ ecrire sous la forme du probl` eme

( r´ esoudre W δ = Ax

− b

avec δ = x

− x

(2.18)

cela, repr´ esente une d´ efinition de x

sous une condition de r´ egularit´ e de W .

Remarque 2.2.6 Si la matrice W est r´ eguli` ere, alors

x

− x

= W [A]

(Ax

− b) ⇒ x

= x

− W [A]

(Ax

− b),

une comparaison avec la deuxi` eme forme normale donne N = W

. D’autre part, (2.15) avec N r´ eguli` ere peut s’´ ecrire sous la forme de (2.17) avec W = N

. Dans ce cas

M [A] = I − N [A] = I − W [A]

A. (2.19) L’it´ eration lin´ eaire x

(x

, b, A) = Φ(x

(x

, b, A), b, A) donne une relation r´ ecurrente entre x

et x

, cela nous oblige ` a passer par tous les it´ er´ es x

, i = 0, m, afin que l’on puisse calculer x

. La repr´ esentation suivante donne une formule explicite de la suite (x

) permettant de calculer chaque it´ er´ e x

directement ` a partir de x

et b.

Th´ eor` eme 2.2.7 L’it´ eration lin´ eaire (2.9) se donne par

x

(x

, b, A) = M [A]

x

+

m−1

X

k=0

M [A]

N [A]b pour m ≥ 0 et A ∈ D(Φ). (2.20) Preuve

On proc` ede par r´ ecurrence.

Pour m = 0, on a

M [A]

x

+

0−1

X

k=0

M [A]

N [A]b = x

= x

(x

, b, A).

Supposons que (2.20) soit vraie pour m − 1. D’apr` es la formule (2.8) x

(x

, b, A) = M [A]x

+ N [A]b

= M [A] M [A]

x

+

m−2

X

k=0

M [A]

N [A]b

+ N [A]b

= M [A]

x

+

m−1

X

k=1

M [A]

N [A]b + N [A]b

= M [A]

x

+

m−1

X

k=0

M [A]

N [A]b.

2.2.2 R´ esultats de convergence

L’id´ ee de base des m´ ethodes it´ eratives est de construire une suite (x

) telle que

lim

x

= x (2.21)

o` u x est la solution du syst` eme Ax = b. Comme la solution exacte n’est ´ evidemment pas connue, on est oblig´ e de calculer une valeur approximative x

de x d´ etermin´ ee par un crit` ere d’arrˆ et plus commode (par exemple |x − x

| < ε, o` u ε est une tol´ erance fix´ ee).

Cela conduit ` a des erreurs dans le calcul de la solution. Dans la suit, on note

e

= x

− x o` u x est la solution de Ax = b (2.22) l’erreur ` a l’it´ eration m.

La condition (2.21) revient ` a lim

e

= 0 pour toute valeur initiale x

.

On suppose que la m´ ethode soit consistante, alors x = M x + N b o` u x d´ efini dans (2.22).

En combinant avec (2.9), on obtient

x

− x = M x

− M x = M (x

− x), donc

e

= M e

, m ≥ 0. (2.23)

Par cons´ equent

e

= M

e

, m ≥ 0. (2.24)

La quantit´ e r

:= Ax − b (ou r

= b − Ax

) repr´ esente le r´ esidu ` a l’it´ eration m.

Le th´ eor` eme suivant donne le crit` ere fondamental de convergence des m´ ethodes it´ eratives lin´ eaires (condition n´ ecessaire et suffisante).

Th´ eor` eme 2.2.8 (Th´ eor` eme de convergence)

L’it´ eration lin´ eaire (2.9) est convergente si et seulement si

ρ(M [A]) < 1. (2.25)

Preuve

Supposons que l’it´ eration (2.9) soit convergente. Dans la formule (2.20), on prend b = 0, alors x

(x

, 0, A) = M [A]

x

pour tout x

∈ K

. En particulier x

(0, 0, A) = 0, ce qui entraine la convergence de x

(0, 0, A) vers 0. En tenant compte de la d´ efinition de la convergence, on obtient

lim

x

(x

, 0, A) = 0, ∀x

∈ K

. (2.26) Supposons que ρ(M[A]) ≥ 1, alors, il existe λ ∈ spec(M ) : |λ| ≥ 1 et x ∈ K

− {0} : M x = λx.

Le choix x

= x donne x

(x

, 0, A) = λ

x

qui ne peut pas converger vers 0 (car |λ| ≥ 1).

Ce qui contredit (2.26).

R´ eciproquement, supposons que ρ(M [A]) < 1. Il r´ esulte du Th´ eor` eme 1.3.9 que

m→∞

lim M

x

= 0,

tandis que le Th´ eor` eme 1.3.9 implique X

m≥0

M

= (I − M [A])

, grˆ ace ` a la repr´ esentation (2.20), (x

)

converge vers

x

= (I − M [A])

N [A]b. (2.27)

Par cons´ equent, l’it´ eration (2.9) est convergente grˆ ace ` a l’ind´ ependance de sa limite x

de la valeur initiale x

.

Lemme 2.2.9 Soit Φ ∈ L d´ efinie par Φ(x, b, A) = x − N

(Ax − b), avec A r´ eguli` ere.

Si ker(N

) 6= {0}, alors Φ est divergente.

Preuve

Soit x 6= 0 tel que N

x = 0 (c’est-` a-dire x ∈ ker(N

)). Comme A est r´ eguli` ere, alors Ax 6= 0. Posons 0 6= y := A

x, donc

M

y = (I − N

A)(y) = y − N

Ay = y − N

x = y,

alors λ = 1 est une valeur propre de M

, par cons´ equent ρ(M

) ≥ 1. Il r´ esulte du Th´ eor` eme 2.2.8 que Φ est divergente.

Corollaire 2.2.10

(a) Si la m´ ethode it´ erative Φ(x, b) = M [A]x + N [A]b est convergente, alors la suite g´ en´ er´ ee (x

) converge vers (I − M )

N b.

(b) Si l’it´ eration est consistante et convergente, alors A et N = N [A] sont r´ eguliers, de plus, la suite g´ en´ er´ ee x

converge vers l’unique solution x = A

b.

Preuve

(b) Montrons par l’absurde. Supposons que A ou N soit singuli` ere, le produit N A l’est aussi. Alors, il existe x 6= 0 tel que N Ax = 0. Comme M = I−N A (grˆ ace ` a la consistance), x est un vecteur propre de M associ´ e ` a la valeur propre λ = 1. Donc ρ(M) ≥ 1 ce qui contredit la convergence.

D’autre part, on a x

= x

−N (Ax

−b) avec A et N inversibles, de plus (x

) converge vers (I − M )

N b, donc

(I − M )

N b = (I − M)

N b − N A(I − M )

N b − b

⇒ N A(I − M)

N b = N b

⇒ (I − M )

N b = A

b

c’est-` a-dire, (x

) converge vers l’unique solution de Ax = b.

D´ efinition 2.2.11 On dit que la convergence d’une m´ ethode it´ erative Φ est monotone par rapport ` a une norme (induite) k · k si kM

k < 1.

Le crit` ere de convergence ρ(M) < 1 donn´ e par le Th´ eor` eme 2.2.8 ne fournit aucune conclusion ou estimation concernant l’erreur e

= x

− x pour certain m fix´ e. La formule de l’erreur (2.24) est donn´ ee via la norme matricielle kM k, ce qui rend cette norme un crit` ere alternatif de convergence. L’in´ egalit´ e (1.4) permet d’´ etablir une condition suffisante de convergence.

Th´ eor` eme 2.2.12 Soit k · k une norme matricielle consistante. Une condition suffisante de la convergence d’une it´ eration est

kM k < 1. (2.28)

De plus

ke

k ≤ kM kke

k et ke

k ≤ kM k

ke

k. (2.29) Preuve

D’apr` es (1.2), on a ρ(M ) ≤ kM k, alors comme kMk < 1, on obtient ρ(M ) < 1, ce qui implique la convergence d’apr` es le Th´ eor` eme 2.2.8. D’apr` es (2.23), on a

e

= M e

, donc

ke

k = kM e

k ≤ kM kke

k.

D’autre part, on a

e

= M

e

. Alors

ke

k = kM

e

k ≤ kM

kke

k ≤ kMkkM k...kM kke

k = kM k

ke

k.

Remarque 2.2.13 D’apr` es l’in´ egalit´ e (2.29), il est important que kM k soit assez petit pour assurer une vitesse de convergence tr` es rapide de e

vers 0. L’in´ egalit´ e (1.4) montre que l’on peut remplacer la petitesse de kM k par celle de ρ(M ), c’est-` a-dire, la convergence est d’autant plus rapide que ρ(M ) est petit. Alors, une estimation de ρ(M ) peut fournir une bonne indication sur la convergence. La d´ efinition suivant introduit d’autres quantit´ es utiles ` a l’´ etude de la convergence.

D´ efinition 2.2.14 Soit M = M [A] la matrice d’it´ eration, on appelle (a) kMk le facteur de convergence ` a l’it´ eration m.

(b) kM

k

le facteur moyen de convergence ` a l’it´ eration m

(c) R

(M ) =

log kM

k le taux moyen de convergence ` a l’it´ eration m.

Le calcul de ces quantit´ es est tr` es coˆ uteux car il requiert l’´ evolution de M

. On pr´ ef` ere donc en g´ en´ eral estimer le taux de convergence asymptotique d´ efini par

R(M ) = lim

k→∞

R

(M ) = − log ρ(M ) o` u on a utilis´ e (1.3).

2.2.3 Choix d’un test d’arrˆ et

Les m´ ethode directes donnent la solution du syst` eme dans un nombre fini des it´ erations, tandis que les m´ ethodes it´ eratives g´ en` erent une suite de solutions approch´ ees. Ce processus it´ eratif doit avoir un crit` ere permettant d’estimer si on est proche de la solution d´ esir´ ee.

Cela nous conduit ` a d´ efinir ce que l’on appelle le test d’arrˆ et. Le test naturel consiste

`

a arrˆ eter le processus lorsque l’erreur est assez petite avec une certaine tol´ erance ε > 0, c-` a-d kx − x

k < ε o` u x est la solution. Comme la solution est inconnue, on va d´ efinir deux type de tests : un test bas´ e sur l’incr´ ement

kx

− x

k ≤ ε et un autre bas´ e sur le r´ esidu

kAx

− bk ≤ ε

La proposition suivante donne le comportement de l’erreur selon le test choisi.

Proposition 2.2.15 Soit x

= Φ(x

, b, A) = M x

+N b une m´ ethode it´ erative consis- tante, alors

(a) Si kAx

− bk ≤ ε alors

kx

− xk ≤ kA

kε et kx

− xk

kxk ≤ Cond (A) ε kbk . (a) Si kx

− x

k ≤ ε alors

kx

− xk ≤ k(I − M )

kε et kx

− xk

kxk ≤ Cond (I − M ) ε kN bk . Preuve.

(a) On a

kx

− xk = kA

(Ax

− b)k ≤ kA

kkAx

− bk ≤ kA

kε de plus

kx

− xk ≤ kA

kε = kA

kkbk

kbk ε

≤ kA

kkAk kbk kxkε

= Cond (A)

kbk kxkε

(b) La m´ ethode ´ etant consistante alors, selon (2.13)

M x = x − N Ax = x − N b ⇒ N b = x − M x. (2.30) On a

x

− x = (I − M

)(I − M )(x

− x) = (I − M )

(x

− M x

+ M x − x)

(2.30)

= (I − M )

(x

− M x

− N b) = (I − M )

(x

− x

) donc

kx

− xk ≤ k(I − M )

kkx

− x

k ≤ k(I − M )

kε.

Remarque 2.2.16 Il est clair que le test d’arrˆ et bas´ e sur le r´ esidu d´ epend du condition- nement de A, alors il est d´ econseill´ e de l’utiliser si la matrice A est mal conditionn´ ee.

L’absence d’accumulation des erreurs d’arrondi se consid` ere comme un avantage pour les m´ ethodes lin´ eaires, o` u on peut utiliser l’it´ er´ e x

ou une valeur voisine e x

dans l’it´ eration Φ. Ce r´ esultat est justifi´ e par la proposition suivante

Proposition 2.2.17 On consid` ere l’it´ eration Φ(x

, b, A) = M x

+ N b avec kM k ≤ λ <

1, alors pour tout ε > 0 et toute suite ( e x

) v´ erifiant k x e

− (M x

+ N b)k ≤ ε on a k x e

− xk ≤ λ

kx

− xk + ε

1 − λ (2.31)

Preuve.

Tout d’abord, on a

m−1

X

i=0

λ

= 1 − λ

1 − λ

⇒

m−1

X

i=0

λ

≤ 1 1 − λ On utilise la r´ ecurrence sur m pour d´ emontrer que

kx

− xk ≤ λ

kx

− xk + ε

m−1

X

i=0

λ

l’in´ egalit´ e est clair pour m = 0. Supposons qu’elle est vraie pour m, alors kx

− xk

= kM x

+ N b − M x − N bk = kM (x

− x)k

≤ kM kkx

− xk ≤ λkx

− xk

≤ λ

kx

− xk + ε

m

X

i=1

λ