3 e Ax = b

itératives.

Le4novembre2014

JeanRoux

Mini-oursdonné en

3 ^e

année de Liene de Sienes du département de Géosienes

Éole normalesupérieure, Paris

Résolution des systèmes linéaires

Ax = b

par des méthodes numériques itératives.

Nous avons déjà signalé que le domaine d'appliation privilégié de es

méthodesest, essentiellement,elui de larésolution dessystèmeslinéairesà

matriereuseou,aumoins,possédantunestruture(tridiagonale, pentadi-

agonale,struturebande,tridiagonaleparblos,et.). Généralementetype

dematrieestobtenupardisrétisationdeséquationsauxdérivéespartielles

quifournit usuellement les troistypesde matriessuivantes :

•

symétriquesdénies positives,

•

^stritement diagonalement dominantes,

•

irrédutibles (voir livre pour ette notion, dans e mini-ours on fait toujours référeneà

1

) etdiagonalement dominantes.

1.1 Généralités

Constrution et onvergene des méthodes itératives Il s'agit tou-

joursde résoudre

Ax = b

^(1.1.1)

où

A ∈ C ^n,n

est inversible et

b ∈ C ⁿ

. Résoudre (1.1.1) par une méthode itérative,'estonstruire une suite deveteurs

x ^(m)

^telleque

x ^{(m) −−−−→} _m→∞ x

^où

x

^{estsolutionde (1.1.1).}

Dans tout e ours, la suite

x ^(m)

^{est dénie, de façon générale, par le}

shémaitératif

x ^(m+1) = Bx ^(m) + c,

^(1.1.2)

où la matrie

B

^{est onstruite à partir de la matrie}

A

^{, lamatrie}

B

^{et le}

veteur

c

^sont indépendants de l'indie

m

^de l'itération. La matrie

B

^est

appelée matrie d'itération. Pour que la limite de la suite soit égale à

x

^il

faut que

c = (I − B)x = (I − B )A ⁻¹ b

^(1.1.3)

ette onditiondoitêtre vériée pourtoute onstrution de lamatrie

B

^.

Dénition 1.1.1. La méthode itérative (1.1.2) est dite onvergente si et

seulement si, pour tout

x ⁽⁰⁾ ∈ C ⁿ

,

x ^(m) → x

^lorsque

m → ∞

^.

Donnons immédiatement desritères de onvergene pour une méthode

itérative. Ces ritères s'appuient sur lethéorèmei-après (voir livre ):

1

M.Ghil,J.RouxMathématiquesappliquéesauxSienesdelaVieetdelaPlanète,

Dunod,Paris,2010.

Théorème 1.1.1. Soit

A

^{une matrie arrée donnée, les quatre onditions}

suivantessont équivalentes :

•

^(a)

A ^{k −−−→} _k→∞ 0

^,

•

^(b)

A ^k x ^−−−→ _k→∞ 0

^{, ei pour tout}

x

^,

•

⁽⁾

ρ(A) < 1

^{,(on rappelleque}

ρ(A)

^{est le rayonspetral de}

A

^),

•

^{(d)Il existe (aumoins) une norme matriielle}

k . k

^{telle que}

k A k < 1.

Alors, pour une méthode itérative, on en déduit les ritères de onver-

genesuivants :

Théorème 1.1.2. Les trois propositionssuivantes sontéquivalentes

•

^{(1)La méthode est} onvergente.

•

⁽²⁾

ρ(B) < 1

^.

•

^{(3)Il existe une normematriielle}

k . k

^{telle que}

k B k < 1

^.

Preuve : Soit

x = A ⁻¹ b

^{, on pose}

ǫ ^(m) = x ^(m) − x

^,

m = 0, 1, · · ·

^{. On}

remarque,en passant à lalimitedans(1.1.2), que

x

^{est solutionde}

x = Bx + c.

Par soustration, d'après(1.1.2), ilvient don,pour

m = 0, 1, · · · ǫ ^(m+1) = Bǫ ^(m) ,

soit

ǫ ^(m) = B ^m ǫ ⁽⁰⁾

^(1.1.4)

Pour que

ǫ ^(m) → 0

^lorsque

m → ∞

^{,quel que soit}

ǫ ⁽⁰⁾ ∈ C ⁿ

,il faut et il sutque

lim _m→∞ B ^m = 0

^{. Les}équivalenesduThéorème1.1.2sedéduisent alors duThéorème 1.1.1.

Laquestionestmaintenantdeonstruiresimplementlamatried'itération

B

^etleveteur

c

^{assoiédonné par (1.1.3).}

Nous verrons que toutes les méthodes qui seront exhibées entrent dans

leadrede ladénitionsuivante

Dénition 1.1.2. Soit

A ∈ C ^n,n

, on appelle déomposition de

A

^toute

manière d'érire

A

^{sous la forme}

A = M − N

^,

M ∈ C ^n,n

et

N ∈ C ^n,n

, où la matrie

M

^{est régulière.}

Àunedéompositionhoisie

M − N

^delamatrie

A

^{onassoielaméthode}

itérative

M x ^(m+1) = N x ^(m) + b

^(1.1.5)

quiest biende laforme(1.1.2), (1.1.3) ave

B = M ⁻¹ N

^et

c = M ⁻¹ b = M ⁻¹ AA ⁻¹ b = M ⁻¹ (M − N )A ⁻¹ b = (I − B)A ⁻¹ b.

La formule (

1.1.5

^{) fournit don une méthode qui onvient.}

L'étude desméthodesitératives seramène àl'étude desdeuxproblèmes

suivants

•

^{1. Étant donné uneméthodeitérative dematrie} d'itération

B

^,déter-

minersilaméthodeest onvergente,'est-à-direexaminer si

ρ(B) < 1

ou, de façon équivalente, exhiber une norme matriielle

k . k

^{telle que}

k B k < 1

^.

•

^{2. Étant donné deux méthodes itératives} onvergentes, de matries d'itération

B ₁

^et

B ₂

^{, les omparer. On admet (voir livre pour les}

justiations) quelaméthode laplus rapidesera elledont lamatrie

d'itérationaurale pluspetit rayon spetral.

1.2 Lesméthodesitératives deJaobi, Gauss-Seidel

et de relaxation suessive

Il y a deux types de méthodes itératives, les méthodes pontuelles et les

méthodes parblosinspiréesdespremières.

AprèsavoirintroduitlesdeuxméthodesdeJaobietdeGauss-Seidel,on

généraliseraGauss-Seidel pour obtenir les méthodes derelaxation.

Cesméthodesitérativesontenommunquehaqueitérationnéessiteun

nombre d'op.él. dumême ordrede grandeurqueelui néessaireau produit

d'un veteur par une matrie (i.e. environ

n ²

^{op.él. par} itération). Il faut ii insister sur le fait que

n

^{peut être très grand,} quelquefois de l'ordre du million(ou plus),etonagrandintérêt à avoir desméthodesqui onvergent

vite,ou aumoins àutiliser laméthode laplus rapidepossible.

Les méthodes pontuelles Soit

A = (a _ij )

^{unematrie omplexed'ordre}

n

^{. Onpose}

D = diag(a _ii ), E = (e _ij )

^où

e _ij =

0

^si

j ≥ i

− a ij

^si

j < i ,

^(1.2.1)

F = (f _ij )

^où

f _ij =

− a ij

^si

j > i

0

^si

j ≤ i .

^(1.2.2)

A= D

−E

−F

Figure1.1:

Ona don

A = D − E − F.

Hypothèse fondamentaleOnasupposé

A

inversible. Onsupposedeplus que

a ii 6 = 0

^,

1 ≤ i ≤ n

^{;de sorte que}

D

^{est inversible et}

D ⁻¹ = diag(1/a ii )

^.

Dans le adre de la disrétisation des équations aux dérivées partielles

(EDP)par diérenesniesou élémentsnis, l'hypothèse i-dessusestvéri-

ée dans les bons as où on peut exhiber des théorèmes d'existene et

d'uniité de la solution de l'EDP. De e point de vue e n'est pas une hy-

pothèse restritive.

Nous allonsonsidérer troisexemples de déomposition de

A

^{faisant in-}

tervenir les matries

D

^,

E

^et

F

^{dans la dénition des matries}

M

^et

N

intervenant danslaméthode itérative générale (1.1.5).

La méthode de Jaobi

Onutilise la déomposition

M = D

^et

N = E + F = D − A

^{. Ona bien}

A = M − N

^ave

M

inversible. La matried'itération assoiéeest alors

B = M ⁻¹ N = D ⁻¹ (E + F) = D ⁻¹ (D − A) = I − D ⁻¹ A,

et

c = M ⁻¹ b = D ⁻¹ b = (D ⁻¹ A)(A ⁻¹ b) = (I − B )A ⁻¹ b;

on retrouve la ondition néessaire (1.1.3) sur le veteur

c

^{. Dans toute la}

suite onnotera par

B

^lamatried'itération de laméthode de Jaobi.

La méthode(1.1.5) estalors appelée laméthode itérative de Jaobi, elle

s'érit

Dx ^(m+1) = (E + F )x ^(m) + b, x ⁽⁰⁾ ∈ C ⁿ

donné

;

^(1.2.3)

ouenore

a ii x ^(m+1) _i = −

n

X j = 1 j 6 = i

a ij x ^(m) _j + b i , 1 ≤ i ≤ n,

^(1.2.4)

soit,puisque, par hypothèse,

a _ii 6 = 0

^,

1 ≤ i ≤ n

^:

x ^(m+1) _i = 1

a _ii



 −

n

X

j=1,j6=i

a _ij x ^(m) _j + b _i



 , 1 ≤ i ≤ n.

^(1.2.5)

Laméthodeutilise

2n

^{mémoirespourstokertouteslesomposantesdes}

deuxveteursitérés suessifs

x ^(m)

^et

x ^(m+1)

^.

La méthode de Gauss-Seidel

Intuitivement,ilsemblequelaonvergenedelaméthodepréédentesera

amélioréesipouraluler

x ^(m+1) _i

^{onutilise les}

(i − 1)

^{premièresomposantes}

de

x ^(m+1)

^{déjàalulées (equel'on appelle lesomposantes}atualisées)au lieu d'utiliser les

(i − 1)

^{premières omposantes de}

x ^(m)

^{. On montre (voir}

livrepour plusd'informations)que, pourune large lassede matries,ette

amélioration de la onvergene est théoriquement justiée. Par exemple

(théorème 1.3.6), lorsque la matrie

A

^est tridiagonale par blos et dénie positive, les méthodes par blos de Jaobi et de Gauss-Seidel onvergent

simultanèment et

ρ( L 1 ) = (ρ(B)) ²

^{. La méthode de} Gauss-Seidel onverge plusviteque Jaobi(enun ertainsens deuxfois plusvite(voirlivre)).

Lesrelations (1.2.4)sont don modiées ommesuit

a ii x ^(m+1) _i = −

i−1

X

j=1

a ij x ^(m+1) _j −

n

X

j=i+1

a ij x ^(m) _j + b i , 1 ≤ i ≤ n,

^(1.2.6)

enfaisant laonvention

P q

p = 0

^si

p > q

^.

Sousforme matriielleela s'érit

(D − E)x ^(m+1) = F x ^(m) + b,

^(1.2.7)

e qui orrespond à la déomposition

M = D − E

^et

N = F

^{(on a bien}

A = D − E − F = M − N

^{). Lamatrie}

M

^{estbieninversiblear}

(D − E)

^est

inversiblepuisqu'elleesttriangulaire inférieureave desélémentsdiagonaux

a ii 6 = 0

⁽

D

^estsupposée inversible).

C'est laméthode pontuelle dite de Gauss-Seideldite aussidesdéplae-

mentssuessifs.

Lamatried'itération

L 1 = (D − E) ⁻¹ F

^{estappeléelamatriedeGauss-}

Seidel assoiée à

A

^{. Enposant}

L = D ⁻¹ E

^et

U = D ⁻¹ F

^{on a}

L 1 = (I − L) ⁻¹ U.

^(1.2.8)

N.B. : Onverrai-après laraison de lanotation

L ¹

^.

Remarque 1.2.1. Cette méthode n'exige que

n

^{mémoires pour onserver}

les omposantes des deux veteurs itérés suessifs, la

i ^ieme

^{omposante de}

x ^(m+1)

^{venantéraser, dès qu'elleest alulée, la}

i ^ieme

^{omposante de}

x ^(m)

devenue inutile.

Remarque1.2.2. L'examen des formules (1.2.4) et(1.2.6), dénissantles

méthodes itératives de Jaobi et de Gauss-Seidel, montre que es méthodes

La méthode de relaxation suessive

Supposons qu'à partirdu veteur

x ^(m)

^{on ait alulé, par une méthode}

quireste àdénir, les

(i − 1)

^{premières omposantes de}

x ^(m+1)

^{. Onalule}

alors lenombre

x ˜ ^(m+1) _i

^{ommepar laméthode de} Gauss-Seidel, 'est-à-dire que

a ii x ˜ ^(m+1) _i = −

i−1

X

j=1

a ij x ^(m+1) _j −

n

X

j=i+1

a ij x ^(m) _j + b i , 1 ≤ i ≤ n,

^(1.2.9)

la

i ^ieme

^{omposante de}

x ^(m+1)

^{est alors donnée par}

x ^(m+1) _i = x ^(m) _i + ω(˜ x ^(m+1) _i − x ^(m) _i )

^(1.2.10)

où

ω ∈ R

,

ω 6 = 0

^{. Le nombre}

x ^(m+1) _i

^{est don une moyenne pondérée}

de l'anienne omposante

x ^(m) _i

^{et du nombre auxiliaire}

x ˜ ^(m+1) _i

^{. Si}

ω = 1

^,

x ^(m+1) _i = ˜ x ^(m+1) _i

^ave

x ˜ _i ^(m+1)

^{alulé,à partir desomposantesde}

x ^(m)

^,par

Gauss-Seidel. L'idée estdon de fairemieux que Gauss-Seidel, sahant que

l'onretrouveetteméthodepour

ω = 1

^{. Onespèretrouverun}

ω

appartenant àun intervalle de onane, enadrant la valeur 1,où laméthode onverge.

En ombinant les formules (1.2.9) et (1.2.10) on obtient, en multipliant

(1.2.10)par

a ii

^{(parhypothèse}

a ii 6 = 0

^),pour

i = 1, 2, · · · a _ii x ^(m+1) _i = a _ii x ^(m) _i + ω







−

i−1

X

j=1

a _ij x ^(m+1) _j −

n

X

j=i+1

a _ij x ^(m) _j + b _i − a _ii x ^(m) _i





 ,

(1.2.11)

relationquidonnediretement

x ^(m+1) _i

^enfontiondes

(i − 1)

^{premièresom-}

posantes de

x ^(m+1)

^{déjà alulées,et des}

(n − i + 1)

^{dernières omposantes}

de

x ^(m)

^.

Remarque 1.2.3. La phrase introdutive à ette méthode est maintenant

élairie !

Remarque1.2.4. Onfaitla même observationque pourGauss-Seidelpour

l'enombrement mémoire.

En notation matriielleon exprime (1.2.11) par

(D − ωE)x ^(m+1) = ((1 − ω)D + ωF ) x ^(m) + ωb,

^(1.2.12)

lamatrie

(D − ωE)

^{estinversiblepourtout}

ω

^ar

a ii 6 = 0

^{et(1.2.12) orres-}

pond àladéomposition

M = 1

ω (D − ωE)

^et

N = 1

ω ((1 − ω)D + ωF ) .

^(1.2.13)

Onvérie que

M − N = D

ω − E − 1 − ω

ω D − F = D − E − F = A.

Onaainsidénilaméthode derelaxationsuessiveassoiéeà

A

^{. Ona}

L ^ω = M ⁻¹ N = (D − ωE) ⁻¹ ((1 − ω)D + ωF ) ,

^(1.2.14)

enposant

L = D ⁻¹ E

^et

U = D ⁻¹ F

^,ilvient

L ω = (I − ωL) ⁻¹ ((1 − ω)I + ωU ) .

^(1.2.15)

Le paramètre

ω

^{est leparamètre de} relaxation. Si

ω > 1

^(resp.

ω < 1

⁾

on dit qu'il y a sur-relaxation (resp. sous-relaxation). Si

ω = 1

^{on a déjà}

faitremarquer que l'onretrouve laméthode de Gauss-Seidel, e qui justie

lanotation

L 1

^{utiliséeàson sujet.}

Pour ette méthode ils'agit de trouver

•

^{Un intervalle de onane}

[ω _m , ω _M ]

^{(ontenant le nombre 1) tel que}

ρ( L ^ω ) < 1

^pour

ω m < ω < ω M

^.

•

^{Dans et} intervalle, s'il est non vide, un paramètre optimal

ω opt

^{, s'il}

existe,telque

ρ( L ^ω opt ) = inf { ρ( L ^ω ); ω m < ω < ω M } ,

enespérant que

ρ( L ^ω opt ) < ρ( L 1 )

^.

Onprouve (voirlivre)

Corollaire 1.2.1. Pour toute matrie

A

^{, une ondition néessaire de on-}

vergene dela méthode derelaxation suessive est que

0 < ω < 2

^.

Les méthodes par blos Il estnaturel, étant donné lastruture usuelle

desmatriesdedisrétisationobtenuespardiérenesniesoupar éléments

nis, d'envisager des méthodes par blos. Ononsidère don une partition

del'ensemble

{ 1, 2, . . . , n }

^en

s

^partiespar

{ 1, . . . , n ₁ } , { n ₁ +1, . . . , n ₁ +n ₂ } , . . . , { n ₁ + · · · +n _s−1 +1, . . . , n ₁ +n ₂ + · · · +n _s } .

Lapartitionorrespondanteenblosdelamatrie

A

^{(voirlivrepourplus}

dedétails) seprésentesous laforme

A =

A ₁₁ A ₁₂ · · · A _1s A ₂₁ A ₂₂ · · · A _2s

.

.

. .

.

.

.

.

.

A _s1 A _s2 · · · A _ss ,

où

A ij ∈ C ^{n i ,n j}

,pour

1 ≤ i, j ≤ s

^.

Lesblosdiagonauxsontnéessairementdesmatriesarrées

A ii ∈ C ^{n i ,n i}

pour

1 ≤ i ≤ s

^{etonpeutparler deleur} inversibilité. Ondénit

•

^lamatrie

D ∈ C ^n,n

,matrie blo-diagonale,

D = diag(A _ii )

^,

•

^lamatrie

E ∈ C ^n,n

,matrie blo-triangulaire inférieure, telleque

− E =

0 0 0

A _2,1

^...

0 0

.

.

. .

.

. .

.

.

A _s,1 · · · A _s,s−1 0 ,

•

^lamatrie

F ∈ C ^n,n

,matrieblo-triangulaire supérieure, telleque

− F =

0 A _1,2 · · · A _1,s 0

^...

.

.

. .

.

. .

.

.

A _s−1,s

0 0 0

.

Ona bienentendu

A = D − E − F

^.

Hypothèsefondamentale: Onsupposequelamatrieblo

D

^{estrégulière,}

equi estéquivalent àsupposerquetoutes lesmatriesblos

A ii

^,

1 ≤ i ≤ s

^,

sont régulières.

Ondénit lesméthodesde Jaobi,Gauss-Seidel et derelaxation sues-

sive par blos omme préédemment, les matries

D

^,

E

^et

F

^{n'étant pas,}

évidemment,lesmêmes(ellesnesontidentiquesquesil'onprendlapartition

{ 1, 2, · · · , n } = { 1 } ∪ { 2 } ∪ · · · ∪ { n }

^!).

Par exemple laméthode de relaxationsuessivepar blos s'érit

A ii X _i ^(m+1) = A ii X _i ^(m) + ω n

− P i−1

j=1 A ij X _j ^(m+1) − P s

j=i+1 A ij X _j ^(m) +B _i − A _ii X _i ^(m) o

, 1 ≤ i ≤ s,

(1.2.16)

si, ave lamême partition, onpose

X =





 X ₁

.

.

.

X _s





 ,

^et

B =





 B ₁

.

.

.

B _s





 .

^(1.2.17)

Par l'hypothèse faite, les matries

A ii

^sont inversibles et la résolution de (1.2.16) est possible : on peut aluler le blo d'inonnues

X _i ^(m+1)

^à

l'itération

(m + 1)

^.

Intérêt des méthodes par blos Prenonsleasdelaméthode(1.2.16).

À haque itération nous avons

s

^{systèmes linéaires à résoudre, ela paraît}

êtreunsérieuxhandiap;mais,notonsdéjàquesihaundeessystèmesest

trèssimpleàrésoudreonpeutraisonnablementtravailleraveesméthodes.

Celan'aependant d'intérêt quesilaméthodepar blosestplus rapideque

laméthodepontuelle. Or,sousdeshypothèsesraisonnables, pourunmême

ω

^{,laméthode par blosestplus rapide quelaméthode pontuelle,on a}

ρ( L ^B ω ) < ρ( L ^p ω ) < 1,

où on désigne par

L ^B ω

^(resp.

L ^{p ω}

^{) la matrie} d'itération de la méthode de relaxationsuessive parblos (resp. pontuelle).

En pratique, souvent les matries

A ii

^{sont des}matries-bandes (par ex- emple tridiagonales). Lesméthodes diretes (Gauss,...) sont alors très bien

adaptées,artrèsrapides,àlarésolutionde(1.2.16). Lesformules sesimpli-

ent notablement du fait de lastruture des

A ii

^{;par exemple, dansle as}

des

A ii

tridiagonalesondisposedeformulesalgèbriquestrèssimplesdonnant lasolution(voirlivre).

Dans e adre, même en tenant ompte de la résolution des

s

^systèmes

linéairesàhaqueétape,legainsurlarapiditédeonvergene desméthodes

par blos ompense très souvent et inonvénient. Dans bien des as on y

gagne!

1.3 Quelques théorèmes de onvergene

Généralement on ne sait rien dire de la onvergene et de la omparaison

des méthodes itératives lorsque la matrie

A

^{n'a pas de} propriété(s) par- tiulière(s), telle(s) que symétriquedénie positive ou diagonalement dom-

inante. On peut exhiber une matrie

A 1

^{telle que la méthode de Jaobi}

onverge alors que Gauss-Seidel diverge ; on peut trouver aussi une autre

matrie

A ₂

^{telle que,} inversement, Gauss-Seidel onverge alors que Jaobi diverge.

Cependant il existe grossièrement deux grandes lasses de résultats de

onvergene. L'unerelativeauxmatriessymétriques(hermitiennes)dénies

positives,l'autreauxmatriesstritementdiagonalementdominantes. J'omets

le as, fondamental en pratique mais mathématiquement plus diile, des

matriesirrédutibles diagonalement dominantes quisort duadrerestreint

dee mini-ours.

Onposeladénitionsuivante:

Dénition 1.3.1. Unematrie

A ∈ C ^n,n

^{est dite à diagonale dominante si}

etseulement si

| a _i,i | ≥

n

X

j=1,j6=i

| a _i,j | , i = 1, 2, · · · , n

^(1.3.1)

ave inégalité strite pour au moins unindie

i

^.

Elle est dite à diagonale stritement dominante (SDD) s'ily a inégalité

strite dans (1.3.1) pour tout

i

^.

Remarque 1.3.1. Certains auteurs préfèrent dire fortement dominante au

lieu de dominante. Réservant le nom de dominante au as où il n'y a

jamaisd'inégalité strite dans (1.3.1).

Onprouve(voirlivre)qu'unematrieSDDestrégulière. Notrehypothèse

fondamentale estsatisfaite.

Naturellement es résultats sont distints entre eux. Par exemple, une

matrie (symétrique) peut-être stritement diagonalement dominante sans

êtredénie positive etinversement. Soit, par exemple,

A =





1 a a a 1 a a a 1





^(1.3.2)

Pour

1/2 ≤ a < 1

^{la matrie}

A

^{n'est pas SDD et pourtant la matrie}

A

^est (symétrique) dénie positive. En eet les valeurs propres de

A

^sont

données par les raines du polynme aratéristique

det(A − λI) = 0

^{où la}

matrie

A − λI

^s'érit

A − λI =





1 − λ a a

a 1 − λ a

a a 1 − λ



 .

^(1.3.3)

On voit que

P (λ) = det(A − λI) = µ ³ − 3a ² µ + 2a ³

^où

µ = 1 − λ

^{. Les}

rainessont

µ = a

^{(rainedouble) et}

µ = − 2a

^{,don les valeurspropres de}

A

^sont

λ = 1 − a

^{(raine double) et}

λ = 1 + 2a

^{. Si}

1/2 ≤ a < 1

^lesvaleurs

propres de

A

^{sont toutes stritement positives et ela implique que}

A

^est

déniepositive.

Inversement, soit,par exemple,lamatrie

A =

− 2 a a 2

;

notonsqu'ilfauthoisir, sahant quesesvaleurspropressont réellespuisque

lamatrie est symétrique, une matrie où au moinsun desélémentsdiago-

nauxest négatif, de façon à assurer laaratère non positif. On vérie que

lesvaleurspropres sontdonnées par

λ = ± √

a ² + 4

^{,une desvaleurspropres}

étantnégativelamatrien'estjamaisdéniepositive. OrlamatrieestSDD

pour

| a | < 2

^.

Comme, en pratique, les deux lasses de matries préédentes sont fré-

quentes (lors de la disrétisation des équations aux dérivées partielles), il

faut examiner lesdeux atégories derésultats.

Casdesmatriessymétriques(hermitiennes)déniespositives Nous

allonsd'abordexaminer unthéorèmedonnant unritèredeonvergene des

méthodes itératives pontuelles ou par blos pour e type de matries. A

Théorème1.3.1. Soit

A ∈ C ^n,n

unematrie hermitienneetinversible. Soit

A = M − N

^{une déompositionde}

A

^{telleque lamatrie}

M ^∗ + N

^soitdénie

positive. Alors

ρ(M ⁻¹ N ) < 1

^{siet seulement si}

A

^{est dénie positive.}

Preuve : Admise.

Nous sommes maintenant en mesure de donner un premier ritère de

onvergenedesméthodesderelaxationsuessive(pontuelleoupar blos)

inluant, nous le verrons, les méthodes de Gauss-Seidel (pontuelle ou par

blos). Si

A

^est hermitienne, on onstate que

F = E ^∗

^{dans les dénitions}

préédentes donnant

A

^{sous laforme}

A = D − E − F

^.

Théorème 1.3.2. Soit

A ∈ C ^n,n

une matrie hermitienne, inversible,

D

^et

E ∈ C ^n,n

telles que

A = D − E − E ^∗ ,

^(1.3.4)

et soit

ω ∈ R

tel que

0 < ω < 2

^{. Supposons que la matrie}

D

^{est dénie}

positive. Alors

ρ( L ω ) < 1

^{sietseulement silamatrie}

A

^{estdénie positive.}

Preuve : Ononstatequesi

A

^{s'érit souslaforme(1.3.4)alors néessaire-}

ment

D

^esthermitienne. Danstouslesaslaméthodede relaxationsues- siveorrespond àlaforme

A = M − N

^{ave(voir(1.2.13))}

M = (1/ω)(D − ωE)

^et

N = (1/ω) ((1 − ω)D + ωE ^∗ )

^{. On vérie, puisque}

D = D ^∗

^{, que}

M ^∗ + N = (1/ω)D − E ^∗ + ((1 − ω)/ω)D + E ^∗ = ((2 − ω)/ω)D

^.

Or,parhypothèse,

0 < ω < 2

^et

D

^{estdéniepositive,lamatrie}

M ^∗ +N

estdon hermitienneet déniepositive.

Le Théorème 1.3.1 permetde onlure.

Remarque 1.3.2. La ondition susanten'exigepas que la matrie diago-

nale

D

^{soit dénie positive. En eet ette hypothèse est une onséquene du}

faitque

A

^{soit dénie positive.}

Remarque 1.3.3. Indépendamment de l'équivalene qui onlut l'énoné

duThéorème 1.3.2,l'ensemble des onditions del'énoné formeseulement

un ensemble de onditions susantes. Par exemple si

D

^{n'est pas dénie}

positive, la méthode de relaxation suessive peut onverger sans que

A

^soit

dénie positive. Il sut de hoisir le as trivial suivant d'une matrie

A

diagonale possédant des 1 etdes

− 1

^{sur la diagonale}

A =











1 0

.

.

.

0 1

− 1











.

^(1.3.5)

La matrie

A

^estinversible, la matrie

D

^{n'estpasdéniepositive. Dans}

e as on a évidemment (voir (1.2.14))

L ω = D ⁻¹ (1 − ω)D = 1 − ω,

etdon

ρ( L ^ω ) < 1,

^pour

0 < ω < 2,

alors que la matrie

A

^{n'est évidemment pas dénie positive.}

Corollaire 1.3.1. Soit

A ∈ C ^n,n

une matrie hermitienne inversible,

D

^et

E ∈ C ^n,n

telles que

A = D − E − E ^∗ .

On suppose que la matrie

D

^{est dénie positive. Alors la méthode de}

Gauss-Seidel onverge si et seulement si

A

^{est dénie positive.}

Preuve : Ilsut de faire

ω = 1

^{dansleThéorème 1.3.2.}

Le Corollaire 1.3.1 s'énoneplus simplement dans le aspontuel, 'est

le

Corollaire 1.3.2. Soit

A ∈ C ^n,n

une matrie hermitienne inversible,

D

^et

E ∈ C ^n,n

telles que

A = D − E − E ^∗ .

On suppose que

a _i,i > 0

^,

1 ≤ i ≤ n

^{. La méthode de} Gauss-Seidel pontuelle onverge siet seulement si

A

^{est dénie positive.}

Preuve : Elleest évidente.

Le Théorème général 1.3.1 permetaussidedonner unritère de onver-

genepourlaméthodedeJaobi(pontuelleoupar blos)dansleasd'une

matrie

A

hermitienne déniepositive

Corollaire 1.3.3. Soit

A ∈ C ^n,n

une matrie hermitienne inversible,

D

^et

E ∈ C ^n,n

telles que

A = D − E − E ^∗ .

On suppose que la matrie

2D − A

^{est dénie positive. La méthode de}

Jaobi onverge si et seulement si

A

^{est dénie positive.}

Preuve : Dans laméthode de Jaobi ona

M = D

^et

N = D − A

^etdon,

puisque

D = D ^∗

^{arla matrie}

A

^esthermitienne,

M ^∗ + N = 2D − A.

Commelamatrie

2D − A

^{estdéniepositiveparhypothèse,laonlusion}

suitdu Théorème 1.3.1.

Il s'agit maintenant de déterminer l'intervalle de onane de onver-

genedelaméthodederelaxationsuessive. Cetintervalleaétéprésupposé

dansl'énonéduThéorème 1.3.2. Onvavoirque

]0, 2[

^{esteetivement et}

intervalle.

La démonstration passepar elledu théorèmesuivant

Théorème1.3.3. Soit

A ∈ C ^n,n

une matrie inversible, soient

E, F ∈ C ^n,n

deuxmatriesrespetivementstritementtriangulairesinférieureetsupérieure,

D ∈ C ^n,n

une matrie inversible telles que

A = D − E − F

^.

Alors

∀ ω ∈ R

,

ρ( L ω ) ≥ | ω − 1 |

^{ave égalité si et seulement si toutes les}

valeurs propres de

L ^ω

^{sontenmodule égales à}

| ω − 1 |

^.

Preuve : Admise.

Une onséquene immédiate dee théorèmeest le

Corollaire1.3.4.Pourtoutematrie

A

satisfaisantauxhypothèsesduthéorème 1.3.3, une ondition néessaire de onvergene de la méthode de relaxation

suessive est que

0 < ω < 2

^.

Preuve : En eet pour que

ρ( L ^ω ) < 1

^{, par le théorème préédent il faut}

que

| ω − 1 | < 1

^{equi impliqueque}

0 < ω < 2

^.

ParleThéorème1.3.3,nousallonsaussidéduirelerésultat déjàannoné

defaçon informelle,

Théorème 1.3.4. Soit

A

^{une matrie} hermitienne (dans e as

F = E ^∗

⁾

dénie positive, alors la méthodede relaxation suessive (pontuelleou par

blos)onverge si etseulement si

0 < ω < 2

^{. Autrement dit}

ρ( L ω ) < 1 ⇔ 0 < ω < 2.

Preuve : Prouvons d'abord que

0 < ω < 2

^{entraîne que}

ρ( L ^ω ) < 1

^{. Il}

sutd'appliquerleThéorème1.3.2enremarquantque,si

A

^esthermitienne déniepositivealors elleestinversible etsamatriediagonale

D

^{possède les}

mêmes propriétés. Si

0 < ω < 2

^{toutes les hypothèses du Théorème 1.3.2}

sont satisfaites,omme

A

^{estdénie positive alors}

ρ( L ω ) < 1

^.

Réiproquement si

ρ( L ω ) < 1

^{on sait, grâe au Corollaire 1.3.4, que}

0 < ω < 2

^.

La questionde l'intervalle de onanede laméthode derelaxation su-

essiveétant résolue, ilreste à résoudrele problèmedu

ω _opt

^,'est-à-dire du hoix du

ω

^telque

ρ( L ω opt ) = min

0<ω<2 ρ( L ω ),

assurant laplus grande vitesse de onvergene de la méthode de relaxation

suessive.

On ne va donner une réponse au hoix de

ω _opt

^{que dans le as où la}

matrie

A

^est tridiagonale par blos, 'est-à-dire que l'on se plae a priori dans le adre de la méthode de relaxation suessive par blos. Dans les

appliationsela reouvreune importantepartie desbesoins.

Lesrésultats présentés ii sonténonés sans démonstration.

Théorème 1.3.5. Soit

A ∈ C ^n,n

une matrie tridiagonale par blos. Si toutesles valeurs propres dela matrie d'itération deJaobiorrespondante

sontréelles, alorslesméthodes parblosdeJaobietderelaxationsuessive

pour

0 < ω < 2

^{onvergent oudivergent} simultanèment.

De plus si

ρ(B) < 1

^{(i.e. si Jaobi par blos onverge), il existe une}

valeur de

ω

^{etune seule, soit}

ω _opt

^{, rendant}

ρ( L ω )

^{minimum,on a}

ω opt = 2

1 + p

1 − (ρ(B)) ²

et

ρ( L ^ω opt ) = ω opt − 1 = 1 − p

1 − (ρ(B )) ² 1 + p

1 − (ρ(B )) ² .

(1.3.6)

Remarque 1.3.4. Il faut noter que la formule (1.3.6) n'est pas d'un usage

pratiqueimmédiat,ellenéessitedealulernumériquement lerayonspetral

de la matrie

B

^{. L'emploi d'une méthode de alul de la plus grande (en}

module) valeur propre d'une matrie est néessaire ; la méthode dite de la

puissane répond à et objetif.

Remarque 1.3.5. Pratiquement on a intérêt à surestimer

ω opt

^{plutt qu'à}

le sous-estimer lorsqu'on ne le onnaît qu'approximativement. En eet, la

ourbe donnant

ρ( L ω )

^{enfontion de}

ω

^{a l'allure suivante (Figure 1.2).}

PSfrag replaements

0 1

1 ω opt 2 ω

ρ( L ^ω )

segment depente 1

Figure1.2:

Cette ourbe possède une pente innie à gauhe du point

ω _opt

^{; 'est-à-}

dire qu'une légère variation à gauhe dans la onnaissane de

ω opt

^entraine

unegrandevariationdansellede

ρ( L ^ω )

^{. Cequijustiela}sur-estimationde

ω _opt

^{. Onremarqueaussisurlagure,quelaméthodederelaxationsuessive}

optimaleest plusrapidequeGauss-Seidel(assoiéeà

ω = 1

^),ona

ρ( L ^ω opt ) <

ρ( L 1 )

^{. On voit aussi que, si}

ω

^{est mal hoisi, la méthode de} Gauss-Seidel peut-être plusrapide que la méthode derelaxation suessive.

Nous allonsonluree sous-paragraphe relatif au asdesmatries her-

mitiennesdéniespositivesparun résultat,trèsimportant dansles applia-

tions, donnant une ondition susantede onvergene pour les troisméth-

odes ainsi qu'une omparaison de elles-i. On note toujours par

B

^(resp.

L 1

^et

L ω

^{) la matrie itérative par blos de Jaobi (resp.} Gauss-Seidel et

Théorème 1.3.6. Soit

A

^{une matrie} hermitienne dénie positive ettridi- agonalepar blos, alorsles méthodes par blosde Jaobi, Gauss-Seidelet de

relaxation suessive pour

0 < ω < 2

^sontonvergentes simultanément.

Deplusilexisteunparamètreoptimal

ω _opt

^,

1 < ω _opt < 2

^{,pourlaméthode}

derelaxation suessive etl'on a

ρ( L ^ω opt ) < ρ( L 1 ) < ρ(B ).

Plus préisèment, nous avons

ρ( L 1 ) = (ρ(B)) ²

^(1.3.7)

ρ( L ^ω opt ) = ω opt − 1 = 1 − p

1 − (ρ(B)) ² 1 + p

1 − (ρ(B)) ²

(1.3.8)

Remarque 1.3.6. Par la dénition (voir livre) du taux asymptotique de

onvergene on voitque

R ∞ (ρ( L 1 )) = 2R ∞ (B)

^{. la méthodede} Gauss-Seidel par blos est deux fois plus rapide que la méthode deJaobi par blos.

Remarque 1.3.7. Ce théorème reste vrai lorsque

A

^{est une matrie tridi-}

agonale par points : les blos diagonaux sontalors d'ordre 1.

Remarque1.3.8. Dans leas pontuel, e théorème nes'applique que si

A

est tridiagonalepar points. Si

A

^{n'est pas, dansleaspontuel,} tridiagonale par points,même si

A

^{est symétrique dénie positive, la méthode deJaobi}

pontuelle peut diverger. Prenons pour s'en onvainre une matrie

A

^du

type

A =





1 a a a 1 a a a 1





^(1.3.9)

Pour

1/2 ≤ a < 1

^{on vérie que}

ρ(B) ≥ 1

^{et pourtant la matrie}

A

^est

(symétrique) dénie positive -voir les aluls suivants (1.3.3) .

Par ailleursla matrie d'itération

B

^{de Jaobi a la forme suivante}

B =





0 − a − a

− a 0 − a

− a − a 0



 .

^(1.3.10)

Ses valeurs propres sont les raines dudéterminant de la matrie

B − λI =





− λ − a − a

− a − λ − a

− a − a − λ



 .

^(1.3.11)

'est, au signe près, la matrie (1.3.3) ave

λ

^{au lieu de}

1 − λ

^{. Les valeurs}

propres de

B

^{sont don, au signe près,}

λ = a

^{(raine double) et}

λ = − 2a

^.

Le rayon spetral de

B

^{est la plus grande valeur propre en module, don}

ρ(B) = 2a

^;omme

1/2 ≤ a < 1

^,

ρ(B) ≥ 1

^{et Jaobi pontuellediverge.}

Onvient de voirque laonvergene de laméthode de Jaobi pontuelle

n'estpasassuréepar l'hypothèse symétriquedéniepositive,ependant elle

l'estpour une autrelassedematriesqui estelledesmatriesstritement

diagonalement dominante (voir dénition1.3.1).

Cas des matries SDD Ce paragraphe ne onerne que les méthodes

pontuelles. Onadéjà ditque lesmatries SDDsont régulières.

Pour esmatrieson ale

Théorème 1.3.7. Soit

A

^{une matrie stritement} diagonalement domi- nante, alors la méthode pontuelle de Jaobi onverge.

Preuve : Notons d'abord, qu'ave ette hypothèse, l'ériture de Jaobi,

B = M ⁻¹ N

^ave

M = D

^et

N = E + F

^{,aun sensarlamatrie diagonale}

estrégulière arnéessairement

| a i,i | > 0

^lorsque

A

^estSDD.

Une ondition susante de onvergene est

ρ(B ) < 1

^. Prouvons-le en raisonnant par l'absurde.

Soit

λ

^{unevaleur proprede}

B

^{,par dénitionnousavons}

det(M ⁻¹ N − λI) = 0.

Comme lamatrie

M

^{estrégulière, defaçon} équivalente,il vient

det(N − λM ) = det(M) det(M ⁻¹ N − λI) = 0.

^(1.3.12)

Posons

C = N − λM

^,

C = (c i,j )

^{. Supposons que}

| λ | ≥ 1

^{. On a, d'une}

part, puisque

M

^estdiagonale

n

X

j=1,j6=i

| c _i,j | =

n

X

j=1,j6=i

| a _i,j | ,

^et

| c _i,i | = | λ || a _i,i | ∀ i ∈ [1, n];

^(1.3.13)

d'autre part, puisque

A

^estSDDet

| λ | ≥ 1

^,

n

X

j=1,j6=i

| a i,j | < | a i,i | ≤ | λ || a i,i | = | c i,i | , ∀ i ∈ [1, n].

^(1.3.14)

Les relations (1.3.13) et (1.3.14) impliquent que la matrie

C

^{est aussi}

SDDsi

| λ | ≥ 1

^{. La matrie}

C

^{estalors régulière etdon}

det(N − λM ) 6 = 0

^,

equiestabsurded'après(1.3.12). Don

λ

^telleque

| λ | ≥ 1

^{nepeutpasêtre}

valeur propre de

B

^etnéessairement

ρ(B ) < 1

^{. La méthode pontuelle de}

Jaobi onverge si

A

^{est SDD.}

Ce théorème n'énone qu'une ondition susante de onvergene. Il se

peutque Jaobionverge sansqu'ellesoit SDD !

Montrons,par lamême tehnique, quelaméthode pontuelle de Gauss-

Seidel onvergesi

A

^{est SDD.}

Théorème 1.3.8. Lorsque

A

^{est SDD, la méthode pontuelle de Gauss-}

Seidel onverge.

Preuve : La matrie d'itération s'érit ii

L 1 = (D − E) ⁻¹ F

^{, la matrie}

(D − E)

^{étant lairement régulière si}

A

^{est SDD. Soit}

λ

^{une valeur propre}

de

L ¹

^,alors

det((D − E) ⁻¹ F − λI) = 0,

defaçon équivalente,on peutenoreérire

det(F − λ(D − E)) = 0.

^(1.3.15)

Raisonnonsenore par l'absurde ensupposant

| λ | ≥ 1

^.

Nousavons, puisque

A

^estSDD,

| a i,i | > X

j<i

| a i,j | + X

j>i

| a i,j | , ∀ i ∈ [1, n].

soit

| λ || a i,i | > | λ | X

j<i

| a i,j | + | λ | X

j>i

| a i,j | ≥ | λ | X

j<i

| a i,j | + X

j>i

| a i,j | , ∀ i ∈ [1, n].

Par dénition des matries

D

^,

E

^et

F

^{, nous avons don que lamatrie}

(F + λE − λD)

^{est aussiSDD et don régulière. Ce qui est absurde (voir}

(1.3.15)). Don

λ

^telleque

| λ | ≥ 1

^{nepeutpasêtre unevaleur proprede}

L ¹

etnéessairement

ρ( L 1 ) < 1

^.

Remarque 1.3.9. Les Théorèmes 1.3.7et 1.3.8 restent vrais lorsque

A

^est

irrédutible et diagonalementdominante au lieu d'être SDD.

Remarque 1.3.10. Les Théorèmes 1.3.7 et 1.3.8, ainsi que la Remarque

1.3.9n'énonentque des onditions susantes deonvergene.

Finalement on démontre (voir livre) que la méthode de relaxation su-

essivepour

0 < ω ≤ 1

^onvergesi

A

^{est SDD.}

Théorème1.3.9. Si

A

^{estSDD,la méthodederelaxation suessive}

L ^ω

^est

onvergente pour

0 < ω ≤ 1

^.

Preuve : Admise.

Remarque1.3.11. Évidemmentethéorèmereouvre leasdeGauss-Seidel

puisqu'il est vrai pour

0 < ω ≤ 1

^{(la valeur 1 inluse).}

Remarque 1.3.12. L'intervalle de onane de la méthode de relaxation

suessiveétantl'intervalle

]0, 2[

^{,onaimeraitpouvoirétendrelapreuvepréé-}

dente de la onvergene à et intervalle. Malheureusement le raisonnement

Remarque 1.3.13. Ce théorème n'est qu'une ondition susante de on-

vergene. Il ne dit pas que si

ω > 1

^{la méthode de relaxation diverge. Soit}

eneet la matrie

A =

1 a 0 1

.

Pour

0 < a < 1

^{ettematrieest SDD.Ilest failedevoirquela matrie}

L ω

^s'érit

L ^ω =

1 − ω − ωa 0 1 − ω

,

sa valeur propre (double) est

1 − ω

^{. La méthode de relaxation onverge si}

| 1 − ω | < 1

^{, 'est-à-dire pour}

0 < ω < 2

^.