M´ ethodes it´ eratives lin´ eaires - M´ ethodes it´ eratives pour la r´ esolution des syst` em

M´ ethodes it´ eratives pour la r´ esolution des syst` emes lin´ eaires

4.2 M´ ethodes it´ eratives lin´ eaires

Une technique générale pour définir une méthode itérative linéaire consistante est basée sur la décomposition, ou splitting, de la matrice A sous la forme A=P−N, où P est une matrice inversible. Pour des raisons qui s’éclairciront dans les prochaines sections, P est appeléematrice de préconditionnementou préconditionneur.

On se donnex⁽⁰⁾, et on calculex⁽^k⁾pour k≥1, en résolvant le système Px⁽^k⁺¹⁾= Nx⁽^k⁾+b, k≥0. (4.6) La matrice d’itération de la méthode (4.6) est B = P⁻¹N, et f = P⁻¹b. On peut aussi écrire (4.6) sous la forme

x⁽^k⁺¹⁾=x⁽^k⁾+ P⁻¹r⁽^k⁾, (4.7) o`u

r⁽^k⁾=b−Ax⁽^k⁾ (4.8)

désigne lerésiduà l’itérationk. La relation (4.7) montre qu’on doit résoudre un système linéaire de matrice P à chaque itération. En plus d’être inversible, P doit donc être “facile à inverser” afin de minimiser le coût du calcul. Remarquer que si P est égale à A et N=0, la méthode (4.7) converge en une itération, mais avec le même coût qu’une méthode directe.

Citons deux résultats qui garantissent la convergence de (4.7), sous des hypothèses convenables concernant lesplittingde A (voir p. ex. [Hac94] pour les démonstrations).

Propriété 4.1 Soit A = P−N, avec A etP symétriques définies positives.

Si la matrice 2P−A est définie positive, alors la méthode itérative(4.7)est convergente pour toute donnée initialex⁽⁰⁾ et

ρ(B) = B _A= B _P<1.

De plus, la convergence de la suite est monotone pour les normes · Pet · A

(i.e. e⁽^k⁺¹⁾ _P< e⁽^k⁾ _P et e⁽^k⁺¹⁾ _A< e⁽^k⁾ _A,k= 0,1, . . .).

Propriété 4.2 Soit A = P−N avec A symétrique définie positive. Si la matrice P + P^T −A est définie positive, alors P est inversible, la méthode itérative(4.7)converge de manière monotone pour la norme · Aet ρ(B)≤

B _A<1.

4.2.1 Les méthodes de Jacobi, de Gauss-Seidel et de relaxation Dans cette section, nous considérons quelques méthodes itératives linéaires classiques.

Si les coefficients diagonaux de A sont non nuls, on peut isoler l’inconnue x_i dans lai-ème équation, et obtenir ainsi le système linéaire équivalent

x_i= 1

Dans lam´ethode de Jacobi, pour une donn´ee initiale arbitrairex⁰, on calcule x⁽^k⁺¹⁾selon la formule

Cela revient à effectuer la décomposition suivante de la matrice A : P = D, N = D−A = E + F,

où D est la matrice diagonale composée des coefficients diagonaux de A, E est la matrice triangulaire inférieure de coefficientseij =−aij sii > j,eij = 0 si i≤j, et F est la matrice triangulaire supérieure de coefficients fij =−aij si j > i, fij = 0 sij≤i. Ainsi, A = D−(E + F).

La matrice d’itération de la méthode de Jacobi est donc donnée par B_J= D⁻¹(E + F) = I−D⁻¹A. (4.11) Une généralisation de la méthode de Jacobi est laméthode de sur-relaxation (ou JOR, pourJacobi over relaxation), dans laquelle on se donne un paramètre de relaxationω et on remplace (4.10) par

x⁽_i^k⁺¹⁾= ω

La matrice d’it´eration correspondante est

BJ_ω=ωBJ+ (1−ω)I. (4.12)

Sous la forme (4.7), la m´ethode JOR correspond `a x⁽^k⁺¹⁾=x⁽^k⁾+ωD⁻¹r⁽^k⁾.

Cette m´ethode est consistante pour toutω= 0. Pourω= 1, elle co¨ıncide avec la m´ethode de Jacobi.

La méthode de Gauss-Seidel diffère de la méthode de Jacobi par le fait qu’à lak+ 1-ième étape les valeursx⁽_i^k⁺¹⁾ déjà calculées sont utilisées pour mettre à jour la solution. Ainsi, au lieu de (4.10), on a

x⁽_i^k⁺¹⁾= 1

Cette méthode revient à effectuer la décomposition suivante de la matrice A : P = D−E, N = F,

et la matrice d’it´eration associ´ee est

B_GS= (D−E)⁻¹F. (4.14)

En partant de la méthode de Gauss-Seidel et par analogie avec ce qui a été fait pour les itérations de Jacobi, on introduit la méthode de sur-relaxation successive(ou méthode SORpoursuccessive over relaxation)

x⁽_i^k⁺¹⁾= ω d’où on déduit la matrice d’itération

B(ω) = (I−ωD⁻¹E)⁻¹[(1−ω)I +ωD⁻¹F]. (4.17)

Elle est consistante pour tout ω = 0 et elle co¨ıncide avec la méthode de Gauss-Seidel pour ω = 1. Si ω ∈]0,1[, la méthode est appelée méthode de sous-relaxation, et méthode de sur-relaxation si ω >1.

4.2.2 R´esultats de convergence pour les m´ethodes de Jacobi et de Gauss-Seidel

Il existe des cas où on peut établir des propriétés de convergencea prioripour les méthodes examinées à la section précédente. Voici deux résultats dans ce sens.

Théorème 4.2 Si A est une matrice à diagonale dominante stricte, les m´ e-thodes de Jacobi et de Gauss-Seidel sont convergentes.

Démonstration.Nous prouvons la partie du théorème concernant la méthode de Jacobi et nous renvoyons à [Axe94] pour la méthode de Gauss-Seidel. La matrice A étant à diagonale dominante, |a_ii|>_n

j=1|a_ij| pouri= 1, . . . , n etj =i. Par cons´equent, B_J∞ = max

i=1,...,n

n j=1,j=i

|a_ij|/|a_ii|<1, la m´ethode de Jacobi est donc

convergente. 3

Théorème 4.3 Si Aet 2D−A sont symétriques définies positives, alors la méthode de Jacobi est convergente etρ(B_J) = B_J _A= B_J _D.

Démonstration.Le théorème découle de la Propriété 4.1 en prenant P=D. 3 Dans le cas de la méthode JOR, on peut se passer de l’hypothèse sur 2D−A, comme le montre le résultat suivant.

Théorème 4.4 QuandAest symétrique définie positive, la méthode JOR est convergente si 0< ω <2/ρ(D⁻¹A).

Démonstration.Il suffit d’appliquer la Propriété 4.1 à la matrice P = _ω¹D. La matrice 2P−A étant définie positive, ses valeurs propres sont strictement positives :

λ_i(2P−A) =λ_i 2

ωD−A

= 2

ωd_ii−λ_i(A)>0.

Ce qui implique 0< ω <2d_ii/λ_i(A) pouri= 1, . . . , n, d’où le résultat. 3 En ce qui concerne la méthode de Gauss-Seidel, on a le résultat suivant : Théorème 4.5 Si A est symétrique définie positive, la méthode de Gauss-Seidel converge de manière monotone pour la norme · A.

Démonstration.On peut appliquer la Propriété 4.2 à la matrice P=D−E. V´ eri-fions pour cela que P + P^T−A est définie positive. En remarquant que (D−E)^T = D−F, on a

P + P^T−A = 2D−E−F−A = D.

On conclut en remarquant que D est définie positive (c’est la diagonale de A). 3 Enfin, si A est tridiagonale symétrique définie positive, on peut montrer que la méthode de Jacobi est convergente et que

ρ(BGS) =ρ²(BJ). (4.18)

Dans ce cas, la méthode de Gauss-Seidel converge plus rapidement que celle de Jacobi. La relation (4.18) est encore vraie si A possède laA-propriété:

Définition 4.3 Une matrice M telle que les valeurs propres de αD⁻¹E + α⁻¹D⁻¹F pourα = 0 ne dépendent pas de α (où D est la diagonale de M, et E et F ses parties triangulaires resp. inférieure et supérieure) possède la A-propriété si on peut la décomposer en 2×2 blocs de la forme

Pour des matrices générales, l’Exemple 4.2 montre qu’on ne peut tirer aucune conclusion a priori sur la convergence des méthodes de Jacobi et de Gauss-Seidel.

Exemple 4.2 Considérons les systèmes linéaires 3×3 de la forme A_ix =bi. On choisit b_i de manière à ce que la solution du système soit le vecteur unité, et les matrices A_i sont données par

A₁= contrairement à celle de Gauss-Seidel. C’est exactement le contraire qui se produit pour A₂ (ρ(B_GS) = 1.¯1). La méthode de Jacobi converge plus lentement que celle de Gauss-Seidel pour la matrice A3 (ρ(BJ) = 0.44 etρ(BGS) = 0.018), alors que la méthode de Jacobi est plus rapide pour A₄ (ρ(B_J) = 0.64 etρ(B_GS) = 0.77). •

Concluons cette section avec le r´esultat suivant :

Théorème 4.6 Si la méthode de Jacobi converge, alors la méthode JOR converge pour 0< ω≤1.

D´emonstration.D’apr`es (4.12), les valeurs propres de B_J_ω sont µ_k=ωλ_k+ 1−ω, k= 1, . . . , n,

o`uλ_k sont les valeurs propres de B_J. Alors, en posantλ_k=r_ke^iθ^k, on a

|µk|²=ω²r_k²+ 2ωrkcos(θk)(1−ω) + (1−ω)²≤(ωrk+ 1−ω)²,

qui est strictement inf´erieur `a 1 si 0< ω≤1. 3

4.2.3 Résultats de convergence pour la méthode de relaxation Sans hypothèse particulière sur A, on peut déterminer les valeurs de ω pour lesquelles la méthode SOR ne peut pas converger :

Théorème 4.7 On a ρ(B(ω)) ≥ |ω−1| ∀ω ∈ R. La méthode SOR diverge donc siω≤0 ouω≥2.

Démonstration. Si {λ_i} désigne l’ensemble des valeurs propres de la matrice d’itération de SOR, alors

%n i=1

λ_i =det

(1−ω)I +ωD⁻¹F=|1−ω|ⁿ.

Par conséquent, au moins une valeur propreλ_i est telle que |λ_i| ≥ |1−ω|. Pour avoir convergence, il est donc nécessaire que|1−ω|<1, c’est-à-dire 0< ω <2. 3 Si on suppose A symétrique définie positive, la condition nécessaire 0< ω <2 devient suffisante pour avoir convergence. On a en effet le résultat suivant (voir p. ex. [Hac94] pour la preuve) :

Propriété 4.3 (Ostrowski) Si A est symétrique définie positive, alors la méthode SOR converge si et seulement si0< ω <2. De plus, sa convergence est monotone pour · _A.

Enﬁn, si A est`a diagonale dominante stricte, SOR converge si 0< ω≤1.

Les résultats ci-dessus montrent que SOR converge plus ou moins vite se-lon le choix du paramètre de relaxation ω. On ne peut donner de réponses satisfaisantes à la question du choix du paramètre optimal ω_opt (i.e. pour lequel le taux de convergence est le plus grand) seulement dans des cas par-ticuliers (voir par exemple [Axe94], [You71], [Var62] ou [Wac66]). Nous nous contenterons ici de citer le résultat suivant (dont la preuve se trouve dans [Axe94]).

Propriété 4.4 Si la matriceApossède la A-propriété et si les valeurs propres de B_J sont réelles, alors la méthode SOR converge pour toute donnée initiale x⁽⁰⁾ si et seulement siρ(B_J)<1et 0< ω <2. De plus,

ω_opt= 2

1 +

1−ρ(B_J)² (4.19)

et le facteur de convergence asymptotique est donn´e par

ρ(B(ω_opt)) = 1−

1−ρ(B_J)² 1 +

1−ρ(BJ)².

4.2.4 Matrices par blocs

Les méthodes des sections précédentes font intervenir lescoefficients de la matrice. Il existe aussi des versions par blocsde ces algorithmes.

Notons D la matrice diagonale par blocs dont les éléments sont les blocs diagonaux m×mde la matrice A (voir Section 1.6). On obtient la méthode de Jacobi par blocsen prenant encore P=D et N=D-A. La méthode n’est bien définie que si les blocs diagonaux de D sont inversibles. Si A est décomposée enp×pblocs carrés, la méthode de Jacobi par blocs s’écrit

A_iix⁽_i^k⁺¹⁾=bi− p

j=1

j=i

A_ijx⁽_j^k⁾, i= 1, . . . , p,

où l’on a aussi décomposé la solution et le second membre en blocs de tailles p notés respectivement xi et bi. A chaque étape, la méthode de Jacobi par blocs nécessite la résolution depsystèmes linéaires associés aux matrices A_ii. Le Théorème 4.3 est encore vrai en rempla¸cant D par la matrice diagonale par blocs correspondante.

On peut définir de manière analogue les méthodes de Gauss-Seidel et SOR par blocs.

4.2.5 Forme symétrique des méthodes SOR et de Gauss-Seidel Même pour une matrice symétrique, les méthodes SOR et de Gauss-Seidel conduisent à des matrices d’itération en général non symétriques. Pour cette raison, nous introduisons dans cette section une technique permettant de sy-métriser ces algorithmes. L’objectif à terme est de construire des pr´ econdi-tionneurs symétriques (voir Section 4.3.2).

Remarquons tout d’abord qu’on peut construire l’analogue de la méthode de Gauss-Seidel en échangeant simplement E et F. On définit alors l’algorithme suivant, appeléméthode de Gauss-Seidel rétrograde,

(D−F)x⁽^k⁺¹⁾= Ex⁽^k⁾+b,

dont la matrice d’it´eration est donn´ee par B_GSb= (D−F)⁻¹E.

On obtient laméthode de Gauss-Seidel symétriqueen combinant une itération de Gauss-Seidel avec une itération de Gauss-Seidel rétrograde. Plus précis´ e-ment, lak-ième itération de la méthode de Gauss-Seidel symétrique est définie par

(D−E)x⁽^k⁺¹^/²⁾= Fx⁽^k⁾+b, (D−F)x⁽^k⁺¹⁾= Ex⁽^k⁺¹^/²⁾+b.

En ´eliminantx⁽^k⁺¹^/²⁾, on obtient le sch´ema suivant x⁽^k⁺¹⁾= BSGSx⁽^k⁾+bSGS, B_SGS= (D−F)⁻¹E(D−E)⁻¹F, bSGS= (D−F)⁻¹[E(D−E)⁻¹+ I]b.

(4.20)

La matrice de préconditionnement associée à (4.20) est PSGS = (D−E)D⁻¹(D−F).

On peut alors prouver le r´esultat suivant (voir [Hac94]) :

Propriété 4.5 Si Aest une matrice symétrique définie positive, la méthode de Gauss-Seidel symétrique est convergente. De plus, B_SGS est symétrique définie positive.

On peut définir de manière analogue la méthode SOR rétrograde (D−ωF)x⁽^k⁺¹⁾= [ωE + (1−ω)D]x⁽^k⁾+ωb,

et la combiner à chaque pas à la méthode SOR pour obtenir la méthodeSOR symétriqueouSSOR

x⁽^k⁺¹⁾= B_s(ω)x⁽^k⁾+bω, o`u

B_s(ω) = (D−ωF)⁻¹(ωE + (1−ω)D)(D−ωE)⁻¹(ωF + (1−ω)D), bω=ω(2−ω)(D−ωF)⁻¹D(D−ωE)⁻¹b.

La matrice de pr´econditionnement de cet algorithme est P_SSOR(ω) =

1 ωD−E

ω 2−ωD⁻¹

1 ωD−F

. (4.21)

Quand A est symétrique définie positive, la méthode SSOR est convergente si 0< ω <2 (voir [Hac94] pour la preuve). Typiquement, la méthode SSOR avec un choix optimal de paramètre de relaxation converge plus lentement que la méthode SOR correspondante. Néanmoins, la valeur deρ(B_s(ω)) est moins sensible au choix deωautour de la valeur optimale (voir le comportement des rayons spectraux des deux matrices d’itération sur la Figure 4.1). Pour cette raison, on choisit généralement pour SSOR la valeur deωoptimale pour SOR (voir [You71] pour plus de détails).

4.2.6 Impl´ementations

Nous présentons des implémentations MATLAB des méthodes de Jacobi et Gauss-Seidel avec relaxation.

Le Programme 15 propose la méthode JOR (l’algorithme de Jacobi est obtenu comme cas particulier en prenantomega=1). Le test d’arrêt contrôle la norme euclidienne du résidu divisée par sa valeur initiale.

Remarquer que chaque composante x(i) de la solution peut être calculée indépendamment. Cette méthode est donc facilement parallélisable.

0 0.5 1 1.5 2 0

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

SSOR

SOR

Fig. 4.1. Rayon spectral de la matrice d’itération des méthodes SOR et SSOR en fonction du paramètre de relaxationω, pour la matrice tridiag₁₀(−1,2,−1)

Programme 15 - jor: M´ethode JOR function [x,iter]=jor(A,b,x0,nmax,tol,omega)

%JOR M´ethode JOR

% [X,ITER]=JOR(A,B,X0,NMAX,TOL,OMEGA) tente de r´esoudre le syst`eme

% A*X=B avec la méthode JOR. TOL est la tolérance de la méthode.

% NMAX est le nombre maximum d’it´erations. X0 est la donn´ee initiale.

% OMEGA est le param`etre de relaxation.

% ITER est l’itération à laquelle la solution X a été calculée.

[n,m]=size(A);

if n ˜= m, error(’Seulement les syst`emes carr´es’); end iter=0;

r = b-A*x0; r0=norm(r); err=norm(r); x=x0;

while err>tol & iter<nmax iter = iter + 1;

for i=1:n s = 0;

for j = 1:i-1, s=s+A(i,j)*x(j); end for j = i+1:n, s=s+A(i,j)*x(j); end

xnew(i,1)=omega*(b(i)-s)/A(i,i)+(1-omega)*x(i);

end

x=xnew; r=b-A*x; err=norm(r)/r0;

end return

Le Programme 16 propose la m´ethode SOR. En prenantomega=1, on ob-tient l’algorithme de Gauss-Seidel.

Contrairement à la méthode de Jacobi, ce schéma est complètement séquentiel (les composantes de la solution ne sont plus calculées indépendamment les unes des autres). En revanche, on peut l’implémenter efficacement sans stocker la solution de l’itération précédente, ce qui permet d’économiser de la mémoire.

Programme 16 - sor: M´ethode SOR function [x,iter]=sor(A,b,x0,nmax,tol,omega)

%SOR M´ethode SOR

% [X,ITER]=SOR(A,B,X0,NMAX,TOL,OMEGA) tente de r´esoudre le syst`eme

% A*X=B avec la méthode SOR. TOL est la tolérance de la méthode.

% NMAX est le nombre maximum d’it´erations. X0 est la donn´ee initiale.

% OMEGA est le param`etre de relaxation.

% ITER est l’itération à laquelle la solution X a été calculée.

[n,m]=size(A);

if n ˜= m, error(’Seulement les syst`emes carr´es’); end iter=0; r=b-A*x0; r0=norm(r); err=norm(r); xold=x0;

while err>tol & iter<nmax iter = iter + 1;

for i=1:n s=0;

for j = 1:i-1, s=s+A(i,j)*x(j); end for j = i+1:n, s=s+A(i,j)*xold(j); end

x(i,1)=omega*(b(i)-s)/A(i,i)+(1-omega)*xold(i);

end

xold=x; r=b-A*x; err=norm(r)/r0;

end return

Dans le document Méthodes Numériques (Page 129-138)