Résolution des Systèmes Linéaires par les Méthodes de type Lanczos : Etude Théorique, Algorithmique et Applications

(1)

Rabat

Faculté des Sciences, 4 Avenue Ibn Battouta B.P. 1014 RP, Rabat – Maroc Tel +212 (0) 37 77 18 34/35/38, Fax : +212 (0) 37 77 42 61, http://www.fsr.ac.ma

N° d’ordre 2782

THÈSE DE DOCTORAT

Présentée par

ESGHIR Mustapha

Discipline : Mathématiques Appliquées

Spécialité : Mathématiques Appliquées

Titre

Résolution des systèmes linéaires par les méthodes de type Lanczos:

Etude théorique, Algorithmique et Applications

Soutenue le 10/07/2015

Devant le jury

Présidente :

Souad EL BERNOUSSI : Professeur (PES), Faculté des Sciences, Rabat

Examinateurs :

Abderrahim BENAZZOUZ : Professeur (PES), ENS, Rabat

Said EL HAJJI

: Professeur (PES), Faculté des Sciences, Rabat

Rachid SADAKA

: Professeur (PES), ENS, Rabat

Aziz SOULHI : Professeur (PES), ENSMR, Rabat

Invité(e)s :

Mouna ESSAOUINI : Professeur assistant, Faculté des sciences, Eljadida

Abdelatif EL GHAZI : Professeur assistant, Université International, Rabat

(2)

Ce travail a été effectué au laboratoire Mathématiques, Informatique et Applications de la Faculté des Sciences de Rabat, sous la direction du Professeur Said EL HAJJI.

Je tiens tout d’abord à remercier chaleureusement mon directeur de thèse Said EL HAJJI, Professeur de l’enseignement supérieur, d’avoir accepté de diriger ce travail de recherche. Je lui exprime ma plus profonde gratitude et mes vifs remerciements de m’avoir remotivé quand le besoin s’en est fait ressentir. Ses qualités scientifiques, pédagogiques et humaines continueront toujours à m’inspirer.

Mes remerciements vont aussi à tous les membres du jury pour l’intérêt qu’ils ont bien voulu porter à ce travail de thèse : Je suis très reconnaissant envers Madame Souad EL BERNOUSSI, professeur de l’enseignement supérieur à la Faculté des Sciences de Rabat, d’avoir accepté d’honorer cette thèse par la présidence de son jury.

Je remercie Monsieur Abderrahim BENAZZOUZ, professeur de l’enseignement su-périeur à l’Ecole Normale Susu-périeure de Rabat, d’avoir accepté d’être membre de jury. Je le remercie également de me faire l’honneur d’examiner ce travail.

Je remercie très vivement Monsieur le Professeur Rachid SADAKA professeur de l’enseignement supérieur à l’Ecole Normale Supérieure de Rabat, de m’avoir honoré en acceptant la tâche de rapporteur et d’avoir consacré une partie de son temps pour juger ce travail.

Je tiens à remercier le Professeur Aziz SOULHI professeur de l’enseignement supérieur à l’Ecole Nationale Supérieure des Mines de Rabat pour l’intérêt qu’il a porté à mon travail et d’avoir consacré une partie de son temps pour rapporter cette thèse et de participer à ce jury.

(3)

Je remercie sincèrement Abdelatif EL GHAZI Professeur assistant à l’Université International de Rabat qui m’a fait l’honneur d’accepter d’être membre du jury.

Je remercie également tous mes collègues. Leurs encouragements et soutien moral m’ont été très utiles.

(4)

Mes parents

A tous les membres de ma famille

A Mes professeurs, mes amis et mes coll`egues

(5)

Nom et Pr´enom de l’auteur : ESGHIR Mustapha

Titre de la thèse : Résolution des systèmes linéaires par les méthodes de type Lanczos : Etude théorique, Algorithmique et Applications

Directeur de la thèse : Professeur EL HAJJI Said Spécialité : Mathématiques Appliquées

Ce travail a donn´e lieu aux r´esultats suivants (publications, communications,...) :

Publications :

1. M. Esghir, O. Ibrihich, M. Essaouini and S. El Hajji, Transfer function matrices of state-space models, Applied Mathematical Sciences, Vol. 9, no. 19, 935-948, 2015.

2. Y. Louartassi, M. Esghir, E. El Mazoudi and N. Elalami, Global Stabilization of a Fish Population System Using Criteria Sample of Stability, Int. J. Advance. Soft Comput. Appl., Vol. 5, No. 2, ISSN 2074-8523, 2013.

3. M. Esghir and N. Elalami, New Implementation for Nonsymmetric Lanczos Me-thod, Applied Mathematical Sciences, Vol. 7, no. 49, 2407 - 2419, 2013.

4. M. Esghir, Y. Louartassi and N. Elalami, New Algorithm for computing Transfert Function from State Equation, Applied Mathematical Sciences, Vol. 7, no. 24, 1171-1182, 2013.

5. M. Esghir, Birecursive Interpolation Algorithm, A Formalism for solving Systems of Linear Equations, Applied Mathematical Sciences, Vol. 7, no. 24, 1157-1169, 2013.

(6)

1. M. Esghir, S. El Hajji, Solving large linear systems with multiple right hand sides, Congr`es MOCASIM, FST, Marrakech, 2014.

2. M. Esghir, S. El Hajji, New convergence results on the Lanczos method Workshop, Ecole de recherche CIMPA EDPs Non Lin´eaires et Applications, 2014.

3. M. Esghir, N. Elalami, New implementation for nonsymmetric Lanczos method Congrès International du Laboratoire Euro-Maghrébin de Mathématiques et de leurs Interactions, ENIM,Rabat, 2013.

4. M. Esghir, N. Elalami : New algorithm for computing transfer function from state equation, 3rd International Conference, SM2A, Marrakesh, 2012.

5. M. Esghir, A. Messaoudi : Seconde formulation de l’algorithme bi-récursif d’inter-polation et propriétés, JANO9, 9 ièmes Journées d’Analyse Numérique et d’Op-timisation, FST Mohammedia, Maroc, 2008.

6. M. Esghir, A. Messaoudi : Les algorithmes bi-r´ecursifs d’interpolation, Premier congr`es de la SM2A, ENIM, Rabat, Maroc, 2008.

(7)

Introduction g´en´erale 12

1 Pr´eliminaires 17

1.1 Introduction . . . 17

1.2 Notations et d´efinitions . . . 18

1.3 Les m´ethodes de type Krylov . . . 21

1.4 Compl´ements de Schur . . . 25

I

R´

esolution des syst`

emes lin´

eaires par les m´

ethodes de

type Lanczos

28

2 M´ethodes de Lanczos 29 2.1 Introduction . . . 29

2.2 Proc´essus de Lanczos . . . 30

2.2.1 Proc´essus de Lanczos non sym´etrique . . . 31

2.2.2 Proc´essus de Lanczos sym´etrique . . . 33

(8)

2.3.1 M´ethode de Lanczos non sym´etrique . . . 35

2.3.2 M´ethode de Lanczos sym´etrique . . . 44

2.4 Exemples num´eriques et simulation . . . 46

2.5 Conclusion . . . 48

3 M´ethodes de Lanczos par blocs 49 3.1 Introduction . . . 49

3.2 M´ethode de Lanczos non sym´etrique par blocs . . . 51

3.2.1 Déscription du processus de Lanczos non symétrique par blocs . 51 3.2.2 Etude de la méthode de Lanczos non symétrique par blocs . . . 53

3.3 M´ethode de Lanczos sym´etrique par blocs . . . 62

3.3.1 Description du processus de Lanczos sym´etique pa blocs . . . . 62

3.3.2 Etude de la m´ethode de Lanczos sym´etique par blocs . . . 63

3.4 Méthode de Lanczos symétrique par blocs et équations normales . . . 65

3.4.1 Deriv´e du Processus de Lanczos sym´etrique par blocs . . . 66

3.4.2 Méthode de Lanczos symétrique par blocs appliquée aux équa-tions normales . . . 66

3.5 Exemples Num´eriques et simulation . . . 67

(9)

de transfert

75

4 Approximation de la fonction de transfert 76

4.1 Introduction . . . 76

4.2 Approximation de la fonction de transfert . . . 77

4.3 Approximation du syst`eme SISO et SIMO . . . 79

4.4 Approximation du syst`eme MIMO et MISO . . . 87

4.5 Exemples num´eriques et simulation . . . 97

III

Application d’un formalisme bi-r´

ecursif aux m´

ethodes

de type Lanczos

101

5 Algorithme bi-r´ecursif d’interpolation 102 5.1 Introduction . . . 102

5.2 Algorithme R´ecursuf d’Interpolation : RIA . . . 103

5.2.1 Formulation du RIA . . . 103

5.2.2 Applications du RIA : M´ethode de type Arnoldi . . . 105

5.3 Algorithme bi-r´ecursif d’interpolation : Bi-RIA . . . 106

5.3.1 Formulation du Bi-RIA . . . 106

5.3.2 Propri´et´es du Bi-RIA . . . 108

(10)

5.4.1 Proc´ed´e de biorthogonalisation de Lanczos . . . 110

5.4.2 M´ethode de Lanczos non sym´etrique . . . 111

5.4.3 M´ethode du Gradient Biconjugu´e (Bi-CG) . . . 112

5.4.4 M´ethode du r´esidu quasi minimal (QMR) . . . 114

Conclusion G´en´erale et perspectives 119

Bibliographie 122

(11)

1.1 Processus de Gram-Schmidt Modifi´e . . . 20

1.2 Processus d’Arnoldi Modifi´e . . . 23

1.3 Processus d’Arnoldi par blocs . . . 24

2.1 Processus de biorthogonalisation de Lanczos . . . 32

2.2 Processus de Lanczos sym´etrique . . . 34

2.3 M´ethode de Lanczos non sym´etrique . . . 36

2.4 Nouvelle variante de la m´ethode de Lanczos non sym´etrique . . . 43

2.5 Nouvelle variante de la m´ethode de Lanczos sym´etrique . . . 45

3.1 Processus de Lanczos non sym´etrique par blocs . . . 52

3.2 M´ethode de Lanczos non sym´etrique par blocs . . . 62

3.3 Processus de Lanczos sym´etrique par blocs . . . 63

3.4 M´ethode de Lanczos sym´etrique par blocs . . . 65

3.5 Deriv´e du Processus de Lanczos sym´etrique par blocs . . . 66

3.6 Bl-SLMNE . . . 67

4.1 Approximation du syst`eme SISO et SIMO, cas non sym´etrique . . . 86

4.2 Approximation du syst`eme SISO et SIMO, cas sym´etrique . . . 86

4.3 Approximation du syst`eme MIMO et MISO, cas non sym´etrique . . . . 96

4.4 Approximation du syst`eme MIMO et MISO, cas sym´etrique . . . 97

5.1 RIA . . . 104

5.2 Bi-RIA . . . 107

5.3 Algorithme modifié du procédé de biorthogonalisation de Lanczos . . . 111 10

(12)

(13)

Un des problèmes majeurs rencontrés en analyse numérique est la capacité de ré-soudre un système d’équations linéaires de grande taille issu de la modélisation des problèmes rencontrés en physique, en mécanique, en chimie, en économie ou d’une fa-¸con générale les projets provenants de l’ingénierie. Il est connu que la discrétisation ou la linéarisation des équations non linéaires produit des systèmes d’équations linéaires de taille finie liée au nombre de points de discrétisation. La résolution d’un tel sys-tème lorsque sa taille est très grande est assez coûteuse en coût de temps, de calculs et en espace mémoire. La recherche actuelle en matière de résolution de systèmes li-néaires consiste à réduire le nombre d’itérations, de calculs et du temps d’exécution des programmes. De nombreuses méthodes existent dans la littérature et le choix d’une d’entre elles se fait selon la structure de la matrice (pleine, creuse, symétrique, définie positive,...)

En réalité, les méthodes de résolution s’articulent autour de deux axes : Le premier occupe les méthodes directes, qui consistent à factoriser la matrice A en un produit de matrices faciles à inverser. En fait, les grands systèmes d’équations sont souvent creux, dans une telle situation une méthode directe effectue un grand nombre d’opérations redondantes. Les deux factorisations LU avec pivotage et QR de la matrice A sont les plus utilisées en raison de leur stabilité numérique [35, 50]. Le deuxième axe concerne Les méthodes itératives, qui consistent à construire une suite de solutions approxima-tives convergeantes vers la solution exacte, toute en partant d’une solution arbitraire

(14)

supposée comme solution aprochée de départ. Contrairement aux méthodes directes, ces méthodes procèdent simplement à des produits matrice-vecteur et il devient alors facile de programmer ce produit de sorte à éviter des opérations redondantes impliquant des éléments nuls de la matrice.

Rappelons que Les premières méthodes itératives classiques et basiques utilisées pour résoudre des systèmes linéaires de grande taille reposent sur la relaxation des coordon-nées telles que les methodes Jacobi [50, 61], Gauss-Seidel [50, 61] et SOR [50, 61]. Ces méthodes sont rarement utilisées à cause de leur convergence, qui est en général lente est n’est pas toujours assurée surtout pour les systèmes de grande taille. Néamoins, elles servent à accélérer la convergence d’une classe importante de méthodes itératives, appelées méthodes polynomiales. Pour une description détaillée de ces méthodes, on pourra consulter [5, 10, 40, 50].

Actuellement, les méthodes itératives les plus connues et utilisées sont celles de type Krylov, se sont des méthodes de pojection et elles consistent à chercher une approxima-tion de la soluapproxima-tion dans un sous espace de Krylov. Elles sont réparties selon la condiapproxima-tion d’orthogonalité utilisée en deux classes . La première est celle des méthodes RO (Rési-dus Orthogonaux) obtenue en imposant la condition de Petrov Galerkin. Elle contient la méthode d’arnoldi [29, 50] la méthode de Lanzos symétrique [29, 50] et non symé-trique [20, 50, 51], la méthode BiCG [24, 50], la méthode CGS [50, 56] et la méthode de Bi-CGStab [50, 59] . La seconde classe est obtenue en utilisant une condition de mi-nimisation et est notée RM (Résidus Minimaux). Cette dérnière contient la méthode GMRES (Generalized Minimal Residual) [49, 50], la méthode QMR (Quasi Minimal Residual) [28, 50].

Dernièrement des généralisations des méthodes classiques de type Krylov ont été proposées et développées pour résoudre les systèmes d’équations linéaires avec plu-sieurs secondes membres. La première classe de ces méthodes contient les solveurs par blocs comme la méthode de Lanczos par blocs [4, 16], la méthode BL-BCG (Block

(15)

Bi-Conjugate Gradient method) [44, 36], la méthode BL-CG (Block-Bi-Conjugate Gradient Methods) [36, 50], la méthode BL-GMRES (Block Generalized minim) [47], la méthode BL-QMR [26] (Block Quasi Minimal residual methode), et la méthode BL-BiCGStab (Block Bi-Conjugate Gradient method Stabilized) [16] . La seconde classe contient la méthode globale de FOM [18], la méthode globale de GMRES [18], la méthode globale de BiCG [62], la méthode globale de CGS [62] et la méthode globale de BiCGStab [62]. Une troisième classe de ces méthodes consiste à résoudre un système particulier appelé ”single-seed” et projeter les résidus des autres systèmes sur le sous-espace de Krylov obtenu. Le processus est répété jusqu’à la convergence [55]. Notons que l’idée des deux premières classes consiste à projeter le résidu de la matrice initiale sur un sous-espace matrice de Krylov.

L’objectif principal de ce travail est la résolution numérique des systèmes linéaires de grande taille par les méthodes itératives de type Lanczos.

Le chapitre I sera consacré aux rappels de plusieurs définitions, théorèmes et résul-tats nécessaires qui seront utilisés tout au long de cette thèse.

Trois parties s’en suivent, la première concerne la proposition de nouvelles variantes des méthodes de type Lanczos dans le cas standard et dans le cas par blocs, la deuxième partie concerne l’application de ces méthodes pour l’approximation de la fonction de transfert et la troisième partie présente un formalisme qui généralise et regroupe les méthodes itératives de type Lanczos.

Partie I : Elle contient deux chapitres.

Au chapitre 2, après avoir décrit les processus de Lanczos symétrique et non métrique, nous présentons une nouvelle implémentation des méthodes de Lanczos sy-métrique et non sysy-métrique. En particulier, nous proposons deux nouvelles variantes des méthodes de Lanczos symétriques et non symétriques et leurs propriétés. Nous pré-sentons les algorithmes récursifs de ces méthodes. Nous terminons ce chapitre par une

(16)

comparaison numérique de ces deux méthodes avec d’autres méthodes de type Krylov. Le chapitre 3 est consacré à l’étude des méthodes de Lanczos par blocs, nous don-nons les processus de Lanczos par blocs symétriques et non symétriques qui permettent de construire des sous espaces de Krylov par blocs. Nous développons trois méthodes itératives de type Lanczos par blocs, la première consiste à résoudre plusieurs sys-tèmes linéaires avec une même matrice non symétrique et différents seconds membres, la deuxième méthode consiste aussi à résoudre plusieurs systèmes linéaires avec une même matrice symétrique et différents seconds membres. Nous développons une va-riante du procéssus de Lanczos par blocs symétrique et par suite une nouvelle méthode par blocs. Nous términons ce chapitre en comparant l’éfficacité numérique de ces mé-thodes par la méthode par blocs de BiCGstab (Bl-BiCGstab) et la méthode par blocs de BiCG (Bl-BICG).

Partie II : Cette partie est compos´ee d’un seul chapitre

Dans le chapitre 4, nous verrons comment appliquer les méthodes de type Kry-lov pour calculer la fonction de transfert de l’équation d’état. Nous allons développer deux algorithmes pour le système SISO Input Single-Output) et SIMO (Single-Input Multiple-Output). Le premier algorithme sert à approcher la fonction de transfert dans le cas non symétrique, tandis que le second algorithme est utilisé dans le cas sy-métrique. Nous proposons ainsi deux autres algorithmes par blocs pour les systèmes MISO (Multi-Input Single-Output) et MIMO (Multiple-Input Multiple-Output), dans le cas symétrique et non symétrque.

Partie III : Elle contient un chapitre.

Finalement, dans le chapitre 5, après avoir décrit le formalisme RIA (Recursive Interpolation Algorithm) qui regroupe les méthodes itératives de type Arnoldi, nous proposons un formalisme Bi-RIA (Birecursif Interpolation Algorithm) qui regroupe les méthodes itératives de type Lanczos. Nous présentons la formulation du Bi-RIA et

(17)

nous donnons l’algorithme associé et quelques unes de ses propriétés. De plus, nous introduisons de nouveaux résultats concernant les méthodes de type Lanczos. Enfin, Nous montrons comment choisir les paramètres pour regrouper quelques méthodes itératives de type Lanczos.

(18)

Pr´

eliminaires

1.1 Introduction

Le but de ce chapitre est de faire un rappel à un certain nombre de définitions et de résultats de l’algèbre linéaire qui seront utiles pour la suite de ce travail. Nous com-men¸cons par rappeler quelques défintions et résultats fondamentaux et nous donnons l’algorithme de Gram Schmidt [50]. Ensuite, nous présentons quelques propriétés sur les méthodes de type Krylov [50], nous rappelons les défintions des sous espaces de Kry-lov dans le cas standard et dans le cas par blocs et nous présentons aussi l’algorithme d’Arnoldi dans le cas standard et dans le cas par blocs [50]. Enfin nous terminons ce chapitre en donnant quelques définitions et propriétés des compléments de Schur.

(19)

1.2 Notations et d´

efinitions

On note un vecteur colonne de IRn par

v =         v1 v2 ... vn         et un vecteur ligne de IRn par

v = (v1, v2, . . . , vn)

Pour deux vecteurs réels u et v de IRn, le produit scalaire euclidien de u et v est noté par (u, v) et défini par :

(u, v) = vTu =

n

X

i=1

uivi,

La norme Euclidienne associée à ce produit est définie par : kvk = (v, v)12

Une matrice r´eelle A de taille n × m est un tableau de nombres r´eels aij, i = 1 . . . n,

j = 1, . . . , m A = (aij) 1≤ i ≤ n 1≤ j ≤ m =            a11 a12 . . . a1m a21 a22 . . . a2m ... ... ... ... ... . .. ... ... an1 . . . anm           

L’ensemble de toutes les matrices de type n × m est un espace vectoriel r´eel not´e par IRn×m.

(20)

Parfois, on utilise la notation de la matrice A des vecteurs colonnes comme suit : A = [a∗1, a∗2, . . . , a∗n],

où a∗j est le vecteur colonne constitué de la jième colonne de la matrice A

a∗j =         a1j a2j ... anj         ,

de mˆeme, on utilise la notation de la matrice A des vecteurs lignes comme suit :

A =         a1∗ a2∗ ... an∗         ,

où ai∗ désigne la iième ligne de la matrice A

ai∗ = (ai1, ai2, . . . , ain).

Définition 1.1 Soit A une matrice de IKn×m ( IK = IR ou C ). La matrice A est dite : – symmétriques si AT _{= A,} – hermitiennes si AH _{= A et IK = C,} – antisymétriques si AT _{= −A,} – antihermitienne si AH _{= −A,} – normale si AH_{A = AA}H_, – unitaire si AH_{A = I,} – diagonale si aij = 0 pour j 6= i,

– triangulaire sup´erieure si : aij = 0 pour i > j,

(21)

– tridiagonale : aij = 0 pour chaque couple i, j tel que |i − j| > 1,

– Hessenberg sup´erieure : si aij = 0 pour tout couple i, j tel que i > j + 1.

Les matrices de Hessenberg inférieures peuvent être définies de la même manière, – diagonale par blocs : généralise la matrice diagonale en rempla¸cant chaque élément

sur la diagonale par une matrice,

– tridiagonale par blocs : généralise la matrice tridiagonale en rempla¸cant chaque élément non nul par une matrice carrée.

Maintenant, on établit un procédé d’orthonormalisation de Gram-Schmidt [50], qui nous permet de construire, à partir d’une famille libre finie, une base orthonormée du sous espace qu’elle engendre. Le procédé de Gram-Schmidt peut être utilisé dans la décomposition QR d’une matrice. Il est uitilisé dans l’algorithme d’Arnoldi pour construire les bases des sous espaces de Krylov. Il existe plusieurs formulations de l’Al-gorithme de Gram Schmidt qui ont de meilleures propriétés numériques. Le plus connu et le plus utilisé d’entre eux est l’algorithme de Gram Schmidt modifié (MGS) [50]. Ce choix est fondé sur la performance en temps de calcul et sur une précision acceptable [50]. Soient x1, x2, . . . , xrdes vecteurs linéairement indépendants, le processus de Gram

Schmidt modifi´e est donn´e comme suit :

Algorithme 1.1 Processus de Gram-Schmidt Modifi´e

1. D´efinir r11:= kx1k2. Si r11 = 0 arrˆeter, sinon q1:= x1/r11.

2. Pour j = 2, . . . , r faire : 3. D´efinir ˆq := xj 4. Pour i = 1, . . . j − 1 faire 5. rij := (ˆq, qi) 6. q := ˆˆ q − rijqi 7. Fin 8. Calculer rjj:= kˆqk2,

9. Si rjj = 0 alors arrˆeter, sinon qj := ˆq/rjj

(22)

1.3 Les m´

ethodes de type Krylov

On considère le système linéaire suivant :

Ax = b (1.1),

où A ∈ IRn×n est une matrice inversible et b ∈ IRn est le vecteur second membre. Les méthodes itératives de type Krylov consistent à projeter le système linéaire (1.1) sur un sous espace Km de dimension m inférieur à la dimension n du système,

or-thogonalement à un second sous espace de Lm également de dimension m et appelé

sous espace des constraintes. La dimension de ces deux sous espaces augmente selon le nombre d’itération. On trouve deux classes de ces méthodes, la première est obtenue par imposition de la condition de Petrov-Galerkin désignée par des méthodes RO (Ré-sidus Orthogonaux). La seconde classe est celle des méthodes RM (Ré(Ré-sidus Minimaux) est obtenue par imposition d’une condition de minimisation.

Dans tout ce qui suit, on note x0 le vecteur de départ, r0 = b − Ax0 le résidu associé

à x0, xm l’approximation de la solution à l’itértion m, rm= b − Axm le résidu associé

`a xm et em= x − xm l’erreur de sorte que rm= Aem.

D´

efinitions et Propri´

et´

es

Définition 1.2 On appelle sous espace de Krylov d’ordre m associé à la matrice A et au vecteur r0 noté Km(A, r0), le sous-espace vectoriel de IRn engendré par r0,

Ar0, A2r0, · · · , Am−1r0 :

Km(A, r0) = vect{r0, Ar0, · · · , Am−1r0}

Définition 1.3 On appelle polynôme minimale de A pour r0 le polynôme p(t) de

(23)

Le polynôme minimal de A pour r0 existe toujours et a un degré inférieur ou égale à

n, ceci est une conséquence du théorème de Cayley Hamilton [50].

Proposition 1.1 Soit µ le degr´e du polynˆome minimale de A pour r0 (i.e.pµ(A)r0 =

0). Kµ(A, r0) est invariant par A et Km(A, r0) = Kµ(A, r0) pour tout m ≥ µ.

Les approximations de la solution du système linéaire Ax = b obtenues à partir d’une méthode de sous-espace de Krylov sont de la forme

A−1b ≈ xm= x0 + qm−1(A)r0,

où r0 = b − Ax0, qm−1 est un polynôme de degré m − 1. Dans le cas le plus simple on

prend x0= 0, et par suite

A−1b ≈ qm−1(A)b.

En d’autres termes, A−1_{b est approch´ee par q}

m−1(A)b.

Processus d’Arnoldi

Le processus d’Arnoldi consiste `a construire une base orthonorm´ee du sous espace de Krylov Km(A, r0) et une matrice de Hessenberg ˜Hm+1,m = (hij)1≤i≤m+1,1≤j≤m de

taille (m + 1) × m. Il permet de réduire une matrice dense A sous forme d’une matrice de Hessenberg avec une transformation unitaire. Différentes versions de ce processus existent, citons l’algorithme Gram-Schmidt standard, l’algorithme d’Arnoldi-Gram-Schmidt modifié et l’algorithme d’Arnoldi-Householder qui est très stable numé-riquement mais couteux par rapport aux processus précédents. Dans la pratique, l’uti-lisation de l’algorithme de Gram-Schmidt modifié ou de l’algorithme de Householder est préférable que l’algorithme de Gram- Schmidt standard [50]. Nous présentons une illustration de la version d’Arnoldi modifié [50]. Souvent, nous prenons le vecteur v1

(24)

Algorithme 1.2 Processus d’Arnoldi Modifi´e 1. Choisir un vecteur v1 de norme 1.

2. Pour j = 1, 2, . . . , m faire : 3. Calculer wj := Avj 4. Pour i = 1, 2, . . . , j faire : 5. hij := (wj, vi), 6. wj = wj− hijvi. 7. Fin i 8. hj+1,j = kwjk2. Si hj+1,j = 0 arrˆeter 9. vj+1 = wj/hj+1,j. 10. Fin j

Lorsque hj+1,j = 0, alors le sous espace de Krylov engendr´e par A et r0 devient

invariant à la jème _{itération, c’est à dire :}

AKj(A, r0) = Kj(A, r0).

De plus, ces espaces v´erifient la chaˆıne d’inclusions

K1 = vect{r0} ⊂ K2 ⊂ . . . ⊂ Km⊂ Km+1⊂ IRn.

Supposons que l’algorithme d’Arnoldi ne s’arrête pas avant l’étape m. Alors, les vecteurs v1, v2, . . . , vm forment une base orthonormée de l’espace de Krylov Km(A, r0).

Proposition 1.2 Notons par Vmla matrie de taille n×m avec les vecteurs colonnes

v1, . . . , vm, et notons par ˜Hm la matrice de Hessenberg de taille (m + 1) × m dont les

éléments non nuls hij sont définis par l’algorithme 1.2 et par Hm la matrice obtenue à

(25)

suivantes :

AVm = VmHm+ hm+1,mvm+1eTm,

= Vm+1H˜m,

VT

mAVm = Hm.

Processus d’Arnoldi par blocs

D´efinition 1.4 On appelle sous espacce de Krylov par blocs Km(A, V ) le sous espace

engendré par les matrices {V, AV, . . . , Am−1_{V }, dont chaque élément Z ∈ K}

m(A, V )

s’´ecrit sous la forme suivante : Z =

m−1

X

i=0

AiV Ωi, avec Ωi∈ IRs×s, pour i = 0, . . . , m − 1.

Le processus d’Arnoldi par blocs [50, 52] consiste `a construire une base orthonormale {V1, V2, . . . , Vm} du sous espace de Krylov par blocs. Km(A, V )

Algorithme 1.3 Processus d’Arnoldi par blocs

1. Calculer la d´ecomposition QR de V = Q0R0 et poser V1 = Q0.

2. Pour j = 1, . . . , m 3. V = AV˜ j, 4. Pour i = 1, . . . , j 5. Hi,j = ViTV ,˜ 6. V = ˜˜ V − ViHij. 7. Fin i 8. Calculer la d´ecomposition QR de ˜V = QjRj, 9. Hj+1,j = Rj, 10. Vj+1 = Qj. 11. Fin j

Proposition 1.3 Posons Vm la matrice de type n × ms d´efinie par Vm =

(26)

dont les entr´ees non nulles sont les matrices Hi,j calcul´ees par le processus

d’Ar-noldi par blocs, Hm la matrice de type ms × ms obtenue `a partir de ˜Hm en

´elimi-nant les s derni`eres lignes et ET

m est la matrice des s deni`eres colonnes de Ims, i.e,

ET

m = [0s, . . . , 0s, Is] ∈ Rs×ms , alors nous avons les relations suivantes [52]

AVm = VmHm+ Vm+1Hm+1,mEmT,

= Vm+1H˜m,

VT

mAVm = Hm.

1.4 Compl´

ements de Schur

Les compléments de Schur [8, 11, 12] sont des outils de base de plusieurs domaines qui utilisent l’analyse matricièlle. Ils ont nombreuses applications en statistiques, analyse numérique, algèbre linéaire et plus précisément en théorie des matrices. Nous les utili-serons pour construire les algorithmes de type Lanczos, ils nous permettent de calculer l’itération courante à partir de l’itération précédente.

D´

efinions et Propri´

et´

es

D´efinition 1.5 Soit M une matrice partionn´ee en quatre blocs M =   A B C D  . (1.2)

D est matrice supposée carrée et inversible. Le complément de Schur de D dans M , noté par (M/D), est défini par

(M/D) = A − BD−1C. (1.3) Remarquons que l’on peut d´efinir aussi les compl´ements de Schur de A, de B et de C dans M lorsqu’ils existent, comme suit :

(27)

(M/B) = C − DB−1A, (1.5) (M/C) = B − AC−1D. (1.6) La relation entre les détérminants et les compléments de schur est donnée par la propriété suivante. [8]

Proposition 1.4 Si le complément de Schur (1.3) est bien défini et si M est une matrice carrée, alors on a

|(M/D)| = |M |

|D|, (1.7)

où |.| désigne le déterminant.

Les propriétés des compléments de Schur suivantes sont faciles à vérifier. Proposition 1.5 Si D est une matrice inversible, alors on a

    A B C D  /D   =     D C B A  /D  , =     C D A B  /D  , =     B A D C  /D  . (1.8)

(28)

ma-trice tel que le produit EA soit bien d´efini, alors on a E     A B C D  /D  =     EA EB C D  /D  . (1.9)

Identit´

e Matricielle de Sylvester

1.3 Identité Matricielle de Sylvester. Soit M la matrice définie par(1.2) et K la matrice partionnée en neuf blocs

K =      E F G H A B L C D      (1.10)

Si les matrices A et M sont inversibles, alors on a la proposition suivante.

Proposition 1.7 (Identit´e Matricielle de Sylvester)[8] (K/M ) = ((K/A)/(M/A)) =     E F H A  /A  −     F G A B  /A  (M/A)−1     H A L C  /A   (1.11)

D´efinition 1.6 Soit Tm une matrice carr´ee de taille m × m .

• On dit que Tm est une matrice fortement inversible si

|Tk| 6= 0 pour k = 1, . . . , m.

• On dit que Tm est une matrice fortement inversible par blocs si

(29)

R´

esolution des syst`

emes lin´

eaires

par les m´

ethodes de type Lanczos

(30)

M´

ethodes de Lanczos

2.1 Introduction

Les méthodes de Lanczos sont des méthodes itératives de projection de type Krylov qui permettent de résoudre un système linéaire creux de grande taille. Elles n’accèdent pas aux éléments de la matrice directement, mais effectuent un produit matrice vec-teur. En 1950 et 1952 Lanczos [33, 34] a proposé respectivement deux processus pour réduire une matrice A en une matrice tridiagonale T semblable à A et de construire les bases des sous-espaces de Krylov souhaitées. Cependant, si la matrice A est symétrique le processus de Lanczos peut se déduire du processus d’Arnoldi. Une version équiva-lente à cet algorithme a été introduite par M. Hestnes E. steifel [29] est la méthode du gradient Conjugué (CG). Dans le cas non symétrique de la matrice A, Lanczos a proposé un processus de biorthogonalisation, qui est distinct dans son principe à celui de l’algorithme d’Arnoldi. Une variante de cette méthode a été proposée par Fletcher [24] est la méthode bi-conjugate gradient (Bi-CG). L’intérêt principale des processus de Lanczos est qu’ils permettent de conserver une récurrence courte (à trois termes) pour la construction des bases des sous espaces de Krylov.

(31)

En raison de leurs propriétés numériques efficaces, les processus de Lanczos sont maintenant introduits dans de nombreux algorithmes et utilisés dans plusieurs do-maines, ils peuvent être également utilisés pour résoudre un système d’équations li-néaires, ils aboutissent à des méthodes itératives qui donnent la solution exacte en un nombre fini d’itérations inférieur ou égal à la dimension du système. La mise en œuvre de ces méthodes est éffectuée par différents algorithmes. Pour celà considérons le système d’équations linéaire suivant :

Ax = b, (2.1)

où A est une matrice réelle inversible d’ordre n et b est un vecteur donné de IRn.

L’obectif principal de ce chapitre est de présenter une nouvelle approche pour la mise en œuvre des méthodes de Lanczos symétrique et non symétrique. Nous présen-tons deux nouvelles variantes. La première consiste à résoudre le système linéaire (2.1) récursivement dans le cas où la matrice A est quelconque, tandis que la seconde mé-thode nous permet ainsi de résoudre le même système linéaire dans le cas particulier où la matrice A est symétrique. Après avoir décrit les processus de Lanczos symétrique et non symétrique, nous élaborons quelques nouveaux résultats théoriques associés à l’implementation de ces méthodes, puis nous présentons les nouveaux algorithmes as-sociés à ces méthodes. Nous terminons ce chapitre par une comparaison numérique de ces deux méthodes avec les méthodes de GMRES [49], BiCG [24] et BiCGstab [59].

2.2 Proc´

essus de Lanczos

Les processus de Lanczos consistent à effectuer une projection orthogonale d’une matrice A, de très grande taille sur un sous espaces de Krylov. Nous présentons deux types de procéssus de Lanczos. Le premier est utilisé lorsque la matrice A est non

(32)

symétrique, il consiste à construire simultanément une base {v1, . . . , vm} de Km(A, v1)

et une base {w1, . . . , wm} de Km(AT, w1). Ces deux bases sont construites de telle

fa¸con qu’elles soient biorthonormales. Le second processus de Lanczos peut être vu comme une simplification du procéssus d’Arnoldi pour le cas particulier où la matrice est symétrique, il consiste à construire une base orthonormale {v1, . . . , vm} du sous

espace de Krylov Km(A, v1).

2.2.1 Proc´

essus de Lanczos non sym´

etrique

Le procéssus de Lanczos non symétrique est une extension du procéssus de Lanczos symétrique. Cependant, il est très différent dans le concept de l’algorithme d’Arnoldi, car il repose sur des suites biorthogonaux au lieu des suites orthogonaux. L’algorithme proposé par Lanczos [33, 34] pour les matrices non symétriques consiste à transformer une matrice A ∈ IRn×n en une matrice tridiagonale semlable, et permet de construire une paire de bases biorthonormales {v1, v2, . . . , vm} et {w1, w2, . . . , wm} pour les deux

sous espaces de Krylov suivants :

Km(A, v1) = vect{v1, Av1, . . . , Am−1v1}, (2.2)

et

Km(AT, w1) = vect{w1, ATv1, . . . , (AT)m−1v1}. (2.3)

Le processus de Lanczos non symétrique génère les vecteurs de bases souhaités vi

et wi, connus comme les vecteurs de Lanczos. On commence les it´erations par deux

vecteurs de d´epart v1 et w1, tels que (v1, w1) = 1. En outre, ces vecteurs de Lanczos

sont construits de fa¸con qu’ils soient biorthonormales, c’est `a dire : (vi, wj) =    1 si i = j, 0 si i 6= j. pour i = 1, . . . , m et j = 1, . . . , m.

(33)

r´ecurrences `a trois termes suivantes

δi+1vi+1= Avi− αivi− βivi−1

βi+1wi+1 = ATwi− αiwi− δiwi−1

L’algorithme de biorthogonalisation de Lanczos [34, 50] est donn´e comme suit : Algorithme 2.1 Processus de biorthogonalisation de Lanczos

1. Choisir deux vecteurs v1 et w1 tel que (v1,w1)=1,

2. Poser β1=δ1=0, w0 ≡ v0 ≡ 0, 3. Pour j = 1, 2, · · · , m faire 4. αj = (Avj, wj), 5. v˜j+1 = Avj − αjvj− βjvj−1, 6. w˜j+1 = ATwj− αjwj− δjwj−1, 7. δj+1 = |(˜vj+1, ˜wj+1)| 1 2, si δ j+1 = 0 arrˆeter 8. βj+1 = (˜vj+1_δ_j+1, ˜wj+1), 9. wj+1 = w_β˜_j+1j+1, 10. vj+1 = ˜v_δ_j+1j+1, 4. Fin j.

Les vecteurs de Lanczos peuvent être générés par trois termes de récurrences. Ces récurrences peuvent être indiqués de manière compacte sous forme de matrice comme suit :

AVm = VmTm+ δm+1vm+1eTm, (2.4)

ATWm = WmTmT + βm+1wm+1eTm, (2.5)

W_mTAVm= Tm et WmTVm = Im, (2.6)

avec Im est la matrice d’identit´e, Vm, Wm et Tm sont des matrices donn´ees par :

(34)

Wm= [w1, w2, . . . , wm], et Tm =         α1 β2 δ2 α2 . .. . .. ... βm δm αm         . (2.7)

2.2.2 Proc´

essus de Lanczos sym´

etrique

Le processus de Lanczos symétrique peut être considéré comme une variante de l’algorithme d’Arnoldi pour le cas particulier où la matrice A est symétrique. En effet, Lorsque la matrice A est symétrique, alors la matrice VT

mAVm = Hm construit par

l’algorithme d’Arnoldi est une matrice symétrique et de Hessenberg. Par conséquent Hm devient tridiagonale et symétrique (qui sera notée par Tm) avec pour diagonale les

αj ,1 ≤ j ≤ m et pour les sur et sous diagonale les βj, 1 ≤ j ≤ m.

Tm = Hm=         α1 β2 β2 α2 . .. . .. ... βm βm αm         , (2.8)

Le processus de Lanczos sym´etrique consiste `a construire une suite de vecteurs vj par

une formule de récurrence à trois termes. En effet, il suffit de disposer seulement des vecteurs vj−1 et vj pour pouvoir calculer les vj+1 et le coût de calcul est indépendant

du numéro de l’itération. Ceci explique pourquoi une relation seulement tri-récursive est effectuée dans le cas symétrique. On a alors les propriétès suivantes :

AVm = VmTm+ βm+1vm+1eTm, (2.9)

(35)

Le Processus de Lanczos symétrique [33, 50] qui nous permet d’avoir ces propriétès est décrit comme suit :

Algorithme 2.2 Processus de Lanczos sym´etrique 1. Choisir un vecteur initial v1 tel que kv1k=1,

2. Poser β1=0, v0 ≡ 0, 3. Pour j = 1, 2, · · · , m faire 4. wj = Avj− βjvj−1, 5. αj = (wj, vj), 6. wj = wj− αjvj, 7. βj+1 = kwjk₂. si βj+1 = 0 arrˆeter. 8. vj+1 = _βw_j+1j , 9. Fin j.

Remarque 2.1 Ces algorithmes risquent d’échouer et de s’arrêter sans converger, une division par zéro peut se produire. Dans ce cas, une division par zéro (appellée breakdown) peut se produire. En réalité, l’orthogonalité ou la biorthogonalité exacte de ces vecteurs n’est observée qu’au début des processus, à un certain point les vecteurs commencent à perdre rapidement leur orthogonalité global. Pour éviter ces situations plusieurs stratégies ont été proposées et étudiées et de nombreuses recherches ont été consacrées à trouver des moyens pour récupérer soit l’orthogonalité soit la biorthogona-lité, ou au moins diminuer ses effets par l’orthogonalisation partielle ou sélective, voir [45, 50]. Ici pour simplifier nous allons utiliser les processus classiques de Lanczos.

2.3 M´

ethodes de Lanczos

Les méthodes de Lanczos peuvent être utilisées pour résoudre un système linéaire en effectuant une projection sur un sous-espace de Krylov Km, orthogonalement à un

(36)

xm = x0+ zm du système (2.1), où x0 est un vecteur de départ et zm est un vecteur de

l’espace Km.

2.3.1 M´

ethode de Lanczos non sym´

etrique

Nous présentons une brève description de la méthode de Lanczos non symétriques pour la résolution d’un système linéaire donné par la relation (2, 1). Soit x0 un vecteur

initial supposé comme solution de départ et soit r0 = b − Ax0 le vecteur résidu associé

à x0. Nous posons v1 = r0/β et β = kr0k2. La méthode de Lanczos consiste à construire

une suite de vecteurs xm d´efinis par les deux conditions suivantes :

1. xm− x0∈ Km(A, v1),

2. rm = b − Axm⊥Km(AT, w1).

o`u Km(A, v1) et Km(AT, w1) sont des sous espaces de Krylov et w1 est un vecteur

quelconque tel que (v1, w1) = 1. Nous notons par Vm et Wm les bases de Km(A, v1) et

Km(AT, w1) respectivement. Tmest une matrice tridagonale donn´ee par Tm= WmTAVm.

La condition 1, nous permet d’exprimer la solution approximative sous la forme suivante :

xm= x0+ Vmym. (2.11)

Le résidu rm associé à xm peut être exprimé sous la forme suivante

rm = b − Axm

= b − A(x0+ Vmym)

= (b − Ax0) − AVmym

= r0− AVmym (2.12)

Le problème d’orthogonalité donné par la condition 2 peut être exprimé par : W_mTrm = WmTr0− WmTAVmym= 0,

(37)

comme Tm = WmTAVm nous obtenons ym comme suit :

ym= Tm−1WmTr0,

nous avons alors WT

mr0= βe1 o`u e1 d´esigne le premier vecteur unitaire dans IRn, donc

ym = Tm−1βe1, (2.13)

et par suite :

xm = x0+ VmTm−1βe1. (2.14)

L’algorithme de Lanczos pour résoudre le système linéaire non symétrique est décrit comme suit.

Algorithme 2.3 M´ethode de Lanczos non sym´etrique 1. Calculer r0 = b − Ax0 et β = kr0k2,

2. Exécutez m étapes de l’algorithme de Lanczos non symétrique, i.e., 3. Commencer par v1= r0/β et tout vecteur w1 tel que (v1, w1) = 1,

4. G´en´erer les vecteurs de Lanczos v1, . . . , vm, w1, . . . , wm,

5. et la matrice tridiagonale Tm par l’algorithme 2.1,

6. Calculer ym= Tm−1(βe1) et xm = x0+ Vmym.

Nous donnons ici une description d’une nouvelle variante de la méthode de Lanczos non nsymétrique. Ce nouvel algorithme consiste à construire par récurrence une suite de vecteurs xm dans l’espace x0+ Km(A, v1). L’idée est de faire un changement de base de

{v1, v2, . . . , vm} `a {g1, g2, . . . , gm} de sous espace de Krylov Km(A, v1), puis trouver une

relation de r´ecurrence entre les vecteurs xm, enfin mettre en œuvre le nouvel algorithme

de la m´ethode de Lanczos non sym´etrique.

Lemme 2.1 Si la matrice Tm donn´ee par la relation 2.7 est fortement inversible

(38)

1. |Tm| = η1η2. . . ηm, (2.15)

avec |.| est le déterminant, où ηm peut être calculé récursivement comme suit :

η1 = α1, pour j = 2, . . . , m ηj = αj−_η_j−1δj βj, (2.16) f in j. 2. (Tm/Tm−1)−1= _η1_m (2.17) Preuve

1) Nous calculons le d´eterminant de de la matrice tridiagonale Tm en utilisant la

factorisation LU de Tm. Nous exploitons la structure tridiagonale particuli`ere de Tm

(Tm = LmUm), la matrice Lm est bidiagonale inférieure d’éléments 1 sur la diagonale,

et Um est une matrice bidiagonale sup´erieure. Ainsi, la matrice Tm a une factorisation

de la forme Tm = LmUm=         α1 β2 δ2 . .. ... . .. ... βm δm αm         =         1 µ2 . .. . .. ... µm 1                 η1 β2 . .. ... . .. βm ηm         ,

alors nous avons pour i = 1, . . . , m − 1, δi+1 = µi+1ηi,

(39)

et par suite, nous obtenons

ηi+1= αi+1−

βi+1δi+1

ηi

, pour i = 1, . . . , m − 1, avec η1 = α1.

Alors ηm peut ˆetre calcul´e comme suit :

η1 = α1,

pour j = 2, . . . , m ηj = αj−_η_j−1δj βj,

f in j

d’o`u le r´esultat.

2) La proposition 1.2 du chapitre précédent nous permet d’écrire :

(Tm/Tm−1)−1 =

|Tm−1|

|Tm|

Ce qui donne le r´esultat souhait´e.

Le vecteur xm donn´e par la relation (2.14) est un compl´ement de Schur, et par

cons´equent nous obtenons un premier r´esultat important suivant :

Théorème 2.1 Soit xm la solution approchée de x donnée par la relation (2.14).

Si Tm est une matrice fortement inversible, alors le vecteur xm est un compl´ement de

Schur et on peut le calculer comme suit :

(40)

avec gm est le vecteur auxiliaire donn´e par : gm=                             vm v1 . . . vm−1 0 α1 β2 0 . . . 0 0 δ2 . .. ... ... ... ... ... ... ... ... 0 0 . . . 0 . .. ... βm−1 βm 0 . . . 0 δm−1 αm−1               /Tm−1               . (2.19)

Preuve Nous observons que le vecteur xm donn´e par la relation (2.14) est un

complé-ment de Schur, il peut être exprimé comme un rapport de deux facteurs de détermi-nants : xm = −                             −x0 v1 . . . vm β α1 β2 0 . . . 0 0 δ2 . .. ... ... ... ... . .. ... ... ... 0 ... . .. ... ... βm 0 . . . 0 δm αm               /Tm               . (2.20)

En utilisant l’identité de Sylvester énoncée précédement, l’approximation xm peut être

calculée de fa¸con récursive de la manière suivante :

xm= xm−1+ (Em/Tm−1) × (Tm/Tm−1)−1× (Fm/Tm−1) , (2.21)

o`u Em et Fm sont deux matrices donn´ees par :

Em=               v1 . . . vm−1 vm α1 β2 0 . . . 0 δ2 . .. ... ... ... 0 . .. ... ... . .. ... ... ... ... ... βm−1 0 0 . . . 0 δm−1 αm−1 βm               ,

(41)

Fm=               β α1 β2 0 . . . 0 0 δ2 . .. ... ... ... ... ... ... ... ... 0 ... . .. ... ... βm−1 ... . .. ... αm−1 0 . . . 0 δm               .

En utilisant la proposition 1.3 du chapitre pr´ec´edent nous obtenons : (Em/Tm−1) = gm.

`

A l’aide de la mˆeme proposition 1.3 nous pouvons ´ecrire :

(Fm/Tm−1) =                             0 . . . 0 δm β α1 β2 0 . . . 0 0 δ2 . .. ... ... ... ... ... ... ... ... 0 ... . .. ... ... βm−1 0 . . . 0 δm−1 αm−1               /Tm−1               = (−1)m+1_δ m ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ β α1 β2 0 . . . 0 0 δ2 . .. ... ... ... ... ... ... ... ... 0 ... ... ... ... ... βm−2 ... . .. ... ... αm−2 0 . . . 0 δm−1 ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ ˛ |Tm−1| = (−1)m+1_βδ2δ3...δm |Tm−1| ,

(42)

donc, la solution approchée xm peut être réecrite sous la forme suivante :

xm= xm−1+ (−1)mβ

δ2δ3. . . δm

|Tm|

gm.

En rempla¸cant Tm= η1η2. . . ηm dans l’´egalit´e ci-dessus, nous obtenons

xm= xm−1+ (−1)mβ δ2δ3. . . δm η1η2. . . ηm gm (2.22) posons λm= (−1)mβ δ2δ3. . . δm η1η2. . . ηm (2.23) donc on peut calculer λm par la relation de r´ecurrence suivante :

λ1 = −_ηβ₁

pour m = 2, . . . , n

λm = −δ_ηm_mλm−1 (2.24)

f in m,

finalement la solution approchée xmpeut être mise à jour à chaque étape par la relation :

xm = xm−1+ λmgm. (2.25)

ce qui donne le r´esultat souhait´e.

Théorème 2.2 Soit gmle vecteur défini par la relation (2.19). Si Tmest une matrice

fortement inversible alors le vecteur auxiliare gm est un compl´ement de Schur et peut

ˆ

etre calcul´e r´ecursivement comme suit : gm+1= vm+1−

βm+1

ηm

gm. (2.26)

Preuve

Nous remarquons que gms’´ecrit sous la forme d’un compl´ement de Schur, en utilisant

l’identité de Sylvester énoncé dans le chapitre précédent, nous pouvons exprimer gm

par la relation suivante :

(43)

avec Lm=                vm v1 . . . vm−2 0 α1 β2 0 . . . 0 0 δ2 . .. ... ... ... .. . . .. ... ... ... 0 .. . . .. ... ... βm₋₂ 0 . . . 0 δm₋₂ αm₋₂                , et Mm=                0 α1 β2 0 . . . 0 0 δ2 . .. ... ... ... .. . . .. ... ... ... 0 .. . . .. ... ... βm₋₂ 0 . .. ... αm₋₂ βm 0 . . . 0 δm−1                .

En utilisant les propriètés de compléments de Schur énoncées dans le chapitre précedent, nous pouvons écrire,

(Lm/Tm−2) = vm (Tm−1/Tm−2)−1= |Tm−2| |Tm−1| = 1 ηm−1 , (Mm/Tm−2) = ˜ Mm/Tm−2 , = M˜m |Tm−2| . Donc nous obtenons

(Tm−1/Tm−2)−1 = βm α1 β2 δ2 . .. ... . .. ... βm−2 δm−2 αm−2 |Tm−2| = βm,

(44)

avec ˜ Mm=               βm 0 . . . 0 δm−1 0 α1 β2 0 . . . 0 0 δ2 . .. ... ... ... ... . .. ... ... ... 0 ... . .. ... ... βm−2 0 . . . 0 δm−2 αm−2               ,

En utilisant la procédure de biorthogonalisation de Lanczos, le lemme 2.1 et les théorèmes 2.1 et 2.2, on obtient une nouvelle variante de la méthode de Lanczos non symétrique, elle est donnée par l’algorithme suivant

Algorithme 2.4 Nouvelle variante de la m´ethode de Lanczos non sym´etrique 1. Choisir x0, Poser r0= b − Ax0, β = kr0k2 et v1 = r_β0,

2. Choisir w1 stel que (v1, w1) = 1,

3. Poser β1 = δ1 = 0, v0 = w0 = 0, g1 = v1, α1= (Av1, w1), η1 = α1 and λ1= _ηβ₁,

4. Pour j = 1, · · · , m faire : 5. xj = xj−1+ λjgj, 6. v˜j+1 = Avj− αjvj− βjvj−1, 7. w˜j+1 = ATwj− αjwj − δjwj−1, 8. δj+1 = |(˜vj+1, ˜wj+1)| 1 2 si δ j+1 = 0 arrˆeter, 9. βj+1 = (˜vj+1_δ, ˜wj+1) j+1 , 10. wj+1 = w_β˜_j+1j+1, 11. vj+1 = ˜v_δj+1_j+1, 12. gj+1 = vj+1− βj+1_η_j gj, 13. αj+1 = (Avj+1, wj+1), 14. ηj+1 = αj+1−δj+1_η j βj+1, 15. λj+1 = −λjδ_ηj+1_j+1, 16. Fin j

(45)

2.3.2 M´

ethode de Lanczos sym´

etrique

Nous élaborons la méthode de Lanczos symétrique pour la résolution d’un système linéaire symétrique donné par la relation (2, 1), où A est une matrice symétrique. De nombreuses méthodes sont obtenues à partir de la méthode d’Arnoldi. Dans le cas où la matrice A est symétrique, on trouve la méthode du gradient conjugué qui peut être dérivée de la méthode de Lanczos symétrique [50]. En fait, l’algorithme du gra-dient conjugué peut être considéré comme une variante de DIOM (Direct Incomplete Orthogonalization Method) [50] dans le cas où A est symétrique.

Soit x0 un vecteur initial suppos´e comme solution de d´epart et soit r0 = b − Ax0 le

vecteur résidu associé à x0. Nous posons v1 = r0/β avec β = kr0k₂. La méthode de

Lanczos symétrique consiste à construire une suite de vecteurs xm définie par les deux

conditions suivantes : 1. xm− x0∈ Km(A, v1)

2. rm = b − Axm⊥Km(A, v1)

o`u Km(A, v1) est un sous espaces de Krylov. Nous notons Vm la base de Km(A, v1)

et Tm la matrice tridagonale construite par le proc´essus de Lanczos sym´etrique, alors

Tm= VmTAVm.

La condition 1, nous permet d’exprimer la solution approch´ee sous la forme suivante : xm= x0+ Vmym, (2.27)

le résidu associé à xm peut être exprimé sous la forme suivante

rm = b − Axm

= b − A(x0+ Vmym)

= (b − Ax0) − AVmym

= r0− AVmym (2.28)

le problème d’orthogonalité donné par la condition 2 peut être exprime par : VT

(46)

comme Tm = VmTAVm nous obtenons ym comme suit :

ym= (VmTAVm)−1VmTr0 = Tm−1VmTr0,

nous avons VT

mr0= βe1 o`u e1 d´esigne le premier vecteur unitaire dans IRn,

donc

ym = Tm−1βe1, (2.29)

et par suite :

xm = x0+ VmTm−1βe1. (2.30)

Nous procédons de la même fa¸con que pour la méthode de lanczos non symétrique pour donner la solutions approchée xm, le vecteurs auxilaire gm+1 et les scalaires ηm+1

et λm+1 à l’etape m à partir de la solution approchée précédente xm−1 et le vecteur

auxilaire précédent gm et les scalaires ηm et λm précédents à l’etape m − 1, par suite

construire le nouvel algorithme de la méthode de Lanczos symétrique décrit comme suit :

Algorithme 2.5 Nouvelle variante de la méthode de Lanczos symétrique 1. Choisir x0, poser r0 = b − Ax0, β = kr0k₂ et v1 = r_β0, 2. Poser β1=0, v0 ≡ 0, g1 = v1, w1 = Av1, α1 = (w1, v1), η1 = α1 et λ1 = _ηβ₁, 3. Pour j = 1, 2, · · · , m faire 4. xj = xj−1+ λjgj, 5. wj = wj− αjvj, 6. βj+1 = kwjk2, si βj+1 = 0 arrêter, 7. vj+1 = _βw_j+1j , gj+1 = vj+1−βj+1_η_j gj, 8. wj+1 = Avj+1− βj+1vj, 9. αj+1 = (wj+1, vj+1), 10. ηj+1 = αj+1− β2 j+1 ηj+1, 11. λj+1 = −λjβ_ηj+1_j+1, 12 Fin j.

(47)

2.4 Exemples num´

eriques et simulation

La discretisation de l’operateur d

dx2 − _dyd2 + δ_dxd2 sur une zone rectangulaire aboutit

à la matrice A, qui est rectangulaire par blocs et décrite par les relations (2.31) et (2.32). Le second membre est considéré égal à b = Ax avec X = (1, 1, ..., 1)T _{est la}

solution du syst`eme. Nous allons comparer maintenant ce nouvel algorithme, avec ceux de BiCGstab et GMRES sur cet exemple qui est donn´e dans [2].

A =                  B −I 0 · · · 0 −I B −I . .. ... 0 . .. ... ... ... ... ... ... ... ... ... ... ... ... . .. ... ... −I 0 ... . .. −I B −I 0 · · · 0 −I B                  (2.31) avec B =                  4 α 0 · · · 0 β 4 α . .. ... 0 . .. ... ... ... ... ... ... ... ... ... ... ... ... . .. ... ... α 0 ... . .. β 4 α 0 · · · 0 β 4                  (2.32)

et α = −1 + δ, β = −1 − δ le paramètre δ est pris égal à 5. Pour la première figure, nous avons pris la dimension de B égale à 45 donc la dimension de A est n = 2025. Pour la deuxième figure, nous avons pris la dimension de B égale à 60 et la dimension de A est n = 3600.

(48)

Fig. 2.1 – n = 2025

(49)

Dans notre exemple, les résultats obtenus ci dessus montrent que le nouvel algorithme de la méthode de lanczos non symétrique et l’algorithme de GMRES convergent dans un nombre d’itérations très proche.

2.5 Conclusion

Nous avons donné une autre manière pour implementer les méthodes de Lanczos symétrique et non symétrique. Ces algorithmes sont basés sur le processus symétrique de Lanczos et le procéssus de biorthogonalisation non symétrique de Lanczos. la mise en œuvre de ces algorithmes fait appel à des techniques et propriétés des complements de Schur et quelques propriétés de l’algèbre linéaire. Nous avons aussi comparé l’ef-ficacitié de ces algorithmes en les appliquant sur un exemple choisi. Cela est prouvé numériquement en comparant Les deux variantes proposées, Nous concluons que ces deux méthodes fonctionnent très bien pour certaines type de matrices.

(50)

M´

ethodes de Lanczos par blocs

3.1 Introduction

Certains problèmes d’application exigent la résolution de plusieurs systèmes linéaires avec la même matrice et différents seconds membres

Ax(i) = b(i), i = 1, ..., s (3.1)

où A est une matrice réelle non singulière de dimension n×n, où n est grand et s << n. X = [x(1)_{, x}(2)_{, · · · , x}(s)_{] et B = [b}(1)_{, b}(2)_{, . . . , b}(s)_{] sont deux matrices rectangulaires}

de dimension n × s. Résoudre s systèmes d’équations linéaires (3.1) simultanément est équivalent à résoudre le système linéaire par blocs donné par l’équation suivante.

AX = B. (3.2)

Plusieurs méthodes itératives de sous-espaces de Krylov, ont été étudiées et propo-sées pour résoudre le système linéaire (3.1), nous citons par exemple la méthode BiCG [24, 50], la méthode de Lanczos [20], la méthode de GMRES [50] et la méthode BiCG-STAB [59]. Au lieu de résoudre chaque système linéaire par les méthodes itératives

(51)

de type Krylov, il est plus efficace d’utiliser une version par blocs et de générer une itération pour tous les s systèmes linéaires simultanément. Dans ces dernières années, des généralisations des méthodes classiques de sous-espace de Krylov ont été proposées et développées pour résoudre le système d’équations linéaires avec plusieurs secondes membres, du fait que les s systèmes linéaires ont la même matrice de coefficients et plusieurs secondes membres. La première classe de ces méthodes contient les solveurs par blocs comme la méthode de Lanczos par blocs [4, 15], la méthode BL-BCG (Block Bi-Conjugate Gradient method) [36, 44], la méthode BL-CG (Block-Conjugate Gra-dient Methods) [36, 50], la méthode BL-GMRES (Block Generalized minim) [47], la méthode QMR [26] (Block Quasi Minimal residual methode) et la méthode BL-BiCGSTAB [16] (Block Bi). La seconde classe contient la méthode globale de FOM [18], la méthode globale de GMRES [18], la méthode globale de BiCG[62], la méthode globale de CGS [62] et la méthode globale de BiCGSTAB [62]. L’idée de ces deux classes consiste à projeter le résidu initial de type matrice sur un sous-espace de Krylov par blocs. Une troizième classe de ces méthodes consiste à résoudre un système particulier appelé ”single-seed” et projeter les résidus des autres systèmes sur le sous-espace de Krylov obtenu. Le processus est répété jusqu’à la convergence [55].

Essentiellement, ces méthodes cherchent des solutions dans le sous-espace de Krylov par blocs, engendré par la matrice A et le résidu R0 = B − AX0 de type n × s. Plus

précisément, l’idée de cette technique de projection est de choisir l’un des systèmes linéaires et de le résoudre par une méthode itérative des sous espaces de Krylov par blocs. Comme les sous-espaces de Krylov par blocs sont construits, les approximations des autres systèmes sont mis à jour simultanément par projection du résidu de type matrice sur un sous-espace de Krylov par blocs particulier par application d’une condi-tion de type Galerkin ou en minimisant le résidu projeté sur le sous espace de Krylov par blocs, voir [47, 50].

(52)

résoudre les grands systèmes linéaires avec plusieurs seconds membres. La première méthode est une généralisation de la méthode de Lanczos standard non symétrique, nous utilisons le processus de Lanczos non symétrique et les compléments de Schur pour définir et ainsi donner le nouveau algorithme de cette méthode. La deuxième méthode peut être utilisée pour résoudre les systèmes linéaires symétriques avec la même matrice A et plusieurs seconds membres. Ensuite, nous employons le processus de Lancsos symétrique par blocs pour aboutir à l’algorithme de la méthode de Lanczos symétrique par blocs. Enfin, nous donnons une variante de la procédure symétrique de Lanczos par blocs qui nous permet de développer une troisième méthode par blocs appliquée aux équations normales.

3.2 M´

ethode de Lanczos non sym´

etrique par blocs

3.2.1 D´

escription du processus de Lanczos non sym´

etrique par

blocs

Le processus de Lanczos par blocs est un algorithme qui permet de transformer une matrice non symétrique en une matrice tridiagonale par blocs en utilisant une projection oblique par rapport aux sous-espaces de Krylov par blocs. Cette projection définit la procédure de Lanczos par blocs qui nous permettra par la suite d’introduire des algorithmes par blocs pour résoudre les systémes linéaires avec plusieurs seconds membres.

Etant donn´e une matrice A de dimension n × n et deux vecteurs par blocs arbi-traires V1 et W1 de taille n × s de sorte que W1TV1 = I. Le processus de Lanczos par

blocs [4] consiste à générer une matrice bande non symétrique tridiagonale par blocs Tm semblable à la matrice A, une base de matrices par blocs Vm = [V1, V2, · · · , Vm]

(53)

[W1, W2, · · · , Wm] de sous espace de Krylov Km(AT, W1). Les matrices par blocs {Vj}

et {Wi} sont construites de fa¸con que :

W_iTVj =    Is, si i = j, 0s si i 6= j. pour i = 1, . . . , m et j = 1, . . . , m. (3.3)

Le Processus de Lanczos non symétrique par blocs (Voir [4]) qui nous permet d’avoir ces propriétés est donné comme suit :

Algorithme 3.1 Processus de Lanczos non sym´etrique par blocs 1. Choisir deux matrices V1 et W1 ∈ IRn×s de sorte que W1TV1 = Is,

2. Poser R1 = (W1TA)T et S1 = AV1,

3. Pour j = 1, 2, . . . 4. Aj = WjTSj,

5. Rj = Rj− WjAjT et Sj = Sj− VjAj,

6. Calculer la decomposition QR : Rj = Wj+1Bj+1T et Sj = Vj+1Cj+1,

7. Calculer la decomposition de valeurs singuli`eres : WT

j+1Vj+1 = ˜UjP_jV˜jT, 8. Bj+1 = Bj+1U˜jP 1 2 j et Cj+1 =P 1 2 j V˜jTCj+1, 9. Wj+1 = Wj+1U˜jP −1 2 j et Vj+1 = Vj+1V˜jP −1 2 j , 10. Rj+1 = (Wj+1T A − Cj+1WjT)T et Sj+1 = AVj+1 − VjBj+1, 11. Fin.

Cet algorithme génère une matrice bande tridiagonale par blocs non symétrique, Tm

semblable `a A Tm= WmTAVm=            A1 B2 C2 A2 B3 . .. . .. . .. Cm−1 Am−1 Bm Cm Am            , (3.4)

les matrices par blocs construites par cet algorithme vérifient les propriétés suivantes : WT

(54)

AVm= VmTm+ Vm+1Cm+1EmT,

WT

mVm = Ims

avec ET

m= [0s, . . . , 0s, Is] ∈ IRs×ms .

Des situations de breakdown peuvent survenir dans l’algorithme 3.1 si RT

jSj ou si Sj

et Rj ne sont pas de rang plein. Pour résoudre ce problème et pour éviter les situations

de pannes, plusieurs stratégies ont été proposées et étudiées afin de préserver la stabilité numérique du processus de Lanczos par blocs, voir par exemple [4].

3.2.2 Etude de la m´

ethode de Lanczos non sym´

etrique par

blocs

Soit X0 ∈ IRn×s une solution initale, R0 = B − AX0 est le r´esidu de type matrice

associé à X0. Effectuons une factorisation QR à R0 i.e. R0 = V1R (QR factorisation)

et soit W1 une matrice par blocs `a chosir dans IRn×s tel que W1TV1 = Is. Nous

sup-posons ici que les matrices V1 et W1 soient de rang plein. La m´ethode de Lanczos non

sym´etrique par blocs consiste `a construire une suite de matrices Xm de type n × s ,

d´efinies par les deux conditions suivantes : 1. Xm− X0∈ Km(A, V1)

2. Rm = B − AXm⊥Km(AT, W1)

En utilisant la première condition, la solution approchée peut être exprimée comme suit : Xm= X0+ VmYm, (3.5) avec Vm= [V1, . . . , Vm], Wm= [W1, . . . , Wm], YT m= [Ω1, . . . , Ωm]T.

(55)

La deuxi`eme condition nous permet d’´ecrire

W_mTRm = WmTR0− WmTAVmYm= 0ms×s,

si Tm = WmTAVm est une matrice non singulière, la matrice Ym peut être exprimée

comme suit : Ym = Tm−1WmTR0, nous avons W_mTR0 = RE1, avec E₁T = (Is, 0s, . . . , 0s) ∈ IRs×ms,

est une matrice par blocs dont sa première matrice est la matrice identité et des matrices nulles partout ailleurs, alors la matrice Ym peut être réecrite comme suit

Ym= Tm−1RE1,

par cons´equent :

Xm= X0+ VmTm−1RE1. (3.6)

Nous notons que la matrice Xm donnée par l’équation (3.1) est un complément de

Schur et nous obtenons un r´esultat important suivant :

Théorème 3.1 Soit Xm la matrice approchée de la solution X donnée par la

rela-tion (3.1). Si Tm est une matrice fortement inversible par blocs, alors la matrice Xm

est un complément de Schur, elle peut être calculée récursivement comme suit : Xm = Xm−1+ Gm(Tm/Tm−1)−1G′m, (3.7)

(56)

avec Gm et G′m sont deux matrices donn´ees par : Gm =                       Vm V1· · · Vm−1 0 ... 0 Bm Tm−1            /Tm−1            , (3.8) G′_m =                       0 · · · 0 Cm R 0 ... 0 Tm−1            /Tm−1            . (3.9)

Preuve. A l’´etape m, la solution approch´ee Xm = X0+ VmTm−1RE1 est un

complé-ment de Schur. Elle peut être réecrite sous la forme suivante :

Xm = −                             −X0 V1 . . . Vm R A1 B2 0 . . . 0 0 C2 . .. ... ... ... ... . .. ... ... ... 0 ... . .. ... ... Bm 0 . . . 0 Cm Am               /Tm               .

En utilisant l’identité de Sylvester énoncée dans le chapitre 1, la matrice Xm peut

ˆ

etre exprim´ee r´ecursivement par la relation suivante :

Xm = Xm−1+ (Em/Tm−1) × (Tm/Tm−1)−1× (Em′ /Tm−1) ,

(57)

Em=               V1 . . . Vm−1 Vm A1 B2 0 . . . 0 C2 . .. ... . .. ... 0 . .. ... . .. . .. ... ... ... ... ... Bm−1 0 0 . . . 0 Cm−1 Am−1 Bm               , E_m′ =               R A1 B2 0 . . . 0 0 C2 . .. ... ... ... ... ... ... ... ... 0 ... . .. ... ... Bm−1 ... . .. ... Am−1 0 . . . 0 Cm               . Nous avons (Em/Tm−1) =                       V1· · · Vm−1 Vm Tm−1 0 ... 0 Bm            /Tm−1            .

En utilisant la proposition (1.3) du chapitre 1, nous obtenons

(Em/Tm−1) =                       Vm V1· · · Vm−1 0 ... 0 Bm Tm−1            /Tm−1            = Gm.

(58)

Nous avons ainsi : (E′ m/Tm−1) =                 R 0 ... Tm−1 0 · · · 0 Cm         /Tm−1         =                       0 · · · 0 Cm R 0 ... 0 Tm−1            /Tm−1            = G′ m,

qui donne le r´esultat souhait´e.

Les matrices Gmet G′mutilisées pour calculer la solution approchée Xmde X vérifient

le nouveau r´esultat suivant :

Théorème 3.2 Soient Gm et G′m les matrices définies par (3.8) et (3.9). Si Tm

est une matrice fortement inversible par blocs, alors :

Gm = Vm− Gm−1(Tm−1/Tm−2)−1Bm,

(59)

Preuve. Nous remarquons que Gm et G′m sont des matrices sous forme de

compl´e-ments de Schur donn´ees par :

Gm =                       Vm V1· · · Vm−1 0 ... 0 Bm Tm−1            /Tm−1            =                       Vm V1· · · Vm−2 Vm−1 0 ... 0 Tm−2 0 ... Bm−1 Bm 0 · · · 0 Cm−1 Am−1            /Tm−1            , et G′ m =                       0 · · · 0 Cm R 0 ... 0 Tm−1            /Tm−1            =                       0 0 · · · 0 Cm R ... 0 Tm−2 0 ... Bm−1 0 0 · · · 0 Cm−1 Am−1            /Tm−1            .