Algorithme de résolution de systèmes linéaire par Cholesky

Algorithme 10 FonctionRSLCholesky permettant de résoudre, par une factorisation de Cholesky positive, le système linéaire

Axxx “bbb

oùAune matrice hermitienne deM_npCqdénie positive et bbbPCⁿ. Données : A : matrice deM_npCqsymétrique dénie positive,

bbb : vecteur de Cⁿ. Résultat : xxx : vecteur deCⁿ.

1: Fonction xxx ÐRSLCholesky (A,bbb )

2: BÐ_CholeskypAq Ź Factorisation positive de Cholesky

3: yyy ÐRSLTriInfpB,bbbq Ź Résolution du systèmeByyy “bbb

4: UÐMatAdjointepBq Ź Calcul de la matrice adjointe deB

5: xxx ÐRSLTriSuppU,yyyq Ź Résolution du systèmeB^˚xxx “yyy

6: Fin Fonction

Soit APM_npCqhermitienne dénie positive. il existe une unique matrice ùñ calcul 1ère colonne de B.

‚ Puis calcul de b₂,2 (la 2ème ligne deB est donc déterminée) ùñ calcul 2ème colonne deB.

‚ Etc...

Soit APM_npCqhermitienne dénie positive. il existe une unique matrice ùñ calcul 1ère colonne de B.

‚ Puis calcul de b₂,2 (la 2ème ligne deB est donc déterminée) ùñ calcul 2ème colonne deB.

‚ Etc...

Soit APM_npCqhermitienne dénie positive. il existe une unique matrice ùñ calcul 1ère colonne de B.

‚ Puis calcul de b₂,2 (la 2ème ligne deB est donc déterminée) ùñ calcul 2ème colonne deB.

‚ Etc...

Soit i P v1,nw.On suppose connues les i ´1 premières colonnes de B.

Peut-on calculer la colonne i deB?

A“BB^˚ ùñ a_i,i “ ÿn

k“1

b_i,kpb^˚q_k,i “ ÿn

k“1

b_i,kb_i,k

OrB triangulaire inférieure (i.e. b_i,j “0 si j ąi) a_i,i “

i´1

ÿ

k“1

|b_i,k|²` |b_i,i|²

et donc

bi,i “

˜ ai,i´

i´1

ÿ

j“1

|bi,j|²

¸₁{2

.

Il reste à déterminer bj,i, @j P vi`1,nw.

a_j,i “ ÿn

k“1

b_j,kpB^˚q_k,i “ ÿn

k“1

b_j,kb_i,k, @j P vi`1,nw Comme L est triangulaire inférieure on obtient

aj,i “ ÿi

k“1

b_j,kb_i,k “

i´1

ÿ

k“1

b_j,kb_i,k`bj,ibi,i, @j P vi`1,nw Or bi,i ą0 connu et les i ´1 premières colonnes de B aussi.

b_j,i “ 1 b_i,i

˜ a_j,i ´

i´1ÿ

k“1

b_j,kb_i,k

¸

, @j P vi`1,nw b_j,i “ 0, @j P v1,i´1w.

Algorithme11 R

0

1: CalulerlamatrieB

Algorithme11 R

1

1: Pouri Ð^{1àn faire}

2: Calulerb

i,ⁱ,^{onnaissantlesi}´

1premièresolonnesdeB.

3: Calulerlai ème

olonnedeB.

4: FinPour

Algorithme11 R

Algorithme11 R

2

Algorithme11 R

Algorithme11 R

3

10: FinPour

11: FinPour

Algorithme11 R

10: FinPour

11: FinPour

Algorithme11 R

4

14: FinPour

15: b

j,ⁱÐ ¹

b

i,ⁱ

p^aj,ⁱ´^S2q.

16: FinPour

17:FinPour

Algorithme 11 FonctionCholesky permettant de calculer la matriceB,dites matrice de factorisation positive de Cholesky associée à la matriceA,telle que

A“BB^˚.

Données : A : matrice deM_npCqhermitienne dénie positive.

Résultat : B : matrice deM_npCqtriangulaire inférieure avec Bpi,iq ą0,@iP v1,nw

1:Fonction BÐCholesky( A ) 2: Pour iÐ1 à n faire 3: S1Ð0

4: Pour jÐ1 à i´1 faire 5: S1ÐS1` |Bpi,jq|²

6: Fin Pour

7: Bpi,iq ÐsqrtpApi,iq ´S1q 8: Pour jÐ1 à i´1 faire

9: Bpj,iq Ð0

10: Fin Pour

11: Pour jÐi`1 à n faire

12: S2Ð0

13: Pour kÐ1 à i´1 faire 14: S2ÐS2`Bpj,kq ˚Bpi,kq

15: Fin Pour

16: Bpj,iq Ð pApj,iq ´S2q{Bpi,iq.

17: Fin Pour 18: Fin Pour 19:Fin Fonction

Exercice

Proposer une méthode permettant de tester la fonctionCholesky .

Plan

1 Méthodes directes Matrices particulières

Matrices diagonales

Matrices triangulaires inférieures Matrices triangulaires supérieures

Exercices et résultats préliminaires

Méthode de Gauss-Jordan

Ecriture algébrique

FactorisationLU

Résultats théoriques Utilisation pratique

FactorisationLDL^˚ Factorisation de Cholesky

Résultats théoriques

Résolution d'un système linéaire Algorithme : Factorisation positive de Cholesky

2 Normes vectorielles et normes matricielles

Normes vectorielles Normes matricielles Suites de vecteurs et de matrices

3 Conditionnement d'un système linéaire

4 Méthodes itératives Principe

Notations

Méthode de Jacobi Méthode de Gauss-Seidel Méthode de relaxation Etude de la convergence Algorithmes

Principe de base Méthode de Jacobi Méthode de Gauss-Seidel

Méthodes directes Factorisation QR 2017/09/21 46 / 103

Denition: Matrice élémentaire de Householder

Soit uuu P Cⁿ tel que }uuu}₂ “ 1. On appelle matrice élémentaire de Householder la matrice Hpuuuq PM_npCqdénie par

Hpuuuq “I´2uuuuuu^˚. (13)

Propriété:

Toute matrice élémentaire de Householder est hermitienne et unitaire.

Propriété:

Soient xxx PKⁿet uuu PKⁿ,}uuu}₂ “1.On note xxxk “proj_uuupxxxq^def“ xuuu,xxxyuuu et xxxK“xxx´xxxk.On a alors

HpuuuqpxxxK`xxxkq “xxxK´xxxk. (14) et Hpuuuqxxx “xxx, si xxxx,uuuy “0. (15)

Théorème:

Soient aaa, bbb deux vecteurs non colinéaires de Cⁿ avec }bbb}₂ “ 1. Soit αPC tel que|α| “ }aaa}₂ et argα “ ´argxaaa,bbby rπs.On a alors

H

ˆ aaa´αbbb }aaa´αbbb}₂

˙

aaa“αbbb. (16)

Exercice:

Soient aaa et bbb deux vecteurs non nuls et non colinéaires de Cⁿ avec }bbb}₂“1.

Q. 1

Ecrire la fonction algorithmiqueHouseholder permettant de retourner une matrice de Householder Hetα PCtels que

Hpuuuqaaa“αbbb.Le choix duα est fait par le paramètreδ (0 ou 1) de telle sorte que argα“ ´argpxaaa,bbbyq `δπ avec|α| “ }aaa}₂.

Des fonctions comme dotpaaa,bbbq (produit scalaire de deux vecteurs), normpaaaq (norme d'un vecteur), argpzq (argument d'un nombre complexe), matprodpA,Bq (produit de deux matrices),

ctransposepAq (adjoint d'une matrice), ... pourront être utilisées Q. 2

Proposer un programme permettant de tester cette fonction. On pourra utiliser la fonction vecrandpnqretournant un vecteur aléatoire deCⁿ,les parties réelles et imaginaires de chacune de ses

composantes étant danss0,1r(loi uniforme).

Q. 3

Proposer un programme permettant de vérier queδ “1 est le

Méthodes directes Factorisation QR 2017/09/21 49 / 103

Corollaire 6.2:

Soit aaaPCⁿ avec a₁‰0 etDj P v2,nwtel que a_j ‰0.Soientθ“arg a₁ et

uuu˘“ aaa˘ }aaa}₂e^ıθeee₁ }aaa˘ }aaa}₂e^ıθeee1} Alors

Hpuuu˘qaaa“ ¯ }aaa}₂e^ıθeee₁ (17) où eee₁ désigne le premier vecteur de la base canonique deCⁿ.

Théorème 7:

SoitAPM_npCqune matrice. Il existe une matrice unitaireQPM_npCq produit d'au plus n´1 matrices de Householder et une matrice trian-gulaire supérieure RPM_npCqtelles que

A“QR. (18)

Si A est réelle alorsQ et R sont aussi réelles et l'on peut choisir Qde telle sorte que les coecients diagonaux deR soient positifs. De plus, si Aest inversible alors la factorisation est unique.

Exercice: Algorithmique Q. 1

Ecrire une fonctionFactQR permettant de calculer la factorisation QR d'une matriceAPM_npCq.

On pourra utiliser la fonction Householder (voir Exercice 49, page 75).

Q. 2

Ecrire un programme permettant de tester cette fonction.

Plan

1 Méthodes directes Matrices particulières

Matrices diagonales

Matrices triangulaires inférieures Matrices triangulaires supérieures

Exercices et résultats préliminaires

Méthode de Gauss-Jordan

Ecriture algébrique

FactorisationLU

Résultats théoriques Utilisation pratique

FactorisationLDL^˚ Factorisation de Cholesky

Résultats théoriques

Résolution d'un système linéaire Algorithme : Factorisation positive de Cholesky

FactorisationQR

2 Normes vectorielles et normes matricielles

Normes vectorielles Normes matricielles Suites de vecteurs et de matrices

3 Conditionnement d'un système linéaire

4 Méthodes itératives Principe

Notations

Méthode de Jacobi Méthode de Gauss-Seidel Méthode de relaxation Etude de la convergence Algorithmes

Principe de base Méthode de Jacobi Méthode de Gauss-Seidel Jeux algorithmiques

Normes vectorielles et normes matricielles Normes vectorielles 2017/09/21 53 / 103

Denition

Une norme sur un espace vectoriel V est une application}‚}:V ÑR^` qui vérie les propriétés suivantes

˛ }vvv} “0ðñvvv “0,

˛ }αvvv} “ |α| }vvv}, @αPK, @vvv PV,

˛ }uuu```vvv} ď }uuu} ` }vvv}, @ puuu,,,vvvq PV² (inégalité triangulaire).

Une norme sur V est également appelée norme vectorielle . On ap-pelle espace vectoriel normé un espace vectoriel muni d'une norme.

Proposition

Soit vvv P Kⁿ. Pour tout nombre réel p ě 1, l'application }‚}_p dénie par

}vvv}_p“

˜ _n ÿ

i“1

|v_i|^p

¸_1{p

est une norme sur Kⁿ. Normes usitées :

}vvv}₁“ ÿn

i“1

|v_i|, }vvv}₂ “

˜ _n ÿ

i“1

|v_i|²

¸₁{2

, }vvv}₈“ max

iPv1,nw|v_i|.

Lemme 8.1: Inégalité de Cauchy-Schwarz

@xxx,yyy PKⁿ

| xxxx,yyyy | ď }xxx}₂}yyy}₂. (19) Cette inégalité s'appelle l'inégalité de Cauchy-Schwarz. On a égalité si et seulement si xxx et yyy sont colinéaires.

Lemme 8.2: Inégalité de Hölder Pour pą1 et _p¹ `¹_q “1,on a@uuu,vvv PKⁿ

ÿn

i“1

|u_iv_i| ď

˜ _n ÿ

i“1

|u_i|^p

¸_1{p˜ _n ÿ

i“1

|v_i|^q

¸_1{q

“ }uuu}_p}vvv}_q. (20) Cette inégalité s'appelle l'inégalité de Hölder.

Denition 8.3

Deux normes }‚} et }‚}¹, dénies sur un même espace vectoriel V, sont équivalentes s'il exite deux constantes C et C¹ telles que

}vvv}¹ ďC}vvv} et }vvv} ďC¹}vvv}¹ pour tout vvv PV. (21)

Proposition

Sur un espace vectoriel de dimension nie toutes les normes sont équiv-alentes.

Plan

1 Méthodes directes Matrices particulières

Matrices diagonales

Matrices triangulaires inférieures Matrices triangulaires supérieures

Exercices et résultats préliminaires

Méthode de Gauss-Jordan

Ecriture algébrique

FactorisationLU

Résultats théoriques Utilisation pratique

FactorisationLDL^˚ Factorisation de Cholesky

Résultats théoriques

Résolution d'un système linéaire Algorithme : Factorisation positive de Cholesky

FactorisationQR

2 Normes vectorielles et normes matricielles

Normes vectorielles Normes matricielles Suites de vecteurs et de matrices

3 Conditionnement d'un système linéaire

4 Méthodes itératives Principe

Notations

Méthode de Jacobi Méthode de Gauss-Seidel Méthode de relaxation Etude de la convergence Algorithmes

Principe de base Méthode de Jacobi Méthode de Gauss-Seidel Jeux algorithmiques

Normes vectorielles et normes matricielles Normes matricielles 2017/09/21 59 / 103

Denition 8.4

Une norme matricielle surM_npKqest une application}‚}:M_npKq Ñ R^` vériant

1 }A} “0ðñA“0,

2 }αA} “ |α| }A},@αPK,@APM_npKq,

3 }A`B} ď }A} ` }B}, @ pA,Bq PM_npKq² (inégalité triangulaire)

4 }AB} ď }A} }B}, @ pA,Bq PM_npKq² Peut-on étendre cette dénition sur M_m,npKq?

Proposition:

Etant donné une norme vectorielle}‚}surCⁿ,l'application}‚}_s:M_npCq ÑR^`dénie par

}A}_s“sup

vvvPCⁿ vvv‰0

}Avvv}

}vvv} “ sup

vvvPCⁿ }vvv}ď1

}Avvv} “ sup

vvvPCⁿ }vvv}“1

}Avvv}, (22)

est une norme matricielle, appelée norme matricielle subordonnée (à la norme vectorielle donnée).

De plus

}Avvv} ď }A}_s}vvv} @vvvPCⁿ (23) et la norme}A}peut se dénir aussi par

}A}_s“inftαPR:}Avvv} ďα}vvv}, @vvvPKⁿu. (24) Il existe au moins un vecteur uuuPCⁿtel que

uuu‰0 et }Auuu} “ }A}_s}uuu}. (25)

Enn une norme subordonnée vérie toujours

}I}_s“1 (26)

Théorème 9:

SoitAPM_npKq. On a }A}₁^def“ sup

vvvPKⁿ vvv‰0

}Avvv}₁

}vvv}₁ “ max

jPv1,nw

ÿn

i“1

|a_ij| (27)

}A}₂^def“ sup

vvvPKⁿ vvv‰0

}Avvv}₂ }vvv}₂ “a

ρpA^˚Aq “a

ρpAA^˚q “ }A^˚}₂ (28)

}A}₈ ^def“ sup

vvvPKⁿ vvv‰0

}Avvv}₈

}vvv}₈ “ max

iPv1,nw

ÿn

j“1

|aij| (29)

La norme}‚}₂ est invariante par transformation unitaire :

UU^˚ “Iùñ }A}₂ “ }AU}₂“ }UA}₂ “ }U^˚AU}₂. (30)

Corollaire 9.1

1 Si une matriceA est hermitienne, ou symétrique (donc normale), on a}A}₂“ρpAq.

2 Si une matriceA est unitaire, ou orthogonale (donc normale), on a}A}₂“1.

Plan

1 Méthodes directes Matrices particulières

Matrices diagonales

Matrices triangulaires inférieures Matrices triangulaires supérieures

Exercices et résultats préliminaires

Méthode de Gauss-Jordan

Ecriture algébrique

FactorisationLU

Résultats théoriques Utilisation pratique

FactorisationLDL^˚ Factorisation de Cholesky

Résultats théoriques

Résolution d'un système linéaire Algorithme : Factorisation positive de Cholesky

2 Normes vectorielles et normes matricielles

Normes vectorielles Normes matricielles Suites de vecteurs et de matrices

3 Conditionnement d'un système linéaire

4 Méthodes itératives Principe

Notations

Méthode de Jacobi Méthode de Gauss-Seidel Méthode de relaxation Etude de la convergence Algorithmes

Principe de base Méthode de Jacobi Méthode de Gauss-Seidel

Normes vectorielles et normes matricielles Suites de vecteurs et de matrices 2017/09/21 64 / 103

Denition 9.2

Soit V un espace vectoriel muni d'une norme }‚}, on dit qu'une suite pvvv_kqd'éléments de V converge vers un élément vvv PV , si

kÑ8lim }vvv_k ´vvv} “0 et on écrit

vvv “ lim

kÑ8vvv_k.

Théorème 10: admis

SoitB une matrice carrée. Les conditions suivantes sont équivalentes :

1 lim_kÑ8B^k “0,

2 lim_kÑ8B^kvvv “0 pour tout vecteur vvv,

3 ρpBq ă1,

4 }B} ă1 pour au moins une norme matricielle subordonnée }‚}.

Théorème 11: admis

Soit B une matrice carrée, et }‚} une norme matricielle quelconque.

Alors

klimÑ8

›

›

›B^k

›

›

›

1{k

“ρpBq.

Soient APM_npKq inversible et bbbPKⁿ. Axxx “bbb

De petites erreurs sur les données engendrent-elles de petites erreurs sur la solution?

Dans le document Analyse Numérique I Sup'Galilée, Ingénieurs MACS 1ère année & L3 MIM François Cuvelier (Page 60-94)