Chapitre 3 : R ésolution des syst èmes lin éaires

(1)

Chapitre 3 : R ésolution des syst èmes lin éaires

Maarten Jansen

Table de mati `eres

— Introduction au calcul num ´erique

— Analyse d’erreurs

—R ésolution des syst èmes lin éaires

— Interpolation

— Lissage (Curve fitting, Smoothing)

— R ésolution num érique des équations diff érentielles ordinaires

— R ésolution des équations non lin éaires

M. Jansen, G. Bontempi INFO-F-205 Calcul Num érique — Chap. 3: Syst èmes Lin éaires p.1

Exemple : r ´eseau ´electrique V

R

1

R

3

R

2

i₁ i₂

•Probl ème r éel : étant donn é ce circuit, trouver le courant passant parR₁

•Loi physique: La seconde loi de Kirchhoff s’ ´enonce :

Dans un circuit ferm é (une maille) la somme alg ébrique des forces électromotrices et des diff érences de potentiel aux bornes des r ésistances est nulle

R ´eseau ´electrique V

R

1

R

3

R

2

i₁ i₂

•^{Mod èle} : la seconde loi de Kirchoff conduit à un syst ème lin éaire −V +R3i1+R1(i1+i2) = 0

−V +R₂i₂+R₁(i₁+i₂) = 0

•Probl ème math ématique: étant donn é les valeursV,R_i,i= 1, . . .3, trouver les valeursi₁eti₂.

(2)

Syst `eme m ´ecanique x

₁ ²

x

₂

x

₃

x

₄

K K

3

K

4

K

5

K

1

F

₁

F

₂

F

₂

F

₃

F

₃

F

₄

F

₄

F

₅

L

•Probl ème r éel: étant donn é ce syst ème, trouver la position d’ équilibre

•Loi physique:

Un ressort exerce sur un solide une force de rappel F proportionnelle

`a son allongement(∆x_i−ℓ_i)

F_i=K_i(∆x_i−ℓ_i) o ùK_iest le coefficient de raideur du ressort o ù ℓ_iest la longueur à repos dui- ème ressort

La forceF₁exerc ée sur le point 1 a intensit éK₁(x₁−ℓ₁), alors que la force oppos éeF2a intensit éK2(x2−x1−ℓ2), etc.

Syst `eme m ´ecanique x

₁ ²

x

₂

x

₃

x

₄

K K

3

K

4

K

5

K

1

F

₁

F

₂

F

₂

F

₃

F

₃

F

₄

F

₄

F

₅

L

•^{Mod `ele}^:











(K₁+K₂)x₁−K₂x₂ = K₁ℓ₁−K₂ℓ₂

−K₂x₁+ (K₂+K₃)x₂−K₃x₃ = K₂ℓ₂−K₃ℓ₃

−K₃x₂+ (K₃+K₄)x₃−K₄x₄ = K₃ℓ₃−K₄ℓ₄

−K₄x₃+ (K₄+K₅)x₄ = K₄ℓ₄+K₅L−K₅ℓ₅ o ùℓ_iest la longueur à repos dui- ème ressort

•Probl ème math ématique: étant donn é les valeursK_i,ℓ_i,i= 1, . . .5, trouver les valeursx₁,x₂,x₃, etx₄.

R ésolution équations diff érentielles partielles

•Utilis ées en physique pour mod éliser plusieurs ph énom ènes

— la diffusion de chaleur, la propagation des ondes,.

•Parfois, leur r ésolution est bas ée sur la r ésolution de syst èmes lin éaires avec un nombre d’ équations tr ès large (jusqu’ à10⁵).

Syst `emes lin ´eaires

Un syst ème lin éaire de N équations à n inconnues est un ensemble de relations alg ébriques de la forme

Xn j=1

a_ijx_j=b_i i= 1, . . . , N

•a_ij: coefficients

•x_j : inconnues

•b_i: composants du 2i `eme membre

On appellesolutiontoutn-couple de valeurs[x₁, x₂, . . . , x_n]qui satisfait lesN relations.

(3)

Forme matricielle

Il est commode d’ écrire le syst ème sous la forme matricielle Ax=b o ù

•A∈^R^N^×nest la matrice des coefficients r ´eels,

•x∈^R^n×1est le vecteur colonne inconnu

•b∈^R^N^×1est le vecteur du second membre

Dans ce chapitre, nous traiterons des syst èmescarr ésd’ordreN =n. Pour des syst èmesrectangulaires, voir chapitre 5 (lissage, curve fitting)

Solution d’un syst `eme lin ´eaire

•La solution d’un syst ème lin éaire carr é existe et est unique si une des conditions équivalentes suivantes est remplie

—Aest inversible ;

—Aest r éguli ère (non singuli ère) :det(A)6= 0

— rangrg(A) =n;

— le syst `eme homog `eneAx= 0admet seulement la solution nulle

•D’apr `es la formule de Cramer, la solution du syst `eme est x_j = ∆_j

det(A), j= 1, . . . , no ù∆_j est le d éterminant de la matrice obtenue en remplaçant laji ème colonne deApar le vecteurb.

R ´esolution num ´erique

•Formule de Cramer

— Co ˆut inacceptable pour grandn: ordreO((n+ 1)!)d’op ´erations

— Ce co ût est d û au calcul du d éterminant : l’expression th éorique, r écursive d’un d éterminant prendO(n!)d’op érations En r éalit é, c’est le calcul d’un d éterminant qui se base sur la solution du syst èmeA~x=~bet pas l’inverse

•Alternatives num ´eriques

—m ´ethodes directes : fournissent la solution en un nombre fini d’ ´etapes.

—m ´ethodes it ´eratives : fournissent une approximation conver- gente ;

— matrices creuses (sparse matrices), ´equations diff ´erentielles partielles.

•Choix sur la base des consid érations th éoriques et architecturales (m émoire, temps d’ex écution,. . . )

Syst `eme triangulaire inf ´erieur







ℓ₁₁x₁ = b₁ ℓ₂₁x₁+ℓ₂₂x₂ = b₂ ℓ₃₁x₁+ℓ₃₂x₂+ℓ₃₃x₃ = b₃

(4)

Syst `eme triangulaire inf ´erieur

ℓ₁₁ 0 0 b₁

ℓ₂₁ ℓ₂₂ 0 b₂ ℓ₃₁ ℓ₃₂ ℓ₃₃ b₃

•^Sii < j,ℓ_ij= 0

• ∀i= 1, . . . , n:ℓ_ii6= 0(pour queAsoit inversible)

Substitution directe

x₁ = b₁/ℓ₁₁

x₂ = (b₂−ℓ₂₁x₁)/ℓ₂₂

x₃ = (b₃−ℓ₃₁x₁−ℓ₃₂x₂)/ℓ₃₃

Pour le cas g én éral d’un syst èmeLx = b o ùL est une matrice triangulaire inf érieuren×n,n >2etℓ_ii6= 0 x1 = b1/ℓ11

x_i = (b_i−^Pⁱ⁻¹j=1ℓ_ijx_j)/ℓ_ii i= 2, . . . , n

R ésolution d’un syst ème triangulaire sup érieur

u11 u12 u13 b1

0 u22 u23 b2

0 0 u33 b3

•^Sii > j,u_ij= 0

• ∀i= 1, . . . , n:uii6= 0(pour queAsoit inversible)

Substitution r ´etrograde

Pour le cas general d’un syst ème Ux=b, o ù U est une matrice triangulaire sup érieure xn = bn/unn

x_i = (b_i−^Pⁿj=i+1u_ijx_j)/u_ii i=n−1, . . . ,1

(5)

Analyse du co ˆut computationnel (triang. inf.)

x₁ = b₁/ℓ₁₁

x_i = (b_i−^Pⁱ⁻¹j=1ℓ_ijx_j)/ℓ_ii i= 2, . . . , n

x₁ = b₁/ℓ₁₁ 1div

x₂ = (b₂−ℓ₂₁x₁)/ℓ₂₂ 1div+ 1add+ 1mul x3 = (b3−ℓ31x1−ℓ32x2)/ℓ33 1div+ 2add+ 2mul x₄ = (b₄−ℓ₄₁x₁−ℓ₄₂x₂−ℓ₄₃x₃)/ℓ₄₄ 1div+ 3add+ 3mul

. . .

x_n = (b_n−^Pⁿ⁻¹j=1ℓ_njx_j)/ℓ_nn 1div+ (n−1)add+ (n−1)mul

Co ˆut computationnel de la substitution

En utilisant la relation suivante : Xn−1 r=1

r=n(n−1) 2

on trouve que le nombre d’op ´erations n ´ecessaires sont :

•ndivisions

•n(n−1)/2multiplications

•n(n−1)/2additions (ou soustractions).

Donc l’algorithme n ´ecessiten²op ´erations en virgule flottante (flops).

Cas g én éral : Syst èmes équivalents

Syst `eme non triangulaire : comment le r ´esoudre ? Si l’on tient compte que

•Deux syst èmes sont équivalentss’ils ont la m ême solution.

•On ne change pas la solution du syst `eme quand

— on inverse deuxlignes.

— onmultiplieune ´equation par une constante.

— on ajoute à une équation donn ée unecombinaison lin éairedes autres équations.

alors on peut

•R ésoudre un syst ème lin éaire en le remplaçant, à l’aide de combinai- sons lin éaires des diverses équations, par unsyst ème équivalent plus simple.

M ´ethode d’ ´elimination de Gauss

a₁₁ a₁₂ a₁₃ b₁

a₂₁ a₂₂ a₂₃ b₂ a₃₁ a₃₂ a₃₃ b₃

=

a⁽¹⁾₁₁ a⁽¹⁾₁₂ a⁽¹⁾₁₃ b⁽¹⁾₁ a⁽¹⁾₂₁ a⁽¹⁾₂₂ a⁽¹⁾₂₃ b⁽¹⁾₂ a⁽¹⁾₃₁ a⁽¹⁾₃₂ a⁽¹⁾₃₃ b⁽¹⁾₃

a⁽¹⁾₁₁ a⁽¹⁾₁₂ a⁽¹⁾₁₃ b⁽¹⁾₁ a⁽¹⁾₂₁ −m21a⁽¹⁾₁₁ a⁽¹⁾₂₂ −m21a⁽¹⁾₁₂ a⁽¹⁾₂₃ −m21a⁽¹⁾₁₃ b⁽¹⁾₂ −m21b⁽¹⁾₁ a⁽¹⁾₃₁ −m₃₁a⁽¹⁾₁₁ a⁽¹⁾₃₂ −m₃₁a⁽¹⁾₁₂ a⁽¹⁾₃₃ −m₃₁a⁽¹⁾₁₃ b⁽¹⁾₃ −m₃₁b⁽¹⁾₁ Calcul desmultiplicateursm₂₁etm₃₁:

a⁽¹⁾₂₁ −m₂₁a⁽¹⁾₁₁ = 0⇔ m₂₁=^a⁽¹⁾²¹

a⁽¹⁾11

a⁽¹⁾₃₁ −m₃₁a⁽¹⁾₁₁ = 0⇔ m₃₁= ^a⁽¹⁾³¹

a⁽¹⁾11

Hypoth `ese :a₁₁6= 0

L ´el ´ement diagonala11est dit lepivot

(6)

It ´eration(s) suivante(s)

a⁽²⁾₁₁ a⁽²⁾₁₂ a⁽²⁾₁₃ b⁽²⁾₁ 0 a⁽²⁾₂₂ a⁽²⁾₂₃ b⁽²⁾₂ 0 a⁽²⁾₃₂ a⁽²⁾₃₃ b⁽²⁾₃

a⁽²⁾₁₁ a⁽²⁾₁₂ a⁽²⁾₁₃ b⁽²⁾₁ 0 a⁽²⁾₂₂ a⁽²⁾₂₃ b⁽²⁾₂ 0−m₃₂0 a⁽²⁾₃₂ −m₃₂a⁽²⁾₂₂ a⁽²⁾₃₃ −m₃₂a⁽²⁾₂₃ b⁽²⁾₃ −m₃₂b⁽²⁾₁ a⁽²⁾₃₂ −m₃₂a⁽²⁾₂₂ = 0⇔ m₃₂= ^a⁽²⁾³²

a⁽²⁾22

Gauss : analyse du co ˆut

L’algorithme forr= 1, . . . , n−1:

•^fori=r+ 1, . . . , n:

• m_ir= ^a^(r)^ir

a^(r)rr

•^forj=r+ 1, . . . , n:

• a^(r+1)_ij =a^(r)_ij −m_ira^(r)_rj

• b^(r+1)_i =b^(r)_i −m_irb_r(r)

A premi ère vue : trois boucles emboˆıt ées⇒ ^{co ût}=O(n×n×n) flops

Analyse plus pr ´ecise (1)

En utilisant

n−1X

r=1

r= n(n−1) 2

Xn−1 r=1

r²=n(n−1)(2n−1)

6 on arrive `a :

•^Divisions Une dans chaque boucle au niveau interm ´ediare•(n− 1) + (n−2) +. . .+ 1 =n(n−1)/2

•Multiplications

— Une dans chaque boucle au niveau inf ´erieur•

— Il y an−rboucles internes dans une boucle interm ´ediaire•

— Il s’ajoute une multiplication dans la boucle interm ´ediare•

— C¸ a faitn−r+ 1dans une boucle interm ´ediaire•

— Chaque boucle interm édiare est parcourue n−r fois, donc le nombre total s’ él ève à

(n−1)n+ (n−2)(n−1) +. . .+ 3·2 + 2·1 = Xn−1

r=1

r(r+ 1)

=

n−1X

r=1

r+ Xn−1

r=1

r²= n(n−1)

2 +n(n−1)(2n−1)

6 = n³

3 −n 3

Analyse plus pr ´ecise (2)

•Additions/soustractions: analogue

•^{Au total}

2

3n³+¹₂n²−⁷₆nflops

•Complexit ´e de l’ ´elimination de Gauss + Substitution : n²+²₃n³+¹₂n²−⁷₆n=²₃n³+³₂n²−⁷₆nflops

(7)

La factorisation LU

•Il est souvent int ´eressant de factoriser la matrice non singuli `ere A sous la forme d’un produit de deux matricesA=LU

—Lest une matrice triangulaire inf ´erieure avec des 1 sur la diagonale.

—U est une matrice triangulaire sup ´erieure.

•Les multiplicateurs de Gauss peuvent ˆetre utilis ´es pour la factorisation.

•Il existe d’autres m ´ethodes (ditesdirectesoucompactes) pour ef- fectuer la d ´ecomposition LU

— Doolitle

— Crout

— Cholesky

De l’ ´elimination selon Gauss `a une factorisation

A⁽¹⁾=





a⁽¹⁾₁₁ a⁽¹⁾₁₂ a⁽¹⁾₁₃ a⁽¹⁾₂₁ a⁽¹⁾₂₂ a⁽¹⁾₂₃ a⁽¹⁾₃₁ a⁽¹⁾₃₂ a⁽¹⁾₃₃





A⁽²⁾=





a⁽¹⁾₁₁ a⁽¹⁾₁₂ a⁽¹⁾₁₃ 0 a⁽¹⁾₂₂ −m₂₁a⁽¹⁾₁₂ a⁽¹⁾₂₃ −m₂₁a⁽¹⁾₁₃ 0 a⁽¹⁾₃₂ −m₃₁a⁽¹⁾₁₂ a⁽¹⁾₃₃ −m₃₁a⁽¹⁾₁₃





A⁽²⁾=





1 0 0

−m₂₁ 1 0

−m31 0 1



·





a⁽¹⁾₁₁ a⁽¹⁾₁₂ a⁽¹⁾₁₃ a⁽¹⁾₂₁ a⁽¹⁾₂₂ a⁽¹⁾₂₃ a⁽¹⁾₃₁ a⁽¹⁾₃₂ a⁽¹⁾₃₃



=M₁A⁽¹⁾

Propri ´et ´e de M

1

M1=





1 0 0

−m21 1 0

−m₃₁ 0 1



Alors :M₁⁻¹





1 0 0 m21 1 0 m₃₁ 0 1



= 2I−M1

Interpr ´etation

L’op ération repr ésent ée par la matriceM₁consiste de

— Soustrairem₂₁fois la premi `ere ligne de la seconde

— Soustrairem₃₁fois la premi `ere ligne de la troisi `eme

Evidemment, l’op ´eration inverse annihile cette op ´eration, ceci implique

— Ajouterm₂₁fois la premi `ere ligne `a la seconde

— Ajouterm₃₁fois la premi ère ligne à la troisi ème On peut également v érifier queM₁M₁⁻¹=I=M₁⁻¹M₁

La seconde it ´eration

A⁽²⁾=





a⁽²⁾₁₁ a⁽²⁾₁₂ a⁽²⁾₁₃ 0 a⁽²⁾₂₂ a⁽²⁾₂₃ 0 a⁽²⁾₃₂ a⁽²⁾₃₃





A⁽³⁾=





a⁽²⁾₁₁ a⁽²⁾₁₂ a⁽²⁾₁₃ 0 a⁽²⁾₂₂ a⁽²⁾₂₃ 0 0 a⁽²⁾₃₃ −m₃₂a⁽²⁾₂₃





A⁽³⁾=





1 0 0

0 1 0

0 −m₃₂ 1



·





a⁽²⁾₁₁ a⁽²⁾₁₂ a⁽²⁾₁₃ 0 a⁽²⁾₂₂ a⁽²⁾₂₃ 0 a⁽²⁾₃₂ a⁽²⁾₃₃



=M₂A⁽²⁾

A⁽³⁾=U =M₂A⁽²⁾=M₂M₁A⁽¹⁾

(8)

La factorisation

En g én érale, une matriceA∈^R^n×npeut être r éduite à une matrice triangulaire sup érieure par U = (M_n−1M_n−2. . . M₁)A

Les matricesMk, k= 1, . . . , n−1ont la forme d’une matrice identit ´e d’ordre n

o ù la k- ème colonne est remplac ée parM_k(:, k) =





 0...

1

−m_k+1,k ...

−m_n,k







Les matricesM_k satisfont la propri ét é M_k⁻¹= 2I_n−M_k o ùI_nest la matrice unit é (matrice identit é) de taillen×n

Factorisation LU

Posons L= (M_n−1M_n−2. . . M₁)⁻¹=M₁⁻¹M₂⁻¹. . . M_n−1⁻¹ On a alorsA=LU

Puisque toutes lesM_k⁻¹ sont triangulaires inf ´erieures, laLle sera aussi (voir transparent suivant)

R ésoudreAx=b⇔LU x=bconsiste à r ésoudre deux syst èmes lin éaires triangulaires:

Ly=b U x=y

La matrice L

L=M₁⁻¹M₂⁻¹. . . M_n−1⁻¹

Interpr ´etation (de la droite vers la gauche) :

•D’abord, appliquerM_n−1⁻¹, c. `a.d., ajouterm_n,n−1fois la lignen−1 `a la lignen

•Ensuite, appliquerM_n−2⁻¹ :

— ajouterm_n,n−2fois la lignen−2 `a la lignen

— ajouterm_n−1,n−2fois la lignen−2 `a la lignen−1

•^etc

Observation centrale : D ès qu’une ligne est modifi ée par addition d’une autre, cette ligne n’est plus utilis ée dans la modification d’une autre

Un tel argument n’est pas correct pourL⁻¹=M_n−1M_n−2. . . M₁

(L⁻¹sera bien une matrice triangulaire inf érieure, mais ses él éments ne seront pas ceux deM_n−1, M_n−2, . . . , M₁)

La matrice L

PourL, le r ´esultat est qu’

•`a la lignense sont ajout ´ees

—m_n,n−1fois la lignen−1

—m_n,n−2fois la lignen−2

— etc.

•`a la ligneise sont ajout ´ees

—m_i,i−1fois la lignei−1

—m_i,i−2fois la lignei−2

— etc.

Cette op ération peut être repr ésent ée par la matrice triangulaire inf érieur L=







1 0 0 . . . 0 0

m2,1 1 0 . . . 0 0

m3,1 m3,2 1 . . . 0 0 . . . . . . . . . . . . . . . . mn,1 mn,2 mn,3 . . . m_n,n−1 1







(9)

L’ ´elimination Gauss vs. la factorisation LU

•Supposons qu’il faut r ésoudrepsyst èmes lin éaires gouvern és par la m ême matriceAmais avec diff érents seconds membres :

Ax^(ℓ)=b^(ℓ), ℓ= 1, . . . , p

•Deux alternatives

— Appliquerpfoisl’algorithme de Gauss

— Co ˆut :pO(n³+n²)

— Calculerune seule foisla factorisationLUet r ´esoudrepdoubles syst `emes triangulaires de la formeLy^(ℓ)=b^(ℓ) U x^(ℓ)=y^(ℓ)

— Co ˆut :O(n³+pn²)

— Pourn → ∞(c.- `a-d., pour ngrand), le terme n² est n ´egligible (toujours en comparaison avecn³), donc la seconde alternative est (presque)pfois plus rapide

Multiplicateurs et pivot

n−kmultiplicateurs à laki ème it ération (k= 1, . . . , n−1)

m_ik= a^(k)_ik

a^(k)_kk i=k+ 1, . . . , n

L’ ´el ´ement diagonala^(k)_kk est dit lepivot

La m éthode échoue si un des pivots est 0Dans un algorithme num érique, ça veut dire : si un des pivots estproche de 0

Notons que les pivots sont aussi les termes diagonaux de la matriceU, construite dans la factorisationLU.

Pivotage = changement de pivot (Gauss)

•Changement de pivot partiel:

— si a^(k)_kk = 0 à la k-i ème étape, nous recherchons le plus grand terme (en valeur absolue) non nula_pkdans lak-i ème sous-colonne A^(k)(k+ 1 :n, k).

— Ensuite :

— nous remplaçons lak-i ème ligne par la p-i ème dansA^(k) et b^(k).

•Changement de pivot total:

— si a^(k)_kk = 0 à la k-i ème étape, nous recherchons le plus grand terme (en valeur absolue) non nula_prdans la sous-matriceA^(k)(k: n, k:n).

— Ensuite :

— nous remplaçons lak-i ème ligne par la p-i ème dansA^(k) et b^(k).

— nous remplaçons lak-i ème colonne par lar-i ème dansA^(k).

Nota bene

•Le pivoting entraˆıne un surco ût d û à la recherche : si le pivoting est effectu é à toutes les étapes avec un algo de recherche de complexit é O(N)(ensemble de tailleN non ordonn é)

— surco ˆut pivoting partiel :O(n²)(toutes les ´etapes confondues)

— surco ˆut pivoting total :O(n³)(toutes les ´etapes confondues)

•Les pivots sont les termes diagonaux de la matriceA^(k)et pas de la matriceA.

•Si en effectuant le pivoting total, on échange lak-i ème colonne et la r-i ème colonne dansA^(k), alors la position des variables inconnues x_ketx_rdans la solution finale sera aussi échang ée.

(10)

Exemples de pivoting

A=



^{1 2 3}2 4 5 7 8 9



b=



11⁶ 24



 A⁽²⁾=



^{1 2}0 0 −³1 0 −6 −12



b⁽²⁾=



 ₋⁶1

−18



 Pivoting partiel





1 2 3 0 −6 −12 0 0 −1







 6

−18

−1





Pivoting total





1 3 2

0 −12 −6 0 −1 0







 6

−18

−1





La matrice d’une permutation

Permutation de lignes A=







1 2 3 4 4 6 7 8 9 10 11 12 13 14 15 16





^A^(l2↔l4)⁼







1 2 3 4 13 14 15 16

9 10 11 12 4 6 7 8





⁼





 1 0 0 0 0 0 0 1 0 0 1 0 0 1 0 0













1 2 3 4 4 6 7 8 9 10 11 12 13 14 15 16







Permutation de la matrice d’identit ´e Permutation de lignes et colonnes A(l2↔l4;c2↔c3)=







1 3 2 4 13 15 14 16

9 11 10 12 4 7 6 8





⁼





 1 0 0 0 0 0 0 1 0 0 1 0 0 1 0 0













1 2 3 4 4 6 7 8 9 10 11 12 13 14 15 16











 1 0 0 0 0 0 1 0 0 1 0 0 0 0 0 1







L’effet d’un pivotage sur la matrice L

Exemple A=



 1 2 3 2 4 5 7 8 9





AvecM₁=





1 0 0

−2 1 0

−7 0 1



etP₁=



 1 0 0 0 0 1 0 1 0



on arrive `aU =P₁M₁A=





1 2 3 0 −6 −12 0 0 −1





maisL^′= (P₁M₁)⁻¹=



 1 0 0 2 0 1 7 1 0





L^′n’est qu’une permutation d’une matrice triangulaire infrieure (Nous ´ecrivons L^′au lieu deLpour pouvoir r ´eserver la notationLpour une matrice vraiment triangulaire - voir ci-dessous)

L’effet d’un pivotage sur la matrice L (2)

Pour une matriceAde taille4×4, on a la construction compl `eteU =M₃P₃M₂P₂M₁P₁A Nous prenonsL^′tel queA=L^′U, doncL^′=AU⁻¹=P₁⁻¹M₁⁻¹P₂⁻¹M₂⁻¹P₃⁻¹M₃⁻¹ L^′n’est pas triangulaire.

Remarque : Les matrices P_i sont autoinverses (“self-inverse”) ( échanger deux fois les m êmes deux lignes = identit é), doncP_i⁻¹=Pi

Posons P =P₃P₂P₁ et L=P AU⁻¹ donc P A=LU Alors La matriceLest bien triangulaire inf ´erieure D ´emonstration

L=P AU⁻¹=P L^′=P3P2P1P₁⁻¹M₁⁻¹P₂⁻¹M₂⁻¹P₃⁻¹M₃⁻¹=P3

P2(M₁⁻¹)P2M₂⁻¹ P3M₃⁻¹ En g én éral,Lest le r ésultat final d’une r écursion

L=L⁽ⁿ⁻¹⁾ o `u L⁽¹⁾=M₁⁻¹ L^(k)=PkL^(k−1)PkM_k⁻¹

Nous d ´emontrons, par induction, que la matriceL^(k)a une structure triple : 1. Elle est triangulaire inf ´erieure

2. Les él’ements diagonaux sont égaux à 1

3. Hors de la diagonale, les él’ements des colonnesk+ 1, . . . , nsont nuls Ceci correspond à la structure des matrices interm édiaires dans le sch éma de Gauss sans pivotage.

(11)

D ´etails de la d ´emonstration (pour info – hors examen)

Une ´etape de l’it ´eration comprend :

(1) Une multiplication à gauche parPk, c’est- à-dire un remplacement des lignes ketr, o ùr≥k.

(2) Une multiplication à droite par Pk, c’est- à-dire un remplacement des colonnesketr, o ùr≥k(toujours le m êmer).

(3) Une multiplication `a droite parM_k⁻¹.

En appliquant l’hypoth `ese de l’induction, on d ´eduit que les effets de ces trois sous-

´etapes se d ´ecrivent ainsi :

(1) Puisque les lignes ketrdeL^(k−1)ne contiennent que des 0 et 1 dans les colonnesk, . . . , n, la matricePkL^(k−1)aura la m ˆeme structure triple queL^(k−1)

à l’exception des él éments(k, r)et(r, k)qui aurant la valeur de 1, et des

´el ´ements(k, k)et(r, r)qui seront nuls.

(2) Ces exceptions sont r épar ées par le remplacement des colonnesketr. (3) PuisquePkL^(k−1)Pka la m ême structure queL^(k−1), l’effet de la multiplication

à droite par M_k⁻¹ est le m ême qu’en absence du pivoting : la colonnekde PkL^(k−1)Pkse remplie par les él éments de la colonne deM_k⁻¹

La factorisation avec un pivoting partiel

Conclusion des pages pr éc écentes :La factorisation prend la forme P A=LU o ù les matricesP,LetU sont construites ainsi

•U =M_n−1P_n−1. . . M₁P₁A

c’est- `a-dire : pivoter, ensuite annuler une colonne

•P =P_n−1. . . P₂P₁

c’est- à-dire : d émarrer avec la matrice d’unit é, chaque fois appliquer les remplacements des lignes comme dans le calcul deU

Attention :Bien que les matricesP_isoient autoinverses, le produit P ne l’est pas : pour l’inversion deP, l’ordre des remplacements doit

ˆetre invers ´e :P⁻¹=P₁P₂·P_n−16=P_n−1. . . P₂P₁

•L^(k)=PkL^(k−1)PkM_k⁻¹

En th éorie :remplacer les lignesk etr, ensuite les colonnesketr pour remettre en place les él éments diagonaux, enfin remplir col.k En pratique : remplacer les lignes k et r de la sous-matrice com- pos ée des colonnes 1 àk−1. De cette mani ère on évite la correction des colonnes

Ceci a pour r ´esultat l’algorithme `a la page 43 des slides (en prenantQ=I)

La factorisation avec un pivoting total

La factorisation prend la forme P AQ=LU o `u les matricesP,LetU sont construites ainsi

•U =M_n−1P_n−1. . .[P₂M₁(P₁AQ₁)Q₂]. . . Q_n−1 c’est- `a-dire : pivoter, ensuite annuler une colonne

•Q=Q₁Q₂. . . Q_n−1,

c’est- à-dire : d émarrer avec la matrice d’unit é, chaque fois appliquer les remplacements des colonnes

•L=P AQU⁻¹=P_n−1ⁿ. . . P₃P₂(M₁⁻¹)P₂⁻¹M₂⁻¹P₃⁻¹M₃⁻¹. . .^oP_n−1⁻¹M_n−1⁻¹ Le calcul deLne d ´epend pas deQ

•P =P_n−1. . . P₂P₁(ne d ´epend pas deQ)

L’algorithme LU avec pivotage (code Matlab) - (0)

[n m] = size(A);

L = eye(n);

U = A;

for k = 1:n,

%%%%%%%%%%%%%%% PART 1: pivoting %%%%%%%%%%%%%%%%%%%%%%

%%%%%%%%%%%%%%% PART 2: factorisation %%%%%%%%%%%%%%%%%

end

(12)

L’algorithme LU avec pivotage (code Matlab) - (2)

%%%%%%%%%%%%%%% PART 1: pivoting %%%%%%%%%%%%%%%%%%%%%%

r = k; c = k;

if (partial_pivoting == true), % look for maximum in column k [u r] = max(abs(U(k:n,k))); % r is between 1 and n-k+1

r = k-1+r; % now r is between k and n

elseif (complete_pivoting == true),

% look for maximum in submatrix

[u r] = max(abs(U(k:n,k:n))); [u c] = max(u); r = r(c);

r = k-1+r; c = k-1+c;

end

if r˜=k, % swap rows in submatrices

U([k r],1:n) = [0 1;1 0]*U([k r],1:n);

P([k r],1:n) = [0 1;1 0]*P([k r],1:n);

L([k r],1:k-1) = [0 1;1 0]*L([k r],1:k-1);

end if c˜=k,

U(1:n,[k c]) = U(1:n,[k c])*[0 1;1 0];

Q(1:n,[k c]) = Q(1:n,[k c])*[0 1;1 0];

end

L’algorithme LU avec pivotage (code Matlab) - (2)

%%%%%%%%%%%%%%% PART 2: factorisation %%%%%%%%%%%%%%%%%

% U(k,k) is the pivot

% Now, compute the multiplicators and store in L(k+1:n,k):

L(k+1:n,k) = U(k+1:n,k)/U(k,k);

% Now update right lower submatrix of U:

U(k+1:n,k) = 0;

U(k+1:n,k+1:n) = U(k+1:n,k+1:n)-L(k+1:n,k)*U(k,k+1:n));

% Note that L(k+1:n,r)*U(k,k+1:n)) is an outer vector product

% (i.e.: row vector x column vector = matrix)

% This is equivalent to the double for loop:

% for l = k+1:n,

% for m = k+1,n,

% U(l,m) = U(l,m) - L(l,k)*U(k,m);

% end

% end end

Pivot et pr ´ecision du calcul

La technique de pivoting est conseill ´ee m ˆeme en absence de pivot nuls pour les deux raisons suivantes :

1.Erreur de propagation

Un pivot tr ès petit pourrait être lacons équenced’une erreur d’annulation.

Ce pivot est donc sujet d’une erreur relative tr ès grande ; il faut éviter de l’util- ser dans ce r ôle central.

Attention : on parle ici du conditionnement au niveau de l’ ´etape.

Dans l’ensemble de la factorisation, ceci est un souci de stabilit ´e.

2.Erreur de g ´en ´eration

Un multiplicateur obtenu avec un pivot tr ès petit peut être àl’origine des erreurs d’absorption, m ême si cette petite valeur est correcte (obtenue en arithm étique exacte). Ce pivot, malgr é sa valeur correcte, peut être la source de futures erreurs.

Factorisation et d ´eterminant

•Etant donn ée la factorisationA=LU, o ùLest triangulaire inf érieure avecℓ_ii= 1etU est triangulaire sup érieure

det(A) = det(L) det(U) = Yn k=1

u_kk

•Noter aussi que

— la factorisationA=LUpeut être écrite de la mani èreA=LDU₁ o ùDest une matrice diagonale qui contient les él éments diagonaux deU

En matlab :

D = diag(diag(U))

etU₁n’a que des 1 sur la diagonale

— SiAest sym ´etrique, alorsL=U₁^T

— SiAest sym étrique, d éfinie positive, les él éments deDsont tous positifs

(13)

Factorisation et Matlab

•L’op ´erateur Matlab\(backslash ou left division)

>> x = A\b;

calcule la solutionx, en utilisant la factorisation LU si la matriceAest une matrice g én érique carr ée et non triangulaire.

•L’op ´erateur Matlab

>> d = det(A);

utilise aussi la factorisation LU.

M ´ethodes directes pour la factorisation

•Ils sont avantageux pour la r ésolution de plusieurs syst èmes avec la m ême matriceA

•Ils n écessitent moins de r ésultats interm édiaires que la m éthode de Gauss.

•Factorisation est formellement équivalent à r ésoudre le produit matri- cielA=LUc.- à-d. le syst ème non-lin éaire den² équations etn²+n inconnues :

n+ (n−1) +. . .+ 1 =n(n+ 1)/2variablesℓ_iret le m ˆeme nombre de variablesu_rj

a_ij =

min(i,j)X

r=1

ℓ_iru_rj

•Il est n ´ecessaire de fixernvaleurs arbitraires :

— Les termes diagonaux deL: Doolittle (comme Gauss, mais avec moins de r ´esultats interm ´ediaires)

— Les termes diagonaux deU : Crout

La m ´ethode de Doolittle







1 0 . . . 0 0 ℓ21 1 0 0 . . . ℓ31 ℓ32 1 0 . . .

... ... ... . . . ...

ℓn1 ℓn2 . . . ℓn,n−1 1













u11 u12 . . . u1,n−1 u1n

0 u22 . . . u2,n−1 u2n

. . . 0 . . . . . . . . .

... ... ... . . . ...

0 0 . . . 0 unn







=







a11 a12 . . . a1,n−1 a1n

a21 a22 . . . a2,n−1 . . . . . . . . . . . . . . . .

... ... ... . . . ...

an1 an2 . . . an,n−1 ann







u11=a11

u12=a12

. . . u1n=a1,n

a21=ℓ21u11⇒ℓ21=a21/u11

. . .

an1=ℓn1u11⇒ℓn1=an1/u11

u22=a22−ℓ21u12

u23=a23−ℓ21u13

. . .

ℓ32= (a32−ℓ31u12)/u22

ℓ42= (a42−ℓ41u12)/u22

Algorithme de Doolittle

D’abord lak-i `eme ligne deU, puis lak-i `eme colonne deL for k=1:n

for j=k:n u_kj =a_kj−

Xk−1 r=1

ℓ_kru_rj

end

for i=k+1:n ℓ_ik= 1

u_kk a_ik− Xk−1

r=1

ℓ_iru_rk

!

end end

Si au lieu des termes diagonaux deL, les termes diagonaux deUsont choisis

(14)

Algorithme de Crout

D’abord lak-i `eme colonne deL, puis lak-i `eme ligne deU for k=1:n

for i=k:n ℓik =aik−

Xk−1 r=1

ℓirurk

end

for j=k+1:n

u_kj= 1

ℓ_kk a_kj− Xk−1

r=1

ℓ_kru_rj

!

end end

Factorisation de Cholesky

La n écessit é de r ésoudre d’un syst ème lin éaire o ùAest une matrice sym étrique d éfinie positive est souvent rencontr ée dans lastatistiqueet lasimulation

— R ´esolution moindres carr ´es

— D écomposition matrice covariance Th éor ème.

SoitA ∈ ^R^n×n une matrice sym étrique d éfinie positive. Alors il existe une unique matrice triangulaire sup érieureH dont les termes diagonaux sont positifs telle queA=H^TH

Factorisation de Cholesky A = H

^T

H







h11 0 . . . 0 0 h12 h22 0 0 . . . h13 h23 h33 0 . . .

... ... ... . . . ...

h1n h2n . . . hn−1,n hnn













h11 h12 . . . h1,n−1 h1n

0 h22 . . . h2,n−1 h2n

. . . 0 ^{. . .} . . . . . .

... ... ... . . . ...

0 0 . . . 0 hnn







=







a11 a12 . . . a1,n−1 a1n

a21 a22 . . . a2,n−1 . . . . . . . ^{. . .} . . . . . .

... ... ... . . . ...

an1 an2 . . . an,n−1 ann







h²₁₁=a₁₁ ⇒ h₁₁=√a₁₁ h₁₂h₁₁=a₁₂ ⇒ h₁₂=^a_h¹²

11

. . .

h_1nh₁₁=a_1n ⇒ h_1n=^a_h¹ⁿ

11

h²₁₂+h²₂₂=a22 ⇒ h22=^pa22−h²₁₂ h₁₃h₁₂+h₂₃h₂₂=a₂₃ ⇒ h₂₃= (a₂₂−h₁₃h₁₂)/h₂₂

Formules de Cholesky

for i=1:n

h_ii= vu uta_ii−

Xi−1 k=1

h²_ki

for j=i+1:n h_ij =a_ij−^Pⁱ⁻¹k=1h_kjh_ki

h_ii end

end

Ax=b⇔H^THx=b⇔

H^Ty = b Hx = y

(15)

Propri ´et ´es Cholesky

•Etant la matrice d ´efinie positive, les termes sous la racine sont toujours positives.

•Co ût algorithmique :O(n³/6)multiplications,O(n³/6)additions,O(n²/2) divisions etnracines carr ées. Au total,O(n³/3)par rapport auO(2n³/3) de la m éthode de Gauss.

•Algorithme stable.

•Stockage deH :n(n+ 1)/2cases m ´emoire au lieu den²pourLet U.

•A et H dans la m ême location m émoire de A. H dans la partie triangulaire inf érieure et A (sym étrique) dans la partie triangulaire sup érieure.

Calculer l’inverse

•^{En notant} X l’inverse d’une matrice non singuli ère A ∈ ^R^n×n^{, les} vecteurs colonnesx_ideXsont les solutions densyst èmes lin éaires Ax_i = e_i, i = 1, . . . , no ùe_i = [0,0, ...,0,1,0, ....0]^T avec le 1 sur lai-i ème position

•Co ˆut en utilisant la factorisation :O(n³) +nO(n²)

•Invertir une matrice est une op ´eration co ˆuteuse et peu stable.

Complexit ´es

Algorithm Complexit ´e(flops)

ADiagonale n

Substitution (triangulaire) n²

M ´ethode de Gauss 2/3n³

Factorisation LU 2/3n³

(avec pivoting partiel) +n²comparaisons

Factorisation LU 2/3n³

(avec pivoting total) +n³comparaisons

Cholesky 1/3n³

(si matrice d ´efinie positive)

Syst èmes lin éaires et erreurs num ériques

•Dans l’analyse effectu ée jusqu’ à pr ésent, nous n’avons pas consid ér é la pr ésence des erreurs d’arrondi.

•La r ésolution d’un syst ème lin éaire par une m éthode num érique conduit in évitablement à l’introduction, propagation et g én ération d’erreurs.

•Afin d’ éviter la d ét érioration de la solution deux conditions doivent être assur ées :

1. probl `eme bien conditionn ´e

2. m ´ethodes stables (par exemple pivoting).