Analyse Num´erique

(1)

Analyse Num´ erique

Thomas Cluzeau

Maˆıtre de Conf´erences

Ecole Nationale Sup´´ erieure d’Ing´enieurs de Limoges Parc ester technopole, 16 rue d’atlantis 87068 Limoges Cedex

thomas.cluzeau@unilim.fr

http://www.unilim.fr/pages_perso/thomas.cluzeau

(2)

Maths ` a l’ENSIL en TC1

•Harmonisationen fonction du test de la rentr´ee Analyse

Alg`ebre lin´eaire

•Tronc Commun (TC) - 1i`ere ann´ee

Mathématiques pour l’ingénieur (TC1 - S1) Analyse numérique (TC1 - S2)

(3)

Analyse Num´ erique : organisation et ´ evaluation

•Organisation :

Cours : 7 s´eances d’1h30 TDs et TPs : 12h

4 s´eances de TDs d’1h30

3 s´eances de TPsMatlab : 1 de 3h et 2 d’1h30.

•Evaluation´ :

Note du TP de 3h (Compte rendu) - 1/4 note finale 1 examen final de 1h30 avec documents - 3/4 note finale

(4)

Plan du cours

1 Arithm´etique des ordinateurs et analyse d’erreurs

2 Résolution d’un système d’équations linéaires (Partie 1) : méthodes directes

3 Conditionnement d’une matrice pour la résolution d’un système linéaire

4 Résolution d’un système d’équations linéaires (Partie 2) : méthodes itératives

5 Interpolation polynomiale

6 Int´egration num´erique

7 Résolution d’équations et de systèmes d’équations non linéaires

(5)

Chapitre 1

Arithm´etique des ordinateurs et

analyse d’erreurs

(6)

Arithm´ etique flottante

•Comment les réels sont-ils représentés dans un ordinateur ? Théorème (Système des nombres à virgule flottante)

Soitβ un entier strictement supérieur à1. Tout nombre réel x non nul peut se représenter sous la forme

x=sgn(x)β^e X

k≥1

d_k β^k,

où sgn(x)∈ {+,−}est le signe de x , les dk sont des entiers tels que0<d₁≤β−1et 0≤d_k ≤β−1 pour k≥2, et e∈Z. De plus, cette écriture est unique (sauf pour les décimaux :

2,5 = 2,499999. . . ).

(7)

Exemples

•Syst`eme d´ecimal : β = 10 etd_k ∈ {0,1,2,3,4,5,6,7,8,9}

0,0038 = 0,38.10⁻²= + 10⁻²(₁₀³ +₁₀⁸2)

1

7 = 0,142857. . .= + 10⁰(₁₀¹ +₁₀⁴2 +₁₀²3 +₁₀⁸4 +· · ·).

Développement décimal d’un nombre rationnel est périodique :

1

7 = 0,142857142857142857. . .

−√

2 =−1,4142. . .=−10¹(₁₀¹ +₁₀⁴2 +₁₀¹3 +₁₀⁴4+· · ·) π = 3,14159. . .= + 10¹(₁₀³ +₁₀¹2 +₁₀⁴3 +₁₀¹4 +· · ·)

•Historiquement, β = 10 car nous avons 10 doigts !

•Ordinateurs: β = 2 (num´eration binaire), β= 8 (num. octale), ou encoreβ= 16(num. hexad´ecimale)

•Unicit´e bas´ee sur d1 6= 0 :

0,0038 = 0,38.10⁻² = + 10⁻²(₁₀³ +₁₀⁸2)

= 0,038.10⁻³ = + 10⁻¹(₁₀⁰ +₁₀³2 +₁₀⁸3)

(8)

Le syst` eme F (1)

On d´efinit l’ensemble F ⊂Rpar : F =

y ∈R|y =±β^e d1

β + d2

β² +· · ·+ dt

β^t

, e_min ≤e ≤e_max

ou encore F =

y ∈R|y =±mβ^e−t, emin≤e ≤emax

Ceci correspond aux deux ´ecritures : 0,0038 = + 10⁻²(₁₀³ +₁₀⁸2) 0,0038 = + 38.10⁻⁴

avecβ = 10,e =−2,t = 2,e−t=−4

•m s’appelle la mantisse. Notation : m=d1d2. . .dt β

•Notons que 0∈/ F.

(9)

Le syst` eme F (2)

Poury 6= 0, on a mβ^e−t =β^e(d1

β + d2

β² +· · ·+ dt

β^t)≥β^e 1

β =⇒m≥β^t−1 m=d₁d₂. . .d_t^β =d₁β^t−1+· · ·+dt−kβ^k+· · ·+dt−1β+d_t < β^t On a donc montr´e queβ^t−1≤m< β^t.

•F est unsyst`eme de nombres `a virgule flottante(floating point number system). Notation : F(β,t,e_min,e_max).

•Il d´epend de quatre param`etres :

1 la base β (chiffres utilis´es 0,1, . . . , β−1),

2 la précision t (# chiffres utilisés pour représenter la mantisse),

3 emin et emax qui d´efinissentle domaine des exposants.

(10)

Exemple : F (2, 3, −1, 3)

•Un réel y ∈F(2,3,−1,3) s’écrit : y = 2ê

1 2+ d₂

4 +d₃ 8

, −1≤e ≤3, d₂,d₃ ∈ {0,1}

0 0,25

0,5 1 2 3 4 5 6 7 8

•Ecart entre deux nombres cons´´ ecutifs ×2 `a chaque puissance de 2

(11)

Standard IEEE 754 et epsilon machine

•Dans le standard IEEE 754 utilisé par Matlab, on a β= 2 et : en simple précision : t= 24, emin =−125,emax= 128, en double précision : t= 53, emin =−1021,emax= 1024.

D´efinition

On appelleepsilon machineet on note_M la distance de1 au nombre flottant suivant.

•Par exemple, pour F(2,3,−1,3), on a_M = 0,25

•Dans Matlab, c’est la variableeps.

(12)

Ecart entre deux nombres cons´ ´ ecutifs

Proposition

Pour F(β,t,emin,emax), on a _M =β^1−t. Proof.

On a 1 = ¹_ββ = 10. . .0^ββ.

Nombre suivant : 10. . .1^ββ= (¹_β +_β¹t)β = 1 +β^1−t.

Lemme

Dans le système de nombres à virgule flottante F(β,t,emin,emax), l’écart |y−x|entre un nombre flottant x (non nul) et un nombre flottant y (non nul) adjacent vérifieβ⁻¹_M|x| ≤ |y−x| ≤_M|x|.

(13)

Repr´ esentation physique et arrondi

•Repr´esentation physique:

simple précision 32 bits(bit = binary digit), 8 bits sont réservés

`

a l’exposant et 24 bits (dont 1 pour le signe) `a la mantisse.

double précision 64 bits, 11 bits sont réservés à l’exposant et 53 bits (dont 1 pour le signe) à la mantisse.

•Arrondi :

1 par troncature: par exemple avec 3 chiffres, 0,8573. . . devient 0,857.

2 au plus pr`es: 0,8573. . .devient 0,857.

3 au représentant le plus proche dont la dernière décimale est paire (rounding to even) : 0,8573. . .devient 0,858.

(14)

Formalisation

D´efinition

Soit G =G(β,t) ={y ∈R|y=±mβê−t} sans conditions sur l’exposant e. L’applicationfl: R→G, x 7→fl(x) est appelée opération d’arrondi.

•Etant donn´´ e un domaine F(β,t,e_min,e_max), il y a alors d´epassement de capacit´e si :

1 |fl(x)|>max{|y| |y ∈F}. On parle d’overflow

2 |fl(x)|<min{|y| |y∈F}. On parle d’underflow Sinon,x est dans le domaine de F.

(15)

Erreur d’arrondi

D´efinition

Soit x un réel et x une valeur approchée de x . L’erreur absoluee est défini par e =|x−x|.

L’erreur relative est |^e_x|.

Lepourcentage d’erreurest l’erreur relative multipli´ee par 100.

•En pratique, on ne connait en général pas la valeur exacte x mais on peut souvent avoir une idée de l’erreur maximale e que l’on a pu commettre : dans ce cas,on majore la quantité|ê_x|

(16)

Estimation de l’erreur d’arrondi - unit´ e d’erreur d’arrondi

Th´eor`eme

Soit x un r´eel. Si x est dans le domaine F(β,t,e_min,e_max), alors il existeδ ∈Ravec|δ|<u = ¹₂β^1−t = ¹₂M tel quefl(x) =x(1 +δ).

•L’erreur relative sur l’arrondi est égale à|δ|<u : le nombre u s’appelleunité d’erreur d’arrondi

•Exemple : standard IEEE 754 utilis´e par Matlab, on a u= 2⁻²⁴≈5,96.10⁻⁸ en simple pr´ecision

u= 2⁻⁵³≈1,11.10⁻¹⁶ en double pr´ecision.

(17)

Mod` ele de l’arithm´ etique flottante

•Mod`ele Standard(utilis´e par le standard IEEE) :

Soitx,y ∈F(β,t,e_min,e_max). Pour op∈ {+,−,×,÷,√}, on d´efinit

x op y =fl(xopy) = (xopy) (1 +δ), |δ|<u = 1

2β^1−t = 1 2_M

•Nous allons maintenant nous int´eresser auxerreurs faites par op

(18)

Analyse d’erreurs : non-associativit´ e

•Contrairement `a op,l’op´eration op n’est pas associative:

(x op y) op z 6=x op (y op z)

•Ceci est dˆu aux erreurs d’arrondi !

Par exemple, supposons que les réels soient calculés avec 3 chiffres significatifs et arrondis à la décimale la plus proche et cherchons à calculer la sommex + y + z avecx = 8,22,y = 0,00317 et z = 0,00432.

x + y = 8,22 donc (x + y) + z = 8,22 y + z = 0,01 doncx + (y + z) = 8,23

(19)

Analyse d’erreurs : erreurs d’arrondi sur une somme

•CalculerS =u₁+u₂+· · ·+u_n dans F(β,t,e_min,e_max)

•On calcule alors les sommes partielles Si par la r´ecurrenceS0= 0, Si =Si−1+ui

•Siu_i connus exactement, alors les erreurs d’arrondi ∆S_i commises sur le calcul des sommes partiellesS_i v´erifient

∆S_i ≤∆Si−1+δ(Si−1+u_i) = ∆Si−1+δS_i, |δ|<u

•L’erreur globale sur S =S_n v´erifie donc ∆S ≤δ(S₂+· · ·+S_n),

∆S ≤δ(u_n+ 2un−1+ 3un−2+· · ·+ (n−1)u₂+ (n−1)u₁).

Erreur minimale en sommant d’abord les termes les plus petits

(20)

Analyse d’erreurs : erreurs d’arrondi sur un produit

•CalculerP =u₁u₂. . .u_n dansF(β,t,e_min,e_max)

•On calcule alors lesproduits P_i par la r´ecurrenceP₀ = 1, Pi =Pi−1ui

•Siu_i connus exactement, alors leserreurs d’arrondi ∆P_i commises sur le calcul desP_i v´erifient

∆P_i ≤(∆P_i−1)u_i +δ(P_i−1u_i) = ∆Pi−1u_i +δP_i, |δ|<u

•L’erreur globale surP =P_n v´erifie donc

∆P ≤(k−1)δPn.

Contrairement au cas de l’addition, la majoration de l’erreur ne d´epend pas de l’ordre des facteurs.

(21)

Ph´ enom` enes de compensation (1)

•Phénomènes qui se produisent lorsque l’on tente de soustraire des nombres très proches

•Exemple 1 : E =√

x+ 1−√

x avecx >0 SousMatlab, on obtient :

pour x= 10⁹,E = 1,5811.10⁻⁵ pour x= 10¹⁶,E = 0 !

Si l’on remarque queE = ^√ ¹

x+1+√

x, alors, en utilisant cette nouvelle formule, on trouvera :

pour x= 10⁹,E = 1,5811.10⁻⁵ pour x= 10¹⁶,E = 5,000.10⁻⁹ !

(22)

Ph´ enom` enes de compensation (2)

•Phénomènes qui se produisent lorsque l’on tente de soustraire des nombres très proches

•Exemple 2 : ´equation du second degr´e x²−1634x+ 2 = 0.

Supposons que les calculs soient effectu´es avec 10 chiffres significatifs. Les formules habituelles donnent

∆⁰=

1634 2

2

−2 = 667487, √

∆⁰ = 816,9987760 x1 = 1634

2 +

√

∆⁰= 817 + 816,9987760 = 1633,998776, x₂ = 1634

2 −√

∆⁰ = 817−816,9987760 = 0,0012240.

perte de 5 chiffres significatifs surx2 !

Pour y rem´edier, on peut utiliser la relationx1x2 = 2 et calculer x2 = 2

x₁ = 2

1633,998776 = 0,001223991125.

(23)

Ph´ enom` enes d’instabilit´ e num´ erique (1)

•Phénomènes d’amplification d’erreur d’arrondi : se produisent pour des calculs récurrents ou itératifs

Exemple 1 : calcul deI_n=R1 0

xⁿ

10+xdx, n∈N

•Calcul direct :

I₀=ln 11

10

, I_n= 1

n −10In−1

calcul de In par r´ecurrence

•Numériquement, résultats très mauvais !

•Explication : erreur d’arrondi∆In v´erifie ∆In≈10 ∆In−1 etcroit exponentiellement: l’erreur sur I₀ est multipli´ee par 10ⁿ sur I_n.

Cette formule de r´ecurrence ne peut pas nous permettre de calculer la valeur deI₃₆par exemple

(24)

Ph´ enom` enes d’instabilit´ e num´ erique (2)

Exemple 1 : calcul deI_n=R1 0

xⁿ

10+xdx, n∈N

•Pour remédier à ce problème, on peut renverser la récurrence : In−1= ₁₀¹ ¹_n−In

.

•on obtient alors ∆In−1 ≈ ₁₀¹ ∆I_n. 10≤10 +x≤11 =⇒ 1

11 (n+ 1) ≤In≤ 1 10 (n+ 1)

•Approximation I_n≈ _{11 (n+1)}¹ valeur de départ pour notre récurrence renversée. Exemple, I₄₆≈ _{11 (46+1)}¹ , on obtient pourI₃₆ une erreur relative meilleure que 10⁻¹⁰.

•Importance du coefficient d’amplification d’erreur

(25)

Ph´ enom` enes d’instabilit´ e num´ erique (3)

Exemple 2 : On consid`ere la suite d´efinie par (J.-M. Muller) :











u₀ = 2, u₁ = −4,

u_n = 111−1130 un−1

+ 3000 un−1un−2

,

•Limite th´eorique 6 mais en pratique 100 !

(26)

Ph´ enom` enes d’instabilit´ e num´ erique (4)

•Explication : solution g´en´erale deun= 111−1130 un−1

+ 3000 un−1un−2

:

un = α100ⁿ⁺¹+β6ⁿ⁺¹+γ5ⁿ⁺¹ α100ⁿ+β6ⁿ+γ5ⁿ , o`u α, β etγ d´ependent des valeurs initialesu₀ etu₁

•α6= 0 convergence vers 100, sinon convergence vers 6 (β6= 0)

•Dans notre exemple (u0 = 2,u1 =−4) : α= 0, β =−3 et γ = 4 A cause des erreurs d’arrondi, mˆ` eme les premiers termes calcul´es seront diff´erents des termes exacts et donc lavaleur de α

correspondant à ces termes calculés sera très petite mais non-nulle ce qui suffira à faire en sorte que la suite converge vers 100 au lieu de 6.

(27)

Erreur amont et erreur aval

•Considérons un problème que l’on résout à l’aide d’un algorithme numérique : entréex y =f(x)

•En pratique, compte tenu des erreurs d’arrondis, étant donnée une entréex, nous allons obtenir une sortie y 6=y =f(x)

•Erreur aval : |y−y|

•Erreur amont (ou erreur inverse) : plus petitδx tel que la solution algébriquef(x+δx) correspondant à l’entrée x+δx soit égale ày.

•Erreur aval ≈erreur amont×Conditionnement.

•Erreur amont plus int´eressante:

nous renseigne sur le problème qui est réellement résolu par l’algorithme numérique

en pratique, nous ne connaissons en général qu’une valeur approchée de l’entrée

(28)

Outils th´ eoriques de l’analyse d’erreurs

•Formule (x×y) +z avecx,y etz dans F(β,t,emin,emax).

•On a alors :

fl((x×y) +z) = [fl(x×y) +z] (1 +δ₁)

= [(x×y) (1 +δ2) +z] (1 +δ1)

= (x×y) (1 +δ₂) (1 +δ₁) +z(1 +δ₁), Lemme

Si pour tout i = 1, . . . ,k, on a |δ_i|<u et si k u <1, alors il existe θ_k tel que|θ_k| ≤ _{1−k u}^{k u} et Qk

i=1(1 +δ_i)≤1 +θ_k.

•Notation <k >=Qk

i=1(1 +δ_i) avec<j > . <k >=<j +k >.

fl((x×y) +z) = (x×y) <2>+z <1>

≤ (x×y) (1 +₁₋₂²^u_u) +z(1 +_1−u^u ).

(29)

Chapitre 2

Résolution d’un système d’équations linéaires (Partie

1) : m´ethodes directes

(30)

Syst` emes lin´ eaires

•Beaucoup de problèmes se réduisent à la résolution numérique d’un système d’équations linéaires

•Deux grandes classes de m´ethodes :

1 Méthodes directes: déterminent explicitement la solution après un nombre fini d’opérations arithmétiques

2 Méthodes itératives(surR ouCmais pas Fp) : consistent à générer une suite qui converge vers la solution du système

•Autres m´ethodes non abord´ees dans ce cours :

Méthodes intermédiaires : Splitting, décomposition incomplètes Méthodes probabilistes comme celle de Monte-Carlo

(31)

Objet de l’´ etude

(S)











a_1,1x₁ + a_1,2x₂ + · · · + a_1,nx_n = b₁ a2,1x1 + a2,2x2 + · · · + a2,nxn = b2

... ...

a_n,1x₁ + a_n,2x₂ + · · · + a_n,nx_n = b_n

•Donn´ees: les ai,j et b1, . . . ,bn dans KavecK=RouC

•Inconnues : x₁, . . . ,x_n dans K

(32)

Ecriture matricielle ´

(S) A x =b,

A=







a_1,1 a_1,2 . . . a_1,n a2,1 . .. ...

... . .. ... a_n,1 . . . a_n,n







∈Mn×n(K)

x =





 x₁

... xn





∈Kⁿ, b=





 b₁

... bn





∈Kⁿ

•Dans ce chapitre, A est inversible !

(33)

Motivation (1)

•Pourquoi ce probl`eme se pose-t-il ?

•En effet, les formules de Cramer donnent la solution :

∀i ∈ {1, . . . ,n}, xi =

a_1,1 . . . a_1,(i−1) b₁ a_1,(i₊₁₎ . . . a_1,n

... ... ...

an,1 . . . a_n,(i₋₁₎ bn a_n,(i+1) . . . an,n

det(A) .

•Regardons le nombre d’op´erations n´ecessaires !

(34)

Motivation (2)

•Regardons le nombre d’op´erations n´ecessaires ! Lemme

Le nombre d’opérations nécessaires pour résoudre le système à l’aide des formules de Cramer est de(n+ 1) (n n!−1)opérations à virgule flottante.

•Lorsquen = 100, nombre d’opérations de l’ordre de 9,4.10¹⁶¹ ! Ordi. fonctionnant à 100 megaflops, environ3.10¹⁴⁶ années ! Impossible d’utiliser Cramer pour résoudre de grands systèmes !

(35)

R´ esolution d’un syst` eme triangulaire

•Idée des méthodes directes : se ramener à la résolution d’1 (ou 2) système triangulaire

•A triangulaire sup´erieure : (S) s’´ecrit :

(S)











a1,1x1 + a1,2x2 + · · · + a1,nxn = b1

a_2,2x₂ + · · · + a_2,nx_n = b₂

. .. ...

an,nxn = bn.

•A inversible⇒les a_i,i sont non nuls

Systèmefacile à résoudre: algorithme de substitution rétrograde

(36)

R´ esolution d’un syst` eme triangulaire : exemple

•On considère le système triangulaire supérieur :

(S)







x₁ + 2x₂ + 5x₃ = 1

−4x2 − 16x3 = −⁵₂

−17 x₃ = −¹⁷₈ 3i`eme ´equation : x3= ¹₈

2i`eme ´equation : x2= −5/2 + 16x3

−4 = ¹₈ 1i`ere ´equation : x₁ = 1−2x2−5x3

1 = ¹₈

•Idem si Atriang. inf. : algorithme de substitution progressive

(37)

Syst` eme triangulaire : # op´ erations et propri´ et´ es

Lemme

La résolution d’un système d’équations linéaires triangulaire se fait enn² opérations à virgule flottante.

Lemme (Propri´et´es)

Soient A,B∈Mn×n(K) deux matrices triangulaires sup´erieures. On a alors les r´esultats suivants :

1 A B est triangulaire sup´erieur

2 Si A et B sont à diagonale unité (i.e., n’ont que des1sur la diagonale), alors A B est à diagonale unité

3 Si A est inversible, alors A⁻¹ est aussi triangulaire sup´erieure

4 Si A est inversible et à diagonale unité, alors A⁻¹ est aussi à diagonale unité.

(38)

3 m´ ethodes directes ´ etudi´ ees dans la suite

1 M´ethode de Gauss: syst`eme (M A)x=M bavec M A triang. sup. (sans calculer explicitement M).

• Associ´ee `a la factorisationA=L U de la matrice Aavec L triang. inf. et U triang. sup.,A x =b⇔L y =b, U x =y

2 M´ethode de Cholesky

• Associ´ee `a la factorisation de CholeskyA=R^TR avecR triang. sup., A x =b ⇔R^Ty =b, R x =y

• Méthode valable pour Asymétrique et définie positive

3 M´ethode de Householder

• Associ´ee `a lafactorisation A=Q R avec R triang. sup. etQ ortho., Q produit de n−1 matrices de HouseholderHi.

• A x =b s’écrit alorsHn−1 · · ·H₂H₁A x =Hn−1 · · · H₂H₁b facile à résoudre car Hn−1 · · · H₂H₁Atriang. sup.

(39)

M´ ethode de Gauss : description (1)

•(S) : A x =b avec Ainversible

•On poseb⁽¹⁾ =b et A⁽¹⁾=A= (a⁽¹⁾_i,j ) (S⁽¹⁾) : A⁽¹⁾x=b⁽¹⁾

Etape 1´

•A inversible⇒on suppose (quitte `a permuter lignes) a⁽¹⁾_1,1 6= 0.

C’est lepremier pivot de l’´elimination de Gauss

•Pour i = 2, . . . ,n, on remplace L_i par L_i−g_i,1L1 o`u g_i,1= ^a

(1) i,1

a⁽¹⁾_1,1

(40)

M´ ethode de Gauss : description (2)

•On obtient alors (S⁽²⁾) : A⁽²⁾x =b⁽²⁾ avec :











a⁽²⁾_1,j = a⁽¹⁾_1,j, j = 1, . . . ,n a⁽²⁾_i,1 = 0, i = 2, . . . ,n

a⁽²⁾_i,j = a⁽¹⁾_i,j −g_i_,1a⁽¹⁾_1,j, i,j = 2, . . . ,n b₁⁽²⁾ = b⁽¹⁾₁

b_i⁽²⁾ = b⁽¹⁾_i −g_i_,1b₁⁽¹⁾, i = 2, . . . ,n

•La matrice A⁽²⁾ et le vecteurb⁽²⁾ sont donc de la forme :

A⁽²⁾=







a⁽¹⁾_1,1 a⁽¹⁾_1,2 . . . a_1,n⁽¹⁾ 0 a⁽²⁾_2,2 . . . a_2,n⁽²⁾

0 ... ...

... ... ... 0 a⁽²⁾_n,2 . . . a⁽²⁾n,n







, b⁽²⁾ =





 b₁⁽¹⁾ b₂⁽²⁾ ... bn⁽²⁾







(41)

M´ ethode de Gauss : description (3)

´Etapek

•On a ramené le système à (S^(k)) : A^(k⁾x =b^(k) avec

A^(k)=







a⁽¹⁾_1,1 . . . a⁽¹⁾_1,k . . . a_1,n⁽¹⁾

0 a⁽²⁾_2,2 a⁽²⁾_2,k . . . a_2,n⁽²⁾

0 0 a⁽³⁾_3,3 a⁽³⁾_3,k . . . a_3,n⁽³⁾ ... . .. ... ... ... ... 0 . . . 0 0 a^(k_k,k⁾ . . . a^(k)_k,n

... ... 0 a^(k)_k+1,k . . . a^(k)_k+1,n ... ... ... ... ...

0 . . . 0 0 a^(k)_n,k . . . a^(k)n,n







(42)

M´ ethode de Gauss : description (4)

•A inversible⇒on suppose (quitte `a permuter lignes) a^(k)_k,k 6= 0.

C’est leki`eme pivot de l’´elimination de Gauss

•Par le même principe qu’à l’étape 1 et en utilisantg_i_,k = â

(k) i,k

a^(k)_k,k pour i >k, on obtient alors (S^(k+1)) : A^(k+1)x=b^(k+1) avec

A^(k⁺¹⁾=







a⁽¹⁾_1,1 . . . a⁽¹⁾_1,k+1 . . . a⁽¹⁾_1,n

0 a⁽²⁾_2,2 a⁽²⁾_2,k . . . a⁽²⁾_2,n

0 0 a⁽³⁾_3,3 a⁽³⁾_3,k . . . a⁽³⁾_3,n

... . .. ... ... ... ...

0 . . . 0 0 a^(k)_k,k . . . a^(k)_k,n

... ... 0 0 a^(k+1)_k+1,k+1 . . . a^(k+1)_k+1,n

... ... ... ... ... ...

0 . . . 0 0 0 a^(k+1)_n,k₊₁ . . . a^(k+1)n,n







(43)

M´ ethode de Gauss : description (5)

Etape´ n−1

•Le syst`eme (S⁽ⁿ⁾) : A⁽ⁿ⁾x=b⁽ⁿ⁾ obtenu est triangulaire sup´erieure avec

A⁽ⁿ⁾=







a⁽¹⁾_1,1 . . . a_1,n⁽¹⁾ 0 a⁽²⁾_2,2 a_2,n⁽²⁾ 0 0 a⁽³⁾_3,3 a_3,n⁽³⁾ ... . .. ... ... ...

0 . . . 0 0 a⁽ⁿ⁾n,n







•On peut le r´esoudre par l’algorithme de substitution r´etrograde

(44)

M´ ethode de Gauss : exemple (1)

(S) = (S⁽¹⁾)







x1 + 2x2 + 5x3 = 1, 3x₁ + 2x₂ − x₃ = ¹₂, 5x2 + 3x3 = 1.

•Le premier pivot de l’élimination de Gauss est donca⁽¹⁾_1,1= 1 et on ag_2,1⁽¹⁾= 3,g_3,1⁽¹⁾= 0. La première étape fournit donc

(S⁽²⁾)







x1 + 2x2 + 5x3 = 1,

−4x2 − 16x3 = −⁵₂, 5x₂ + 3x₃ = 1.

(45)

M´ ethode de Gauss : exemple (2)

•Le second pivot de l’´elimination de Gauss est donc a_2,2⁽²⁾=−4 et on ag_3,2⁽²⁾=−⁵₄. On obtient donc le syst`eme

(S⁽³⁾)







x1 + 2x2 + 5x3 = 1,

−4x2 − 16x3 = −⁵₂,

−17 x₃ = −¹⁷₈.

•Algorithme de substitution r´etrograde x1 =x2 =x3= ¹₈

(46)

Point de vue num´ erique : strat´ egies de choix du pivot (1)

•Au cours de l’exécution de l’élimination de Gauss, si on tombe sur un pivot nul, alors on permute la ligne en question avec une ligne en dessous pour se ramener à un pivot non nul (ceci est toujours possible carAest supposée inversible).

Certains choix de pivots peuvent s’av´erer plus judicieux que d’autres.

(47)

Point de vue num´ erique : strat´ egies de choix du pivot (2)

Exemple: considérons le système (S) : A x =b où A=

α 1 1 1

, b =

1 2

, α ∈R^∗

•On suppose de plusα6= 1 de sorte que A est inversible

•Solution x₁^∗= _1−α¹ ,x₂^∗= ¹⁻²_1−α^α

•Supposons maintenant que α est tr`es petit (0α <1) et appliquons l’´elimination de Gauss

(48)

Point de vue num´ erique : strat´ egies de choix du pivot (3)

•Premier pivotα,g_2,1= _α¹ (S⁽²⁾) : A⁽²⁾x=b⁽²⁾ avec A⁽²⁾=

α 1 0 1− ¹_α

, b⁽²⁾ = 1

2− _α¹

.

−_α¹ x2 ≈ −¹_α d’o`u x2≈1 et x1 ≈0 ce qui est faux !

•L’erreur ne provient pas seulement du fait queα est très petit car si on multiplie la première ligne par une puissance de 10 quelconque, on va trouver la même erreur ...

(49)

Point de vue num´ erique : strat´ egies de choix du pivot (4)

•Notonsx₂=x₂^∗+δx₂ o`u |δx₂|est l’erreur absolue surx₂

•On a alors

x1 = 1−x2

α = 1−x₂^∗

α −δx2

α ,

Erreur δx₁= _α¹ δx₂ sur x₁ très amplifiée par rapport àδx₂.

•Cause = d´es´equilibre entre coeffs de x1 etx2 sur la ligne du pivot

•Pour y rem´edier, ´echanger les lignes et appliquer Gauss avec 1 comme pivot. On obtient alors

A⁽²⁾ =

1 1 0 1−α

, b =

2 1−2α

, d’o`u x₂ ≈1 etx₁ ≈1 ce qui est correct.

(50)

Elimination de Gauss ` ´ a pivot partiel

•A l’´` etapek, on ´echange les lignesk etk⁰ (k⁰ ≥k) deA^(k⁾de telle sorte que : |a^(k)_k,k|= max{|a^(k)_i,k|,i ≥k}.

Exemple: pour

(S) :







x1 + 2x2 + 5x3 = 1 3x₁ + 2x₂ − x₃ = ¹₂ 5x2 + 3x3 = 1

à la première étape, on permute les lignes 1 et 2 :

(S⁰) :







3x1 + 2x2 − x3 = ¹₂ x₁ + 2x₂ + 5x₃ = 1 5x2 + 3x3 = 1

(51)

Elimination de Gauss ` ´ a pivot total

•A l’´` etapek, on ´echange `a la fois les lignesk et k⁰ (k⁰ ≥k) et les colonnesk etk⁰⁰ (k⁰⁰≥k) de telle sorte que :

|a^(k)_k,k|= max{|a^(k)_i,j |,i ≥k,j ≥k}.

Attention : Si on échange des colonnes, cela modifie l’ordre des composantes dex donc il faut penser à rétablir le bon ordre à la fin.

Exemple: pour (S) :







x1 + 2x2 + 5x3 = 1 3x₁ + 2x₂ − x₃ = ¹₂ 5x2 + 3x3 = 1

à la première étape, on permute les colonnes 1 et 3 : (S⁰) :







5x3 + 2x2 + x1 = 1

−x₃ + 2x₂ + 3x₁ = ¹₂

3x3 + 5x2 = 1

(52)

Lien avec la factorisation LU d’une matrice (1)

D´efinition

On appellefactorisation LUde A une facto. A=L U avec L triang.

inf. et U triang. sup. (de la mˆeme taille que A).

Lemme

A l’´` etape k de l’´elimination de Gauss, on a A^(k+1) =G_kA^(k) o`u

G_k =







1 (0) 0 . . . 0

. .. ... ...

(0) 1 0 . . . 0

0 . . . 0 −g_k+1,k 1 (0)

... ... ... . ..

0 . . . 0 −g_n,k (0) 1







, g_i,k = a_i^(k)_,k a^(k)_k,k

On a de plus b^(k⁺¹⁾=G_kb^(k).

(53)

Lien avec la factorisation LU d’une matrice (2)

D´efinition

Soit A∈Mn×n(K). Lesmineurs fondamentaux Dk,k = 1, . . . ,n de Asont les déterminants des sous-matrices de A formées par les k premières lignes et les k premières colonnes de A :

D_k = det ((a_i,j)1≤i,j≤k), k = 1, . . . ,n.

Th´eor`eme

Soit A∈Mn×n(K)une matrice carrée inversible. Les propriétés suivantes sont équivalentes :

(i) L’´elimination de Gauss s’effectue sans permutation de lignes ; (ii) Il existe L∈Mn×n(K) triangulaire inf´erieure inversible et

U ∈Mn×n(K)triangulaire sup´erieure inversible telles que A=L U ;

(iii) Tous les mineurs fondamentaux de A sont non nuls.

(54)

Lien avec la factorisation LU d’une matrice (3)

Lemme

Avec les notations pr´ec´edentes, on a

(Gn−1Gn−2· · ·G1)⁻¹=







1 0 . . . 0

g2,1 1 . .. ... g3,1 g3,2 1 . .. ... ... ... . .. . .. 0 gn,1 gn,2 . . . gn,n−1 1





 .

(55)

Lien avec la factorisation LU d’une matrice (4)

Corollaire

Soit A∈Mn×n(K)une matrice carrée inversible. Si tous les mineurs fondamentaux de A sont non nuls, alors avec les notations précédentes, l’élimination de Gauss fournit la factorisation LU de A suivante :

A=







1 0 . . . . . . 0

g2,1 1 . .. ...

g_3,1 g_3,2 1 . .. ... ... ... . .. . .. 0 gn,1 gn,2 . . . g_n,n−1 1













a⁽¹⁾_1,1 . . . . . . a⁽¹⁾_1,n 0 a_2,2⁽²⁾ a⁽²⁾_2,n 0 0 a⁽³⁾_3,3 a⁽³⁾_3,n ... . .. . .. . .. ...

0 . . . 0 0 a⁽ⁿ⁾n,n





 .

•Remarque : la matrice Lobtenue est `a diagonale unit´e.

(56)

Factorisation LU : exemple

Pour la matrice du syst`eme

(S) :







x1 + 2x2 + 5x3 = 1 3x₁ + 2x₂ − x₃ = ¹₂ 5x2 + 3x3 = 1 on a :





1 2 5

3 2 −1

0 5 3





| {z }

A

=





1 0 0

3 1 0

0 −⁵₄ 1





| {z }

L





1 2 5

0 −4 −16

0 0 −17





| {z }

U

(57)

Lien avec la factorisation LU d’une matrice (5)

Proposition

Soit A∈Mn×n(K)une matrice carrée inversible admettant une factorisation LU. Alors il existe une unique factorisation LU de A avec L à diagonale unité.

•LorsqueA admet une factorisation LU, la résolution du système d’équations linéaires (S) : A x =b se ramène à la résolution de deux systèmes linéaires triangulaires. En effet :

A x =b⇐⇒L U x =b ⇐⇒

L y = b, U x = y.

•En pratique, on r´esout donc d’abordL y =b puis connaissant y on r´esout U x =y.

(58)

Matrice de permutation

D´efinition

On appellematrice de permutation associée à une permutation σ∈ S_n, la matriceP_σ = (δ_iσ(j₎)où δ_ij = 1 si i=j , δ_ij = 0 sinon.

•Exemple :

σ : (1,2,3,4,5)7→(3,2,5,1,4) P_σ =







0 0 1 0 0

0 1 0 0 0

0 0 0 0 1

1 0 0 0 0

0 0 0 1 0





 .

•MultiplierA`a gauche (resp. `a droite) par une matrice de

permutation revient alors `a permuter des lignes (resp. les colonnes)

•Les matrices de permutation sont orthogonales : P_σ⁻¹=P_σ^T.

(59)

Lien avec la factorisation LU d’une matrice (6)

•Nous avons vu une CNS pour qu’une matrice inversible admette une factorisation LU. Lorsque cette factorisation LU n’existe pas, on peut tout de même utiliser le théorème suivant :

Th´eor`eme

Soit A∈Mn×n(K)une matrice carr´ee inversible. Il existe une matrice de permutationP telle quePA admette une factorisation LU.

•Notons que dans ce cas, on a :

A x =b ⇐⇒ PA x =Pb ⇐⇒L U x =Pb⇐⇒

L y = Pb, U x = y.

•En pratique, on r´esout donc d’abordL y =Pb puis connaissant y on r´esout U x =y.

(60)

Coˆ ut de l’algorithme de Gauss

Lemme

Soit A∈Mn×n(K)une matrice carrée inversible. Résoudre un système linéaire(S) :A x =b via l’élimination de Gauss nécessite un nombre d’opérations à virgule flottante équivalent à ²₃ⁿ³ lorsque n tend vers l’infini. Ce coût asymptotique est aussi celui du calcul de la factorisation LU de A.

•Pour n= 100, cela donne 6,6.10⁵ opérations à virgule flottanteà comparer à 9,4.10¹⁶¹ avec Cramer

•Avec un ordinateur fonctionnant à 100 megaflops, cela prendra moins de7 millièmes de secondes. À comparer avec 3.10¹⁴⁶ années pour Cramer

(61)

Faut-il inverser une matrice ?

•Etant donn´´ ee la factorisation LU deA, le coˆut du calcul de l’inverseA⁻¹ deA lorsquen tend vers l’infini est de ⁴₃ⁿ³ op´erations

`a virgule flottante

•Au total, lorsquen tend vers l’infini, il faut donc2n³ op´erations `a virgule flottante pour calculer l’inverse deA

Asymptotiquement (i.e., lorsque n tend vers l’infini),il faut 3 fois plus d’opérations à virgule flottante pour calculer l’inverse deA que pour résoudre le système linéaireA x =b en utilisant l’élimination de Gauss

⇒Il ne faut pas calculer l’inverse d’une matrice pour résoudre un système linéaire

(62)

R´ esolution de plusieurs syst` emes de mˆ eme matrice A

•SoitA∈Mn×n(K) une matrice carrée inversible et supposons que l’on ait à résoudre K systèmes linéaires avec la même matriceAet N seconds membresb^[1], . . . ,b^[K]

•Gauss`a chacun de ces syst`emes K ⁴ⁿ³⁺⁹₆ⁿ²⁻⁷ⁿ flops

•Facto. LU deApuis r´esolution successive des 2K syst`emes triangulaires

4n³+3n²−7n 6

+ 2K n² flops

•Calcul de l’inverse A⁻¹ deA puis r´esolution successive des syst`emes en posantx^[i]=A⁻¹b^[i^] 2n³+ 2K n² flops

(63)

M´ ethode de Cholesky (1)

•Alternative à Gauss pour matrices symétriques et définies positives

D´efinition

Une matrice A∈Mn×n(K) est dite symétriquesi elle est égale à sa transposée, i.e., A^T =A.

D´efinition

SoitK=RouC. Le produit scalaire canonique surKⁿ est d´efini comme l’applicationh. , .i:Kⁿ×Kⁿ→K, (u,v)7→ hu,vi qui v´erifie :

Si K=R,hu,vi=v^Tu =Pn

i=1uivi (produit scalaire euclidien),

Si K=C,hu,vi=v^Tu =Pn

i=1uivi (produit scalaire hermitien).

(64)

M´ ethode de Cholesky (2)

D´efinition

Une matrice A∈Mn×n(K) est dite d´efinie positive, resp. semi d´efinie positivesi pour tout x ∈Rⁿ non nul, on ahA x,xi>0, resp.

hA x,xi ≥0.

1 Une matrice d´efinie positive est inversible ;

2 Si A∈Mn×n(K) est inversible, alorsA^TAest sym´etrique et d´efinie positive ;

3 Si A= (a_i,j)∈Mn×n(K) est d´efinie positive, alors a_i,i >0 pour tout i = 1, . . . ,n.

Th´eor`eme

Une matrice réelle A∈Mn×n(R)est symétrique définie positive ssi il existe une matrice L= (li,j)1≤i,j≤n∈Mn×n(R) triangulaire inférieure inversible telle que A=L L^T. De plus, si pour tout i = 1, . . . ,n,li,i ≥0, alors L est unique.

(65)

Algorithme de Cholesky

Entrèe : A= (ai,j)1≤i,j≤n∈Mn×n(R) symétrique et définie positive.

Sortie : L= (l_i_,j)1≤i,j≤n∈Mn×n(R) tel queA=L L^T.

1 l_1,1 =√ a_1,1 ;

2 Pour i de 2 àn par pas de 1, faire : li,1= â_lî,1

1,1 ;

3 Pour j de 2 `an par pas de 1, faire : Pouri de 1 `aj−1 par pas de 1, faire :

li,j= 0 ; lj,j =

q

aj,j−Pj−1 k=1l_j,k² ;

Pouri de j+ 1 ànpar pas de 1, faire : li,j=âî,j⁻

Pj−1 k=1l_i,kl_j,k

l_j,j ;

4 Retourner L= (l_i,j)1≤i,j≤n∈Mn×n(R).

(66)

Coˆ ut de l’algorithme de Cholesky

Proposition

L’algorithme de Cholesky décrit ci-dessus nécessite n extractions de racines carrées et un nombre d’opérations à virgule flottante

´equivalent `a ⁿ₃³ lorsque n tend vers l’infini.

•Asymptotiquement, presque deux fois moins d’op´erations `a virgule flottante que pour LU

Il est conseillé de l’utiliser lorsque Aest réelle symétrique et définie positive

(67)

Matrices de Householder

•IciA∈Mn×n(R) est une matrice r´eelleinversible

D´efinition

On appellematrice (élémentaire) de Householderune matrice H de la forme H_u =In−2u u^T, où u ∈Rⁿ est un vecteur unitaire c’est-à-dire de norme 1 pour lanorme associée au produit scalaire canonique surRⁿ définie parkuk=p

hu,ui.

•Exemple : pourn = 3, on peut consid´erer le vecteur u= ^√¹

6 −1 1 2 T

qui v´erifie bien kuk= 1. On obtient alors la matrice de HouseholderHu= ¹₃





2 1 2

1 2 −2

2 −2 −1



.

(68)

Matrices Orthogonales

D´efinition

Une matrice A∈Mn×n(K) est dite orthogonalesi elle est r´eelle, i.e., A∈Mn×n(R) et si A A^T =A^TA=In.

Proposition

Toute matrice de Householder H est sym´etrique et orthogonale.

Proposition

Pour tout vecteur u∈Rⁿ tel quekuk= 1, on a H_uu =−u. De plus, si v ∈Rⁿ est orthogonal `a u, i.e.,hu,vi= 0, alors Huv =v .

•H_u représente la symétrie orthogonale par rapport à u^⊥ Lemme

Soit x et y deux vecteurs deRⁿ tels que x 6=y etkxk=kyk. Alors il existe un vecteur unitaire u∈Rⁿ tel que H_ux=y .

(69)

H2H1A=







× × × × × 0 × × × ×

0 0 × × ×







(76)

Principe de la m´ ethode de Householder

H3H2H1A=







× × × × × 0 × × × × 0 0 × × ×

0 0 0 × ×







(77)

Principe de la m´ ethode de Householder

H3H2H1A=







× × × × × 0 × × × × 0 0 × × ×

0 0 0 × ×







(78)

Principe de la m´ ethode de Householder

H4H3H2H1A=







× × × × × 0 × × × × 0 0 × × ×

0 0 0 × ×

0 0 0 0 ×







=R

DoncA= (H4H3H2H1)^TR.

(79)

Exemple (1)

(S) :







2x1 + x2 + 2x3 = 1, x₁ + x₂ + 2x₃ = 1, 2x₁ + x₂ + x₃ = 1.

´Etape 1

•1i`ere colonne deA donn´ee par (S) : a1 = (2 1 2)^T

•v₁= _ka^a¹

1k −e₁= ¹₃(−1 1 2)^T

•u1= _kv^v¹

1k = ^√¹

6 −1 1 2 T

•Matrice de Householder H_u₁ = ¹₃





2 1 2

1 2 −2

2 −2 −1





A x =b ⇔Hu1A x =Hu1b ⇔





9 5 8

0 1 4

0 −1 −1







 x₁ x2

x3



=



 5 1

−1



