Chapitre IV Syst`emes d’Equations Lin´eaires

(1)

Syst`emes d’Equations Lin´eaires

Considérons un système d’équations linéaires ( donnés)

!!!

... ... ... ...

"#$%&#

(0.1)

et cherchons sa solution$&&'

. Tr`es souvent, il est commode d’utiliser la notation matricielle

(

)*+ (0.2)

Rappelons que le syst`eme (0.2) poss`ede une solution unique si et seulement si^,.-'/

(10

*2 .

Bibliographie sur ce chapitre

A. Bj¨orck (1996): Numerical Methods for Least Squares Problems. SIAM. [MA 65/387]˚

P.G. Ciarlet (1982): Introduction à l’analyse numérique matricielle et à l’optimisation, Masson.

J.J. Dongarra, C.B. Moler, J.R. Bunch & G.W. Stewart (1979): LINPACK Users’ Guide. SIAM.

D.K. Faddeev & V.N. Faddeeva (1963): Computational Methods of Linear Algebra. Freeman &

Co. [MA 65/271]

G.H. Golub & C.F. Van Loan (1989): Matrix Computations. Second edition. John Hopkins Univ.

Press. [MA 65/214]

N.J. Higham (1996): Accuracy and Stability of Numerical Algorithms. SIAM. [MA 65/379]

A.S. Householder (1964): The Theory of Matrices in Numerical Analysis. Blaisdell Publ. Comp.

[MA 65/262]

G.W. Stewart (1973): Introduction to Matrix Computations. Academic Press.

L.N. Trefethen & D. Bau (1997): Numerical Linear Algebra. SIAM. [MA 65/388]

J.H. Wilkinson (1969): Rundungsfehler. Springer-Verlag.

J.H. Wilkinson & C. Reinsch (1971): Handbook for Automatic Computation, Volume II, Linear Algebra. Springer-Verlag.

(2)

IV.1 Elimination de Gauss

L’élimination dite “de Gauss” a été pratiquée pendant des siècles sans grand tam-tam, notamment par Newton et par Lagrange (en 1781 dans ses calculs astronomiques). Toutefois, Gauss ayant le souci de prouver l’existence des solutions pour son principium nostrum des moindres carrés (voir notices historiques du cours d’Algèbre Linéaire, p. 17) décrit l’algorithme explicitement :

Soit donn´e le syst`eme (0.1) et supposons que ^,.-'/

( 0

32 . Si

0

32 , on peut éliminer la variable dans les équations ⁴ à⁵ à l’aide de l’équation ⁶ , c.-à-d., on calcule

7

89 8

pour ^: ⁴ ^&& ⁵ (1.1)

et on remplace la ligne^: par

ligne^:<;

7

8>=

ligne ⁶ De cette manière, on obtient le système équivalent

?

@

?

@

%A?

@

*?

@

?

@

%A

?

@

*

?

@

... ... ...

?

@

#

%A

?

@

&

*

?

@

(1.2)

o`u

?

@

B#

?

@

*#

?

@

; 7 8$

?

@

; 7

#

pour ^: ⁴ ^&& ⁵ (1.3)

(si^%C2 , on échange la première ligne de (0.1) avec une autre ligne pour arriver à ^*2⁰ ; ceci est toujours possible car^{,.- /}

(D0

B2 ).

Le système (1.2) contient un sous-système de dimension ^5E;F6 sur lequel on peut répéter la procédure pour éliminer dans les équations ^G à ⁵ . On multiplie la ligne ⁴ de (1.2) par

7

HI ?

@

HKJ

?

@

et on la soustrait de la ligne^: . Apr`es^5L;M6 ´etapes

N (

PORQ N ( ?

@

&

?

@

OSQ N ( ?

@

?

@

ORQ TQ

N( ? UV@

?

"UV@

O9KW NX

Y+O

on obtient un syst`eme triangulaire^Z

[

Z

A

Z

*Y#

Z

A

Z

*Y

. .. Z ... ...

&!*Y'

(1.4) qui se r´esoud facilement par “back substitution”

Y'

J Z

&\ [

N

Y'

;

]"8^V

Z

_+O

J Z

pour ^: ^5L;M6 ^&& ⁶ (1.5)

Théorème 1.1 Soit^{,.- /} ^(D0^C2 . L’élimination de Gauss donne

` (

*a

X

(1.6) o`u^` est une matrice de permutation et

ab

6

7

6

... . .. . ..

7

"

7

dc"UV

6 X Z

Z

. .. ^Z ...

#

(1.7)

La formule (1.6) s’appelle d´ecomposition LR (left - right) de la matrice⁽ .

(3)

Remarque. Les colonnes et les lignes d’une matrice de permutation ^` sont des vecteurs unit´e. On

a^{,.- /} ^` ^e ⁶ . Un exemple est

` 2 6 2

6 2 2

2 2 6 `

ligne ⁶ ligne⁴ ligne^G

ligne⁴ ligne ⁶ ligne^G

Démonstration. Supposons que toutes les permutations nécessaires soient déjà faites avant que l’on commence l’élimination des variables (par abus de notation, nous écrivons ⁽ au lieu de ^` ⁽ dans cette démonstration). En utilisant les matrices

a9

6

; 7

6

;

7f

2 6

... ... . .. ...

; 7

" 2 2 6 ag

6

2 6

2 ;

7f

6

... ... . .. ...

2 ; 7

2 6

(1.8)

le premier pas de l’´elimination de Gauss correspond `a une multiplication de

(

avecâ% , le deuxième avecâ , etc.,

a%

( ( ?

@

a

( ?

@

( ?

@

a["UV

( ? U@

( ?

"UV@

X

Par cons´equent,

X N

a["UVhaiUkjd&jda%$O[j

(

et

( N

a["UV$a["Uj"&"jda%$O UV

j X

Il reste à montrer que la matrice â de (1.7) est égale à

N

a[UVaiUIj.lj.a%$O UV

. Pour ceci, nous appliquons la même procédure à la matriceâ . La multiplication deâ avecâ% élimine les éléments de la première colonne en-dessous de la diagonale, puis la multiplication avecâ élimine ceux de la deuxième colonne, etc. Finalement, on obtient

N

a["UVa["U%jdjda$O[jdam*no

identit´e, ce qu’il fallait d´emontrer.

Calcul du d´eterminant d’une matrice. La formule (1.6) implique que ^{,.- /} ^` ^j ^,p-'/

(

,.- / abj

,.- /

X

. Comme^,p-'/ ^`

N

;q6

O_r , o`u^s est le nombre de permutations dans l’´elimination de Gauss, on obtient

,.-'/

( N

;t6 O r j Z

jd&"j

Z

&\

(1.9)

Résolution de systèmes linéaires. En pratique, on rencontre souvent la situation où il faut résoudre une suite de systèmes linéaires

(

u ,

(

v v,

(

vvwBvv

, etc., poss´edant tous la mˆeme matrice.

Très souvent, on connaˆıt^v seulement après la résolution du premier système.

C’est la raison pour laquelle on écrit, en général, le programme pour l’élimination de Gauss en deux sous-programmes :

DEC– calculer la d´ecomposition LR (voir (1.6)) de la matrice;

SOL – r´esoudre le syst`eme

(

<

. D’abord on calcule le vecteur ^Y (voir (1.4)), d´efini par

axYy

`

, puis on r´esoud le syst`eme triangulaire

X

) Y .

Pour le problème ci-dessus, on appelle une fois le sous-programme DEC et puis, pour chaque système linéaire, le sous-programmeSOL.

(4)

Co ˆut de l’´elimination de Gauss. Pour le passage de

(

`a

( ?

@

, on a besoin de

5L;M6 divisions (voir (1.1)) et de

N

5L;M6 O

multiplications et additions (voir (1.3)).

Le calcul de

( ?

@

n´ecessite^5z;E4 divisions et

N

5z;E4 O

multiplications et additions, etc. Comme le travail dû aux divisions est ici négligeable, le coût total de la décomposition LR s’élève à environ

N

5L;M6

O N

5L;4 O

4 6

g{

|

i}

u 5 f

G

op´erations (op´eration multiplication addition).

Le calcul de ^?

@

nécessite^5b;~6 opérations (voir (1.3)). Par conséquent, on obtient ^Y avec

{ N

5;6

O

4 6 { 5 J 4 opérations. Similairement, la résolution du système (1.4) se fait en⁵

J 4 op´erations.

En résumé, l’appel au sous-programme DEC nécessite

{ 5 f J G op´erations, tandis que SOL a seulement besoin de

{ 5

opérations (sur des ordinateurs sériels). A titre de comparaison, la formule habituelle pour le déterminant d’une matrice^5bL5 contient⁵

{ 5

J"

termes.

IV.2 Le choix du pivot

Dans l’élimination de Gauss, il faut au début choisir une équation (avec ⁸

0

2

; cet élément s’appelle “le pivot”) à l’aide de laquelle on élimine dans les autres équations. Le choix de cette

équation (choix du pivot) peut-il influencer la précision du résultat numérique, si l’on fait le calcul sur ordinateur en virgule flottante?

Exemple 2.1 (Forsythe) Consid´erons le syst`eme

6

2"2Ij

6 2 U

j&z

6

2"2Ij&

6

2"2

6

2"2Ij&z

6

2"2Ij&

4

2"2

(2.1) avec pour solution exacte

%

6

2"""

6

2"2"2

6

2"2"2

6

+ g

2"""

*2d""""""%+

(2.2) Appliquons l’´elimination de Gauss et simulons un calcul en virgule flottante avec^G chiffres significatifs (en base ⁶ ² ).

a) Si l’on prend ^g ⁶ ^2"2j ⁶ ²

U

comme pivot, on obtient

7

g!

J

6

2"2j

6 2

, ^l?

@

6

2"2

;M6

2"2j

6 2

;q6

2"2j

6 2

et ^?

@

4

2"2

;16

22gj

6 2

;q6

2"2j

6 2

. Par cons´equent,

I ?

@

J

?

@

6

2"2

(exacte!), mais pour nous obtenons

9

N

;

!O

J

9 N 6

2"2

;M6

2"2I=

6

22"O

J N 6

2"2j

6 2 U

O%C2d

Le r´esultat num´erique, obtenu pour , est faux.

b) Si l’on échange les deux équations de (2.1), le pivot est⁶ ^2"2 et l’élimination de Gauss donne:

7

9

6

2"2j

6 2 U

,^?

@

6

2"2

;6

22j

6 2 U

6

2"2

et^?

@

6

2"2

;u4

2"2=

6

2"2j

6 2 U

6

2"2

. De nouveau, on obtient^*?

@

J

?

@

6

2"2

. Mais cette fois le r´esultat pour est

%

N

;

!O

J

l9 N 4

2"2

;M6

22=

6

2"2"O

J 6

2"2

6

2"2d

Les deux valeurs num´eriques (pour et aussi pour ) sont correctes.

(5)

Pour mieux comprendre dans quelle partie de l’élimination de Gauss on a perdu une informa- tion essentielle, considérons les sous-problèmes (addition, soustraction, multiplication, division) séparément et étudions leur “condition”.

Condition d’un probl`eme. Consid´erons une application ^Wn

X Q nX

, le probl`eme consistant

`a calculer

N

[O pour les donn´ees ^<

N

&&h\O

. Il est intéressant d’étudier l’influence de perturbations dans sur le résultat

N

[O .

D´efinition 2.2 La condition d’un probl`eme est le plus petit nombre tel que

;

eps

N

iO

;

N

[O

N

[O

j

eps (2.3)

On dit que le problème est bien conditionné, si n’est pas trop grand. Sinon, il est mal condi- tionné.

Dans cette définition, eps représente un petit nombre. Si eps est la précision de l’ordinateur (voir le paragraphe II.5) alors, peut être interprété comme l’arrondi de . Remarquons en- core que la condition dépend des données et du problème , mais qu’elle ne dépend pas de l’algorithme avec lequel on calcule

N

[O .

Exemple 2.3 (multiplication de deux nombres réels) Soient donnés les nombres et , con- sidérons le problème de calculer

N

h!Oxij&

. Pour les deux valeurs perturb´ees

%E N 6

P$O$ I

N 6

!O

_

eps (2.4)

on a

[j

;

ij&

ij

N 6

P$O N 6

O

; 6

*PPijd

Comme eps est un petit nombre, le produit ^Pj est n´egligeable par rapport `a

et on obtient

[j

;

[j&

ij&

4 j

eps (2.5)

On a donc ⁴ et ce probl`eme est bien conditionn´e.

Exemple 2.4 (soustraction) Pour le probl`eme

N

h!O9

;

, un calcul analogue donne

N

;

O

; N

;

!O

;

P

;

j

eps (2.6)

Si sign⁹ ^; sign (ceci correspond à une addition et non pas à une soustraction) on a ⁶ ; le problème est bien conditionné.

Par contre, si

{

la condition

N

O J

;

devient très grande et on est confronté à un problème qui est extrêmement mal conditionné. Pour mieux illustrer l’effet de cette grande condition, considérons l’exemple numérique

9

6

6 g

6

4

pour lequel

{ 4 J 2

N 6 J

2"O

6

2"2d

En faisant le calcul avec^G chiffres significatifs (en base ⁶ ² ), on obtient<2"

6

j

6 2 UV

,

2d

6 4 j 6 2 UV

et ^; g*2""22kj 6 2 U f

. Comme les deux premiers chiffres sont les mˆemes pour et , la soustraction les fait disparaˆıtre et on n’a plus qu’un chiffre qui est significatif (le r´esultat exact est ⁶ ^J

N 6 j 4

O9*2d

G""

j 6 2 U f

). On parle d’extinction de chiffres.

(6)

Explication du choix du pivot. Si ⁷ est tr`es grand (ce qui est le cas dans la situation (a) de l’exemple de Forsythe) alors,

?

@

; 7

$

{ ; 7

?

@

; 7

$

{ ; 7

#?

@

l?

@

{

(2.7)

Cette valeur, obtenue pour , est en g´en´eral correcte. Mais le calcul de

9

N

;

!O

J

nécessite une soustraction qui est très mal conditionnée car

{

et, `a cause de l’extinction de chiffres, on perd de la pr´ecision.

La conclusion de cette ´etude est qu’il faut ´eviter des

7

trop grands.

Recherche partielle de pivot. L’idée est de ne pas se contenter d’un pivot qui soit différent de zéro (^l

0

D2 ), mais d’échanger les équations de (0.1) afin que soit le plus grand élément (en valeur absolue) de la première colonne de

(

. De cette mani`ere, on a toujours

7

6 . La même stratégie est répétée pour les sous-systèmes apparaissant dans l’élimination de Gauss.

Exp´erience num´erique. Pour chaque⁵ &"

"

nous choisissons ⁴ ^2"22 matrices aléatoires avec coefficients uniformément distribués dans ^¡;q6 ^6¢ et des solutions uniformément dis- tribuées dans^£;t6 ^6#¢. Alors on calcule en double précision les pour cette solution exacte. Ensuite

10 20 30 40 50

10⁻⁸ 10⁻⁷ 10⁻⁶ 10⁻⁵ 10⁻⁴ 10⁻³ 10⁻² 10⁻¹

5

errmax

matrice quelconque sans recherche de pivot

10 20 30 40 50

10⁻⁸ 10⁻⁷ 10⁻⁶ 10⁻⁵ 10⁻⁴ 10⁻³ 10⁻² 10⁻¹

5

errmax

matrice quelconque avec recherche de pivot

10 20 30 40 50

10⁻⁸ 10⁻⁷ 10⁻⁶ 10⁻⁵ 10⁻⁴ 10⁻³ 10⁻² 10⁻¹

5

errmax

matrice orthogonale sans recherche de pivot

10 20 30 40 50

10⁻⁸ 10⁻⁷ 10⁻⁶ 10⁻⁵ 10⁻⁴ 10⁻³ 10⁻² 10⁻¹

5

errmax

matrice orthogonale avec recherche de pivot

FIG. IV.1: Erreurs pour 1 million de systèmes linéaires de dimensions à ^"

(7)

on applique l’algorithme de Gauss, une fois sans recherche de pivot, et une fois avec recherche de pivot, en simple pr´ecision. L’erreur ^¤¥#¦

num

; ex de chaque résultat est représentée par un petit point dans les dessins supérieurs de la figure IV.1. Bien que nous ne soyons pas surpris par les nombreuses erreurs sans recherche de pivot, quelques cas demeurent inacceptables à droite ; bon nombre de résultats restent cependant bons !

Faisons une deuxième expérience : une matrice avec uniformément distribués dans ^£;t6 ^6#¢

pour^§u¨: est complétée par Ây ^; , pour assurer que^©

N n ; ( O UV

N

nK ( O

soit orthogonale. Cette matrice est calculée en double précision, le reste de l’expérience continue comme auparavant (voir les résultats au bas de la figure IV.1). Cette fois-ci il n’y a pas d’exception dans la bonne performance de l’algorithme de Gauss avec recherche de pivot. Nous allons démontrer ces observations dans les paragraphes suivantes.

IV.3 La condition d’une matrice

En principe, un problème avec^ª données et⁵ solutions possède^ª«)5 coefficients décrivant la sensibilité de la⁵ -ème solution par rapport à la^ª -ème donnée. Devant cette myriade de valeurs, il est parfois préférable d’exprimer la condition par un seul nombre. On réussira cela à l’aide de normes de vecteurs et de matrices (recherche initiée par A. Turing 1948).

Rappel sur la norme d’une matrice. Pour une matrice `a^ª lignes et⁵ colonnes, on d´efinit

¬ ( ¬

¤¥#¦

®

]V

¬ ( ¬

¤¯¥¦®°]

| ¬ ( ¬

¬ ¬

(3.1) c.-`a-d., la norme de⁽ est le plus petit nombre

¬ ( ¬

qui possède la propriété

¬ ( ¬ ¬ ( ¬ j ¬ ¬

pour tout ^²±bn

X

(3.2) Evidemment,

¬ ( ¬

d´epend des normes choisies dansⁿ

X

etⁿ

X³

. Il y a des situations o`u l’on connaˆıt des formules explicites pour

¬ ( ¬

. Par exemple, si l’on prend la mˆeme norme dans les deux espaces alors,

pour

¬ ¬

x

8]V

, on a

¬ ( ¬

9

¤¯¥¦

]V cµ´µ´µ´c ³

]V

¶

(3.3) pour

¬ ¬

g

N

]V

O

·_

, on a

¬ ( ¬

I plus grande valeur propre de

(¸(

¶

(3.4) pour

¬

¬¹

¤¥#¦

8]V cµ´µ´µ´c

, on a

¬ (

¬¹

¤¥#¦

8]V cµ´µ´µ´c³

]V

(3.5) La norme

¬ ( ¬

d’une matrice satisfait toutes les propriétés d’une norme. En plus, elle vérifie

¬ n ¬ 6 pour la matrice d’identit´e et

¬ (

jdº

¬ ¬ ( ¬ j ¬ º ¬

.

Apr`es ce rappel sur la norme d’une matrice, essayons d’estimer la condition du probl`eme⁽ ⁾

. Pour ceci, considérons un deuxième système linéaire

(

u

avec des donn´ees perturb´ees

AHk N 6

O$

_

_»i

N

_O$

_¼

(3.6)

(8)

où ^_» et ^¼ spécifient la précision des données (par exemple ^_» eps, ^_¼ eps où eps est la précision de l’ordinateur). Les hypothèses (3.6) impliquent (au moins pour les normes

¬ j ¬

et

¬ j

¬¹

) que

¬ ( ; ( ¬

_»½j

¬ ( ¬ ¬ ; ¬

¼ij

¬ ¬

(3.7) Notre premier r´esultat donne une estimation de

¬ ; ¬

, en supposant que (3.7) soit vrai.

Théorème 3.1 Considérons les deux systèmes linéaires

(

<

et

(

o`u

(

est une matrice inversible. Si (3.7) est v´erifi´e et si ^»zj

N (

O%¾

6 , alors on a

¬ ; ¬

¬ ¬ N ( O

69;

_»½j

N ( O j N

_»½_¼$O

(3.8) o`u

N(

OxW¿

¬ ( ¬ j ¬ ( UV

¬

. Le nombre

N ( O

s’appelle condition de la matrice

(

. D´emonstration. De ^;

( ; (

)

N ( ; ( O t

( N ;

[O , nous d´eduisons que

;

u

(

UV

; N( ; ( Ot

N ;

PO

(3.9) Maintenant, prenons la norme de (3.9), utilisons l’in´egalit´e du triangle, les estimations (3.7),

¬ ¬

¬ ¬ ¬ ; ¬

et

¬ ¬ ¬ ( ¬ ¬ ( ¬ j ¬ ¬

. Nous obtenons ainsi

¬ ; ¬ ¬ (

UV

¬

_»zj

¬ ( ¬ j N$¬

¬ ¬ ; ¬

O_¼j

¬ ( ¬ j ¬ ¬

Ceci donne l’estimation (3.8).

La formule (3.8) montre que pour ^_»Sj

N (

OtÀ

6 , l’amplification maximale de l’erreur des donn´ees sur le r´esultat est de

N ( O

. Propri´et´es de

N ( O

. Soit

(

une matrice inversible. Alors, a)

N (

O%Á

6 pour toute ⁽ , b)

NÂ (

Ox

N( O

pour

Â 0

C2 ,

c)

N (

Ox

¤¥#¦

Ã&

]V

¬

(%Ä

¬

¤Å¿Æ

Ç

]V

¬

(gÈ

¬

.

La propriété (c) permet d’étendre la définition de

N ( O

aux matrices de dimension ^ª ⁵ avec

ª 0

5 .

Démonstration. La propriété (a) est une conséquence de ⁶

¬ n ¬ ¬ ((

UV

¬ ¬ ( ¬ j ¬ ( UV

¬

. La propriété (b) est évidente. Pour montrer (c), nous utilisons

¬ ( UV

¬

¤¥#¦®°]

| ¬ ( UV

¬

¬ ¬

¤¥#¦Ç°]

| ¬ È ¬

¬ (gÈ ¬

¤ÅÆÇ#°]

| ¬ (È

¬

¬ È ¬ UV

Exemples de matrices ayant une grande condition. Consid´erons les matrices ^É (matrice de Hilbert) et^Ê (matrice de Vandermonde) d´efinies par (^Y'k ^§ ^J ⁵ )

É

o

6

:

§;*6

Ëc]V

Ê

Y

8UV

8c]V

Leur condition pour la norme

¬ j

¬¹

est donn´ee dans le tableau IV.1.

Exemples de matrices ayant une petite condition. Une matrice^Ì est orthogonale si^Ì

¸ Ì

n .

Pour la norme euclidienne, sa condition vaut ⁶ car

¬ Ì ¬

6 et

¬ Ì UV

¬

6 (l’inverse^Ì

UV

Ì ¸

est aussi orthogonale).

(9)

TAB. IV.1:Condition de matrices de Hilbert et Vandermonde

5 2 4 6 8 10 12

N É

\O

4" 4

gj

6 2 4

Ij

6

2\Í

G

Ij

6 2 | G j 6 2 f G

Ij

6 2 Î

N Ê

O

gj

6 2 G j 6 2 4

Ij

6 2 Î 6

j

6

2Ï

6

2Ij

6 2 |

Concernant l’interpolation avec des fonctions splines, nous avons rencontr´e la matrice (voir le paragraphe II.10, cas ´equidistant)

( 6

Ð 6

6 6

6 . .. ...

. .. ...

5 (3.10)

Le facteur ⁶ ^J ^Ð n’influence pas

N ( O

. Posons alors ^Ð ⁶ . Avec la formule (3.5), on v´erifie facilement que

¬ ( ¬¹

Ñ . Pour estimer

¬ ( UV

¬¹

, ´ecrivons

(

sous la forme

(

Ñ

N

nÒO

o`u ⁿ est l’identit´e et ^Ò contient le reste. On voit que

¬ Ò

¬¹

6 J 4 . En exprimant ⁽

UV

par une série géométrique, on obtient

¬ ( UV

¬¹

6

6 ¬ Ò

¬¹

¬ Ò ¬ ¹ ¬ Ò ¬ f¹

&

6

4

Par cons´equent,

¹ÓN ( O G ind´ependamment de la dimension du syst`eme.

IV.4 La stabilit´e d’un algorithme

Le but de ce paragraphe est d’étudier l’influence des erreurs d’arrondi sur le résultat pour l’élimi- nation de Gauss. Commençons par la définition de la stabilité d’un algorithme et avec quelques exemples simples.

Un algorithme pour r´esoudre le probl`eme

N

[O est une suite d’opérations élémentaires^Ô ^&,

Ô

(addition, soustraction, multiplication, division, évaluation d’une racine, d’une fonction élé- mentaire,^&) telle que

N [O

Ô N Ô UV

N

&

Ô N Ô N

[O$O&OhO

(4.1) En général, il existe beaucoup d’algorithmes différents pour résoudre le même problème

N

[O . L’amplification de l’erreur, en faisant l’op´eration ^Ô , est d´ecrite par la condition

N Ô

O (voir la d´efinition dans le paragraphe IV.2). L’estimation

N O N Ô

$O[j

N Ô

O[jd"j

N Ô

\O (4.2)

est une conséquence simple de la définition de la condition d’un problème.

D´efinition 4.1 Un algorithme est num´eriquement stable (au sens de “forward analysis”) si

NÔ

$O[j

N Ô

O[jdj

N Ô

\O

Const^j

N O

(4.3) o`u Const n’est pas trop grand (par exemple, Const ^*Õ

N5 O

).

La formule (4.3) exprime le fait que l’influence des erreurs d’arrondi durant le calcul de

N

[O

n’est pas beaucoup plus grande que l’influence d’erreurs dans les donn´ees (qui sont in´evitables).

(10)

Exemple 4.2 Soit ⁶ ²

et consid´erons le probl`eme de calculer ⁶ ^J

N N 6

T[O$O

. Examinons les deux algorithmes suivants :

a) ^Ö×

½

6 ×Ö N

½

6 O ; Q 6

N t

6 O .

Toutes ces opérations sont très bien conditionnées (voir le paragraphe IV.3). Ainsi, cet algorithme est numériquement stable.

b) ^Ö×

6 J

t

6 ; Q 6 J N

t

6 O ×Ö 6

; 6

t

6 6

N

½

6 O .

Dans cet algorithme, seules les trois premières opérations sont bien conditionnées. La soustraction,

à la fin, est très mal conditionnée car ⁶ ^J

{ 6 J N

z

6 O

. Ainsi, cet algorithme est num´eriquement instable.

La vérification, si un algorithme (non-trivial) est stable (au sens de “forward analysis”), est souvent très complexe et difficile. Pour cette raison, Wilkinson (1961, J. Ass. Comp. Mach. 8) a introduit une autre définition de la stabilité d’un algorithme.

Définition 4.3 Un algorithme pour résoudre le problème

N

[O est numériquement stable (au sens de “backward analysis”) si le résultat numérique

Ä

peut être interprété comme un résultat exact pour des données perturbées (c.-à-d.,

Ä N

iO ) et si

;

Const^j eps (4.4)

o`u Const n’est pas trop grand et eps est la pr´ecision de l’ordinateur.

Remarque. Pour l’étude de cette stabilité, il ne faut pas connaˆıtre la condition du problème.

Exemple 4.4 Considérons le problème de calculer le produit scalaireîj&kb

f

j . On utilise l’algorithme

N

h!h

f

'!O

Ö×

ij&

f j&

×Ö

[j&R

f

j&

(4.5) Le r´esultat num´erique (sous l’influence des erreurs d’arrondi) est

N 6

$O[j&

N 6

!O N 6

RØ$O

f N 6

f

O[j&

N 6

!O N 6

bØO N 6

Ø f O

o`u

Ød

eps. Ce résultat est égal àîj ^% ^f ^j si l’on pose

x N 6

PhO N 6

ØV$O f

f N 6

f O N 6

RØ"O$

g N 6

O N 6

Ø

f

O

N 6

!O N 6

RØ

f

O$

Ainsi, (4.4) est vérifié pour Const ⁴ (on néglige les produits^{_ jHØd} ). En conséquence, l’algorithme (4.5) est toujours numériquement stable (au sens de “backward analysis”).

Cet exemple montre bien qu’un algorithme peut être stable, même si le problème est mal conditionné. Ainsi, il faut bien distinguer les notions “stabilité numérique” et “condition d’un problème”.

La stabilité de l’élimination de Gauss. Soit donnée une matrice

(

(^,.-'/

(0

B2 ) ayant la d´ecomposition

(

Da

X

(on suppose que les permutations nécessaires sont déjà effectuées). En appliquant l’élimination de Gauss, nous obtenons deux matrices â et

X

, qui représentent la décomposition exacte de la matrice ⁽ ^W âj

X

. Pour montrer la stabilité numérique (au sens de “backward analysis”) de l’élimination de Gauss, on a besoin de trouver une estimation de la forme

;

j

Const ^j eps. En tous cas, il faut estimer la diff´erence ^; .

(11)

Th´eor`eme 4.5 (Wilkinson) Soit

(

une matrice inversible et^a ,

X

le résultat numérique de l’élimination de Gauss (avec recherche de pivot, c.-à-d.

7

6 pour tout^: ^§ ). Alors,

;

4

jdj

¤ÅÆ

N

:i;M6 §

Oj eps (4.6)

o`u ^o ^¤¯¥¦ ^8c^c^Ù

l?

Ù!@

H

.

Démonstration. Lors de la^Ú ^ème étape de l’élimination de Gauss, on calcule^?

Ù!@

`a partir de^?

Ù!UV@

.

Si l’on prend en consid´eration les erreurs d’arrondi, on obtient

?

Ù!@

N ?

Ù!UV@

; 7

Ùj ?

Ù!UV@

Ù j N 6

_HÙO$O N 6

ØdHÙO

?

Ù!UV@

; 7

Ùj ?

Ù!UV@

Ù

RÛ[Ù

(4.7) o`u (en n´egligeant les termes^Õ

N

eps

O

)

Û[HÙ

? Ù@

j

ØdÙ

7

Ù

j

? Ù!UV@

Ù

j

_Ù

4

jdgj eps (4.8)

Par d´efinition de

(

, on a ^ÜÞÝµß?

Ëc@

Ù!]V

7

Ùj

Z

Ùg ÜÞÝµß!?

Ëc$@

Ù!]V

7

ÙIj ?

Ù!UV@

Ù et, en utilisant la formule (4.7), on obtient pour^:¨E§

y

Ù!]V

N

? Ù!UV@

;

? Ù!@

RÛ[ÙOx*

Ù!]V

Û[Ù (4.9a)

car^l?

@

H

B2 dans cette situation. Pour^: ^§ , on a

y 8UV

Ù!]V

N

? Ù!UV@

;

? Ù!@

ÛÙ!O

7

j ?

8UV@

*

UV

Ù!]V

Û[Ù (4.9b)

car

7

HÞ

6 . Les formules (4.9) ensemble avec l’estimation (4.8) d´emontrent l’estimation (4.6).

Cons´equence. L’´elimination de Gauss est stable (au sens de “backward analysis”) si le quotient

¤¥#¦

Ëc cÙ ? Ù!@

H

¤¯¥¦Ëc

(4.10) n’est pas trop grand. En fait, il existe des matrices pathologiques pour lesquelles ce quotient atteint ⁴

"UV

, o`u⁵ est la dimension de la matrice

(

(voir exercice 12). Mais heureusement cette constante est en général beaucoup plus petite. Pour illustrer ceci, en suivant une idée de Trefethen

& Schreiber (1990, SIAM J. Matrix Anal. Appl. 11) nous avons pris un grand nombre de matrices de dimensions allant de ⁴ à⁴ dont les éléments sont des nombres aléatoires dans ^£;t6 ^6#¢. Nous avons dessiné dans la figure IV.2 le quotient (4.10) en fonction de la dimension de la matrice (chaque point représente la moyenne de^G ² échantillons). En échelle doublement logarithmique, le résultat semble mystérieusement devenir une droite.

10⁰ 10¹

4G 5

quotient (4.10)

FIG. IV.2: Stabilité numérique de l’élimination de Gauss