L’analyse d’algorithmes matriciels n´ecessite souvent l’usage de normes matricielles. Par exemple, telle m´ethode de r´esolution de syst`emes lin´eaires pourra ˆetre peu performante si la matrice des coefficients est proche de la singularit´e. D’autre part en statistique exploratoire de donn´ees multivari´ees, il arrive que l’on d´esire approcher une matrice X par une matriceXb de rang plus petit. On d´esire donc quantifier la notion de distance sur l’espace vectoriel des matrices de dimension n×p not´eIKn×p.
Il y a deux fa¸cons de construire une norme de matrice : la “subordination” `a une norme vectorielle ou la “vectorisation” du tableau de nombres. La premi`ere fait appel
`a l’application lin´eaire associ´ee `a la matrice. La seconde consiste `a identifier les deux espaces vectoriels IKn×p et IKnp grˆace `a l’op´erateur vec. Dans cette derni`ere approche, nous n’´etudierons que les normes Euclidiennes.
3.2.1 Normes subordonn´ ees ` a des normes vectorielles
G´en´eralit´es
Soient (E,k.kE) et (F,k.kF) deux IK espaces vectoriels norm´es de dimension quel-conque pas forc´ement finie. Soit f une application lin´eaire deE dans F
f(αx+βy) =αf(x) +βf(y) α, β ∈IK, x, y∈E . Il est de plus grand int´erˆet de comparer kxkE etkf(x)kF.
Supposonsx6= 0E, et construisons le rapport r(x) = kf(x)kF
kxkE .
Ce rapport est invariant par homoth´etie, r(λx) = r(x),λ ∈IK− {0}.
Proposition : Pour que l’application lin´eaire f de E dans F soit continue, il faut et il suffit quer(x) soit major´e. 2
Proposition : Sur L(E,k.kE;F,k.kF) espace vectoriel des applications lin´eaires continues de (E,k.kE) dans (F,k.kF),
kfkE,F = sup
x6=0E
kf(x)kF
kxkE
= sup
kxkE=1kf(x)kF
Calcul Matriciel et Analyse Factorielle des Donn´ees
est une norme dite subordonn´ee aux normes vectorielles k.kE etk.kF. Comme corollaire, kf(x)kF ≤ kfkE,FkxkE x∈E . 2
Normes matricielles subordonn´ees
SoientE =IKn etF =IKm munis de la mˆeme p-normek.kp pour simplifier. A chaque choix d’une baseE ={ej}j=1,n pourE et d’une base F ={fi}i=1,m pourF, l’application lin´eairef est caract´eris´ee par la matrice A= [ai j] de dimensions m×n telle que
f(ej) = Xm
i=1
aijfi.
Les ´el´ements de la ji`eme colonne de Asont les composantes du vecteurf(ej) dans F. Les composantes du vecteur y=f(x) dans la baseF sont calcul´ees `a partir des composantes dex dans la base E par le produit matriciel
y=Ax .
Toute application lin´eaire f de IKn dans IKm munis de n’importe quelle norme, ´etant continue, on d´efinit
kAkp = sup
x6=0E
kAxkp kxkp
= sup
kxkp=1kAxkp =kAxbkp pour un bx de la sph`ere unit´e de IKn. On obtient la relation
kAxkp ≤ kAkpkxkp x∈IKn.
Remarquons que la matrice identit´e est de p-norme ´egale `a 1 quelle que soit la valeur de p. On verra qu’il existe d’autres normes matricielles qui donnent des valeurs diff´erentes.
Le calcul des normes p= 1 et p=∞ est tr`es simple kAk1 = max
j=1...n
Xm i=1
|aij|
kAk∞= max
i=1...m
Xn j=1
|aij|.
On v´erifie imm´ediatement que kAk∞ = kA′k1. Le calcul de la 2-norme n’est pas aussi explicite. Son calcul n´ecessite l’usage des propri´et´es des matrices hermitiennes.
La 2-norme subordonn´ee
Pour A∈CIm×n, il s’agit de maximiser la quantit´e r(x) = kAxk2
kxk2
.
Un vecteur x ∈CIn se d´ecompose sur la base orthonorm´ee {vi} form´ee par les vecteurs propres de A∗A ordonn´es par ordre d´ecroissant des valeurs propres, λ1 ≥. . .≥λn ≥0.
x= Xn
i=1
xivi et x∗ = Xn
j=1
xjvj∗. L’orthonormalit´e de la base choisie conduit `a
λn≤r(x)2 = P
iλi|xi|2 P
i|xi|2 ≤λ1. Le maximum est r´ealis´e pour x=v1, premier vecteur propre.
Pour r´esumer
kAk2 =µ1 =p
ρ(A∗A),
o`uµ1 est la plus grande valeur singuli`ere deA etρ(A∗A) est le rayon spectral deA∗A.
Si de plus, A est hermitienne, alors
kAk2 =ρ(A).
3.2.2 Normes Euclidiennes par vectorisation
L’identification de IKm×n avec IKmn grˆace `a l’op´erateur vec, permet de d´efinir par vectorisation, des normes matricielles associ´ees auxp-normes de H¨older. Cependant, nous ne pr´esenterons que le cas p= 2, Euclidien, qui conduit `a la norme de Frob´enius.
Norme de Frob´enius
On a vu pr´ec´edemment dans la propri´et´e P2 de l’op´erateurvec, que pour deux matrices X etY deCIm×n,
trace(Y∗X) =Pn j=1
Pm
i=1yijxij =vec∗(Y)vec(X) =< vec(X), vec(Y)>, ce qui d´efinit le produit scalaire usuel sur Mnp(IC) par
< X, Y >=trace(Y∗X).
Calcul Matriciel et Analyse Factorielle des Donn´ees
On v´erifie que cette norme Euclidienne n’est pas subordonn´ee `a une norme vecto-rielle car kInkF =√
n alors que le r´esultat est 1 pour toute p-norme subordonn´ee.
L’in´egalit´e de Cauchy-Schwarz s’´ecrit :
|trace(Y∗X)|2 ≤trace(X∗X)trace(Y∗Y) ; ´egalit´e si Y =kX.
La propri´et´e P4 de la trace permet d’´ecrire, si rang(A) = r, kAk2F =
On dit alors que la norme de Frob´enius et la norme vectorielle Euclidienne sont compa-tibles.
Norme de Hilbert-Schmidt
En analyse statistique des donn´ees on est amen´e `a d´efinir des m´etriques sur cha-cun des espaces vectoriels associ´es aux lignes et aux colonnes d’une matrice r´eelle.
On d´efinit le triplet (IRn×p, M, D) par la donn´ee de IRn×p espace vectoriel des matrices r´eelles n×p, M m´etrique Euclidienne sur l’espace IRp des lignes, D m´etrique Euclidienne sur l’espace IRn des colonnes.
D’apr`es P11,M ⊗D est une m´etrique sur IRnp et d’autre part,
trace(Y′DXM) =vec′(Y)(M ⊗D)vec(X) =< vec(X), vec(Y)>M⊗D.
Le produit scalaire de Hilbert-Schmidt associ´e au triplet (IRn×p, M, D) est obtenu par identification de ce triplet `a l’e.v. Euclidien (IRnp, M ⊗D). Il est d´efini par
< X, Y >M⊗D= trace(Y′DXM).
La norme de Hilbert-Schmidt associ´ee est alors kXkM⊗D =p
trace(X′DXM).
De fa¸con sym´etrique, kXkM⊗D =p
trace(XMX′D) = kX′kD⊗M. Cas particuliers
– (IRn×p, M =Ip, D=In). Alors,M ⊗D=Inp.
On retrouve les produits scalaires usuels et la norme de Frob´enius de X, kXk2Ip⊗In = trace(X′X) =kXk2F.
– (IRn×p, M =Ip, D). La structure de M ⊗D est bloc-diagonale, chaque bloc ´etant D.
Dans ce cas, le carr´e de la norme de X s’exprime comme la somme des carr´es des D-normes des colonnes Xi,
kXk2Ip⊗D = trace(X′DX) =Pp
i=1kXik2D.
– (ES, D, D), o`u ES est le s.e.v. de IRn×n form´e des matrices sym´etriques. Alors, kXk2D⊗D = trace((XD)2).
Remarque
kXk2M⊗D =kD1/2XM1/2k2F
On retrouve la norme Euclidienne usuelle des matrices par transformation des lignes et des colonnes.
3.2.3 Normes matricielles sous multiplicatives
Les normes matricielles consid´er´ees ont ´et´e d´eduites des normes vectorielles soit par subordination soit par vectorisation. Ces normes sont construites sur l’espace vectoriel des matrices rectangulaires, c’est `a dire que seules les op´erations + et multiplication par un scalaire sont d´efinies. Cependant une autre op´eration joue un rˆole fondamental : la multiplication entre matrices. Que peut-on dire de la norme d’un produit AB? La d´efinition et la proposition suivantes permettent de r´epondre `a cette question.
Calcul Matriciel et Analyse Factorielle des Donn´ees
Une norme matricielle est dite sous multiplicative si
kABk ≤ kAkkBk ∀A∈CIm×n,∀B ∈CIn×p.
Proposition : La norme de Frob´enius ainsi que toute p-norme sont des normes sous multiplicatives. 2 (Preuve en exercice).
Remarquons que l’on peut construire des contre-exemples. Ainsi la norme non su-bordonn´ee kAk∆ = max
i,j |aij| (v´erifier que c’est une norme obtenue par vectorisation) appliqu´ee `a
A=
"
1 1 1 1
#
donne kABk∆>kAk∆kBk∆.
Proposition : A toute norme matricielle sous multiplicative on peut toujours associer une norme vectorielle qui lui soit compatible. 2
Preuve : Soit kAk une norme matricielle de la matrice A. Pour une ma-trice B telle que le produit AB existe on a kABk ≤ kAkkBk. A un vecteur x associons la matrice X = [x,0, . . . ,0] o`u les colonnes sont nulles sauf la premi`ere ´egale `a x. Il est clair que kxk = kXk est une norme vectorielle. Donc, kAxk=k[Ax,0, . . . ,0]k=kAXk ≤ kAkkXk=kAkkxk. 2
Proposition : Quelle que soit la norme matricielle k.k sous multiplicative, pour une matrice carr´ee A on a
ρ(A)≤ kAk. 2
Preuve: Pour le vecteur Au=λu, on choisit une norme vectorielle compatible et
|λ| kuk=kλ uk=kAuk ≤ kAkkuk.
Quelle que soit la valeur propre, |λ| ≤ kAk, ce qui ach`eve la preuve 2.
Cons´equence : SiA est hermitienne, la 2-norme est la plus petite des normes deA sous multiplicatives.
3.2.4 Normes unitairement invariantes
Dans la section 1.11 la notion de matrice unitaire (orthogonale, dans le cas r´eel) a d´ej`a ´et´e expos´ee dans le cadre du produit scalaire usuel. Si l’on dispose d’un M-produit scalaire, la d´efinition de matrices M-unitaires est imm´ediate.
Une matrice U deCIm×n (m ≥ n),CIm ´etant muni de la m´etrique Euclidienne M, est M-unitaire si les colonnes deU sont des vecteurs 2 `a 2M-orthogonaux et de M-norme unit´e, c’est `a dire si
U∗MU =In.
Lorsque U etM sont `a coefficients r´eels ont dit que U est M-orthogonale, dans ce cas U′MU =In.
Une matrice est unitaire (orthogonale) si M =Im.
Les normes Euclidiennes ne changent pas lorsque la matrice concern´ee est multi-pli´ee par une matrice orthogonale ou unitaire.
Normes unitairement invariantes:
Voici la suite des propri´et´es P1, P2 et P3 concernant les matrices unitaires d´efinies dans la section 1.11 :
P4: La norme vectorielle Euclidienne est unitairement invariante kUxk2 =kxk2, ∀U unitaire.
P5: Pour les M- normes vectorielles, on obtient
kUxkM =kxk2, ∀U M-unitaire.
P6 : La 2-norme et la norme de Frob´enius sont des normes matricielles invariantes par transformation unitaire.
kUAVk=kAk, ∀U, V unitaires, V carr´ee.