D´ecomposition en valeurs singuli`eres

Pour une matrice rectangulaire la notion de valeur propre n’a pas de sens. N´eanmoins, les matrices carr´ees A^∗A et AA^∗ sont hermitiennes semi d´efinies positives. De plus,

rang(A) = rang(A^∗A) =rang(AA^∗) =r ,

et d’apr`es la propri´et´e P8 de la section 1.8, lesr valeurs propres non nulles (positives) de A^∗A et AA^∗ sont identiques.

On appelle valeurs singuli`eres deAles racines carr´ees des valeurs propres non nulles de A^∗A ou de A^∗A

µi=p

λi(A^∗A) =p

λi(AA^∗).

Calcul Matriciel et Analyse Factorielle des Donn´ees

2.5.1 Deux versions de la DVS

Version ”maigre” (DVS1) : Soit A m×n telle querang(A) =r. Alors [V|V˜] carr´ee n×n unitaire, ont leurs colonnes form´ees respectivement par les vecteurs propres de AA^∗ et de A^∗A. Pour obtenir P (resp. Q) on compl`ete les vecteurs colonnes de U (resp. V) de la DVS1 par les vecteurs colonnes de ˜U (resp ˜V) qui sont les vecteurs propres deAA<sup>∗</sup> (respA<sup>∗</sup>A) associ´es `a la valeur propre multiple 0. On forme ainsi une base orthonorm´ee de IK^m (resp. IKⁿ) :P^∗P =P P^∗ =Im, Q^∗Q=QQ^∗ =In. De plus

AA^∗ et AA^∗ sont hermitiennes (sym´etriques), semi-d´efinies positives et ont mˆemes valeurs propres non nulles. Par Schur,∃Q unitaire telle que

Q^∗A^∗AQ= diag(µ²₁, ..., µ²_n).

Posons C =AQ. Soit c^j laj`eme colonne deC, alors c^i∗c^j =µ²_iδij.

Comme rang(AQ) = r, on peut supposer que µ1, ..., µr sont strictement positifs et queµr+1, ..., µn sont nuls.

Alorsc^j = 0m pour j =r+ 1, ..., n, car c’est un vecteur associ´e `a une valeur propre

nulle et donckc^jk²2 = 0.

On construit P par colonnes : p^j =µ⁻¹_j c^j si j = 1, ..., r. (*)

p^i∗p^j = (µiµj)⁻¹c^i∗c^j =δij pour 1≤i, j ≤r.

On compl`ete la matriceP pour former une base orthonorm´ee deIK^m,P = [p¹· · ·p^m] et∀i, j ∈ {1, ..., m} p^i∗p^j =δ_ij.

V´erifions DVS2 en calculant un ´el´ement de la matrice P^∗AQ : Si 1≤ i, j ≤r, [P^∗AQ]_ij =p^i∗c^j =µ_jδ_ij .

Si j > r, [P^∗AQ]_ij = 0 car alors c^j = 0_m. Si j ≤r et si i > r, p^i∗c^j =µjp^i∗p^j = 0.

Donc,P^∗AQ= Λ.

V´erifions que les colonnes deP sont les vecteurs propres deAA^∗ : AA^∗P = AInA^∗P =AQQ^∗A^∗P

= AQΛ^∗ =PΛΛ^∗

= P









µ²₁ 0 0 . .. ... 0 µ²_r 0 0 · · · 0 0







 .

Par construction les colonnes deQ sont vecteurs propres de A^∗A. 2 Remarque : Dans la pratique :

– Le nombre de valeurs singuli`eres fournit le rang de la matrice. Ces valeurs singuli`eres sont ordonn´ees, µ1 ≥ . . .≥ µr > 0, ce qui induit un ordre sur les colonnes deU et deV.

– Dans le calcul deU et deV, on ne calcule les vecteurs propres deAA^∗ou deA^∗Aque pour celle de ces matrices de plus petite dimension, les vecteurs propres de l’autre se d´eduisent par des ”formules de transition” (*) et (**). Par exemple, si m ≥ n, on calcule les vecteurs propresv¹, . . . , v^r de A^∗A, ceux de AA^∗ associ´es aux valeurs propres non nulles, sont donn´es par

U =AVΛ^−1/2_r , (∗)

o`u Λ^−1/2r = (Λ^1/2r )⁻¹ =diag(1/µ1, . . . ,1/µr). Dans l’autre cas, on utilise

V =A^∗UΛ^−1/2_r . (∗∗)

Calcul Matriciel et Analyse Factorielle des Donn´ees

Pour obtenir la DVS pleine il faut calculer les vecteurs propres associ´es aux valeurs propres nulles.

Corollaire 1 : La d´ecomposition en valeurs singuli`eres donne A^∗A=VΛrV^∗ =

Xr i=1

µ²_ivⁱv^i∗,

AA^∗ =UΛrU^∗ = Xr

i=1

µ²_iuⁱu^i∗. 2

Cas particulier : DVS d’une matrice hermitienne semi-d´efinie positive

A^∗A =AA^∗ =A² et les valeurs singuli`eres de A sont ´egales `a ses valeurs propres. Alors, U =V dans la DVS1 et la d´ecomposition de Schur co¨ıncide avec la DVS (modulo le signe des vecteurs propres).

Corollaire 2 : Soit A m×n avec rang(A) = r. La DVS2 de A s’´ecrit A =PΛQ^∗, avec P = [U|U˜] et Q= [V|V˜]. Alors,

KerA= KerA^∗A= Im ˜V =E(v^r+1, ..., vⁿ), ImA= ImAA^∗ = ImU =E(u¹, ..., u^r), ImA^∗ = ImV =E(v¹, ..., v^r) ={KerA}^⊥,

KerA^∗ = KerAA^∗ = Im ˜U =E(u^r+1, ..., u^m) ={ImA}^⊥,

o`uE(xi, . . . , xj) d´esigne l’espace vectoriel engendr´e par les vecteurs xi, ..., xj. 2 Preuve de la premi`ere ´egalit´e

Ax= 0⇔A^∗Ax= 0. Donc KerA= KerA^∗A.

Comme A =UΛ^1/2r V^∗ d’apr`es la DVS1,x ∈Ker A⇐⇒UΛ^1/2r V^∗x= 0.

Comme (AB = 0)⇐⇒(A^∗AB = 0), on obtient :

Λ^1/2r U^∗UΛ^1/2r V^∗x= 0⇔Λr V^∗x= 0⇔V^∗x= 0, puisque Λr est inversible.

x orthogonal aux vecteurs colonnes de V, c’est-`a-dire `a (v¹, ..., v^r), appartient `a E(v^r+1, ..., vⁿ). 2

Corollaire 3: Il y a d’importantes projections orthogonales associ´ees `a la d´ecomposition en valeurs singuli`eres. Soit A suppos´ee de rang r et A = UΛ^1/2r V^∗ = PΛQ^∗, la DVS de

A. Rappelons les partitions colonnes de P et de Q

P = [U|U˜], Q= [V|V˜].

Les r´esultats sur la projection orthogonale pr´esent´es dans l’exemple fondamental et qui seront d´emontr´es au chapitre 4 doivent ˆetre associ´es au corollaire 2 pour donner

V V^∗ = projection orthogonale sur {KerA}^⊥= ImA^∗ V˜V˜^∗ = projection orthogonale sur KerA

UU^∗ = projection orthogonale sur ImA

U˜U˜^∗ = projection orthogonale sur {ImA}^⊥ = KerA^∗

Corollaire 4: El´´ ements propres de la matrice de projection sur Im A

Proposition : Soit A = UΛ^1/2r V^∗ = PΛQ^∗, la DVS de la matrice A de rang r. La matrice PA=UU^∗ est diagonalisable, ses vecteurs propres sont les colonnes de P et donc orthonorm´es, ses valeurs propres sont 0 ou 1. Les vecteurs propres associ´es `a la valeur propre 1 sont les colonnes de U ceux associ´es `a 0 sont les colonnes de ˜U. De plus,

trace(P_A) = rang (P_A) = rang (A). 2

Preuve: Bien sˆur, PA=UU^∗ hermitienne est diagonalisable. Le fait que P = [U|U˜] est carr´ee unitaire donneP^∗ =P⁻¹ et

PA=P

"

Ir 0 0 0

# P⁻¹. En outre, trace(PA) = trace(Ir) =r. 2

2.5.2 D´ ecomposition polaire

Proposition : SoitAcarr´een×n, alors il existe une matrice carr´ee unitaireU et une matrice H hermitienne semi d´efinie positive telles que

A =UH . 2

Preuve: Si A=PΛQ^∗ est carr´ee n×n, alorsP, Λ et Q de la DVS2 sont carr´ees n×n.

On pose

A=PΛQ^∗ = (P Q^∗) (QΛQ^∗) .

=U H

avec U = P Q^∗ et H = QΛQ^∗. U est unitaire comme produit de matrices unitaires et H est par construction hermitienne semi d´efinie positive. 2

Remarque : Le nom de ”d´ecomposition polaire” rappelle la repr´esentation polaire d’un

Calcul Matriciel et Analyse Factorielle des Donn´ees

nombre complexe z = ρe^iθ (ρ r´eel positif ou nul et e^iθ nombre complexe unitaire). Il y a analogie entre ces deux id´ees car les valeurs propres de H sont des nombres r´eels non n´egatifs, et les valeurs propres de U sont des nombres complexes unitaires. Pour une matrice A normale, l’analogie est encore plus stricte : une valeur propre λ de A est de la forme λ = ρe^iθ o`u ρ est une valeur propre de H et e^iθ est valeur propre de U. En effet, par Schur, pourA normale, de valeurs propres {ρje^iθj}j,∃V unitaire telle que

A=V diag(e^iθ1, . . . , e^iθn) diag(ρ1, . . . , ρn)V^∗

= Vdiag(e^iθ1, . . . , e^iθn)V^∗

(V diag(ρ1, . . . , ρn)V^∗) =UH.

2.6 Factorisation de Cholesky d’une matrice