INSA TOULOUSE Ann´ ee 2009-2010 D´ epartement STPI
3` eme ann´ee MIC
UV Des donn´ ees aux mod` eles Partie - Probl` emes inverses
Mercredi 9 juin 2009 - 14 :00 ` a 15 :30
Les documents, calculettes et t´ el´ ephones portables sont interdits.
Le barˆ eme entre crochets est donn´ e ` a titre indicatif.
Dans tout l’examen, on utilise le produit scalaire canonique not´ e h·, ·i et la norme associ´ ee not´ ee k · k 2 .
Exercice 1 - Cours (10 points)
1. Rappelez le th´ eor` eme de d´ ecomposition en valeurs singuli` eres [2 pts].
2. Est-ce que la SVD est unique ? Si oui, expliquez pourquoi. Si non, donnez un contre-exemple [1,5 pts].
3. Soit A ∈ M n ( R ) une matrice qui admet la d´ ecomposition SVD A = U ΣV T . On admet que A est inversible.
Donnez la SVD de A
−1[1,5 pt].
4. On souhaite r´ esoudre le syst` eme Ax = b o` u A ∈ M n,n ( R ). A quelle condition sur A, ce syst` eme est-t’il bien/mal pos´ e [1 pt] ?
5. On s’int´ eresse ` a la r´ esolution de Ax = b o` u A ∈ M m,n ( R ) et m > n (m lignes, n colonnes).
– Expliquez ` a quelle condition ce syst` eme est bien/mal pos´ e [1,5 pts].
– Ecrivez le syst` eme des ´ equations normales ` a Ax = b (les ´ equations que satisfont les solutions au sens des moindres carr´ es) [1 pt].
– A quelle condition sur A le syst` eme des ´ equations normales est-il bien/mal pos´ e [1,5 pts] ?
**********
Exercice 2 - Directions privil´ egi´ ees de la SVD (3,5 pts)
1. Soit A =
1 0 0 4
. Comment choisir x ∈ R 2 tel que kxk 2 = 1 et kAxk 2 soit maximal [1 pt] ?
2. Soit A = U ΣV T avec U = (u 1 , u 2 , ..., u m ) et V = (v 1 , v 2 , ..., v n ). Comment choisir x ∈ R n tel que kxk 2 = 1 et kAxk 2 soit maximal (justifier) [2,5 pts] ?
**********
Exercice 3 - Analyse en composantes principales (9 pts)
Cet exercice est une introduction ` a l’analyse en composantes principales.
On dispose d’un ensemble de n points a i ∈ R m . Ces points peuvent ˆ etre rang´ es dans une matrice A = (a 1 , a 2 , ..., a n ). L’id´ ee de l’analyse en composante principale consiste ` a repr´ esenter ces points dans un sous- espace vectoriel de dimension inf´ erieure ` a m en gardant l’information essentielle. La figure suivante illustre ce principe.
1
On voit ` a gauche un nuage de points de R 3 . La visualisation de ce nuage est compliqu´ ee (c’est encore plus vrai en dimension 4 ou plus). Pour effectuer une visualisation en 2D, on cherche deux axes principaux au nuage not´ es PC1 et PC2 (PC=Principal Component), et on repr´ esente le nuage 3D en projetant les points sur ces deux axes principaux. Cette repr´ esentation contient l’information principale du nuage.
Le but de cet exercice est de trouver l’expression des axes principaux. La recherche du premier axe peut ˆ etre formul´ ee ainsi : on cherche x ∈ R m , tel que kxk 2 = 1 1 et a i ≈ α i x pour un certain α i . De mani` ere plus pr´ ecise, on cherche :
Trouver x ∈ arg min
x∈
Rm,kxk
2=1 α∈ min
Rnn
X
i=1
kα i x − a i k 2 2 (1)
1. On note f i (α i ) = kα i x − a i k 2 2 . Calculez : arg min
α
i∈Rkα i x − a i k 2 2 [2 pts].
2. En d´ eduire que le probl` eme (1) est ´ equivalent ` a : Trouver x ∈ arg min
x∈
Rm,kxk
2=1 n
X
i=1
khx, a i ix − a i k 2 2 [1 pt]. (2)
3. En d´ eveloppant la somme des normes, montrez que le probl` eme (2) est encore ´ equivalent ` a : Trouver x ∈ arg min
x∈
Rm,kxk
2=1
−kA T xk 2 2 [3 pts] (3)
4. On admet que A = U ΣV T avec U = (u 1 , u 2 , ..., u n ) et V = (v 1 , v 2 , ..., v n ). En utilisant cette d´ ecomposition en valeurs singuli` eres, trouvez la solution du probl` eme (3) [3 pts].
5. On souhaite maintenant connaˆıtre le meilleur sous-espace de dimension k pour repr´ esenter nos donn´ ees.
Proposez un probl` eme d’optimisation ` a r´ esoudre pour trouver les k-vecteurs engendrant le sous-espace.
Avez-vous une id´ ee de la solution, c’est-` a-dire pouvez-vous donner une expression explicite de ces k vecteurs [* pts] ?
Note : vous reverrez ce type de repr´ esentation et l’utiliserez souvent dans les cours de statistique de 4` eme ann´ ee.
**********
1
