3` eme ann´ee MIC

(1)

INSA TOULOUSE Ann´ ee 2009-2010 D´ epartement STPI

3` eme ann´ee MIC

UV Des donn´ ees aux mod` eles Partie - Probl` emes inverses

Mercredi 9 juin 2009 - 14 :00 ` a 15 :30

Les documents, calculettes et t´ el´ ephones portables sont interdits.

Le barˆ eme entre crochets est donn´ e ` a titre indicatif.

Dans tout l’examen, on utilise le produit scalaire canonique not´ e h·, ·i et la norme associ´ ee not´ ee k · k 2 .

Exercice 1 - Cours (10 points)

1. Rappelez le th´ eor` eme de d´ ecomposition en valeurs singuli` eres [2 pts].

Voir cours. Ne pas oublier dans l’´ enonc´ e A est de rang k, il y a k valeurs non nulles sur la diagonale.

2. Est-ce que la SVD est unique ? Si oui, expliquez pourquoi. Si non, donnez un contre-exemple [1,5 pts].

La SVD n’est pas unique. Par exemple I = U IU ^T pour toute matrice unitaire U .

3. Soit A ∈ M _n ( R ) une matrice qui admet la d´ ecomposition SVD A = U ΣV ^T . On admet que A est inversible.

Donnez la SVD de A

⁻¹

[1,5 pt].

On a A

⁻¹

= V Σ

⁻¹

U ^T qui est une SVD de A

⁻¹

.

4. On souhaite r´ esoudre le syst` eme Ax = b o` u A ∈ M n,n ( R ). A quelle condition sur A, ce syst` eme est-t’il bien/mal pos´ e [1 pt] ?

Il suffit que A soit inversible. Note : en pratique, pour la stabilit´ e, il faut s’int´ eresser ` a la plus petite valeur singuli` ere de A.

5. On s’int´ eresse ` a la r´ esolution de Ax = b o` u A ∈ M m,n ( R ), b ∈ R ⁿ et m > n (m lignes, n colonnes).

– Expliquez ` a quelle condition ce syst` eme est bien/mal pos´ e [1,5 pts].

Le syst` eme n’est jamais bien pos´ e (plus d’´ equations que d’inconnues ⇒ pas de solution en g´ en´ eral).

– Ecrivez le syst` eme des ´ equations normales ` a Ax = b (les ´ equations que satisfont les solutions au sens des moindres carr´ es) [1 pt].

Les ´ equations normales sont A ^T (Ax − b) = 0.

– A quelle condition sur A le syst` eme des ´ equations normales est-il bien/mal pos´ e [1,5 pts] ? Il faut que rang(A) = n ce qui signifie aussi que les n valeurs singuli` eres de A soient non nulles.

**********

Exercice 2 - Directions privil´ egi´ ees de la SVD (3,5 pts)

1. Soit A =

1 0 0 4

. Comment choisir x ∈ R ² tel que kxk 2 = 1 et kAxk 2 soit maximal [1 pt] ? Il suffit de choisir le vecteur colonne x = (0; 1) ou x = (0; −1).

2. Soit A = U ΣV ^T avec U = (u ₁ , u ₂ , ..., u _m ) et V = (v ₁ , v ₂ , ..., v _n ). Comment choisir x ∈ R ⁿ tel que kxk 2 = 1 et kAxk 2 soit maximal (justifier) [2,5 pts] ?

Il faut pour que kAxk 2 soit maximal, que V ^T x =





 1 0 .. . 0







. On ´ ecrit x dans la base des {v i }. Ainsi, on se

rend compte que la solution optimale est x = v 1 .

**********

1

(2)

Exercice 3 - Analyse en composantes principales (9 pts)

Cet exercice est une introduction ` a l’analyse en composantes principales.

On dispose d’un ensemble de n points a i ∈ R ^m . Ces points peuvent ˆ etre rang´ es dans une matrice A = (a 1 , a 2 , ..., a n ). L’id´ ee de l’analyse en composante principale consiste ` a repr´ esenter ces points dans un sous- espace vectoriel de dimension inf´ erieure ` a m en gardant l’information essentielle. La figure suivante illustre ce principe.

On voit ` a gauche un nuage de points de R ³ . La visualisation de ce nuage est compliqu´ ee (c’est encore plus vrai en dimension 4 ou plus). Pour effectuer une visualisation en 2D, on cherche deux axes principaux au nuage not´ es PC1 et PC2 (PC=Principal Component), et on repr´ esente le nuage 3D en projetant les points sur ces deux axes principaux. Cette repr´ esentation contient l’information principale du nuage.

Le but de cet exercice est de trouver l’expression des axes principaux. La recherche du premier axe peut ˆ etre formul´ ee ainsi : on cherche x ∈ R ^m , tel que kxk 2 = 1 ¹ et a i ≈ α i x pour un certain α i . De mani` ere plus pr´ ecise, on cherche :

Trouver x ∈ arg min

x∈

R^m

,kxk

2

=1 α∈ min

Rⁿ

n

X

i=1

kα i x − a i k ² ₂ (1)

1. On note f i (α i ) = kα i x − a i k ² ₂ . Calculez : arg min

α

_i∈R

kα i x − a i k ² ₂ [2 pts].

On d´ erive f par rapport ` a α et on annule la d´ eriv´ ee. On trouve ainsi : α i = hx, a i i

kxk ² ₂

2. En d´ eduire que le probl` eme (4) est ´ equivalent ` a : Trouver x ∈ arg min

x∈

R^m

,kxk

2

=1 n

X

i=1

khx, a i ix − a i k ² ₂ [1 pt]. (2)

Il suffit de remplacer l’expression pr´ ec´ edente dans (4) et de se rendre compte que kxk 2 = 1.

3. En d´ eveloppant la somme des normes, montrez que le probl` eme (2) est encore ´ equivalent ` a : Trouver x ∈ arg min

x∈

R^m

,kxk

2

=1

−kA ^T xk ² ₂ [3 pts] (3)

En d´ eveloppant la norme, on trouve :

khx, a i ix − a _i k ² ₂ = ka i k ² ₂ − ha i , xi ² .

1

on choisit de le normaliser car il sert juste ` a d´ efinir un sous-espace vectoriel

2

(3)

On peut supprimer ka i k ² ₂ du probl` eme de minimisation, car c’est une constante. On remarque pour finir que :

n

X

i=1

ha i , xi ² = kA ^T xk ² ₂ .

4. On admet que A = U ΣV ^T avec U = (u 1 , u 2 , ..., u n ) et V = (v 1 , v 2 , ..., v n ). En utilisant cette d´ ecomposition en valeurs singuli` eres, trouvez la solution du probl` eme (3) [3 pts].

On a A ^T = V ΣU ^T . En utilisant le fait que U et V soient des isom´ etries et en faisant le changement de variable : y = U ^T x, on se rend compte que le probl` eme (3) est ´ equivalent ` a :

arg min

y∈R

^m

,kyk

2

=1

−kΣyk ² ₂ .

La solution de ce probl` eme est y

^∗

=





 1 0 .. . 0







. Or x

^∗

= U y

^∗

, donc x

^∗

= u 1

5. On souhaite maintenant connaˆıtre le meilleur sous-espace de dimension k pour repr´ esenter nos donn´ ees.

Proposez un probl` eme d’optimisation ` a r´ esoudre pour trouver les k-vecteurs engendrant le sous-espace.

Avez-vous une id´ ee de la solution, c’est-` a-dire pouvez-vous donner une expression explicite de ces k vecteurs [* pts] ?

On serait tent´ e de r´ esoudre :

Trouver X = [x ₁ , x ₂ , ..., x _k ] ∈ arg min

X∈M

m,k

,kx

ik2

=1 B∈M min

_k,n

n

X

i=1

kBX − Ak ² _F (4)

On peut imaginer en regardant le r´ esultat pr´ ec´ edent que la solution est donn´ ee par : x 1 = u 1 , x 2 = u 2 ,...

x k = u k .

Note : vous reverrez ce type de repr´ esentation et l’utiliserez souvent dans les cours de statistique de 4` eme ann´ ee.

**********

3

3` eme ann´ee MIC

INSA TOULOUSE Ann´ ee 2009-2010 D´ epartement STPI

3` eme ann´ee MIC

UV Des donn´ ees aux mod` eles Partie - Probl` emes inverses

Mercredi 9 juin 2009 - 14 :00 ` a 15 :30

Les documents, calculettes et t´ el´ ephones portables sont interdits.

Le barˆ eme entre crochets est donn´ e ` a titre indicatif.

Dans tout l’examen, on utilise le produit scalaire canonique not´ e h·, ·i et la norme associ´ ee not´ ee k · k 2 .

Exercice 1 - Cours (10 points)

1. Rappelez le th´ eor` eme de d´ ecomposition en valeurs singuli` eres [2 pts].

Voir cours. Ne pas oublier dans l’´ enonc´ e A est de rang k, il y a k valeurs non nulles sur la diagonale.

2. Est-ce que la SVD est unique ? Si oui, expliquez pourquoi. Si non, donnez un contre-exemple [1,5 pts].

La SVD n’est pas unique. Par exemple I = U IU T pour toute matrice unitaire U .

3. Soit A ∈ M n ( R ) une matrice qui admet la d´ ecomposition SVD A = U ΣV T . On admet que A est inversible.

Donnez la SVD de A

[1,5 pt].

On a A

= V Σ

U T qui est une SVD de A

.

4. On souhaite r´ esoudre le syst` eme Ax = b o` u A ∈ M n,n ( R ). A quelle condition sur A, ce syst` eme est-t’il bien/mal pos´ e [1 pt] ?

Il suffit que A soit inversible. Note : en pratique, pour la stabilit´ e, il faut s’int´ eresser ` a la plus petite valeur singuli` ere de A.

5. On s’int´ eresse ` a la r´ esolution de Ax = b o` u A ∈ M m,n ( R ), b ∈ R n et m > n (m lignes, n colonnes).

– Expliquez ` a quelle condition ce syst` eme est bien/mal pos´ e [1,5 pts].

Le syst` eme n’est jamais bien pos´ e (plus d’´ equations que d’inconnues ⇒ pas de solution en g´ en´ eral).

– Ecrivez le syst` eme des ´ equations normales ` a Ax = b (les ´ equations que satisfont les solutions au sens des moindres carr´ es) [1 pt].

Les ´ equations normales sont A T (Ax − b) = 0.

– A quelle condition sur A le syst` eme des ´ equations normales est-il bien/mal pos´ e [1,5 pts] ? Il faut que rang(A) = n ce qui signifie aussi que les n valeurs singuli` eres de A soient non nulles.

**********

Exercice 2 - Directions privil´ egi´ ees de la SVD (3,5 pts)

1. Soit A =

1 0 0 4

. Comment choisir x ∈ R 2 tel que kxk 2 = 1 et kAxk 2 soit maximal [1 pt] ? Il suffit de choisir le vecteur colonne x = (0; 1) ou x = (0; −1).

2. Soit A = U ΣV T avec U = (u 1 , u 2 , ..., u m ) et V = (v 1 , v 2 , ..., v n ). Comment choisir x ∈ R n tel que kxk 2 = 1 et kAxk 2 soit maximal (justifier) [2,5 pts] ?

Il faut pour que kAxk 2 soit maximal, que V T x =









 1 0 .. . 0











. On ´ ecrit x dans la base des {v i }. Ainsi, on se

rend compte que la solution optimale est x = v 1 .

**********

1

Exercice 3 - Analyse en composantes principales (9 pts)

Cet exercice est une introduction ` a l’analyse en composantes principales.

Le but de cet exercice est de trouver l’expression des axes principaux. La recherche du premier axe peut ˆ etre formul´ ee ainsi : on cherche x ∈ R m , tel que kxk 2 = 1 1 et a i ≈ α i x pour un certain α i . De mani` ere plus pr´ ecise, on cherche :

Trouver x ∈ arg min

x∈

,kxk

=1 α∈ min

n

X

i=1

kα i x − a i k 2 2 (1)

1. On note f i (α i ) = kα i x − a i k 2 2 . Calculez : arg min

α

kα i x − a i k 2 2 [2 pts].

On d´ erive f par rapport ` a α et on annule la d´ eriv´ ee. On trouve ainsi : α i = hx, a i i

kxk 2 2

2. En d´ eduire que le probl` eme (4) est ´ equivalent ` a : Trouver x ∈ arg min

x∈

,kxk

=1 n

X

i=1

khx, a i ix − a i k 2 2 [1 pt]. (2)

Il suffit de remplacer l’expression pr´ ec´ edente dans (4) et de se rendre compte que kxk 2 = 1.

3. En d´ eveloppant la somme des normes, montrez que le probl` eme (2) est encore ´ equivalent ` a : Trouver x ∈ arg min

x∈

,kxk

=1

−kA T xk 2 2 [3 pts] (3)

En d´ eveloppant la norme, on trouve :

khx, a i ix − a i k 2 2 = ka i k 2 2 − ha i , xi 2 .

La SVD n’est pas unique. Par exemple I = U IU ^T pour toute matrice unitaire U .

3. Soit A ∈ M _n ( R ) une matrice qui admet la d´ ecomposition SVD A = U ΣV ^T . On admet que A est inversible.

U ^T qui est une SVD de A

5. On s’int´ eresse ` a la r´ esolution de Ax = b o` u A ∈ M m,n ( R ), b ∈ R ⁿ et m > n (m lignes, n colonnes).

Les ´ equations normales sont A ^T (Ax − b) = 0.

. Comment choisir x ∈ R ² tel que kxk 2 = 1 et kAxk 2 soit maximal [1 pt] ? Il suffit de choisir le vecteur colonne x = (0; 1) ou x = (0; −1).

2. Soit A = U ΣV ^T avec U = (u ₁ , u ₂ , ..., u _m ) et V = (v ₁ , v ₂ , ..., v _n ). Comment choisir x ∈ R ⁿ tel que kxk 2 = 1 et kAxk 2 soit maximal (justifier) [2,5 pts] ?

Il faut pour que kAxk 2 soit maximal, que V ^T x =

Le but de cet exercice est de trouver l’expression des axes principaux. La recherche du premier axe peut ˆ etre formul´ ee ainsi : on cherche x ∈ R ^m , tel que kxk 2 = 1 ¹ et a i ≈ α i x pour un certain α i . De mani` ere plus pr´ ecise, on cherche :

kα i x − a i k ² ₂ (1)

1. On note f i (α i ) = kα i x − a i k ² ₂ . Calculez : arg min

kα i x − a i k ² ₂ [2 pts].

kxk ² ₂

khx, a i ix − a i k ² ₂ [1 pt]. (2)

−kA ^T xk ² ₂ [3 pts] (3)

khx, a i ix − a _i k ² ₂ = ka i k ² ₂ − ha i , xi ² .

On peut supprimer ka i k ² ₂ du probl` eme de minimisation, car c’est une constante. On remarque pour finir que :

ha i , xi ² = kA ^T xk ² ₂ .

4. On admet que A = U ΣV ^T avec U = (u 1 , u 2 , ..., u n ) et V = (v 1 , v 2 , ..., v n ). En utilisant cette d´ ecomposition en valeurs singuli` eres, trouvez la solution du probl` eme (3) [3 pts].

On a A ^T = V ΣU ^T . En utilisant le fait que U et V soient des isom´ etries et en faisant le changement de variable : y = U ^T x, on se rend compte que le probl` eme (3) est ´ equivalent ` a :

−kΣyk ² ₂ .

Trouver X = [x ₁ , x ₂ , ..., x _k ] ∈ arg min

kBX − Ak ² _F (4)