Probl`emes d’extremums li´es

Soit la fonction ojectif φ : Ω ouvert ⊂ IRⁿ → IR et soit la fonction vectorielle g = [g1, . . . , gm]^′ : Ω → IR^m permettant de d´efinir l’ensemble S des contraintes

S ={x∈IRⁿ|x∈Ω ;g1(x) = 0, . . . , gm(x) = 0}.

Calcul Matriciel et Analyse Factorielle des Donn´ees

Le probl`eme est maintenant le suivant :

minimiser φ(x) sous la contrainte : x∈S

La fa¸con la plus efficace pour r´esoudre ce type de probl`eme d’extremums li´es par les m contraintes de type ´egalit´e, est en g´en´eral d’utiliser les multiplicateurs de Lagrange.

Conditions n´ecessaires d’optimalit´e locale Th´eor`eme 4 (Lagrange) :

Hypoth`eses sur les contraintes

Soient g : Ω ouvert de IRⁿ →IR^m (n > m) et x∈Ω tels que H1 : g(x) = 0,

H2 : g est diff´erentiable sur une boule ouverte B(x),

H3 : la matrice Jacobienne Dg(x)m×n est continue en x, H4 : Dg(x) est de rangm.

Hypoth`eses sur la fonction objectif Soit φ : Ω →IRtelle que

H5 : φ est diff´erentiable en x,

H6 : φ(x)≥φ(x) pour tout x deB(x) v´erifiant g(x) = 0.

Conclusion

Il existe un (unique dˆu `a H4) vecteur l = [λ1, . . . , λm]^′ appel´e vecteur des multiplicateurs de Lagrange, tel que

Dφ(x) +l^′Dg(x) = 0_1×n, (**) ou en transposant

∇φ(x) +Pm

i=1λi∇gi(x) = 0n×1. (**) 2 Remarques :

R1 : M´ethode des multiplicateurs de Lagrange : Dans la recherhe d’optimums locaux, on construit d’abord la fonction de Lagrange L : Ω×IR^m →IR

L(x, l) = φ(x) +l^′g(x) =φ(x) +Pm

i=1λigi(x).

Les conditions n´ecessaires d’optimalit´e locale pour le probl`eme d’extremums libres min L(x, l)

Ω×IR^m s’´ecrivent

∇xL(x, l) =∇φ(x) +Pm

i=1λi∇gi(x) = 0 (**)

∇^lL(x, l) =g(x) = 0.

Elles fournissent comme solutions les point critiques (x, l). Parmi eux se trouvent les optimums locaux de φ relatifs `a S. Il faut enfin s´electionner parmi les points

critiques ceux qui sont des minimums.

R2 : Cas o`uφ est fonction d’une matriceXn×p.

Soient φ : Ω (ouvert de IR^n×p) →IR etG : Ω→ IR^m×q, le probl`eme d’optimisation devient

min φ(X) G(X) = 0m×q

Par vectorisation, ce probl`eme est un probl`eme d’optimisation `amq contraintes. On introduit Λ = [λ_ij], matricem×qdes multiplicateurs de Lagrange, dans l’expression de la fonction de LagrangeL(X,Λ) definie par

L(X,Λ) =φ(X) +vec^′(Λ)vec(G(X)) =φ(X) + trace(Λ^′G(X)).

Il faut d´eterminer les points critiques (X,Λ) de la fonctionL(X,Λ) et enfin ´etudier la nature ces points.

Conditions suffisantes de minimum local sous contraintes

Th´eor`eme 5 : Supposons que L(x, l) soit 2 fois diff´erentiable au point critique (x, l) et que la matrice Jacobiennem×n Dg(x) soit de rangm. Si de plus

u^′HxL(x, l)u >0 pour toutu∈IRⁿ tel que Dg(x)u= 0m×1, o`uHxL(x, l) =Hφ(x) +Pm

i=1λiHgi(x), alors φ pr´esente un minimum strict enx sous la contrainte g(x) = 0. 2

5.4 Exercices

Exercice 1 : Fonctions num´eriques d’un vecteur : Etablir le tableau d’identifi-cation suivant

φ(x) d φ(x) D φ(x) ∇φ(x)

a^′x a^′dx a^′ a

x^′Ax x^′(A+A^′)dx x^′(A+A^′) (A+A^′)x

φ1(x) φ2(x)

φ2dφ1−φ1dφ2

φ²₂ (φ2Dφ1−φ1Dφ2)/φ²₂ ^{φ2(x)∇φ1(x)−φ}_φ2 ^{1(x)∇φ2(x)} 2(x)

Exercice 2 : Fonctions num´eriques d’une matrice a) Montrer que

∂trace(X)

∂X =I ; ∂trace(X^′X)

∂X = 2X ; ∂trace(X²)

∂X = 2X^′.

Calcul Matriciel et Analyse Factorielle des Donn´ees

b) Etablir le tableau d’identification suivant

φ(X) d φ(X) D φ(X) ∂φ(X)/∂X

trace(AX) trace(AdX) vec^′(A^′) A^′

trace(XAX^′B) trace[(AX^′B+A^′X^′B^′)dX] vec^′(B^′XA^′+BXA) B^′XA^′ +BXA trace(XAXB) trace[(AXB+BXA)dX] vec^′(B^′X^′A^′+A^′X^′B^′) B^′X^′A^′+A^′X^′B^′

Exercice 3 : Fonctions vectorielles

Calculer les matrices Jacobiennes de f(x) =Ax, f(x) =a(x^′x), f(X) =Xa.

Exercice 4 : Fonctions matricielles : Etablir le tableau d’identification suivant

F(X) d F(X) D F(X)

X dX Inq

X^′ dX^′ Knq

XX^′ (dX)X^′+X(dX)^′ (In² +Knn)(X⊗In) X^′X (dX)^′X+X^′(dX) (Iq² +Kqq)(Iq⊗X^′) o`uX est une matrice n×q.

Exercice 5 : Calculer les matrices Hessiennes des fonctions scalaires suivantes : φ(x) =x^′Ax, φ(X) = trace(X^′AX), φ(X) = trace(AXBX^′), φ(X) = trace(X²).

Exercice 6 : R´esoudre le probl`eme d’optimum libre suivant minX kY −AXk²F

o`u les matrices Y m×n etA m×psont donn´ees.

Exercice 10: SoientAune matrice sym´etrique d´efinie positiven×n etB une matrice m×n. Alors,

trace(X^′AX)≥trace[(BA⁻¹B^′)⁻¹]

pout toute matrice X n×m satisfaisant BX =Im. Le minimum ´etant obtenu pour Xb =A⁻¹B^′(BA⁻¹B^′)⁻¹.

Indication : exprimer le probl`eme sous forme d’un probl`eme d’optimisation avec contraintes de type ´egalit´e et le r´esoudre.

Chapitre 6

Le paysage math´ ematique et

statistique de l’Analyse Factorielle de Donn´ ees : la g´ eom´ etrie Euclidienne

L’analyse factorielle de donn´ees a pris son essor dans le deuxi`eme tiers du XXi`eme si`ecle avec l’apparition des ordinateurs et le devoir de traiter des donn´ees dont la taille n’a fait que croˆıtre avec les progr`es de l’informatique. Traiter ou analyser les donn´ees, c’est d’abord essayer de d´etecter la pr´esence d’´eventuelles erreurs de saisie ou de donn´ees atypiques, ensuite tenter de visualiser certaines structures communes difficiles voire im-possibles `a mettre a priori en ´evidence `a cause de la taille des donn´ees.

La diversit´e de nature des variables mesur´ees est `a l’origine de la cr´eation des diff´erentes m´ethodes d’analyse factorielle. Historiquement, l’Analyse en Composantes Principales (ACP), dite classique ou usuelle, est la premi`ere apparue (Hotelling, 1901, Spearman, 1904) pour traiter des mesures sur des variables quantitatives. Cependant d’autres m´ethodes d’analyse factorielle portant sur des variablesqualitativesoubool´eennes, par exemple les m´ethodes d’analyse d’une enquˆete, proc`edent du mˆeme principe : celui de lar´eduction de la dimension, c’est `a dire, la mise en ´evidence de variables latentes ou Composantes Principales, en petit nombre, qui r´esument les variables mesur´ees, au sens o`uces nouvelles variables synth´etiques sont des combinaisons lin´eaires des variables originelles dont les poids sont appel´es les facteurs principaux. On emploie aussi de ce fait, la d´enomination d’analyse factorielle lin´eaire.

L’objectif de ce chapitre est de d´efinir vocabulaire et notations aptes `a mettre en ´evidence les analogies entre la g´eom´etrie Euclidienne et la statistique

6.1 Le triplet (T, M, D) des donn´ ees

Un jeu de donn´ees est constitu´e par un triplet (T, M, D) d´efini par les trois ´el´ements suivants.

– T = [T_i^j] ∈ IR^n×p est la matrice des donn´ees brutes exprimant les n mesures de p variables, x¹, . . . , x^p, par exemple quantitatives. Le tableau T pourra aussi ˆetre obtenu `a partir des r´esultats d’une enquˆete ; on verra plus loin dans ce cas, la nature des donn´ees.

– M, p×p, est une m´etrique Euclidienne sur l’espace IR^p des lignes de T.

Lai`eme ligne de T, not´ee Ti, sera consid´er´ee comme l’expression dans la base cano-nique de l’espace (IR<sup>p</sup>, M), de l’´echantillon du i`eme individu.

– D, m´etrique sur l’espace Euclidien IRⁿ des colonnes de T, est une matrice, n×n, qui sera toujours diagonaleD = diag(p1, . . . , pn) .

La j`eme colonne de T, not´ee T<sup>j</sup>, sera consid´er´ee comme l’expression dans la base canonique de (IR<sup>n</sup>, D), de l’´echantillon de la j`eme variable, x^j.

Les espaces Euclidiens (IRⁿ, D) et (IR^p, M) consid´er´es sont respectivement les espaces des individus et des variables. Ces espaces sont soit des espaces vectoriels soit des espaces affines selon que l’on parlera de vecteurs ou de points, un point origine ayant alors ´et´e choisi au pr´ealable. Par abus de langage, on confondra parfois lorsqu’il n’y aura pas d’am-bigu¨ıt´e, un point-vecteur ligne (respectivement un point-vecteur colonne) avec la matrice ligne (colonne) de son expression dans la base canonique.

D’autre part, on notera r le rang de T, r ≤ min(n, p). L’espace des variables

´echantillonn´ees, Im T, et l’espace des individus ´echantillonn´es, Im T^′, sont de mˆeme dimension r

dim Im T =dim Im T^′ =r.

Calcul Matriciel et Analyse Factorielle des Donn´ees

6.2 Statistique et g´ eom´ etrie sur (IR

, D), espace des