Estimation linéaire et paramètres bornés

C ^{AHIERS DU} B ^URO

J. C. D ^EVILLE

Estimation linéaire et paramètres bornés

Cahiers du Bureau universitaire de recherche opérationnelle.

Série Recherche, tome 29 (1978), p. 3-44

<http://www.numdam.org/item?id=BURO_1978__29__3_0>

© Institut Henri Poincaré — Institut de statistique de l’université de Paris, 1978, tous droits réservés.

L’accès aux archives de la revue « Cahiers du Bureau universitaire de re- cherche opérationnelle. Série Recherche » implique l’accord avec les condi- tions générales d’utilisation (http://www.numdam.org/conditions). Toute utili- sation commerciale ou impression systématique est constitutive d’une in- fraction pénale. Toute copie ou impression de ce fichier doit contenir la présente mention de copyright.

Article numérisé dans le cadre du programme Numérisation de documents anciens mathématiques

http://www.numdam.org/

ESTIMATION LINÉAIRE ET

PARAMÈTRES BORNÉS

J.C. D E V I L L E

Dans ce qui suit, o n s'intéresse aux estimateurs linéaires dans le cadre du modèle linéaire habituel. Après des rappels d'algèbre linéaire et de statistique linéaire (théorème de Gauss- Markov et estimation bayésienne), o n étudie le cas o ù certains paramètres sont astreints à rester dans un domaine borné. On montre que les " b o n s " estimateurs sont alors nécessairement biaises. On définit une classe "optimale" d'estimateurs dont o n montre qu'ils sont m i n i m a x . On fournit un algorithme permettant d'obtenir ces estimateurs. On termine sur des e x e m p l e s qui font rebondir le problème en posant la question de l'estimation affine.

SOMMAIRE

Pages

1. Modèle, algèbre et estimation linéaire 5

1.1 Le modèle linéaire 5 1.2 Rappels et compléments d'algèbre linéaire 6

1.3 Le risque dans l'estimation linéaire 9 1.4 Propriétés de Gauss-Markov 10 1.5 Estimation bayésienne 11 1.6 Amélioration locale d e l'estimateur de Gauss-Markov 12

2 Estimation d'un paramètre borné 13

2.1 Paramètre borné 13

2.2 Risque 13 2.3 Approche bayésienne 14

2.4 Estimateurs " o p t i m a u x " 15 3. Pratique de l'estimation bornée 18

3.1 Algorithme de recherche d'un estimateur optimal 18

3.2 Opérateurs et matrices 2 4 3.3 Remarques sur l'estimation bornée 27

4 Exemples et compléments 28 4.1 D e u x exemples simples 28 4.2 Un e x e m p l e tiré d'une étude économétrique 30

4.3 Vers une théorie de l'estimation affine 33 4.4 Application à l'estimation de la fonction de Cobb-Douglas 4 0

4.5 Remarques et conclusions 4 3

1. - M O D E L E , A L G E B R E E T E S T I M A T I O N L I N E A I R E S

1.1. L e m o d è l e linéaire

Ce q u i suit se situe dans le cadre d u m o d è l e linéaire h a b i t u e l :

y=Xb + e E e = 0 Ee e* = o2 SI . ( 1 )

La m a t r i c e X est supposée de plein rang p, de m ê m e q u e la m a t r i c e

£2 (rg SI = n > p) de façon à ne p a s c o m p l i q u e r les choses.

Le v e c t e u r aléatoire y a p p a r t i e n t à u n espace E de d i m e n s i o n finie n ; la m o y e n n e m = Xb d u v e c t e u r y p e u t varier d a n s u n sous-espace L de E. P o u r n o u s , la q u e s t i o n consistera à e s t i m e r m , l ' e s t i m a t i o n de b n ' é t a n t e n fait q u e le calcul des c o o r d o n n é e s de m d a n s u n e base particulière fixée p a r X. La covariance du v e c t e u r y ne d é p e n d p a s de m. C'est la f o r m e bilinéaire positive sur le dual E^ de E définie p a r :

Vw , v G E** : o2 Sl(u , v) = E <u %y - m X v ,y - m> . L ' o p é r a t e u r s y m é t r i q u e SI : E associé à c e t t e f o r m e bilinéaire positive est s u p p o s é de plein rang e t d o n c inversible ; c'est u n p r o d u i t scalaire sur E**. O n a aussi de ce fait u n p r o d u i t scalaire sur E défini p a r :

V x j GE: (x | j ; ) = < ^ "1 x ,y> = <x , y > . ( 2 ) Si, c o m m e n o u s le ferons d a n s ( p r e s q u e ) t o u t e la s u i t e , o n identifie le v e c t e u r

x de E à la f o r m e linéaire £l~1x, l ' o p é r a t e u r de covariance de y sera t o u t simple- m e n t l ' i d e n t i t é d a n s E ( à o² p r è s ) , e n ce sens q u e :

E(x^t | e ) (e\x²) = E < SI"¹ x^t, e>< e , I 2^{_ 1} x²> = o² < Sl~¹x^l ,x² >

= o²(x^t \x²).

Le modèle linéaire se résumera donc pour nous à la donnée de : . E espace euclidien

. L sous-espace de E

. y vecteur aléatoire dans E de moyenne m dans L vérifiant : E(u\y -m)(y -m\v) = o²(u (u , v G E).

C e t t e r e f o r m u l a t i o n à l'avantage de simplifier les n o t a t i o n s e t d'utiliser des

n o t i o n s m é t r i q u e s familières. Elle a c e p e n d a n t les i n c o n v é n i e n t s suivants :

- Le mélange e n t r e v e c t e u r e t f o r m e linéaire. C h a q u e o b j e t de E p o s s è d e d e u x f o n c t i o n s e t il est parfois difficile de d é m ê l e r ce q u i est lié à l ' u n e o u l ' a u t r e d ' e n t r e elles.

- O n ne t r a i t e p a s le cas o ù £2 est d é g é n é r é e , alors q u ' o n p e u t t r è s b i e n le faire sans l'artifice d ' u n e m é t r i q u e . L ' e n n u i résulte alors d ' u n e c o m p l i c a t i o n formelle p l u s g r a n d e e t d ' u n r e c o u r s s y s t é m a t i q u e a u x espaces q u o t i e n t s . N o u s a v o n s préféré y r e n o n c e r ici, de f a ç o n à m i e u x m e t t r e e n relief l ' a r t i c u l a t i o n des i d é e s .

1 . 2 . R a p p e l s e t c o m p l é m e n t s d'algèbre linéaire

1.2.1. Soit T u n o p é r a t e u r d a n s E. L ' a d j o i n t d e T est l ' u n i q u e o p é r a t e u r q u i vérifie i d e n t i q u e m e n t e n x etj> :

( * | 7 > )

= (r*x|j/).

T est h e r m i t i e n si T = T* ; T⁹ h e r m i t i e n , est positif (T > 0 ) si (x \ Tx) > 0 p o u r t o u t x ; T est s t r i c t e m e n t positif (T > 0 ) si (x | Tx) > 0 p o u r t o u t x n o n n u l . O n écrira T > 0 si T > 0 e t T 0 e t o n dira q u e T est p l u s g r a n d q u e z é r o . T^x e t T² é t a n t h e r m i t i e n s , o n écrira T^x > T² , f^x > T² o u T^x > T² si 7 \ — T² est positif, s t r i c t e m e n t positif, o u p l u s g r a n d q u e z é r o . Il est clair q u ' o n a :

(T*f = T

( 7 \ r

²

) * = T* 7 f

e t c .

Si P est u n p r o j e c t e u r d'image L e t de n o y a u N, P^est le p r o j e c t e u r d'image (NY et de n o y a u Ll. E n effet P^ é t a n t i d e m p o t e n t , c o m m e P⁹ est u n p r o j e c t e u r . M a i n t e n a n t :

x G K e r P* o Vy G E : (y |P*x) = 0 o \fy G E : (Py \x) = 0 x G QmP)¹ e t e n é c h a n g e a n t le rôle de P e t P** o n o b t i e n t le r é s u l t a t q u a n t à l'image de P^.

O n n o t e r a x «> y l ' o p é r a t e u r u x (y \u) e t x'² = x 9 x. De ce fait, la cova- r i a n c e d ' u n v e c t e u r aléatoire Z n ' e s t a u t r e q u e E ( Z — m)'2.

N o t o n s q u e (y 9 x)** = x <& y.

1.2.2. Soit T un opérateur linéaire d'image contenue dans L. Notons S la restric- tion de T à L (la semelle de T). SirgS = rgT, on a toujours une factorisation

T — SP où P est un projecteur dont le noyau est contenu dans celui de T. Si I m T = L, cette factorisation est unique.

Démonstration :

. d i m K e r T = âimE - dimlmT> n - p .

. L + K e r T = E car o n a I m S = I m T. D e ce fait, p o u r t o u t x de E il existe J CL€ L t e l q u e Tx = TXL=SXL.OTX = xf + (* - x ^ e t C * - xL) G K e r 7 .

. Si ImjT = L, K e r T est u n s u p p l é m e n t a i r e d e L ,

car sa d i m e n s i o n v a u t alors n — p . Si P p r o j e t t e sur L le l o n g de K e r T o n a b i e n la f a c t o r i s a t i o n a n n o n c é e e t celle-ci est u n i q u e .

. Enfin si I m TC L s t r i c t e m e n t , il e x i s t e d a n s K e r T u n s u p p l é m e n t a i r e de LD K e r T. Ce sous-espace est aussi u n s u p p l é m e n t a i r e d e L e t si P p r o j e t t e alors s u r L le l o n g d e c e sous-espace, o n o b t i e n t q u e :

Tx = TxL + Txs = TxL = SPx (avec xL = Px , xs = x -Px).

I n v e r s e m e n t il e s t clair q u e t o u t o p é r a t e u r de la f o r m e SP est u n o p é r a t e u r d e E d a n s L.

1.2.3. Ensemble polaire : Le p o l a i r e A° d ' u n e n s e m b l e A de E est A° = {u ; s u p |J C ) | < 1} .

Propriétés:

. A C B => A° D B°, (U At)° = C\A° ;

. A° est u n e n s e m b l e f e r m é a b s o l u m e n t c o n v e x e ( 1 ) ;

. Si A est u n sous-espace, A° = A1. Si A est c o n t e n u d a n s u n sous-espace, A°

e s t u n c y l i n d r e à g é n é r a t r i c e s parallèles à A1 ;

,4°°°= ,4° ; > l0 0e s t la f e r m e t u r e c o n v e x e d u s y m é t r i s é A U (—A) de A o ù ( — i 4 ) = { x | - x G i } , O n appelera c e t e n s e m b l e symétrisé convexifîé de A.

1.2.4 Forme quadratique positive généralisée (f.q.p.g.) : c'est u n e a p p l i c a t i o n Q : E R+ telle q u e :

. s u r u n sous-espace D o m Q ( d o m a i n e de Q) Q est u n e f o r m e q u a d r a t i q u e p o s i t i v e ,

. h o r s d e D o m g , Q(x) = + *>.

( 1 ) C'est-à-dire vérifiant, pour t o u t a et b tels que \a\ + \b\ < 1, x^A° et y^A° *>ax + Zry e^ 4 ° . Dans un espace réel, ceci revient à dire q u e A° est c o n v e x e e t

symétrique.

Le n o y a u , K e r Q , de Q est le sous-espace Q(x) = 0 .

L'inverse Q~^l, de la f.q.p.g Q se définit de la façon s u i v a n t e . Soit M = DomQGKevQ le s u p p l é m e n t a i r e o r t h o g o n a l de Ker<2 d a n s DomQ. L ' e s p a c e est ainsi d é c o m p o s é e n trois sous-espaces 2 à 2 o r t h o g o n a u x : KerQ, M e t ( D o m Q )1.

La r e s t r i c t i o n de Q à M est u n e f o r m e q u a d r a t i q u e s t r i c t e m e n t p o s i t i v e , à laquelle est d o n c associé u n o p é r a t e u r h e r m i t i e n inversible Q^M. O n p o s e r a :

• Q~^l(x) = 0 six e(DomQ)¹ .Q-1(X) = (X\QMXX) sixGM

. g - i (x) = + o o ^{s i x} G ( K e r Q )1 = M + ( D o m Q )¹.

Choisissons, d a n s M u n e base o r t h o n o r m é e de v e c t e u r s p r o p r e s de QM, d a n s K e r g e t ( D o m Q )1 des bases o r t h o n o r m é e s arbitraires. Soit (x,-) la base de E o b t e n u e e n r é u n i s s a n t ces trois bases. O n p e u t alors écrire :

Q ⁼

Z i

\ ^xi ^{9 x}i i

avec . Xf. = 0 si xt G K e r g

. X. = -f o o ^Si ^x. e ( D o m Q )¹ = K e r C T¹ • . 0 < X, < + ^{0 0} si x^t G M.

O n a u r a b i e n :

Q(x)= S X(( x | * , )² . i

De m ê m e :

Q-\x) = 2 X r¹ (x \xf o u G"¹ =

S

^{V1 */ ® */}

i

avec o o "1 = 0 .

N o t o n s (Q < 1) l' en se mble d e s * vérifiant Q(x) < 1.

On a : (Q < 1)° = (Q~^l < 1). Cet ensemble n'est autre que l'ellipsoïde indicateur (2) de la forme quadratique Q dans une structure euclidienne (1).

( 1 ) On peut définir de façon analogue des f.q.p.g sur un espace vectoriel amorphe iï\

Q~l est alors une f.q.p.g. sur le dual de E. Le polaire d'une partie dcE est un fermé abso- l u m e n t c o n v e x e de E ; il en va de m ê m e de l'ellipsoïde indicateur et la relation du texte reste encore vraie dans ce cas, la démonstration étant d'ailleurs la m ê m e .

( 2 ) On désignera en fait par ellipsoïde indicateur, soit le "volume" (Q~l < 1) soit la

"surface" ( j 2_ 1 = 1). E n principe le c o n t e x t e lève l'ambiguïté qui peut exister entre ces deux façons de voir.

Démonstration : C o m m e n ç o n s p a r le cas o ù Q est ordinaire e t inversible.

Alors :

(u \xf = (QQT1 u \x)2 = (Q~lu\Qx)2 < Q~l(u) Q(x) < Q~l(u) si Q(x) < 1.

Ce m a x i m u m est a t t e i n t p o u r

D a n s le cas général, r e m a r q u o n s d ' a b o r d q u e : KeiQ C (Q < 1) C DomQ.

Par suite D o m g¹ = K e r g "¹ C (Q < 1)° C D o m g -1 = ( K e r g )¹.

T o u t u de (Q < 1)° est d o n c de la f o r m e u = uM 4- u avec wM dans Af et u dans K e r Q- 1. De m ê m e , t o u t x de ( g ^ 1) s'écrit sous la f o r m e x = xM 4- x avec xM d a n s M e t x1 d a n s K e r Q . M a i n t e n a n t p o u r q u e (w | x )2 < 1 il faut e t suffit q u e {uM \xM)2 < 1 ; uM + u sera d o n c d a n s (Q < 1)° si e t s e u l e m e n t si

UM G ( ô ^ et Pour c e^a il fa u t et il suffît q u e uM E ( QM < 1)° = (Q^1 < 1), ce q u i t e r m i n e la d é m o n s t r a t i o n .

Remarque : il est clair q u e Qx <Q2 Q~[x > Q2 l -

1 . 3 . Le risque d a n s l ' e s t i m a t i o n linéaire

N.B. : Dans t o u t e la suite (sauf au p a r a g r a p h e 5.3) o n dira e s t i m a t e u r p o u r a p p l i c a t i o n linéaire TdeE d a n s L vérifiant d i m T(L) = rg T.

La f o n c t i o n de p e r t e q u a d r a t i q u e utilisée dans le m o d è l e linéaire sera A(x,m) — (x —m)®(x — m). Il s'agit d o n c d ' u n e f o n c t i o n définie sur L x L à valeurs dans le cône ordonné des opérateurs hermitiens positifs sur L. Il ne s'agira d o n c jamais d ' u n e f o n c t i o n de p e r t e scalaire. N o t o n s c e p e n d a n t q u e t o u t e f o n c t i o n de p e r t e q u a d r a t i q u e scalaire s ' o b t i e n t à p a r t i r de A ; il suffît de faire agir sur A u n e f o r m e linéaire positive d a n s l'espace des o p é r a t e u r s h e r m i t i e n s . O n m o n t r e (cf. [ 5 ]

ou U]) q u ' u n e telle f o n c t i o n de p e r t e est de la f o r m e Q(x — m) o ù Q est u n e f o r m e q u a d r a t i q u e positive. O r , Q(x — m) = Tr [Q°(x — m)'²], ce q u i est la f o r m e générale d ' u n e f o r m e linéaire positive sur l'espace des o p é r a t e u r s h e r m i t i e n s . Ainsi d o n c , q u a n d n o u s o b t i e n d r o n s u n risque m i n i m u m u n i q u e (Gauss-Markov o u e s t i m a t i o n b a y é s i e n n e ) , n o u s o b t i e n d r o n s d ' u n m ê m e c o u p u n m i n i m u m p o u r t o u t e f o n c t i o n de p e r t e q u a d r a t i q u e scalaire.

Le risque de l ' e s t i m a t e u r T est d o n c la f o n c t i o n de m (et o) à valeurs dans le

c ô n e des f o r m e s q u a d r a t i q u e s positives sur L définie p a r :

R(T^f m , a ) G i ) = E ( M | Ty-m)² = EQi \ T(y-m) + ( 7 m - m ) )²

= E ( r ^ M !>> ~ rn)² + (Tm-m | / x )²

== a2 || | |2 -H ( 7 m E n u t i l i s a n t la factorisation T = SP de 1.2.2, il vient :

R(T,m,o)Qx) = o2 I I P V V l l2 + ( ( S - 1) m | /Z )2 ( 3 ) soit e n t e r m e d ' o p é r a t e u r :

fl(7\m, a ) = o² SPP* S* + (S - l)m² (S* - 1). ( 4 )

1.4. P r o p r i é t é s d e Gauss-Markov

1.4.1 Le risque n e d é p e n d p a s de m si e t s e u l e m e n t si S = 1, c'est-à-dire si l'esti- m a t e u r est sans biais. Le risque v a u t alors o2 HP^jull2- Or p r o j e t t e s u r ( K e r P )1

le long de Ll ; a u t r e m e n t dit P^n — JU est t o u j o u r s o r t h o g o n a l à L . Si PQ désigne l ' o r t h o p r o j e c t e u r sur L, ix = PQ /x e t P% = PQ. O n o b t i e n t q u e :

\\p*n\\

²

= \\p

⁰

n\\

²

+ \\n~p*n\\

²

.

Ceci d o n n e le t h é o r è m e d e Gauss-Markov :

Parmi tous les estimateurs sans biais, il en existe un unique de covariance minimum obtenu par orthoprojection sur L.

O n r e m a r q u e r a c e p e n d a n t q u e l ' o n a P % i = yt sur le sous-espace L n ( K e r P )1 ; ces f o r m e s linéaires s e r o n t estimées avec u n e variance m i n i m a l e p a r P.

1.4.2. De façon plus générale, à m fixé, le risque ne d é p e n d de P q u e p a r

IIPVw

||. Le m ê m e a r g u m e n t q u ' e n 1.4.1

( l i P V a ||

²

> | | P ^ w | |

²

=

\\Su ||2 ) m o n t r e q u e t o u t e s t i m a t e u r de la f o r m e SP⁰ est préférable ( a u sens large) a u x e s t i m a t e u r s de f o r m e SP(P P⁰). O n o b t i e n t d o n c u n e classe c o m p l è t e d'estima- t e u r s linéaires e n p r e n a n t des f o n c t i o n s linéaires de l ' e s t i m a t i o n de Gauss-Markov, c'est-à-dire e n " b r i c o l a n t " l'espace des p a r a m è t r e s .

Ceci p o s é o n n e s'intéressera p l u s d a n s la suite q u ' à l ' o p é r a t e u r S e t au risque associé :

R(S, m , a ) = o²SS* + (S - 1) m² (S* - 1). ( 5 )

1 . 5 . E s t i m a t i o n b a y é s i e n n e

O n se d o n n e u n e loi a priori d u c o u p l e (m , a ) ; o n p o s e E m'2 = T0 e t E o2 = k2 (k > 0). La f o r m e q u a d r a t i q u e T0 p o u r r a ê t r e u n e forme q u a d r a t i q u e généralisée. Il est facile de voir e n effet q u e , si m est u n v e c t e u r aléatoire m e s u r a b l e , ro(«) = E (u | m)2 est u n e f.q.p.g.

Le risque d e Bayes est alors l'espérance d e R p o u r la loi a priori soit : R(S

, T

^{0 t}k2) = k2 SS*

4-

(S

- 1) T

⁰

(S* - 1)

oùATA* est la f.q.p.g. w H> r(>4 V ) .

Si T⁰ est o r d i n a i r e , e n p o s a n t r = T⁰/k², il v i e n t :

k~² R(S,T⁰ ,*) = (5(1 + r) - H (1 + r )^{- 1} (5(1 + T ) - r)* +

-h r - r ( i + ry^r.

Le risque a d m e t u n m i n i m u m u n i q u e p o u r :

S

^r

= T ( l + T)"

¹

=(14- T ) "

¹

T = (1 + r""

¹

)"

¹

. (6)

La v a l e u r de ce m i n i m u m est ( a u facteur k2 p r è s ) :

r

- T ( l + T ) "¹ T =

1 - (1 4-

T ) "¹ = T ( l

4-

T ) "¹ =

(1 + r )

^{_ 1}

r =

= (1 + r -

¹

) -

¹

= 5

^r

. (7)

Si T = ^ Xj xⁱ ® Jc^{.pour u n e b a s e o r t h o n o r m é e (x¿)⁹ o n a u r a d o n c :

r

7- 1 4- X,

^{1 1}

Les f o r m u l e s (6), (7) e t (8) r e s t e n t vraies si T est u n e f.q.p.g. ; de m ê m e ST

f o u r n i t t o u j o u r s l ' e s t i m a t e u r d e B a y e s . R e m a r q u o n s :

- S^T est u n o p é r a t e u r h e r m i t i e n positif d e n o r m e inférieure o u égale à 1.

- La c o r r e s p o n d a n c e T <> S^r est u n e bijection e n t r e les o p é r a t e u r s h e r m i - tiens vérifiant 0 < S < 1 et l ' e n s e m b l e des f.q.p.g. E n o u t r e , la f o r m u l e (6) m o n t r e t r i v i a l e m e n t q u e c e t t e c o r r e s p o n d a n c e est m o n o t o n e .

- Les d e u x p r e m i è r e s formes d u risque ( f o r m u l e (6)) m o n t r e n t respecti- v e m e n t ce q u i est gagné p a r l ' e x p é r i m e n t a t i o n p a r r a p p o r t à la loi a priori et ce q u i est gagné p a r la loi a priori p a r r a p p o r t à l ' e x p é r i m e n t a t i o n .

- Les e s t i m a t e u r s bayesiens s o n t admissibles. S u p p o s o n s en effet q u e , p o u r u n certain S', o n ait : R(S\m , a²) < R(S^r ,m , a²) p o u r t o u t m et a². E n p r e n a n t l'espérance p a r r a p p o r t à la loi a priori ( T⁰ , ^²) o n t r o u v e E R (S', m , o²) < k² S^r. O n a d o n c n é c e s s a i r e m e n t l'égalité et aussi S* = S^T. Le p r o b l è m e de savoir s'il existe d ' a u t r e s e s t i m a t e u r s linéaires admissibles, o u si les h e r m i t i e n s plus p e t i t s q u e l ' u n i t é f o r m e n t u n e classe c o m p l è t e , reste o u v e r t , s e m b l e - t - i l ( l ) .

1.6. A m é l i o r a t i o n locale de l ' e s t i m a t e u r d e Gauss-Markov

F i x o n s m = m0 d a n s L et o — aQ. O n p e u t t o u j o u r s t r o u v e r S tel q u e : R(S ,m0 , o0) < R(l ,m0 , a0) = 1 (risque de Gauss-Markov) sur u n voisinage de m0 et a0. Il suffit de p r e n d r e S = XI avec < X < 1, o u plus

1 + l l m0/ a0| |2

g é n é r a l e m e n t t o u t S h e r m i t i e n vérifiant :

S

m

⁰

= KK)-

²

[1 + KAU

²

]-

¹

< S < 1.

La vérification d e c e t t e p r o p r i é t é est laissée au soin d u l e c t e u r . O n n o t e r a q u e S est l ' e s t i m a t e u r bayésien o b t e n u à p a r t i r d ' u n e loi q u i c o n c e n t r e t o u t e la p r o b a b i l i t é s u r i en m⁰ et telle q u e E a² = OQ .

O n c o n ç o i t b i e n dès lors q u ' o n puisse a m é l i o r e r l ' e s t i m a t i o n d e Gauss-Markov à p a r t i r d u m o m e n t o ù o n s u p p o s e m b o r n é . Si m est c o n t e n u d a n s u n e b o u l e de

r2

r a y o n r, on a u r a || m/o\\2/(l + | | m / a | |2) < r . o¹ + r¹

r²

Si o > k, t o u t e h o m o t h é t i e S = XI avec — < X < 1 améliorera l'esti- k² 4- r²

m a t i o n de Gauss-Markov. Dans le reste de cet a r t i c l e , o n c h e r c h e à savoir j u s q u ' o ù o n p e u t d i m i n u e r le risque sans a u t r e s h y p o t h è s e s . R e m a r q u o n s q u e la restriction d u c h a m p de m p e u t ê t r e " n a t u r e l l e " ( o n e s t i m e u n e p r o p o r t i o n p a r e x e m p l e ) , o u r é s u l t e r d ' u n e i n f o r m a t i o n a priori (si m est t r o p g r a n d le m o d è l e est i n a c c e p - t a b l e ) . La r e s t r i c t i o n a > k est m o i n s n a t u r e l l e . Elle r e n d c o m p t e " p h y s i q u e m e n t "

de l'existence sur la m e s u r e de y d ' e r r e u r s i r r é d u c t i b l e s , o u d ' a p p r o x i m a t i o n s d a n s la spécification d u m o d è l e .

(1) C. G O U R I E R O U X vient de résoudre le problème en restreignant la classe des estimateurs aux estimateurs hermitiens. Son résultat est le suivant : si S est hermitien, l'opérateur SP⁰ est admissible si et seulement si S est l'identité o u si S admet une valeur propre dans [ 0 , 1 [. (note interne de FE.N.S.A.E., mars 1 9 7 8 ) .

2 . E S T I M A T I O N D ' U N P A R A M E T R E B O R N E

2 . 1 . P a r a m è t r e b o r n é .

O n s u p p o s e d é s o r m a i s q u e m G D, p a r t i e arbitraire d e M , à ceci près q u e n o u s e x i g e r o n s , p a r c o m m o d i t é , q u e le sous-espace e n g e n d r é p a r D soit L l u i - m ê m e . Sinon o n p o u r r a dire q u ' o n a choisi p o u r sous-espace L , j u s t e m e n t le sous-espace e n g e n d r é p a r D. N o u s é l i m i n o n s ainsi le t r a i t e m e n t des e s t i m a t e u r s d e M a r q u a r d t . (cf. [ 2 ] ) . O n s u p p o s e aussi, soit q u e o2 est fixé, soit q u e o2 > k2.

P o s o n s :

F(u) = s u p (u

I

m)2 . ( 9 )

F est à valeurs d a n s R+ ; F(u) = + 0 0 signifie q u e m p e u t s'éloigner i n d é f i n i m e n t ( d a n s D) d e l ' h y p e r p l a n (u \x) = 0 , c'est-à-dire q u e la p r o j e c t i o n d e m sur u n ' e s t pas b o r n é e . L ' e n s e m b l e (F < Q° ) est visiblement u n sous-espace. O n s'en a p e r ç o i t en c o n s t a t a n t q u e \jF(u) = s u p | (w | m ) | est u n e s e m i - n o r m e , e n v e l o p p e supérieure des s e m i - n o r m e s || u \\m = | (w | m ) | . Enfin o n a F(u) = 0 si et s e u l e m e n t si w = 0 , s i n o n D serait c o n t e n u d a n s l ' h y p e r p l a n (u\m) = 0 ce q u i est c o n t r a i r e à ce q u e n o u s avons p o s é .

R e m a r q u o n s q u e le d o m a i n e (F < 1) = D° (polaire d e D). L ' h y p o t h è s e q u i vient de servir é q u i v a u t d o n c à p o s e r q u e (F < 1) est b o r n é . O n p e u t e n c o r e d i r e , de façon é q u i v a l e n t e , q u e D°°, symétrisé fermé convexifié de Z), est u n c o n v e x e a b s o l u m e n t fermé d ' i n t é r i e u r n o n v i d e .

2 . 2 . R i s q u e

I n t é r e s s o n s - n o u s au m a x i m u m en m d u risque :

R(S)(u)= M a x R(S,m,o)(u) = o2 \\S*u\\2 + F((S* - , ( 1 0 ) soit aussi :

^a {S) = o2 SS* + F(S* - 1). ( 1 1 )

Si F = T0, f o r m e q u a d r a t i q u e généralisée, Ra(S) n ' e s t a u t r e q u e le risque de Bayes R(S,T0 >°2)- A o fixé, Sr^a2 assure u n m i n i m u m u n i q u e d e ( 5 ) . D o n c :

Si D°° est un ellipsoïde (ou un cylindre elliptique qui est équivalent), et que o est fixé, il existe un estimateur minimax unique. Le maximum du risque est plus petit que le risque de l'estimation de Gauss-Markov.

M a i n t e n a n t si o2 > k2 n ' e s t pas fixé, o n a t o u j o u r s Sr o/ * 2 ^ ^ r0/ a2 et

k2Srojk2 <o2SToja2. Il e n résulte q u e S r0/ f c2 a m é l i o r e l ' e s t i m a t i o n de Gauss- M a r k o v i n d é p e n d a m m e n t d e o et est le p l u s p e t i t e s t i m a t e u r h e r m i t i e n à réaliser c e t t e p e r f o r m a n c e . D e m ê m e , ^ r0/ f c2 est "l'unique e s t i m a t e u r m i n i m i s a n t le m a x i m u m d u p s e u d o - r i s q u e R(S) = o~2Ra(S). N o u s d i r o n s q u e c e t e s t i m a t e u r est

" o p t i m a l " .

Q u e dire d a n s d ' a u t r e s cas ? P o u r cela n o u s allons utiliser le d é t o u r des t e c h n i q u e s b a y é s i e n n e s .

2 . 3 . A p p r o c h e b a y é s i e n n e

Soit £(D,k) l ' e n s e m b l e des lois d e Bayes e n ( m , a ) d o n t le s u p p o r t est c o n t e n u d a n s D x [ k , + <» [,c'est-à-dire l ' e n s e m b l e des lois de B a y e s c o m p a t i b l e s avec l ' i n f o r m a t i o n a priori d o n t o n d i s p o s e . Il est clair q u e si T p a r c o u r t l ' e n s e m b l e des covariances d e s lois d e £ o n a :

S u p T ( w ) = s u p E(u\m)2< s u p (u\m)2<F(u) ( 1 2 ) r e{ C o v ( £ ) } A E £ A m E D

En fait, o n a égalité, c o m m e o n le voit f a c i l e m e n t en p r e n a n t p o u r A u n e loi d é g é n é r é e c o n c e n t r é e , en ce q u i c o n c e r n e m, au p o i n t o ù le s u p est a t t e i n t .

I n v e r s e m e n t , soit r < F u n e f o r m e q u a d r a t i q u e . S o n e l l i p s o ï d e i n d i c a t e u r est c o n t e n u d a n s car :

r

<F* [ ( F < 1)=»

(r <

1)] o [(F< 1) c ( T < 1) o

[(r < 1)° C ( F < 1)° = D ° ° ] . O n p e u t m o n t r e r q u e F s ' o b t i e n t à p a r t i r d ' u n e loi de B a y e s à s u p p o r t c o n t e n u d a n s D x [k, +«> [,c'est-à-dire l ' e n s e m b l e d e s lois d e Bayes c o m p a t i b l e s avec l'origine) ( 1 ) . Ainsi dire q u e r < F é q u i v a u t à dire q u e T est la covariance d ' u n e loi de p r o b a b i l i t é c o m p a t i b l e avec le d o m a i n e d e v a r i a t i o n d u p a r a m è t r e , c'est-à-dire u n e loi d o n t le s u p p o r t est c o n t e n u d a n s ce d o m a i n e .

(1) Il "suffit", si l'ellipsoïde est borné, de prendre la loi concentrée sur l'ellipsoïde et de densité uniforme relativement à la mesure des variétés de dimension (n - 1) déduite de la mesure des "volumes" dans E associée au produit scalaire. Dans le cas o u l'ellipsoïde est un cylindre, on considère une mesure sur ce cylindre de variance infinie le long des génératrices e t de projection uniforme sur la base du cylindre. Pour une mise en place correcte de ces idées, on se reportera aux ouvrages traitant de la mesure sur les variétés dans les espaces de dimension finie, 117 ] par e x e m p l e .

Soit m a i n t e n a n t V> F u n e f o r m e q u a d r a t i q u e . A a fixé, intéressons-nous à l ' e s t i m a t e u r bayésien c o r r e s p o n d a n t à u n e loi a priori sur m de covariance T (loi " p h y s i q u e m e n t " i m p o s s i b l e ) . L ' o p é r a t e u r S est d o n c :

5

a

⁼

- r (

^{1 +}

- r ) = ( l + o

²

r -

^,

r

¹

. (13)

S i T = £ X, (x,- « * , - ) , o n a Sa = £ * ' * * < "

O n a alors :

R (S^a) =

a

²

sX

+ F(S*-l)< o²S^aS* + (S^a - 1)

r(S*

- 1) ^ a² 1.

Si o n s u p p o s e d o n c o> k, l ' e s t i m a t e u r Sk a m é l i o r e r a s t r i c t e m e n t l'esti- m a t i o n de Gauss-Markov t o u t e n é t a n t a m é l i o r é , t a n t au p o i n t d e v u e d u risque b a y é s i e n q u e d u p o i n t de v u e d u risque m a x i m u m R, p a r t o u t e s t i m a t e u r bayésien fourni p a r u n e loi de £(D , k).

2 . 4 . E s t i m a t e u r s " o p t i m a u x "

2.4.1 N o u s allons m a i n t e n a n t caractériser les e s t i m a t e u r s " o p t i m a u x " e n ce sens q u e :

(i) Ils a m é l i o r e n t l ' e s t i m a t i o n d e Gauss-Markov.

(ii) Ils s o n t améliorables t a n t sur le p l a n d u risque b a y é s i e n q u e sur celui d u risque m a x i m u m p a r t o u t e s t i m a t e u r de Bayes fourni p a r u n e loi de

£(D⁹k).

(iii) Si S est o p t i m a l , il est é l é m e n t m i n i m u m d a n s la classe des o p é r a t e u r s a u t o - a d j o i n t s vérifiant la p r o p r i é t é (ii). A u t r e m e n t dit :

S' <S ) { => S' = S.

et Sf vérifie (ii) )

Ces e s t i m a t e u r s s o n t caractérisés d e la façon suivante :

Définition : Soit T⁰ une forme quadratique minimale dans l'ensemble F > F. Un estimateur optimal est donné par

T = S⁰P⁰ avec S⁰ = ^ ( l + ^ = ( 1 + A :²^¹) "¹ et P⁰ estimateur de Gauss-Markov.

Dire q u e T⁰ est m i n i m a l e d a n s la classe F > F, c'est dire q u e F < r < T0 =>T = T0.

Il est d o n c clair q u e les e s t i m a t e u r s o p t i m a u x vérifient les trois p r o p r i é t é s q u ' o n exigeait d ' e u x et qu'ils s o n t les seuls à les p o s s é d e r .

Par d é f i n i t i o n , les formes q u a d r a t i q u e s de la classe (F > F) s o n t celles d o n t l'ellipsoïde i n d i c a t e u r c o n t i e n t le d o m a i n e D°° (et d o n c D). Les é l é m e n t s m i n i m a u x de c e t t e classe s o n t d o n c les formes q u a d r a t i q u e s d o n t l'ellipsoïde est le plus p e t i t t o u t en c o n t e n a n t le d o m a i n e D.

2.4.2 Existence d'estimateurs optimaux

Elle est assurée p a r le l e m m e de Z o r n . Soit, en effet, A u n e n s e m b l e t o t a - l e m e n t o r d o n n é et F^a u n e famille de f.q.p.g. telle q u e F^a < 1 ^ dès q u e a < |8.

P o s o n s F(u) = Inf F (u). Il est clair q u e :

- Vu : F(u) >0 et VX G R : T ( X u) = X² F(u).

- F(u) < + 0 0 o 3 a : Ta( t / ) < + «>. F est d o n c finie sur le sous-espace D o m T = U D o m F^a ( r e m a r q u e r q u e D o m F^a est u n e famille m o n o t o n e d e sous- espaces).

- C o m m e t o u s les sous-espaces F^a s o n t de d i m e n s i o n finie, il existe ot⁰ tel q u e , si ot < <*⁰, D o m F^a = D o m T . P o u r de tels a, F^a(u + v) - T^a( w ) - F^a(v) est u n e forme bilinéaire sur D o m F, et p a r passage à la limite il en va de m ê m e de F(u + v) — F(u) — F(v). F est d o n c u n e f o r m e q u a d r a t i q u e sur D o m F et p a r suite u n e f.q.p.g..

- Enfin si V a : F^a > F , o n a aussi F > F.

L ' e n s e m b l e (F > F) est d o n c i n d u c t i f et possède (au m o i n s ) u n é l é m e n t m i n i m a l .

2A3 Unicité d'un estimateur optimal

La r e m a r q u e d u p a r a g r a p h e 2.2 m o n t r e q u e si D°° est un ellipsoïde c e n t r é à l'origine il existe u n e s t i m a t e u r o p t i m a l u n i q u e . R é c i p r o q u e m e n t il n ' e x i s t e q u ' u n seul e s t i m a t e u r o p t i m a l u n i q u e m e n t d a n s le cas o ù D°° est u n e l l i p s o ï d e .

Il est clair, en effet, q u e l'ellipsoïde i n d i c a t e u r d ' u n e f.q.p.g. associée à u n e s t i m a t e u r o p t i m a l possède des p o i n t s de c o n t a c t avec D°° ( s i n o n il suffirait d e le r a c c o u r c i r p a r h o m o t h é t i e ) . S u p p o s o n s d o n c F$ o p t i m a l . Si l'ellipsoïde i n d i c a t e u r de T⁰ est Z)°°, T⁰ est l ' u n i q u e e s t i m a t e u r o p t i m a l . S i n o n o n p e u t t r o u v e r x$ à la

frontière de D°° et à l ' i n t é r i e u r de cet e l l i p s o i d e . Soit u u n v e c t e u r tel q u e (u \x) = 1 soit l ' é q u a t i o n d ' u n h y p e r p l a n d ' a p p u i e n x ^ àD°° ;D°° est t o u t e n t i e r c o n t e n u d a n s " l ' e l l i p s o ï d e " :

{r-\x) = (u\x)2 < 1 } .

Il est clair q u e T^l > F et q u e T Q et T , ne s o n t pas c o m p a r a b l e s . O n p o u r r a d o n c t r o u v e r u n é l é m e n t m i n i m a l T2 d a n s la classe F < F < Fx q u i sera différent d e (et n o n c o m p a r a b l e avec) T Q .

2.4.4 Propriétés minimax

P a r m i les e s t i m a t e u r s T = SP⁰ avec S a u t o - a d j o i n t , les e s t i m a t e u r s o p t i m a u x m i n i m i s e n t le m a x i m u m d u pseudo-risque R(S) = o~² R^a(S) ; ceci revient à dire qu'ils s o n t m i n i m a x si o n fixe o = k.

Ce résultat d é c o u l e en fait de l'algorithme décrit d a n s les paragraphes suivants. C o m m e o n va le voir, u n e s t i m a t e u r o p t i m a l s ' o b t i e n t à p a r t i r d ' u n e f.q.p.g. T d o n t l'ellipsoïde i n d i c a t e u r a d m e t u n c o n t a c t m a x i m u m avec D°°. Ce c o n t a c t m a x i m u m d é t e r m i n e r é c i p r o q u e m e n t et de façon u n i v o q u e u n e l l i p s o i d e .

Soit alors S'P⁰ u n a u t r e e s t i m a t e u r avec S^f a u t o - a d j o i n t , soit T ' là f.q.p.g.

associée à S\ et s u p p o s o n s q u e l ' o n ait R(S') < R(S). L'ellipsoïde i n d i c a t e u r d e r ' d o i t avoir avec D°° les m ê m e s é l é m e n t s de c o n t a c t q u e l'ellipsoïde i n d i c a t e u r d e F ( s i n o n r ' et F ne seraient pas c o m p a r a b l e s ) . Ces ellipsoïdes s o n t d o n c nécessai- r e m e n t c o n f o n d u s et o n a u r a S = S'.

3 . P R A T I Q U E D E L ' E S T I M A T I O N B O R N E E

3 . 1 . Algorithme de recherche d'un estimateur optimal 3.1.1 Mise en place

O n c h e r c h e à d é t e r m i n e r u n e f o r m e q u a d r a t i q u e m i n i m a l e d a n s {r > F}. Soit Q = r~¹ ; il est é q u i v a l e n t d e c h e r c h e r u n ellipsoïde (Q < 1) m i n i m u m p a r m i c e u x q u i c o n t i e n n e n t D ° ° . O n s u p p o s e r a d a n s la suite q u e D°° est u n p o l y è d r e , enve- l o p p e c o n v e x e d ' u n e famille finie d e p o i n t s e x t r ê m e s { x^a} . P o u r des raisons d e s y m é t r i e , o n p o u r r a se c o n t e n t e r d ' u n e famille n e c o m p o r t a n t q u ' u n p o i n t s u r d e u x (si x est e x t r ê m e , — x l'est aussi). D a n s le cas d ' u n d o m a i n e q u e l c o n q u e , l'algo- rithme se généralise facilement à ceci p r è s q u e :

a) {xa} n ' e s t pas fini, e t l ' a l g o r i t h m e est " t h é o r i q u e " e n ce sens q u ' i l n e p e u t pas ê t r e t r a i t é p a r u n o r d i n a t e u r .

b ) A c h a q u e é t a p e il faudra e x a m i n e r la n a t u r e d e s c o n t a c t s e n t r e {Q = l } e t la frontière d e D°°. Il faudra e n effet déceler les d i r e c t i o n s v de c o n t a c t d ' o r d r e

1

s u p é r i e u r à 2 (id est, telles q u e : lim inf — [T(u0 + tv) — F(u0 + tv)] = 0 , r->o t

avec u⁰ vérifiant T ( w⁰) = F(u⁰)).

3.1.2. Principe de l'algorithme

S u p p o s o n s t r o u v é u n ellipsoïde Q = 1 ( Q inversible) a y a n t avec D°° u n c o n t a c t e n p p o i n t s xl9 . . . , xp i l i n é a i r e m e n t i n d é p e n d a n t s e t faisant p a r t i e d e la famille {x^}. P o u r a m é l i o r e r Q il faut t r o u v e r u n e l l i p s o ï d e a y a n t avec D°° u n c o n t a c t e n x j , . . . , x^p et a y a n t en c h a c u n d e ces p o i n t s le m ê m e h y p e r p l a n t a n g e n t q u ' a v e c (Q = 1) ( s i n o n les f.q.p.g. associées n e seraient p a s c o m p a r a b l e s ) . Le p l a n t a n g e n t e n x^ir à (Q = 1) a p o u r é q u a t i o n (x \ Qx¡) = 1. Les v e c t e u r s Qx¡ s o n t linéai- r e m e n t i n d é p e n d a n t s , de s o r t e q u e , si p < nf les n o y a u x des f o r m e s linéaires Qxi

o n t u n e i n t e r s e c t i o n Af d e d i m e n s i o n n — p.

O n va m a i n t e n a n t " r é t r é c i r " l'ellipsoïde d e la façon suivante :

Le sous-espace M e n g e n d r é p a r les X( est s u p p l é m e n t a i r e d e N. O n va

" d é f o r m e r " (Q 1) en lui faisant subir u n e affinité d e base Ai le l o n g d e N. A u t r e - m e n t d i t , p o u r X décroissant à p a r t i r d e 1, o n v a t r a n s f o r m e r (Q = 1) c o n t i n u e m e n t p a r la famille d e t r a n s f o r m a t i o n s :

o ù (xM ,xN) désigne la d é c o m p o s i t i o n c a n o n i q u e d e * sur les d e u x sous-espaces. Il est clair q u ' o n va o b t e n i r u n n o u v e a u c o n t a c t en u n p o i n t x^{p +1} p o u r u n n o m b r e X * < 1 .

Si p + 1 = n, o n n e p o u r r a plus rétrécir l'ellipsoïde et o n aura o b t e n u u n é l é m e n t m i n i m u m ( *^{p + 1} sera en effet i n d é p e n d a n t des x^ly. . . , x^p p a r c o n s - t r u c t i o n ) . Si p + 1 < n o n p e u t r e c o m m e n c e r l ' o p é r a t i o n ( c o m p t e t e n u des r e m a r q u e s d u p a r a g r a p h e 3 . 1 . 4 )

Remarque : D a n s ce q u i p r é c è d e , o n s u p p o s e le d o m a i n e t o t a l e m e n t b o r n é . O n voit b i e n q u ' o n p e u t se c o n t e n t e r d e ce cas. S u p p o s o n s e n effet q u e D soit n o n b o r n é le l o n g d ' u n sous-espace N et b o r n é t o t a l e m e n t d a n s u n s u p p l é m e n t a i r e B de TV ( d e fait o n p e u t p r e n d r e B - {u \F(u) < °°} et N = B¹). Il suffira d e c h e r c h e r u n ellipsoïde E^B m i n i m u m d a n s B ; l " ' e l l i p s o ï d e " m i n i m u m sera le c y l i n d r e à génératrices parallèles à N s ' a p p u y a n t sur EB.

3.1.3 Calculs et pratique de l'algorithme

P o u r initialiser l ' a l g o r i t h m e il suffit de choisir a r b i t r a i r e m e n t u n e f o r m e q u a d r a t i q u e Q n o n d é g é n é r é e . Soit p = Max Q(x^a), ce m a x i m u m é t a n t a t t e i n t

a

1

e n u n p o i n t x^l. La f o r m e q u a d r a t i q u e Q⁰ = — Q vérifie Q^Q{x^x) = 1 e t P

Q(xa) < 1 p o u r t o u s les a u t r e s p o i n t s (le cas particulier o ù il y a égalité est t r a i t é au p a r a g r a p h e s u i v a n t ) . L ' e l l i p s o ï d e Q⁰ = 1 c o n t i e n t d o n c D ° ° ( p o u r des raisons de c o n v e x i t é ) et a d m e t u n c o n t a c t e n X j .

I n t é r e s s o n s - n o u s m a i n t e n a n t au t r a i t e m e n t n u m é r i q u e de l ' a m é l i o r a t i o n d é c r i t e e n 3 . 1 . 2 . L ' e l l i p s o ï d e " a p l a t i d e X " vérifie l ' é q u a t i o n :

O r :

fl

(

^x

-

⁺

K )-

^{f l}

ï

¹

-ï)*-

⁺

r )

^-

Mais MetN s o n t g - o r t h o g o n a u x et (Qx^M \x) = (Qx^M \x^M) = Q (x^M).

L ' é q u a t i o n d e l'ellipsoïde aplati est d o n c :

lxQ{x) + (1 - v) Q(x^M) = 1 avec /i = — G [ 1 . A

Reste à évaluer Q(x^M), c'est-à-dire, en fait, la p r o j e c t i o n x^M d e x le long de TV.

C h e r c h o n s - l a d a n s la base x^x . . . , x^p c'est-à-dire sous la f o r m e :

= £ (vi\x)xi. i=

1

Dire q u e P p r o j e t t e le l o n g de N i m p l i q u e q u e :

\/f(x -Px\Q^Xj) = 0, c e q u i c o n d u i t au s y s t è m e d ' é q u a t i o n s :

y = 1 , . . . , p : QXj = £ (x^t\Qxj) v^t. i

Les x^t é t a n t i n d é p e n d a n t s , la m a t r i c e (x^t \ Qxj) a d m e t u n e inverse d ' é l é m e n t s Oifj de sorte q u e :

i

R e m a r q u o n s q u e : (yi \xj) = 8y ( s y m b o l e d e K r o n e c k e r ) . On a alors :

Q(xM) = (Px\QPx) = ^ (Qxf \x) (Qxt \x).

U

A u t r e m e n t dit la f o r m e q u a d r a t i q u e Q o P est associée à l ' o p é r a t e u r :

R =

Z

^{% Q*i • Qxj • O4)}

L ' a m é l i o r a t i o n définie e n 3.1.2 va d o n c se faire de la façon suivante : - Calcul d e Q(x^a) et / ? ( x^a) p o u r les x^a n o n a t t e i n t s a n t é r i e u r e m e n t . T o u s ces n o m b r e s s o n t inférieurs à u n .

- Calcul d e na = (1 - R(xJ)l(Q(xa) -R(xa)).

1

— On d é t e r m i n e a^Q tel q u e / x^{a Q} soit u n m i n i m u m et o n pose x^p+1 = j c^{a Q}.

— O n r e m p l a c e Q p a r Q' = м<*0 Q + (1 ~ J % ) Д •

— O n calcule la nouvelle m a t r i c e {xi \ Q'xj) i, / = 1, . . . , p 4- 1.

Or :

(x,- I Q'XJ) = ( * / I Qxj) si / , / = 1 . . . p par c o n s t r u c t i o n de Д .

(*/1 Q'xj) = (xf- I QXj) si i o u / Ф p + 1 p a r le fait q u e Л et Q définissent la m ê m e forme bilinéaire d è s q u ' u n des v e c t e u r s est d a n s l'espace e n g e n d r é par x j , . . . , x^p.

Enfin (x^p+l I G' *^p+ i ) = 1 p a r c o n s t r u c t i o n .

3.1.4 Problèmes de colinéarité

D a n s ce q u i p r é c è d e o n a s u p p o s é q u ' à c h a q u e é t a p e de l ' a m é l i o r a t i o n o n travaillait avec des (*,-)/=: i,...,p l i n é a i r e m e n t i n d é p e n d a n t s . L ' a l g o r i t h m e fournit alors u n n o u v e a u " p o i n t - l i m i t e " h o r s d u sous-espace e n g e n d r é p a r les (x^t) puisqu'il y a c o n t r a c t i o n d a n s le sous-espace N q u i est s u p p l é m e n t a i r e de M. Il ne p e u t d o n c se p r o d u i r e de colinéarités q u e si o n a t t e i n t plusieurs n o u v e a u x p o i n t s à la fois, s o i e n t x^{p + v}. . . , x^p+^k .

E x a m i n o n s - l e s s é q u e n t i e l l e m e n t . Avec x^p+l o n o b t i e n t de t o u t e façon u n e d i m e n s i o n s u p p l é m e n t a i r e ; s i J C^{p + 2} f o u r n i t lui aussi u n e d i m e n s i o n s u p p l é m e n t a i r e , l ' a l g o r i t h m e se p o u r s u i t c o m m e dans le cas général : o n aura s e u l e m e n t м^{а о} = 1 e t

= Q. Par c o n t r e si x^p+2 est colinéaire à (х^г,..., x^{p+ x} ) , o n aura :

x^p+2 = Ц <*i*i e t Q^xp+2 = S <*iQx{;

i i de ce fait, le p l a n t a n g e n t à l'ellipsoïde e n x^p+2 sera t o u j o u r s d é t e r m i n é p a r les p l a n s t a n g e n t s a u x a u t r e s p o i n t s . Il suffit alors d'éliminer ce p o i n t de l'ensemble des d o n n é e s , de n o t e r q u ' o n a u n e s o l u t i o n l i m i t e , c o r r e s p o n d a n t à la s i t u a t i o n de la figure 1 e t de c o n t i n u e r l ' a l g o r i t h m e avec (p + 1) p o i n t s classés e t N — p — 2 p o i n t s à classer.

O n p e u t ainsi caractériser les s o l u t i o n s o b t e n u e s e t m o n t r e r q u e , m o y e n n a n t u n e initialisation c o n v e n a b l e , o n les o b t i e n t t o u t e s . O n p e u t , en particulier, ini- tialiser l ' a l g o r i t h m e avec u n e f o r m e q u a d r a t i q u e d u genre Q(x) = (w | x)2 (dégé- n é r é e ) q u i c o r r e s p o n d à Г = Q~x f o r m e q u a d r a t i q u e généralisée. O n p o u r r a ainsi o b t e n i r des s o l u t i o n s c o n s t i t u é e s p a r des " e l l i p s o ï d e s " f o r m é s de d e u x h y p e r p l a n s c o n t e n a n t u n e face d u p o l y è d r e , o u p a r des ellipsoïdes c y l i n d r i q u e s .

solution limite

/ / \ \ \ solution simple

^ F i g u r e 1.

O n p o u r r a aussi, s u r t o u t dans les cas de d i m e n s i o n p e t i t e , fabriquer direc- t e m e n t des Q o p t i m a l e s e n choisissant p ( c o u p l e s d e ) p o i n t s e x t r ê m e s de D°° ainsi q u e des p l a n s t a n g e n t s " c o m p a t i b l e s " de façon à n e p a s t o m b e r sur u n e s o l u t i o n impossible c o m m e à la figure 2 .

Remarque : ces p r o b l è m e s de coline'arité son* e x a c t e m e n t de m ê m e n a t u r e q u e c e u x évoque's e n 3 . 1 . 1 p o i n t b ) ( n a t u r e d ' u n c o n t a c t ) . Ceci deviendrait clair p a r u n trai- t e m e n t des p r o b l è m e s de c o n t a c t au m o y e n de l'analyse n o n s t a n d a r d (cf. [ 1 6 ] ) .

^ ^ ^ ^ ^ ^ ^ ^ ^ ^ • ^ ^ Figure 2.

2

On détermine un ellipsoïde à partir de deux éléments de contact en 1 et 2.

La solution obtenue n'est pas acceptable, car les plans tangents ne sont pas compa- tibles. L'ellipsoïde obtenu à partir de ces éléments de contact ne contient pas le domaine.

3.1.5 Formalisation et organigramme de l'algorithme

L'analyse q u i p r é c è d e se r é s u m e dans l ' o r g a n i g r a m m e suivant :

Début • I

Données : Un espace M de dimension p ; q points extrêmes xx xq engendrant un polyèdre convexe.

Initialisation : Choisir Q forme quadratique sur M ;A = {xlt ... ,xq} ;B = 0 ; C = 0

\ 2 / La forme quadratique R = 0

1 ~ ~

O

^{l -R(xa)}

:

— »

@ Faire g = »Q + (1 -u)R

0

Prendre G / et poser / = / — o*

^ ,4 = , 4 - a * , B = B+««

^ I B = B + ot* ^ 1 ^

VS/ ï k n°n ' ' Calculer les matrices : /i* = (x* 10x-t)

xa* est-il \ o u i l • * I ^ ,

colinéaireà vL C~ C + ( x i t T

ix^eB / L ! ï i _ J y *

^ / 1 ^ ^ possède p éléments ?

Prendre a * G/ / \ 7f\ T ! etposer^ „ X / - 0 V / ^ ^ V o u l

A = A -a non >v ? y ' i '

O est une forme quadratique minimum, telle que D°° C (Q < 1) ; U oui

n n L'ellipsoïde Q = 1 a des contacts

| avec D°° aux points de 5 + C.

* = S ô*0 •

gg' I I

4 : ensemble des points qui ne sont pas retenus à une étape donnée.

B : ensemble des points de contact servant de base à une étape donnée.

C : ensemble des points de contact ne servant pas de base (colinéaires à B) I : ensemble des points réalisant le minimum.

Commentaires sur les blocs 4 et 11.

Bloc 4. Le calcul de la m a t r i c e H = est e n fait très simple. Soit H** la m a t r i c e H de l ' é t a p e p r é c é d e n t e , B** l ' e n s e m b l e B de l ' é t a p e p r é c é d e n t e . On ^h^^= ^

si /3 e t 0' s o n t d a n s B**. Par c o n s t r u c t i o n ^a* = 1. R e s t e à calculer {x^ \Qx^) p o u r 0 G 5 * .

L'inversion de / / est i m m é d i a t e du fait q u ' o n c o n n a î t d é j à / f *- 1. O n d o i t d o n c inverser u n e m a t r i c e p a r t i t i o n n é e de la f o r m e :

"\*TÏ\

^(1S)

o ù V est le v e c t e u r des | Qx^), 0 d a n s B**. Il est facile de voir q u e :

%

i

\H*~¹

(s +

VV*) H*~^L H*-¹

1

H = 7 — - - v 0 6 )

avec 6 = 1 - VtH^~l V.

Bloc 11. Si o n travaille d a n s u n e base telle q u e l ' o n ait : (x \y) = j cf Afy ( o n assi- mile u n v e c t e u r à la m a t r i c e de ses c o o r d o n n é e s ) , l ' o p é r a t e u r Qx^ ® Qxp définit la f o r m e q u a d r a t i q u e (Q désignant la m a t r i c e de l'application linéaire Q) de m a t r i c e :

MQXp QM, ( 1 7 ) de s o r t e q u e la m a t r i c e de la f o r m e q u a d r a t i q u e R sera :

Le p a r a g r a p h e suivant va préciser les liaisons e n t r e m a t r i c e s et o p é r a t e u r s et d o n n e r u n e " t r a d u c t i o n " matricielle de ce q u i p r é c è d e .

3 . 2 Opérateurs et matrice

3.2.1 Généralités.

L ' u t i l i s a t i o n d ' u n e m é t r i q u e ( p l u t ô t q u e d ' u n s c h é m a de dualité cf. [ 1 ] ) est cause d ' a m b i g u ï t é s , de confusions, liées f o n d a m e n t a l e m e n t à l'assimilation d ' u n e f o r m e linéaire ( é l é m e n t d u duaï) à u n v e c t e u r de l'espace.

Soit E u n espace euclidien muni d'une base. A t o u t o p é r a t e u r A d a n s E il c o r r e s p o n d d e u x m a t r i c e s selon q u ' o n le fait f o n c t i o n n e r c o m m e a p p l i c a t i o n linéaire ( a . l . ) o u c o m m e forme bilinéaire ( f . b . ) . Si A e s t h e r m i t i e n , la forme bili- néaire associée définit u n e f o r m e q u a d r a t i q u e ( f . q . ) . Si A est l ' i d e n t i t é de E, sa m a t r i c e a . l . e s t l ' i d e n t i t é quelle q u e soit la b a s e . La f.q. (x \x) de l ' o p é r a t e u r i d e n t i t é est d o n n é e m a t r i c i e l l e m e n t p a r la m a t r i c e m é t r i q u e M telle q u e : (x\x) = x*Mx ( o n n o t e x la m a t r i c e c o l o n n e d e c o o r d o n n é e s du v e c t e u r x d a n s la base d o n n é e ) . D a n s les p r o b l è m e s de régression linéaire, la m a t r i c e m é t r i q u e sur l'espace d e s p a r a m è t r e s est X * ^1 X

e t (x \y) =x^tX^tQ~¹ Xy = (XxY Q "¹ (Xy).

Désignons s y s t é m a t i q u e m e n t p a r A la m a t r i c e a . l . d e A. L a m a t r i c e f.q. de A est MA, caix^fMAx = (x \Ax). L a m a t r i c e f.q. de l'adjoint A* QSXA^ÎMde sorte

q u e la m a t r i c e a . l . de A* est M~¹A^tM. A est a u t o - a d j o i n t si e t s e u l e m e n t si A*M = MA. Si A est inversible, la m a t r i c e a . l . d e A~^l est A~^l ; la m a t r i c e f.q. de A '¹ est MA'¹.

I n v e r s e m e n t , à t o u t e m a t r i c e A il c o r r e s p o n d d e u x o p é r a t e u r s selon q u e A f o n c t i o n n e c o m m e a . l . o u c o m m e f.q. L a m a t r i c e i d e n t i t é c o r r e s p o n d à l'appli- c a t i o n linéaire i d e n t i q u e e t à l a f.q. :

x*x = xfMM-lx = (x\M~lx\

o ù M^-1 est l ' o p é r a t e u r d e m a t r i c e a . l . M^-1.

De m ê m e la m a t r i c e M a p o u r o p é r a t e u r f.q. l ' i d e n t i t é , e t u n e m a t r i c e A, définissant u n e a . l . A, définit aussi u n o p é r a t e u r p a r yfAx = (y \Ax) ; Â est l ' o p é r a t e u r d e m a t r i c e ( a . l . ) A f- 1^ .

3.2.2 Traduction matricielle des résultats précédents

D a n s la p r a t i q u e , le d o m a i n e de m sera d o n n é p a r d e s r e s t r i c t i o n s sur c e r t a i n s p a r a m è t r e s . Le m o d è l e sera d o n n é sous la f o r m e :

y =S Xi^bi ⁺ S xj^bj ^{+ 6} *>^{E e = 0} > ^{E e e}' ⁼ °²ⁿ> °^{2 > k2}

{ 6^f} sans c o n t r a i n t e s

{bj} d a n s u n d o m a i n e borné.

L'espace L de m = ^ bⁱXⁱ est d é c o m p o s é e n d e u x s u p p l é m e n t a i r e s , N

IUJ

e n g e n d r é p a r les ( J f / ) / e / ^et M e n g e n d r é p a r les ( ^ ) ) / e / - N o t o n s P le p r o j e c t e u r sur Mie l o n g d e N , e t p o u r t o u t x de L : x^M = Px etx^N = ( 1 — P)x.