Analyse de Fourier explicite sur certains groupes de Lie nilpotents

P UBLICATIONS DU D ÉPARTEMENT DE MATHÉMATIQUES DE L ^YON

P ^IERRE B ^ONNET

Analyse de Fourier explicite sur certains groupes de Lie nilpotents

Publications du Département de Mathématiques de Lyon, 1987, fascicule 1B

« Actes du colloque Jean Braconnier », , p. 117-145

<http://www.numdam.org/item?id=PDML_1987___1B_117_0>

© Université de Lyon, 1987, tous droits réservés.

L’accès aux archives de la série « Publications du Département de mathématiques de Lyon » im- plique l’accord avec les conditions générales d’utilisation (http://www.numdam.org/conditions).

Toute utilisation commerciale ou impression systématique est constitutive d’une infraction pé- nale. Toute copie ou impression de ce fichier doit contenir la présente mention de copyright.

Article numérisé dans le cadre du programme Numérisation de documents anciens mathématiques

A N A L Y S E DE FOURIER E X P L I C I T E SUR C E R T A I N S GROUPES DE LIE N I L P O T E N T S

par Pierre BONNET

H.""

1

on décrit explicitement la transformée de Fourier des distributions de type

positif, telle qu'elle a été définie par l'auteur. On en déduit pour tout sous- groupe fermé connexe, H une formule de Plancherel explicite sur l'espace homogène G/H.

Abstract. For every nilpotent Lie group G which is the semi-direct product of

H and R

^ we describe explicitly the Fourier transform of positive definite distributions, using the theory built by the author. As an application we give for each closed connected subgroup H a Plancherel formula, in an explicit way, on the homogeneous space G/H.

MOTS CLES. groupes de Lie nilpotents méthode des orbites

transformée de Fourier formule de Plancherel.

CLASSIFICATION A.M.S. : 22-E-27.

INTRODUCTION

Plusieurs travaux ont déjà été consacrés à l'analyse harmonique sur les espaces homogènes d'un groupe de Lie nilpotent G. C'est ainsi que dans [10] GRELAUD étudie la désintégration centrale des représen- tations induites à partir d'un sous-groupe fermé de G; plus précisément il explicite la mesure sur le dual G de G et les multiplicités inter- venant dans une telle désintégration. L'étape suivante devrait consister à expliciter l'opérateur réalisant la désintégration, ce qui revient à donner une formule de PLANCHEREL concrète telle que la définit PENNEY dans [14]. Des résultats ont déjà été obtenus dans ce sens : tout d'abord dans [3] et [4] BENOIST obtient la formule de PLANCHEREL lorsque l'es- pace homogène est un espace symétrique, ce qui implique en particulier que les multiplicités sont 0 ou I ; récemment FUJIWARA a généralisé les résultats de BENOIST au cas où toutes les multiplicités sont finies ([9]).

La transformée de FOURIER des distributions de type positif telle qu'elle est définie dans [6] pour tout groupe de Lie de type I peut constituer un outil pour aborder l'étude de la formule de PLANCHEREL, y compris dans le cas de multiplicités infinies. Nous examinons cette possi- bilité pour des groupes de Lie nilpotents particuliers, ceux qui sont pro- duit semi-direct de H et d'un facteur distingué abélien.

Le paragraphe I consiste à rappeler brièvement la définition et la construction de la transformée de FOURIER d'une distribution de type posi- tif T sur un groupe de Lie. Cette transformée de FOURIER se ramène à la donnée d'une mesure m sur G et d'un champ d'opérateur ~

A À c

vérifiant la relation

<e(g"*

),T(g) > = tr(îr

(e) u

) dm(X)

pour toute fonction 0 C a support compact sur G. On montre par

ailleurs que lorsque G est nilpotent, la relation précédente s'étend aux fonctions C a décroissance rapide.

Au paragraphe II, et lorsque G vérifie les hypothèses supplémentai-

res que nous avons indiquées, on obtient une description explicite de la

mesure m et des opérateurs pour toute distribution de type positif T sur G. Les résultats ne peuvent, sans doute, pas être étendus tels quels à tout groupe de Lie nilpotent ; en effet, m et les U-^ sont déduits de la transformée de FOURIER (au sens classique) d'une distribu- tion T sur l'algèbre de Lie (S^y de G, cette distribution est l'image réciproque de T par un difféomorphisme qui diffère de l'application expo- nentielle et qui n'a pas d'équivalent pour un groupe de Lie nilpotent quel- conque.

Ces résultats sont appliqués au paragraphe III au cas où T est la distribution induite sur G par la mesure de Haar sur un sous-groupe fermé H. Divers cas sont à considérer suivant la position de H par rapport au

sous-groupe dérivé de G et par rapport au facteur distingué abélien, et les multiplicités sont tantôt finies, tantôt infinies. Ces multiplicités étant

fournies par le rang des opérateurs , on retrouve ainsi les résultats de G R E L A U D . Mais la donnée de l'opérateur permet en outre d'énoncer une formule de P L A N C H E R E L dans un sens très voisin de celui de P E N N E Y ; la différence avec [14] réside dans le fait que pour les multiplicités infinies, la quantité tr(n^(0)U^) s'exprime naturellement au moyen d'une intégrale et non pas d'une série ; le passage à la forme série (qui d'ailleurs est moins ca- nonique) est possible si l'on sait exprimer l'opérateur U ^ sous la forme :

U f - Z ( f | f . ) f .

1

où les f^ sont des vecteurs-distributions, ce qui d'après [6] est tou- jours possible.

Pour la généralisation à un groupe nilpotent quelconque, une possibi- lité pourrait être de remplacer T # par la distribution T^

image réci- proque de T par l'application exponentielle, et la transformation de

FOURIER classique par une transformation à exposant polynomial ou rationnel.

On devrait pouvoir généraliser ainsi au moins les résultats du paragraphe

III. En effet, lorsque T est la distribution induite par le mesure de

Haar d'un sous-groupe, on peut choisir le facteur non distingué de G de

manière à ce que les distributions et T^

coïncident.

I - TRANSFORMEE DE FOURIER D'UNE DISTRIBUTION DE TYPE POSITIF.

Dans ce paragraphe, nous rappelons la définition de la transformée de Fourier telle qu'elle est introduite dans [ 6 ] .

On considère un groupe de Lie G de type I et unimodulaire dont on note (^/ l'algèbre de Lie (l'hypothèse d'unimodularité n'est pas fon- damentale, puisqu'il suffit, lorsqu'elle n'est pas vérifiée, de remplacer les distributions par les fonctions généralisées). On note G le dual de G, c'est-à-dire l'ensemble des classes d'équivalence de représentations

unitaires irréductibles, et, pour chaque À de G, on se donne une repré- sentation T T^ de classe À agissant dans un espace de Hilbert Jf^ de sorte que les ïï^ forment un champ

On note :

oo

- Jf^ l'espace des vecteurs différentiables de ÏÏ^ ; - , l'espace des vecteurs-distributions ;

À

— oo . . .

- l'espace des opérateurs à trace-distributions 1 À

(c'est-à-dire des opérateurs nucléaires de Jr ^ dans ^ V*

Etant donné une base (e^,...,e^) de on pose n

D = 1 - I e.

i=l ¹

et on note D^ l'opérateur autoadjoint positif de ^ qui est la ferme- ture de d7T^(D). On introduit encore les espaces suivants :

k

- j/f , par k e pi, espace des vecteurs de classe C de ÏÏ ;

À A k/2

c'est aussi le domaine de l'operateur D . C'est un espace de Hilbert

A

pour la norme

P^k(f) = l | D^{k / 2}f | | .

- 3ff ^ antidual de

- & (Jdf ) ^k, espace des opérateurs nucléaires de jf ^ dans Jf^{7 k}.

1 A À A

Pour un tel opérateur U, l'opérateur D ~^k^² U D ~^k^² est à trace dans . A On pose :

p-^k(U) = t r ( | D -^{k / 2} U D -^{k / 2}| ) .

Une mesure-opérateurs positive à croissance lente sur G est défi- nie par un couple (m,U) où m est une mesure scalaire positive sur G et

u :

e

u

e ^ ( j r r

un champ mesurable d'opérateurs à trace-distributions positifs (i.e. véri- fiant (U^f|f) > 0 pour f G ^et satisfaisant à la condition suivante (condition de croissance lente) :

il existe un entier k G U tel que :

-k

-¿J V'opérateur appartient à JSf ^(Ji^) peur m-pr£sgu£

tout À ;

iij la fonction

À G G -> P ^^K( U^À) = t r ( D ~^{k / 2}

i y T

)

est m-intégrable.

En fait, les mesures-opérateurs sont obtenues en identifiant les couples (m,U) et (m',U') lorsque, m' ayant une densité par rapport à m, on a

u

'x = t r

x

La transformée de Fourier d'une distribution T de type positif sur G est, par définition, la mesure-opérateurs (m,U) introduite par le

THEOREME 1. - Etant donné une distribution T de type positif sur G, il existe une unique mesure-opérateurs positive à croissan- ce lente sur G vérifiant

(1) V 6 € Q (G), < 6 ( g "

) , T(g)> = t r

) U

) dm(X).

G

Précisons le sens de (1) : pour 9 £ Q) (G), pour X G G, et pour tout -k k k £ U , l'opérateur (0) envoie continuement J ^

dans , de

sorte que si IL £

( Jtf )

, l'opérateur T K (0)U. est à trace dans À l À À À

k

L

scalaire tr(TT

(0)U^ ) désigne la trace de cet opérateur, tra-

X X X

ce qui ne dépend pas de k.

Rappelons brièvement le principe de la construction de (m,U) telle qu'elle figure dans [6]. A la distribution T de type positif, on associe ([1] et [8]) une représentation T F

de G et un vecteur distribution f

de T I "

tels que

< 0 ( g "

) , T(g)> = (7T

(0)f

|f

).

Soient :

f

T T^t

= J n(X)ïï. dm (A)

G

la désintégration centrale de T T ^ et

f = J f dm(X) G

la désintégration de f qui lui est associée. Le vecteur-distribution f est défini par une famille f . de vecteurs-distribution de j\ ;

X X

X

l'opérateur U est défini par

X

REMARQUE : Moyennant une légère modification de la démonstration, l'uni- cité de la mesure-opérateurs (m,U) peut être énoncée comme suit :

Soient m une mesure positive sur G et

u : x e G -> u^A e se {Jf^x

)~

un champ mesurable d'opérateurs à trace-distributions positifs tels que, pour tout 0 de 2 (G) la fonction À -> tr(ïï^(0)U

) soit m-intégrable et l'égalité (1) ait lieu ; alors la

me sure-opérateurs (m,U) est à croissance lente et est la trans- formée de Fourier de T.

Supposons désormais le groupe G nilpotent connexe simplement connexe. L'application exponentielle est alors un difféomorphisme de Çj^

sur G, tel que l'image d'une mesure de Lebesgue dA sur soit une mesure de Haar dg sur G. Fixons une fois pour toutes dA et dg.

oo

On définit alors sur G l'espace 5^(G) des fonctions C à décroissance rapide et l'espace if '(G) des distributions tempérées, par transport, au moyen de l'application exponentielle, des espaces

if et <f'(fy).

THEOREME 2. - Si T est une distribution de type positif sur G alors T est tempérée et la relation (1) du théorème 1 est vérifiée pour tout 0 € y (G).

DEMONSTRATION : On sait d'après [6 ] que si T est de type positif, elle est continue quand on munit ¿0 (G) de la suite des normes (p^ )

2k * k E l où p^ (0) désigne la norme dans la C -algèbre de G de la

k k */

fonction D *0*D . Or if(G) s'injecte continuement dans C (G) et

1'application

6 -> D

* 6 * D

est continue de (G) dans !f (G). Ceci prouve la première assertion.

La preuve de la seconde assertion consiste à adapter à 6 € (G) les démonstrations de [ 6 ] .

II - TRANSFORMEE DE FOURIER EXPLICITE

Lorsque le groupe G est nilpotent, on peut tenter, en utilisant la méthode des orbites, d'obtenir une construction plus explicite de la mesure m et des opérateurs U définissant la transformée de Fourier

À

de T. C'est ce à quoi nous parvenons dans un cas particulier.

Nous considérons désormais un groupe de Lie G nilpotent connexe et simplement connexe, et nous supposons que G contient un sous-groupe

fermé connexe G^ abélien et de codimension 1. Notons 1'algèbre de Lie de G^. Le sous-groupe G^ étant de codimension 1 dans G nil-

potent, est distingué, et <^

est un idéal de (Oj, ([18]).

Notons Ad et ad les représentations adjointes de G

et ^ dans , ainsi que Ad et ad les représentations coadjointes de G et dans le dual de ^ . Notons p la projection de ^ sur ^ ^.

Soient e^ un élément de (£^> n'appartenant pas à ^ et e^

l'unique élément de vérifiant

<e^,e^ > = 1 .

Soit 0 l'action de H dans ^ \ définie par

G.B = Ad ,

B t expCte^)

et soit O 1 action dans (U ^ contragrédiente de O de sorte que O se déduit de Ad par passage au quotient.

Soient do et do les générateurs des groupes à un paramètre

« V t e *

<

î>t e n '

L'algèbre de Lie est produit semi-direct, au moyen de do, de l'idéal ^,etde IRe^, et G est produit semi-direct du sous-groupe dis- tingué et de exp (He^) . Nous écrirons tout élément de (£p

A = ae

+ A

, où a € H , A^ E (£j ^

et moyennant le choix de e^, nous identifierons à ]R x (j^ ^ en posant

x = (Ç,x

) où Ç et x

Dans cette identification, les représentations Ad et ad s écrivent :

a d

ae + A ^

i>dQ

i

^ otda x^)

A d

* e x p ( a e

) e x p ( A

)

^

l

^ "

1 >

°\>> o* .

EXEMPLES : Les hypothèses que nous nous fixons sont satisfaites pour toutes les algèbres de Lie définies par les crochets

[ e¹,

e

] =

2 < i < n-1,

ce qui comporte :

- l'algèbre d'HEISENBERG ( Ç

,

- l'unique algèbre nilpotente indécomposable de dimension 4 , - l'algèbre nilpotente ^ 5 5 (terminologie de [11] et [13]).

Un autre exemple est fourni par l'algèbre ^ 5 2 définie par

[e.^, ^2"^ = ^4 [*~-^* ^3*^ = ^5 *

Les orbites et Le dual de G.

Pour x G (£j et y G notons

- l'orbite de x pour l'action coadjointe de G, - & l'orbite de y pour l'action G de H .

Il vient

p(x) x Posons

et notons ^ (resp. t^-j^-j-)) I^e complémentaire de dans (resp. de <Q ^{1 (},^Q^ dans *) . Les ensembles ^ (⁰) ^et ^j(l) ^^{r e s}P * ^ 1 ( 0 )

A * \ * , * N

et br sont stables par Ad (resp. par a ) .

a) Si x G (0 nous avons

^x ^{= { X } et ff}p(x) ^{= {p(x)}}- On définit un caractère TT de G par

x / sa\\ ~2i TT <A,x>

TT (exp(A)) = e x

et on obtient ainsi une première partie ^G(q) ^e ^ indexée par

X G ^ ( 0 ) '

b) Si x = (Ç, x ^ € G ^-Q (i.e. ^ uyiQ)) * l'orbite 0 = & , v est de dimension 1 et peut être paramétrée par

x^ p vxy

t E l e x p C t e ^ x ^ = a x ^ .

L'orbite fi est de dimension 2 et s'identifie a ~R * 6 .

x x^

La mesure de KOSTANT-LIOUVILLE sur fi est dF dt. En outre l'idéal x

^ ^ est une polarisation en x.

Nous obtenons ainsi une deuxième partie ^G( j ) de G complémentaire de G(o)* ^{A t o ut} A € G( j ) correspondent une orbite fi^ contenue dans

(I) e t u n e orbite &^ contenue dans (^(j)* Soit

une section borélienne, et posons

y* = exp(te ; L) yÀ = a* yA.

En fait, on peut trouver (voir paragraphe III) une partition finie de

-^-Q P^{a r} des ensembles et une section rationnelle sur chaque • on associe à X le caractère de G^ défini par

( (k - 2 i î r <Ai, y^A>

X^(exp(A1)) = e 19

et la représentation TT de G induite de x . On réalise i\ dans

A À À

L2( H ) et il vient :

irx( e x p ( A1) e x p (ae1) ) f(t) = e "2 i î T < Al ^ t > f (t-a) .

Dans cette réalisation Jf3 °° et sont respectivement l'espace if (1R ) À À

des fonctions C°° à décroissance rapide, et l'espace if'(~R) des distri- butions tempérées. (Voir [ 3 ] ) .

REMARQUE : On reconnaît ici la description des orbites de la représen- tation co-adjointe d'un produit semi-direct donnée par RAWNSLEY ([19]) de sorte que la méthode des orbites se confond avec la méthode de MACKEY de construction de G.

LA TRANSFORMEE DE FOURIER.

Soit T une distribution de type positif sur G.

Nous pouvons préciser la structure de la mesure-opérateurs (m,U) transformée de Fourier de T :

- la mesure m s'écrit

m = m

(o)

( i )

où

( Q )

( i )

respectivement portées par ^(Q) et ^

- pour À G ^(o)* ^

P

ésentation ^ étant de dimension 1, l'opé- rateur U-^ est un scalaire. On choisira donc

( Q ) ^e manière à avoir

U

X

( 0 ) '

-

- Pour À G G, v l'opérateur U, est nucléaire de ( H ) dans

v

1/

^ ' ( H ) . Il est donc défini par un noyau <^U^ Q

i

^

distribution 2

tempérée sur ]R vérifiant

<f',U

f> = <f(s)f

(t),.jfU

(s,t)> pour f,f £ ^ ( 1 ) .

Ainsi, la transformée de Fourier de T est décrite par la donnée des

mesures

( l ) respectivement portée par G ( Q ) et et 2

du noyau ^ ^

( ^ ) pour m ^ - p r e s q u e tout X de G Q ) •

A =ote^ + A^ G £^ -> exp(A^) expfoe^) c G

est un difféomorphisme tel que l'image de la mesure de Lebesgue dût dA^

est la mesure de Haar dg. On définit une distribution tempérée sur par

T * (ae^l + A¹) = T(exp(A¹) expfae^)

et on définit de même 9 ^ pour 6 G ^ (G) .

Nous allons décrire ^m( Q ) > ^m( l ) ^et ^^{e s} ^ l'aide de transfor- mées de Fourier classiques : la transformée de Fourier totale

^ T * ( x ) = ^^rT^#( Ç , x¹) de T^# et sa transfo rmée de Fourier partielle T ^(a,x^) par rapporta la variable A^. Pour cela, on commence par calculer n\ (G), pour 0 fonction de (G) :

À

- si x G M (o)' l'opérateur ^ ( B ) ^{es t u n} scalaire et 7r^x(e) = W ' ( x )

- pour X G l'opérateur ^{e st} continu de y ' (1R ) (muni de sa topologie forte de dualité) dans (]R ) et admet un noyau

À dans y ( m²) .

Il vient :

C -2iTv<a_ (A¹),y^x>

( j f e ^ X s . t ) = L 9(exp A^x exp(t-s)e¹)e d A^x

f y/ "2 i 7 T < Ai '^yt^{À >} // 1 6 ^ff((t-s)^e;L + A )e ^C d A ^x = ^ e " ( t - s . y * ) .

Ceci étant, définissons pour À E ^(i) ^^{e s} distributions tempérées suivantes sur JR

> 1

' ( I

*

( Ç . t ) = J ^

<Ç,t) .

Soit 9 la fonction définie par

e*(

) = e (

) .

Il vient :

TT

^(9 ) = (adjoint de l'opérateur TT ^(0))

et

jfG* (s,t) = Jfe

(t,s)

d'où :

tr(iT

(s,t)>

= <Jfe

(s,t), jfu

(s,t)>

= < ^^A e^#

(t-s,

(s,t)>

= < &

e

(a,y*), ^f

^(a,t)>

= < W ( ç , y * ) , ^$

( ç , t ) > .

De là, il résulte, en appliquant la relation (1) du théorème 1 à la fonction 6 ,

» r *

<6(g),/T(g)> = ^ tr(7T

)dm(X) G

= f ^{s V} e^#

(x) d m

( x ) + . < ^ 6

( a,y^ ) , i [ r

( a , t ) > d m

f(0)

( I )

= W

( x ) d m

( x ) + f < W

( Ç, y J )

, $

( Ç , t ) > d m

7

( 0 )

( I )

130

Nous définissons a l o r s des distributions t e m p é r é e s $ ^ e t $ sur (U par

< < p ( x ) , *^{( 0 )}( x ) > = j cp ( x ) d m^{( Q )}( x ) (cp e y ( ' û * ) )

^ ( 0 )

< < p ( x ) , *^{( I )}( x ) > = I

< c p U , y

) ,

( 9 6 ^ * ) )

G( I )

* ⁼ * (0) ⁺ *<ir

Dans la définition de il s'agit d'une intégrale faible de distinctions tempérées , qui est elle-même une distinction tempérée ([7]).

N o t o n s e n c o r e ^(q)> ^(\) ^{e t} ^ ^^{e s} t r a n s f o r m é e s de Fourier inverses par- t i e l l e s par r a p p o r t à la v a r i a b l e £ , de $ ^ e t $ . En p a r t i c u l i e r :

< * ( a , x1) , ^ d / a. X j ) > = < M a , y * ) , Y( I ) x( a , t ) > d m( I )( X ) ij; e 5^(R x (0* )

G( I )

Il vient alors , pour t o u t e f o n c t i o n 9 de 5^1 G)

< ê

, ^t

> - < e ,t > = < e

, y > = < W

, $ >

A

i

d'où il r é s u l t e

V = T # e t * =

Al

T h é o r è m e 3 . L e s hypothèses et les notations étant fixées ci-dessus, soit T une distribution de type positif sur G , soient $ la transformée de Fourier totale de T " e t Y sa transformée de Fourier partielle par rapport à A j •

a) On peut trouver :

- d e s mesures positives et sur G portées respectivement p a r G ^⁰j (qu¹ on identifie a W (⁰) ^^{et G}( I )

- d e s champs a e G

^ ( i ) A ^ A e G

distributions tempérées sur I R

,

tels que :

i) pour -presque tout X , ®(\)\

*

transformée de F ourler partielle de *(

)^(

>

) par rapport à a .

ii) $ = + $ ^ o ù $ ^ e t $ ^ sont définies par

< <p(x),

) ( x ) > = * cp ( x ) d m

( x ) 3 ( 0 )

< <P(x), = J

< < p ( Ç , y

) > * (

( Ç , t ) > dm

j (A) pour ( p e y t j )

G

( D

ii',) ¥ - + Y^jj o ù Y^qj e s t ta transformée de Fourier inverse partielle par rapport à Ç d e $^(Ç,Xj) e t 4 ^ est définie par

< i p ( a ,

) , y

( a ,

) > - ] „ < \ K a , y ^ ) , ^ ( a , t ) d m

( X ) pour \p e ^ ( I F \ x â * )

G

( I ) "

W Si d e s mesures e t m ^ ainsi que des champs ( )

^ ( I ) A ^ d e distributions t e m p é r é e s vérifient i), ii) et ii'), la transfor- mée de Fourier de T e s t la mesure-opérateurs ( m , U ) définie comme suit :

- m = m

m

- pour A ^ G /

Voperateur U e s t d é c r i t p a r ie noyau j f LU suivant :

J f U

( s , t ) = * d )

( t - s , t ) = ^ $

( t - s , t )

D é m o n s t r a t i o n , a) a é t é d é m o n t r é plus haut e t pour b) il suffit de r e m o n t e r

les c a l c u l s .

R E M A R Q U E 1 : Dans la p r a t i q u e , pour utiliser le t h é o r è m e , il suffit de p r o c é d e r soit a v e c $ , s o i t a v e c ¥ e t d e m e t t r e en é v i d e n c e , d'une part les m e s u r e s m ^ e t m ^ , d ' a u t r e part le c h a m p ( ^Q J ^ ) °u I^E c h a m p ( ^ j ) ^ ) -

R E M A R Q U E 2 : On o b t i e n t un r é s u l t a t t o u t - à - f a i t a n a l o g u e à partir de la d i s t r i - bution t e m p é r é e d é f i n i e sur par

T^b( A ) = T^b(ae{ + A{) = T(exp( a e ^ e x p C A j ) )

mais a v e c ( s , t ) = ¥ ^ ^ ( t - s , s ) .

R E M A R Q U E 3 : On v o i t c o m m e n t i n t e r v i e n t l ' h y p o t h è s e d ' e x i s t e n c e d'un s o u s - g r o u p e a b é l i e n de c o d i m e n s i o n 1 . C e t t e h y p o t h è s e assure l ' e x i s t e n c e d'une p o l a r i s a t i o n c o m m u n e à tous les points de qui ne sont pas invariants par la r e p r é s e n t a t i o n c o a d j o i n t e . En o u t r e , dans le c a s g é n é r a l , on ne peut pas définir T ^ . C e p e n d a n t il e x i s t e une p o s s i b i l i t é d ' é v i t e r le r e c o u r s à T ^ .

Dans nos h y p o t h è s e s , posons :

T * ( A ) = T ( e x p ( A ) )

Il v i e n t , par e x e m p l e pour 6 dans y ( G ) ,

( - 2 i T r( < A¹, x⁾ >+ aO

^ ⁼ J ( | /^{9 (e xp( A}l ^{)e xp (0te} l ^{)) e} d A j d a

= f , e V

d B

o ù , pour B = 3 + B j e on p o s e :

P ( 3 . x ) = + < 3^{_ l}( a⁶ - O B p X j >

de s o r t e que P e s t p o l y n ô m i a l e en B e t x .

Ainsi, on peut r e m p l a c e r T par T à c o n d i t i o n d'utiliser une a u t r e t r a n s f o r - m a t i o n que la t r a n s f o r m a t i o n de F o u r i e r c l a s s i q u e . C e l a o u v r e une p o s s i b i l i t é pour la g é n é r a l i s a t i o n à un g r o u p e de L i e n i l p o t e n t c o n n e x e s i m p l e m e n t c o n n e x e q u e l c o n q u e ; un outil pourrait ê t r e fourni par la t r a n s f o r m a t i o n de F o u r i e r n i l p o t e n t e (voir [ 2 ] ) .

III. A P P L I C A T I O N A L A F O R M U L E D E P L A N C H E R E L S U R UN E S P A C E H O M O G E N E

L e s h y p o t h è s e s e t les n o t a t i o n s sont les m ê m e s qu'au paragraphe p r é c é d e n t . S o i e n t H un s o u s - g r o u p e c o n n e x e de G e t son a l g è b r e de L i e . Etant d o n n é une m e s u r e de Haar dh sur H, soit T la distribution de t y p e p o s i t i f sur G induite par dh :

< e ( g) , T (^g

) > = e(h)dh

Soit

t l

^

-

i =

'

une suite d e J o r d a n - H ô l d e r d ' i d é a u x de de s o r t e que

e s t une suite de J o r d a n - H ô l d e r d ' i d é a u x d e ^ . P o s o n s

e t soit 3 l ' e n s e m b l e des e n t i e r s j (1 ^ j ^ n) tels que

134

C h o i s i s s o n s une b a s e de J o r d a n - H ô l d e r ( e j , . . . , eⁿ) de t e l l e que

| e t e . e X. , l o r s q u e j e 3

En p a r t i c u l i e r , si H n ' e s t pas c o n t e n u dans G j on c h o i s i t e j dans ^ . M o y e n n a n t c e c h o i x d e e j il vient :

( i . e . < 0^#( A ) , T^#( A ) > = J 0^#( B ) d B où dB e s t la m e s u r e d e L e b e s g u e sur ty

d o n t l ' i m a g e par l ' a p p l i c a t i o n a e ^ + A^ • — > e x p ( A j ) e x p ( a e j ) , ainsi que par l ' a p p l i - c a t i o n e x p o n e n t i e l l e e s t dh) e t

( i . e . < c p ( x ) , $ ( x ) > - \ 6 ( z ) d z ou d z e s t une m e s u r e d e L e b e s g u e c o n v e n a b l e -

m e n t c h o i s i e sur ^y^^X) «

Deux c a s sont à distinguer :

c | d'où l£

Ç

Il vient :

*d)

(o

e t la m e s u r e m = c o n c e n t r é e sur i d e n t i f i é à ^ ^ n ' e s t a u t r e que

Dans c e s c o n d i t i o n s n e s t n é g l i g e a b l e dans -y . Il v i e n t

* ( 0 ) ^{= 0 m}( 0 ) ⁼ ° ^{m = m}( i )

11 e s t a l o r s p r é f é r a b l e d e poursuivre le r a i s o n n e m e n t en utilisant H' = V^y P o s o n s :

V = p(iy )

d e s o r t e q u e V e s t l ' o r t h o g o n a l d e dans éjjj.

Nous d e v r o n s e n c o r e distinguer les 2 c a s suivants :

a) Si J^t éjA il v i e n t :

T^#( a e^{1 +} A j ) = lia) 6j ( A j )

* ( Ç , x^t) = 6 ( Ç ) 6^v( x^L)

VfajXj) =

b) Si i^ c ^ j il vient :

T ^ a e . + A . ) - ô ( a ) 6 p ( A . ) 1 1 ^ 1

* ( Ç , x^t) = H ( Ç ) ô y C x j )

Y(a,Xj) =

Bien entendu, les produits figurant dans ces égalités sont des produits tensoriels de distribution, et 6 est la distribution induite sur Q, sur une mesure de

v Lebesgue convenablement choisie sur V.

Dans c e s 2 c a s nous s o m m e s c o n d u i t s à e f f e c t u e r une d é s i n t é g r a t i o n d e la m e s u r e 6 y afin d e d é t e r m i n e r la m e s u r e m ^ e t le c h a m p ( ) ^ ^€ ç de distributions t e m p é r é e s .

N o t o n s ( e ^ - ) eⁿ) la base de duale de ( e ^ - ^ ) .

Nous allons appliquer a a la m é t h o d e de P U K A N S K Y ( [ 5 ] e t [ 1 8 ] ) d e p a r a - m é t r i s a t i o n des o r b i t e s d'une r e p r é s e n t a t i o n u n i p o t e n t e d'un g r o u p e de L i e

n i l p o t e n t . C e t t e m é t h o d e se t r o u v e i c i c o n s i d é r a b l e m e n t s i m p l i f i é e . Pour t o u t y d e n o t o n s le plus grand des e n t i e r s j v é r i f i a n t

< e . , d a y >

p

e t s o i t n > j j > . . . > = 1 la suite i n d e x é e d e f a ç o n s t r i c t e m e n t d é c r o i s - s a n t e d e s e n t i e r s d e la f o r m e l o r s q u e y p a r c o u r t j (on a > 1 si e t s e u l e - m e n t si y e s t dans ^j ( j) ) - P o s o n s :

F i - ^{ y * ^ V < j i ^}

Yi ^{= F} i - ^F i ⁺ i - ^{

y*$Viy-h

L e s F. f o r m e n t une suite s t r i c t e m e n t d é c r o i s s a n t e de s o u s - e s p a c e s v e c t o r i e l s d e ^ * ( a v e c = ^ ^{( Q )} ) e t (Y.)^{ ^ ^{u £} e s t une p a r t i t i o n d e .

En o u t r e , c h a q u e Y . é t a n t s t a b l e par a , il en r e s u i t e une partition de par des e n s e m b l e s b o r e l i e n s G ^ ^ , . . . , G ^ ^ .

Pour t o u t y de Y . il vient :

J î

n

a ï y = Z P . ( t , y ) e .

1 j=2 ^{J J}

où les P. sont des p o l y n ô m e s en t e t y a v e c

P: ( t , y ) = Y; + ^{t <e} ; >^da Y >

*i ^Ji ^Ji

e t P . ( t , y ) = y. pour j > j .

/s ^

D o n c , si X e G Q il e x i s t e un unique point y de 8^ v é r i f i a n t

< e . , y^X > = 0

e t , en a s s o c i a n t à t o u t y de Y . le point y ^ tel que y c Qf on d é f i n i t une

1

s e c t i o n r a t i o n n e l l e pour l ' a c t i o n de IR dans Y . au m o y e n de a .

ri

Soit v. l ' a p p l i c a t i o n l i n é a i r e de R dans ^ qui, à À = (X 2 W ^ • j> A. ⁺ j A ) a s s o c i e

v.X = I X ^e

1 « ] «?n ^{1 f} e t j ^

P o s o n s

M. = v T ^ F . ) N. = v T ^ F . . ) e t

î 1 1 î î i + r

A . = M. - N. = v :^!( Y . )

1

On peut i n d e x e r par X e A . de m a n i è r e à a v o i r y ^ = v . X - La b i j e c t i o n e n t r e A . e t G Q e s t un i s o m o r p h i s m e d ' e s p a c e s b o r é l i e n s .

La m e s u r e ô y sur (G ^ se d é s i n t è g r e au m o y e n d'une m e s u r e m sur G p o r t é e par G ^ e t d'une f a m i l l e

X e G( D ^{> l J}x

où p ^ e s t une m e s u r e sur d ^ . D é s o r m a i s i d é s i g n e r a le plus grand e n t i e r t e l q u e V s o i t c o n t e n u dans F. ; a l o r s F. ⁺ j e s t n é g l i g e a b l e dans V e t la m e s u r e 6 y e s t p o r t é e par Y . . D e là il r é s u l t e que m e s t p o r t é e par G ^ . ^ - A . . En o u t r e ,

pour m - p r e s q u e t o u t A la m e s u r e p^A e s t p o r t é e par & ^ n V. (Pour la d é s i n t é - g r a t i o n d e 6 y voir [ 7 ] )

L E M M E . - i) Si V n'est pas stable par o , la mesure p ^ est à support fini pour m -presque tout X .

*

ii) Si V est stable par o , la mesure p ^ est équivalente a la mesure dt pour m-presque tout X et la densité d e ^ par rapport à dt est polynômiale.

D E M O N S T R A T I O N : Une base d e est c o n s t i t u é e par les e . pour

2 4 j ^ n e t j e ] . D o n c , si y € Y . , le point a y a p p a r t i e n t a V si e t s e u l e m e n t si

P . ( t , y ) 3 0 Vj e { 2 , . . . , n } n 3.

Par c o n s é q u e n t si, y é t a n t un point d e 6 ^ , nous n o t o n s P (y) l ' e n s e m b l e des z é r o s c o m m u n s aux p o l y n ô m e s Pj(.,y) pour j e { 2,...,n } n J, l ' a p p l i c a t i o n

* n

t « > a y = Z P . ( t , y ) e

1 j=2 ^{1 J}

e n v o i e b i j e c t i v e m e n t p (y) sur ff^ n V. Il en r é s u l t e que ff^ n V e s t , soit fini, soit é g a l à . P o s o n s :

A. = {X € A./QT c y }

1 1

Y! = u 8 \

1 X e A ' i Si nous é c r i v o n s

P:(t,y) = £ P^{i k}( y ) t^k,

J

)K

nous v o y o n s que Y.' est l ' e n s e m b l e des z é r o s c o m m u n s dans Y . à tous les p o l y - n ô m e s P.. , pour t o u t k e t pour j e { 2 , . . . , n } n 3. Il en r é s u l t e que :

i) ou bien Y.' e s t n é g l i g e a b l e dans V e t alors Aj' e s t m - n é g l i g e a b l e , e t p(y) e t n V sont finis pour m - p r e s q u e t o u t X .

À

ii) ou bien Y.¹ e s t é g a l a V, c e qui signifie que V e s t s t a b l e par o . A l o r s m est p o r t é e par Aj .

L ' a p p l i c a t i o n

(t,A)> > Y * = a * ( y^À)

r é a l i s e a l o r s un i s o m o r p h i s m e d ' e s p a c e s m e s u r a b l e s d e IR x A .' sur V. Pour voir que |jl (dont le support e s t é g a l à & ) a une d e n s i t é p o l y n ô m i a l e par r a p p o r t

À A

à dt, il suffit d ' e x p r i m e r c e t i s o m o r p h i s m e dans une base d e M. o b t e n u e en c o m p l é t a n t une b a s e de M. n v. ^(V).

Q . E . D .

Nous p o u v o n s m a i n t e n a n t a b o r d e r la d e s c r i p t i o n d e ^(I)X^{e t} ^ ^{a n s} les d i f f é r e n t s c a s .

a) My n ' e s t pas c o n t e n u dans l^j ; on c h o i s i t d o n c dans . L ' e s p a c e e s t s t a b l e par a e t V est s t a b l e par a . On e s t d o n c dans la s i t u a t i o n ii) du l e m m e . En o u t r e , ô y é t a n t invariante par a , on peut c h o i s i r m d e f a ç o n à c e que c h a q u e p ^ s o i t d é f i n i e par

d u^x( y^{t A}) = dt Il vient a l o r s , pour

< ^\Ma,y),

= f

r ? > r >

= ( ( i|Xa,y*)dt)dm(A))da

J R ^jA . ^J R i

( i | j ( a , y ^ ) d a d t ) d m ( X )

jA . ^J R² i

Ainsi, il v i e n t , pour m - p r e s q u e tout A de Aj, V ^ i c M ) = H ( a , t )

j T U^x( s , t ) = 11 ( t - s , t ) = H ( s , t )

140

e t e s t l ' o p é r a t e u r d e rang 1 défini par

l K f ( t ) = ( f ( s ) d s > I ( t )

X JI R

b) J|j e s t c o n t e n u dans ($>j.

i) V n ' e s t pas s t a b l e par o , c e qui é q u i v a u t à H non d i s t i n g u é . D ' a p r è s le l e m m e , on a, pour p r e s q u e t o u t X ,

rX x x

= I a (r) ô , a v e c p ( y ) = { t j , . . . , t }

r = l y^{t v} X

r d ' o ù , pour \p ^ y ( R x (^/j )

< * ( a , y ) , Y ( a , y ) > = ( 0 , y ) d 6^y( y )

= f a^X( r ) i M 0 , y .^X ) ) d m ( X )

J A . r = l r

On en d é d u i t , pour m - p r e s q u e t o u t X d e A . ,

%^{) x}( a , t ) = "è a^X( r ) 6 ( a ) Ô^t ( t )

r=l r e t :

j f U^x( s , t ) = Z a^A( r ) ô ( t - s ) 6^t ( t )

r=l r

= ^ a^X( r ) 6^t (s) 6 ( t ) r=l r r e t e s t l ' o p é r a t e u r d e rang r^ d é f i n i par

U f ( t ) = a^X( r ) f ( t ) 6 . ( t )

x r = l r

ii) V e s t s t a b l e par a , c e qui é q u i v a u t à H d i s t i n g u e . D ' a p r è s l e l e m m e , on a, pour m - p r e s q u e t o u t X

d M^A( y^{t X}) = a^X( t ) d t

où les a^ sont des p o l y n ô m e s sans r a c i n e s r é e l l e s . U vient :

< \|>(a,y), V ( a , y ) > = f ( ( a^X( t ) 4 ) ( 0 , y^X) d t ) d m ( X )

Ja. j » 1

d ' o ù , pour m - p r e s q u e t o u t X ,

V^{( I ) x}( a , t ) = 6 ( a ) a^X( t )

j T U^x( s , t ) - ô ( t - s ) a^À( t )

e t U ^ e s t l ' o p é r a t e u r d e m u l t i p l i c a t i o n par a \

R E M A R Q U E : Ici la r e p r é s e n t a t i o n ÏÏ^ d e la d é m o n s t r a t i o n du t h é o r è m e 1 est la r e p r é s e n t a t i o n q u a s i - r é g u l i è r e a s s o c i é e au sous-grupe H. On r e t r o u v e d o n c dans un c a s p a r t i c u l i e r , les résultats de G R E L A U D ( [10] ) sur la d é s i n t é - g r a t i o n d'une t e l l e r e p r é s e n t a t i o n . Mais la c o n n a i s s a n c e des o p é r a t e u r s U

A

va nous donner des i n f o r m a t i o n s s u p p l é m e n t a i r e s .

F o r m u l e d e P l a n c h e r e l : En remarquant que lorsque T e s t la distribution induite par la m e s u r e de Haar sur H on a

T V

) = T(

)

on o b t i e n t la f o r m u l e de P l a n c h e r e l c o n c r è t e au sens de [ 1 4 ] en e x p l i c i t a n t dans c h a q u e c a s le s c a l a i r e t r ( ï ï ^ ( 0 ) U^x) dans la r e l a t i o n (1) de d é f i n i t i o n de la t r a n s - f o r m é e de Fourier ( m , U ) . Les d i f f é r e n t s c a s sont d é c r i t s dans le t a b l e a u suivant, où 0 d é s i g n e une f o n c t i o n de y ( G ) .

142

e(h)dh = J T T^x( e) d 6 u . (^x)

La m e s u r e m e s t c o n c e n t r é e sur l'un des e n s e m b l e s G^{/ T} . \ = Л..

(I,i ) i

0( h ) d h = ( (ÏÏ (9).1ï)(t)dt)dm(A) ' H ^J Л._i

'

i) H non d i s t i n g u é

6( h ) d h = ( E а^Л( г) ( т т ( 6 ) . 6 ) ( t^r) ) d m( A )

-'н

i

ii) H distingué

6(h)dh = ( f a^X(t)(TT, ( 6 ) . ô. ) ( t ) d t ) d m( A ) .

143

B I B L I O G R A P H I E

[1] J. F. AARNES, Ditributions of positive type and representations of Lie groups, Math. Ann., 240 (1979), 141-156.

[ 2 ] D. ARNAL, J . C . CORTET, Nilpotent Fourier transform and appli¬

tions, Lectures in mathematical physics n° 9 (1985), 23-34.

[ 3 ] Y. BENOIST, Espaces symétriques exponentiels, Thèse 3-ème cycle, Paris VII, 1983.

[ 4 ] Y. BENOIST, Analyse harmonique sur les espaces symétriques nilpo¬

tents, Journ. Func. Anal., 59, n° 2 (1984) 211-253.

[ 5 ] P. BERNAT, N. CONZE, M. DUFLO, M. LEVY-NAHAS, M. RAÏS, P. RENOUARD, M. VERGNE, Représentations des groupes de Lie résolubles,

Monographies de la Soc. Math. de France, Dunod, Paris 1972.

[ 6 ] P. BONNET, Transformation de Fourier des distributions de type posi- tif sur un groupe de Lie unimodulaire, Journ. Func. Anal., 55, n° 2 (1984), 220-246.

[ 7 ] N. BOURBAKI, Intégration, livre V I , Hermann, Paris.

[ 8 ] P. CARTIER, Vecteurs différentiables dans les représentations unitaires des groupes de Lie, Séminaire BOURBAKI, Exp. n° 454, Lectures Notes 514, 20-34, Springer, Berlin/New-York, 1975.

[ 9 ] H. FUJIWARA, Représentations monômiales des groupes de Lie nilpo¬

tents, Université de Kyushu, preprint, 1985.

[10] G. GRELAUD, Sur les représentations des groupes de Lie résolubles,

Thèse d'Etat, Université de Poitiers, 1984.

[ 1 1 ] C . G O D F R E Y , T a b l e o f c o a d j o i n t o r b i t s for n i l p o t e n t L i e a l g e b r a s , Univer­

sité de Massachusets, Boston, preprint.

[ 1 2 ] K I R I L L O V , E l é m e n t s d e la t h é o r i e des r e p r é s e n t a t i o n s , Editions Mir, Moscou (19 74).

[ 1 3 ] O . A . NIELSEN, Unitary r e p r e s e n t a t i o n s and c o a d j o i n t o r b i t s o f l o w - d i m e n ­ sional n i l p o t e n t L i e g r o u p s , Queen's papers in pure and applied mathema­

tics, n° 63, Queen's University, Kingston, Ontario.

[ 1 4 ] R . P E N N E Y , A b s t r a c t P l a n c h e r e l t h e o r e m and a Frobenius r e c i p r o c i t y t h e o r e m , Jour. Func. Anal., 18 (1975), 177-190.

[ 1 5 ] N . S . P O U L S E N , On C ° ° v e c t o r s and i n t e r t w i n i n g linear f o r m s for r e p r e ­ s e n t a t i o n s o f L i e g r o u p s , Jour. Funct. Anal., 9 (1972), 87-120.

[ 1 6 ] L . P U K A N S K Y , Unitary r e p r e s e n t a t i o n s o f s o l v a b l e L i e g r o u p s , Ann. Scient.

Ec. Norm. Sup. Paris, t. 4 (1971), 457-608.

[ 1 7 ] L . P U K A N S K Y , L e ç o n s sur les r e p r é s e n t a t i o n s des g r o u p e s , Dunod Paris, (1967).

[ 1 8 ] M. R A I S , R e p r é s e n t a t i o n s des g r o u p e s d e L i e n i l p o t e n t s e t m é t h o d e des o r b i t e s , Analyse harmonique, les cours du C.I.M.P.A. (1982), 447-710.

[ 1 9 ] R A W N S L E Y , R e p r e s e n t a t i o n o f a s e m i - d i r e c t p r o d u c t by q u a n t i z a t i o n , Math.

Proc. Camb. Phil. Soc. 78 (1975), 345-350.

145