Séparation des représentations par des surgroupes quadratiques

(1)

HAL Id: hal-00394283

https://hal.archives-ouvertes.fr/hal-00394283

Submitted on 11 Jun 2009

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of

sci-entific research documents, whether they are

pub-lished or not. The documents may come from

teaching and research institutions in France or

abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est

destinée au dépôt et à la diffusion de documents

scientifiques de niveau recherche, publiés ou non,

émanant des établissements d’enseignement et de

recherche français ou étrangers, des laboratoires

publics ou privés.

quadratiques

Didier Arnal, Mohamed Selmi, Amel Zergane

To cite this version:

Didier Arnal, Mohamed Selmi, Amel Zergane. Séparation des représentations par des surgroupes

quadratiques.

Bulletin des Sciences Mathématiques, Elsevier, 2011, 135 (2), pp.141-165.

�hal-00394283�

(2)

DIDIERARNAL

(1)

,MOHAMEDSELMI

(2)

ETAMELZERGANE

(1)(2)(3)

Résumé

Aunereprésentationunitaireirrédu tible

π

d'ungroupedeLie

G,

onsaitasso ier unensemblemoment

I

_π

,partiedudual

g

∗

del'algèbredeLie

G.

Malheureusement, et ensemblene ara térisepaslareprésentation

π.

Cependant, ilest parfoispossiblede onstruire unsurgroupe

G

+

de

G,

d'asso ier à

π,

une représentation

π

+

de

G

+

tels que

I

_π

+

ara térise

π,

au moins pour les représentations

π

génériques. Si ette onstru tionn'utilisequelesfon tions poly-nomialesdedegréinférieurouégalà

2,

onditque

G

+

estunsurgroupequadratique. Dans et arti le, on établit l'existen e de tels surgroupes quadratiques pour de lassesvariéesdegroupe

G.

Abstra t

Let

π

be anunitary irredu ible representationof a Lie group

G. π

denes a moment set

I

_π

, subsetof the dual

g

∗

of the Lie algebraof

G.

Unfortunately,

I

_π

doesnot hara terize

π.

However, we sometimes an nd an overgroup

G

+

for

G,

and asso iate, to

π,

a representation

π

+

of

G

+

in su h a manner that

I

_π

+

hara terizes

π,

at least for generi representations

π.

If this onstru tion is based on polynomial fun tions withdegreeatmost2,wesaythat

G

+

isaquadrati overgroupfor

G.

In thispaper,weprovethe existen eofsu h aquadrati overgroupformany dif-ferent lassesof

G.

1. Introdu tion Soit

G

ungroupedeLie,

g

∗

ledualde son algèbrede Lie,

(π, H)

une représentationunitaireirrédu tiblede

G

et

H

∞

l'ensembledesve teurs

C

∞

de

π

. L'ensemble moment de

π

est par dénition :

I

π

=

ℓ ∈ g

∗

_{, ∃ v ∈ H}

∞

_{\ {0}, ℓ(X) =}

1 i

hπ(X)v, vi

kvk

2 .

1991 Mathemati sSubje tClassi ation. 37J15,22E45, 22E27,22D30.

Key words and phrases. Appli ation moment, Représentations des groupes de Lie, Surgroupequadratique.

Ce travailaétéréalisédansle adredesa ordsHubert CurienUtiquenuméro 06/S1502et09/G 1502(CMCU).

D.Arnal remer ie lafa ultédes s ien es de Monastirpourson a euil haleureux lorsdesesséjoursenTunisie,M.Selmiremer iel'universitédeBourgognepourson a euillorsdesesséjoursenFran e,A.Zerganeremer iel'universitédeBourgogne poursonaideetsona euillorsdesesséjoursenFran e.

(3)

En général,

I

π

est l'enveloppe onvexe fermée d'une orbite oadjointe

O

_π

asso iée à

π

( .f[A-L℄) :

I

π

= Conv(O

π

).

Malheureusement,ilexistedenombreuxexemplesd'orbites oadjointes distin tes

O

et

O

′

telle que

Conv(O) = Conv(O

′

₎

. L'ensemble moment

I

π

ne ara térise don en général pas la représentation

π

, même si on se restreint auxreprésentations génériques de

G

.

Dans [A-S℄, on suppose

G

exponentiel et on propose de onsidérer un surgroupe

G

+

de

G

, d'algébre de Lie

g

+

, une appli ation

ϕ

de

g

∗

dans

(g

+

₎

∗

, non linéaire, telle que si

p

est l'opérateur restri tion

p : (g

+

)

∗

_{→ g}

∗

,

p ◦ ϕ = id

g

∗

. De plus, on introduit une appli ation

Φ : ˆ

_{G → c}

G

+

telleque,pourlesorbites orrespondantes

O

Φ(π)

= ϕ(O

π

)

, et que

I

Φ(π)

= I

Φ(π

′

)

siet seulementsi

π ≃ π

′

.

Malheureusement,l'appli ation

ϕ

n'estpasrégulièreetdépendde beau- oup de hoix. Par ontre des exemples sont donnés pour lesquels une appli ation

ϕ

quadratique sut pour séparer les représentations génériques de

G

.

L'objet de e travail est de généraliser e pro édé à des lasses de groupes pas né essairement résolubles mais en imposant à

ϕ

d'être polynomialede degré inférieure ouégale à

2

. On dira alors que le sur-groupe

G

+

est quadratique.

On her he i i des ritères qui garantissent l'existen e d'un surgroupe quadratiqueetd'uneappli ation

Φ

quipermettentdeséparerles repré-sentations unitairesirrédu tibles génériques de

G

.

Plusprésisément,onétablitd'abordunlemmedestri te onvexité,une appli ationquadratiquepermetessentiellementdepasserdel'enveloppe onvexe d'une partie

A

de

R

n

à lapartie ellemême.

Si

G

est exponentiel spé ial, on applique e lemme à l'ensemble mo-mentd'unereprésentationinduite

π

de

G

etàunsurgroupe onstruità partird'unidéalabélien

a

bien pla éde

G

. Onmontre alorsqu'un sur-groupe quadratique et une appli ation

Φ

séparant les représentations génériques de

G

existent.

Supposonsmaintenant

G

nilpotent onnexeetsimplement onnexe. Si

G

est spé ial ou si les fon tions polynomiales invariantes sur

g

∗

qui séparent lesorbitesgénériques sont de degréinférieur ouégal à

2

,puis si

G

est nilpotent simplement onnexe et de dimension inférieure ou égale à

6

,on montre que

G

admet un surgroupe quadratique.

On étudeensuiteles asdes groupesrésolubles dedimension inférieure ou égale à

4

, puis le as de

SL(2, R)

et de son revêtement universel et l'exemple d'un produit semi dire t

G = SO(4) ⋉ R

4

ave des inva-riants de degré élevé. Dans haque as, on onstruit expli itement un surgroupe quadratique.

(4)

2. Une propriété de stri te onvexité Le but de e paragraphe est la preuve de :

Lemme 2.1. Soit

ϕ

la fon tion dénie par :

ϕ : R

n

_{→ R}

2n

, ϕ(x

1 , x

2 , ..., x

n

) = (x

1 , x

2 , ..., x

n

, x

2

1 , x

2

2 , ..., x

2 n

)

et

p

laproje tion anonique

p : R

2n

→ R

n

,

p(x

1 , x

2 , ..., x

n

, y

1 , y

2 , ..., y

n

) = (x

1 , x

2 , ..., x

n

).

Soit

A ⊂ R

n

, alors si

Conv(B)

désigne l'enveloppe onvexe fermée de la partie

B

de

R

2n

,

p(Conv(ϕ(A)) ∩ ϕ(R

n

)) = ¯

A.

Preuve Notons

ϕ(X) = (X, X

2 ₎

. Soit

ϕ(X) ∈ Conv(ϕ(A)) ∩ ϕ(R

n

₎

. Pour tout

ε > 0

, il existe

q

,

X

1 _{, ..., X}

q

_{∈ A}

et

t

1 , ..., t

q

> 0

tels que

q

X

j=1

t

j

= 1

et

k(X, X

2 ) −

q

X

j=1

t

j

(X

j

, (X

j

)

2 )k

2 2n

< ε

2 .

où

kk

2n

est lanorme eu lidienne usuellesur

R

2n

. On aalors :

n

X

k=1

|x

k

−

q

X

j=1

t

j

x

j

k

|

2 +

n

X

k=1

|x

2 k

−

q

X

j=1

t

j

(x

j

k

)

2 |

2 < ε

2 .

(∗)

Pour haque

k = 1, 2, ..., n

, on onsidère lesve teurs suivants de

R

q

:

v

k

=







√

t

1 x

1 k

. . .

p

t

q

x

q

k







et

w

k

=







√

t

1

. . .

p

t

q







La borne inférieure de

kv

k

+ sw

k

2 q

,

(s ∈ R)

est atteinte au point

s

k

= −hv

k

, w

k

i = −

q

X

j=1

t

j

x

j

k

, ellevaut

a

k

= inf

s∈R

kv

k

+ sw

k

2 q

=

q

X

j=1

t

j

(x

j

k

)

2 − (

q

X

j=1

t

j

x

j

k

)

2 _.

(∗∗)

On pose

Y =





s

1

. . .

s

n



 ∈ R

n

. La relation

(∗)

s'é rit :

kX + Y k

2 n

+ kX

2 −

q

X

j=1

t

j

(X

j

)

2 k

2 n

< ε

2 .

(5)

Don

n

X

k=1

|x

2 k

− (

q

X

j=1

t

j

x

j

_k

)

2 | =

n

X

k=1

|(x

2 k

) − (s

k

)

2 | =

n

X

k=1

|x

k

− s

k

||x

k

+ s

k

|

≤

n

X

k=1

ε(2|x

k

| + ε) ≤ ε

2 + 2

√

nkXk

n

ε.

Parsuite

0 ≤

n

X

k=1

a

k

=

n

X

k=1

_X

q

j=1

t

j

(x

j

k

)

2 − (

q

X

j=1

t

j

x

j

k

)

2 ≤ (ε

2 + 2

√

_nkXk

n

ε) +

n

X

k=1

q

X

j=1

(t

j

(x

j

k

)

2 − x

2 k

) ≤ ε

2 +

√

nε(2kXk

n

+ 1).

Mais

a

k

= kv

k

+ s

k

w

k

2 q

=

q

X

j=1

t

j

(x

j

k

+ s

k

)

2 ,

on a don :

0 ≤

q

X

j=1

t

j

n

X

k=1

(x

j

_k

+ s

k

)

2 =

q

X

j=1

t

j

kX

j

+ Y k

2 n

≤ ε

2 +

√

nε(2kXk

n

+ 1).

Choisissons

j

0

telque

kX

j

0 + Y k

n

= min

j

kX

j

+ Y k

n

, on a:

kX

j

0 + Y k

2 n

≤

q

X

j=1

t

j

kX

j

+ Y k

2 n

< ε(ε +

√

n(2kXk

n

+ 1)) = εε

′

.

Don

kX − X

j

0 k

n

≤ 2ε

′

et

X

j

0 ∈ A.

D'où

X

appartientà

A

¯

. Cequiprouvelelemme,puisquelaré iproque est évidente ( haque

X

de

A

¯

est la limite d'une suite

(X

k

₎

de points de

A

,

X

k

_{= p(X}

k

_{, (X}

k

₎

2 ₎

, et

(X

k

_{, (X}

k

₎

2 ) ∈ conv(ϕ(A))

).

3. Les groupes exponentiels spé iaux

Dénition 3.1 (Algèbre spé iale). Une algèbre de Lie résoluble

g

est dite spé iale si elleadmet un idéal abélien

a

dontla odimension est la moitié de la dimension des orbites oadjointes génériques.

Un groupe de Lie onnexe

G

est dit spé ial si son algèbre de Lie est spé iale.

Soit

G

un groupe de Lie spé ial, alors l'idéal

a

est unique etfournit une polarisationpour tous les points

ℓ

de

g

∗

tels que :

1

(6)

Eneet, soit

g

0 = {0} ⊂ g

1 ⊂ · · · ⊂ g

n

= g

une bonnesuite desous al-gèbrespassantpar

a

et

h

ℓ

=

X

g

j

(ℓ

|

_gj

)

lapolarisationdeM.Vergneen

ℓ

orrespondante. Par onstru tion,

g

k

(ℓ

k

) = a ⊂ h

ℓ

et

dim a = dim h

ℓ

don

a

= h

ℓ

.

Soit alors

g

∗

gen

= {ℓ, dim G.ℓ =

odim

a

}

, 'est un ouvert deZariski,

G

-invariant, non videde

g

∗

.

Supposons maintenant que

G

est exponentiel et spé ial. Dans e as

G

possède un surgroupe quadratique ( .f[A-S℄).

Théorème3.1. Soit

G

ungroupedeLieexponentieletspé ial,

a

l'idéal abéliende

g

de odimension

1

2 max

ℓ∈g

∗

(dim G.ℓ)

,

m

l'espa eve toriel

S

2 _(a)

vu omme un groupe additif. Notons

G

d

gen

l'ensemble des représenta-tions irrédu tibles de

G

asso iées aux orbites de

g

∗

gen

. On dénit :

G

+

= G ⋉ m

ave l'a tion :

Ad

g

(XY ) = Ad

g

XAd

g

Y

, (

X, Y ∈ a

),

ϕ : g

∗

_{→ (g}

+

)

∗

= g

∗

_{× m}

∗

par

ϕ(ℓ) = (ℓ, (ℓ

|

a

)

2 ₎

, si

(ℓ

|

a

)

2 _{(XY ) = ℓ(X)ℓ(Y )}

,

Φ : d

G

gen

→ c

G

+

en prenant pour

Φ(π)

l'unique prolongement irrédu tible de

π

à

G

+

. Alors,

G

+

est un surgroupe quadratique de

G

.

On rappellei i rapidement la preuve de [A-S℄pour être omplet : Preuve

D'abord le dual unitaire

G

b

d'un groupeexponentiel est homéomorphe ave l'ensemble

g

∗

_/G

de ses orbites oadjointes. L'ensemble

G

d

gen

est don dense dans

G

ˆ

pour sa topologie naturelle. De plus on sait ( .f [A-L℄)quel'ensemblemomentde lareprésentation

π

asso iéeàl'orbite

O

_π

est

I

π

= Conv(O

π

).

On montre alors que( .f [A-S℄), pour tout

ℓ

de

g

∗

gen

,

G

+

(ϕ(ℓ)) = ϕ(G.ℓ).

Si

p

estlarestri tion anonique

p : (g

+

₎

∗

→ g

∗

,ondéduitde

p◦ϕ = id

g

∗

, que

p

est un diéomorphismede l'orbite oadjointede

ϕ(ℓ)

sur ellede

ℓ

,pour tout

ℓ

de

g

∗

gen

.

Soit

π ∈ d

G

gen

,ilexistedon

ℓ ∈ g

∗

gen

telquesi

f = ℓ

|

a

,

π =

Ind

G

exp(a)

e

if

. Posons

Φ(π) =

Ind

G

+

exp(a)⋉m

e

i(f,f

2 ₎

.

(7)

(i i ona noté

(f, f

2 ₎

la restri tion de

ϕ(ℓ)

à

a

⊕ m

).

Φ(π)

se réalise sur le même espa e de Hilbert que

π

et

Φ(π)

est une extension de

π

. On en déduit que

Φ(π)

est irrédu tible, de plus

Φ(π)

estunereprésentationinduite,sonensemblemomentestd'après[A-L℄:

I

Φ(π)

= Conv(G

+

.((f, f

2 ) + (a ⊕ m)

⊥

)).

Mais

a

⊕ m

est un idéal de

g

+

, etpuisque

G

+

est onnexe :

g

+

_{.((a ⊕ m)}

⊥

_{) = (a ⊕ m)}

⊥

,

_∀g

+

_{∈ G}

+

.

(Remarquons que

G

+

peut ne pas être exponentiel) alors :

I

Φ(π)

= Conv G

+

.((f, f

2 )) + (a ⊕ m)

⊥

.

Maintenant,dans

g

∗

,

ℓ+a

⊥

⊂ G.ℓ

don ,dans

(g

+

₎

∗

,

(a⊕m)

⊥

estin lus dans

G

+

_{.(ℓ, f}

2 ₎

. On a don :

I

Φ(π)

= Conv(G

+

(ℓ, f

2 )) = Conv(G

+

ϕ(ℓ)) = Conv(ϕ(G.ℓ)).

Si

π

et

π

′

sont deux représentations de

G

d

+

gen

telles que

I

Φ(π)

= I

Φ(π

′

₎

alors, si

π

′

est asso iée à l'orbite

G.ℓ

′

:

I

Φ(π)

∩ ϕ(g

∗

) = I

Φ(π

′

₎

∩ ϕ(g

∗

)

'est-à-dire

(Conv(ϕ(G.ℓ))) ∩ ϕ(g

∗

) = (Conv(ϕ(G.ℓ

′

_{))) ∩ ϕ(g}

∗

)

et le lemmede stri te onvexitédonne

G.ℓ = G.ℓ

′

.

Comme

G

est exponentiel, ses orbites sont ouvertes dans leurs ad-héren es don

G.ℓ = G.ℓ

′

et

π = π

′

.

4. Les groupes nilpotents de petite dimension 4.1. Algèbres spé iales.

Dans ette partie,

G

est nilpotent, onnexe et simplement onnexe. Si son algèbre de Lie

g

est spé iale, on vient de voir que

G

admet un surgroupequadratique: 'estpar exemplele asde l'exemplede Wild-bergerde dimension

6

(onnoterai isonalgèbrede Lie

g

6,13

),( .f[Wil℄ où des orbites oadjointes distin tes peuvent avoir lamême enveloppe onvexe).

UnealgèbredeLieestditeindé omposablesiellen'estpaslasomme di-re te de deux idéaux. Lesalgèbresnilpotentes indé omposables réelles

g

telles que dim

g

≤ 6

sont onnues ( .f [Mag, Gon℄). Nousprenons i i la notationde [Mag℄.

La majorité de es algèbres sont spé iales. A un isomorphisme om-plexe près, ave les notations de [Mag℄, les algèbres indé omposables

(8)

spé ialesde dimension inférieureou égaleà

6

sont:

Algèbre Relations de ommutations Idéal

a

g

1 g

1

est abélienne

g

1 g

3 [X

1 , X

2 ] = X

3

ve t

(X

2 , X

3 )

g

4 [X

1 , X

2 ] = X

3 , [X

1 , X

3 ] = X

4

ve t

(X

2 , X

3 , X

4 )

g

5,1

[X

1 , X

3 ] = X

5 , [X

2 , X

4 ] = X

5

ve t

(X

3 , X

4 , X

5 )

g

5,2

[X

1 , X

2 ] = X

4 , [X

1 , X

3 ] = X

5

ve t

(X

2 , X

3 , X

4 , X

5 )

g

5,3

[X

1 , X

2 ] = X

4 , [X

1 , X

4 ] = X

5 ,

ve t

(X

3 , X

4 , X

5 )

[X

2 , X

3 ] = X

5 g

5,5

[X

1 , X

2 ] = X

3 , [X

1 , X

3 ] = X

4 ,

ve t

(X

2 , X

3 , X

4 , X

5 )

[X

1 , X

4 ] = X

5 g

5,6

[X

1 , X

2 ] = X

3 , [X

1 , X

3 ] = X

4 ,

ve t

(X

3 , X

4 , X

5 )

[X

1 , X

4 ] = X

5 , [X

2 , X

3 ] = X

5 g

6,1

[X

1 , X

2 ] = X

5 , [X

1 , X

4 ] = X

6 ,

ve t

(X

3 , X

4 , X

5 , X

6 )

[X

2 , X

3 ] = X

6 g

6,2

[X

1 , X

2 ] = X

5 , [X

1 , X

5 ] = X

6 ,

ve t

(X

2 , X

4 , X

5 , X

6 )

[X

3 , X

4 ] = X

6 g

6,4

[X

1 , X

2 ] = X

4 , [X

1 , X

3 ] = X

6 ,

ve t

(X

3 , X

4 , X

5 , X

6 )

[X

2 , X

4 ] = X

5 g

6,5

[X

1 , X

2 ] = X

4 , [X

1 , X

4 ] = X

5 ,

ve t

(X

3 , X

4 , X

5 , X

6 )

[X

2 , X

3 ] = X

6 , [X

2 , X

4 ] = X

6 g

6,6

[X

1 , X

2 ] = X

4 , [X

2 , X

3 ] = X

6 ,

ve t

(X

1 , X

3 , X

4 , X

5 , X

6 )

[X

2 , X

4 ] = X

5 g

6,7

[X

1 , X

2 ] = X

4 , [X

1 , X

3 ] = X

5

, ve t

(X

3 , X

4 , X

5 , X

6 )

[X

1 , X

4 ] = X

6 , [X

2 , X

3 ] = −X

6 g

6,8

[X

1 , X

2 ] = X

4 , [X

1 , X

4 ] = X

5 ,

ve t

(X

3 , X

4 , X

5 , X

6 )

[X

2 , X

3 ] = X

5 , [X

2 , X

4 ] = X

6 g

6,9

[X

1 , X

2 ] = X

4 , [X

1 , X

3 ] = X

5 ,

ve t

(X

1 , X

4 , X

5 , X

6 )

[X

2 , X

5 ] = X

6 , [X

3 , X

4 ] = X

6 g

6,10

[X

1 , X

2 ] = X

4 , [X

1 , X

3 ] = X

5 ,

ve t

(X

2 , X

4 , X

5 , X

6 )

[X

1 , X

4 ] = X

6 , [X

3 , X

5 ] = X

6 g

6,11

[X

1 , X

2 ] = X

4 , [X

1 , X

4 ] = X

5 ,

ve t

(X

3 , X

4 , X

5 , X

6 )

[X

1 , X

5 ] = X

6 , [X

2 , X

3 ] = X

6 g

6,12

[X

1 , X

2 ] = X

4 , [X

1 , X

4 ] = X

5 ,

ve t

(X

3 , X

4 , X

5 , X

6 )

[X

1 , X

5 ] = X

6 , [X

2 , X

3 ] = X

6 ,

[X

2 , X

4 ] = X

6 g

_6,13

[X

1 , X

2 ] = X

4 , [X

1 , X

4 ] = X

5 ,

ve t

(X

2 , X

4 , X

5 , X

6 )

[X

1 , X

5 ] = X

6 , [X

2 , X

3 ] = X

5 ,

[X

3 , X

4 ] = −X

6 g

6,14

[X

1 , X

2 ] = X

3 , [X

1 , X

3 ] = X

4 ,

ve t

(X

3 , X

4 , X

5 , X

6 )

[X

1 , X

4 ] = X

5 , [X

2 , X

3 ] = X

6

(9)

Algèbre Relationsde ommutations Idéal

a

g

6,15

[X

1 , X

2 ] = X

3 , [X

1 , X

3 ] = X

4 ,

ve t

(X

3 , X

4 , X

5 , X

6 )

[X

1 , X

5 ] = X

6 , [X

2 , X

3 ] = X

5 ,

[X

2 , X

4 ] = X

6 g

6,16

[X

1 , X

2 ] = X

3 , [X

1 , X

3 ] = X

4

, ve t

(X

2 , X

3 , X

4 , X

5 , X

6 )

[X

1 , X

4 ] = X

5 , [X

1 , X

5 ] = X

6 g

6,17

[X

1 , X

2 ] = X

3 , [X

1 , X

3 ] = X

4 ,

ve t

(X

3 , X

4 , X

5 , X

6 )

[X

1 , X

4 ] = X

5 , [X

1 , X

5 ] = X

6 ,

[X

2 , X

3 ] = X

6 g

6,19

[X

1 , X

2 ] = X

3 , [X

1 , X

3 ] = X

4 ,

ve t

(X

3 , X

4 , X

5 , X

6 )

[X

1 , X

4 ] = X

5 , [X

1 , X

5 ] = X

6 ,

[X

2 , X

3 ] = X

5 , [X

2 , X

4 ] = X

6

Il existe de plus quatre algèbres nilpotentes réelles de dimension in-férieure ou égale à

6

qui sont isomorphes sur

C

à une de es algèbres, mais pas sur

R

. Ces quatre algèbres sont toutes spé iales :

a

g

6,5a

[X

1 , X

2 ] = X

3 , [X

1 , X

3 ] = X

5 ,

ve t

(X

3 , X

4 , X

5 , X

6 )

[X

1 , X

4 ] = X

6 , [X

2 , X

3 ] = −X

6 ,

[X

2 , X

4 ] = X

5 g

_6,6a

[X

1 , X

3 ] = X

5 , [X

2 , X

4 ] = X

5 ,

ve t

(X

3 , X

4 , X

5 , X

6 )

[X

1 , X

4 ] = X

6 , [X

2 , X

3 ] = −X

6 g

6,9a

[X

1 , X

2 ] = X

4 , [X

1 , X

3 ] = X

5 ,

ve t

(X

1 , X

4 , X

5 , X

6 )

[X

2 , X

4 ] = X

6 , [X

3 , X

5 ] = X

6 g

_6,15a

[X

1 , X

2 ] = X

3 , [X

1 , X

3 ] = X

4 ,

ve t

(X

3 , X

4 , X

5 , X

6 )

[X

1 , X

4 ] = −X

6 , [X

2 , X

3 ] = X

5 [X

2 , X

5 ] = −X

6

4.2. Invariants quadratiques.

On saitquel'algèbre

J(g)

des fon tionsrationnellessur

g

invariantes sous l'a tion de

G

est de la forme

R

(µ

1 , µ

2 , ..., µ

r

)

, où les

µ

j

sont des fon tions polynomiales invariantes sur

g

( .f [Ver℄).

Lemme 4.1. Si

g

est telle qu'on peut hoisir les

µ

j

tous de degré au plus

2

, alors

G

Preuve On pose

G

+

= G × R

r

et

ϕ : g

∗

_{→ (g}

+

)

∗

ℓ

_{7→ (ℓ, µ}

1 (ℓ), µ

2 (ℓ), ..., µ

r

(ℓ))

Les représentations génériques de

G

sont en bije tion ave les orbites génériques

O

de

g

∗

, qui sont ara térisées par la valeur des

µ

j

sur

O

( .f [Ver ℄). Le groupe de Lie

G

+

est nilpotent, onnexe et simplement onnexe. Si

π

estlareprésentationde

G

asso iéeàuneorbitegénérique

(10)

G.ℓ

de

g

∗

, onpose:

Φ(π) = π × e

i(µ

1 (ℓ),µ

2 (ℓ),...,µ

r

(ℓ))

_.

Par onstru tion,

I

Φ(π)

est :

I

Φ(π)

= I

π

× {µ

1 (ℓ), µ

2 (ℓ), . . . , µ

r

(ℓ)}.

Cet ensemble ara térise don bien

G.ℓ

etdon

π

. Parsuite

G

+

est un surgroupe quadratique pour

G

.

Parmis lesalgèbres non spé iales elles dont les invariantssont engen-drés par des polynmes auplus quadratiques sont lessuivantes : On note

ℓ = (x

1 , x

2 , ...., x

6 )

un point quel onquede

g

∗

. Algèbre Relationsde ommutation Invariants

g

_5,4

[X

1 , X

2 ] = X

3 , [X

1 , X

3 ] = X

4 , x

5 , x

4

,

[X

2 , X

3 ] = X

5 µ

1 = x

1 x

5 − x

4 x

2 +

1

2 x

2

3 g

6,3

[X

1 , X

2 ] = X

4 , [X

1 , X

3 ] = X

5 , x

6 , x

5 , x

4

,

[X

2 , X

3 ] = X

6 µ

1 = x

6 x

1 − x

5 x

2 + x

4 x

3 g

6,18

[X

1 , X

2 ] = X

3 , [X

1 , X

3 ] = X

4 , x

6 ,

[X

1 , X

4 ] = X

5 , [X

2 , X

5 ] = X

6 , µ

1 = x

6 x

1 + x

3 x

5 −

x

2

4

2 [X

3 , X

4 ] = −X

6

4.3. L'Algèbre

g

6,20

.

Ilreste uneseulealgèbredeLienilpotenteindé omposable,

g

6,20

,qui n'est pas spé iale etdont un des invariantsest ubique :

Soit

g

= g

6,20

dénie par les relations:

[X

1 , X

2 ] = X

3 , [X

1 , X

3 ] = X

4 , [X

1 , X

4 ] = X

5 ,

[X

2 , X

3 ] = X

5 , [X

2 , X

5 ] = X

6 , [X

3 , X

4 ] = −X

6 .

Pour

ℓ = (x

1 , x

2 , ...., x

6 ) ∈ g

∗

6,20

, on donne une paramétrisation de l'orbite

G.ℓ

aupoint

ℓ

0 = (λ

1 , 0, 0, 0, 0, λ

6 )

,

λ

6 6= 0

par :

G.ℓ

0 =

(λ

1 − p

1 q

2 −

λ

6

6 q

3

2 +

λ

6

2 q

2

1 , p

2 , p

1 +

λ

6

2 q

2

2 , −λ

6 q

1 , λ

6 q

2 , λ

6 )

ave

(p

1 , p

2 , q

1 , q

2 ) ∈ R

4

. Le polynme invariant asso iéà

λ

1

est don ubique :

µ

1 = x

1 x

2

6 + x

3 x

5 x

6 −

1

3 x

3

5 −

1

2 x

2

4 x

6 .

Un al uldire tsemblableà elui de [A-S℄montre quelesdeux orbites génériques

O

= G.(0, 0, 1, 0, 0, 1)

et

O

′

_{= G.(0, 0, 1, 0,}

√

_{3, 1)}

ontmême enveloppe onvexe. Cependant :

Lemme 4.2. Le groupe

G = exp (g

6,20

)

admet un surgroupe quadra-tique.

(11)

Preuve

Puisquel'idéal

a

=

Ve t

(X

4 , X

5 , X

6 )

estabélien,onpeutdon onstrui-re le groupe nilpotent :

G

+

= G ⋉ S

2 (a) = G ⋉ m

omme i-dessus. L'appli ation

ϕ : g

∗

−→ (g

+

)

∗

dénie, omme i-dessus, par :

ϕ(ℓ) = (ℓ, f

2 ),

si

f = ℓ

|a

est quadratique, vérie

p ◦ ϕ = id

g

∗

et

ϕ(G.ℓ) = G

+

_(ϕ(ℓ))

pour tout

ℓ

dans

g

∗

gen

= {ℓ, x

6 6= 0}

. Posons don

Φ(π) = π

+

, où

π

+

est la représentation de

G

c

+

asso iée à l'orbite

ϕ(G.ℓ)

,

π

+

est irrédu tible, 'est en fait une extension de

π

, réalisée dans le mêmeespa e.

Soient maintenant

ℓ

0 = (λ

1 , 0, 0, 0, 0, λ

6 )

dans

g

∗

gen

. On note :

ϕ(ℓ) = (x

1 , x

2 , x

3 ), (f, f

2 )

= (x

1 , x

2 , x

3 ), ˜

ϕ(f )

et

q : (g

+

₎

∗

_{−→ a}

∗

_{⊕ m}

∗

la proje tion obtenue par restri tion. On a:

G

+

_(ϕ(ℓ

0 )) ⊂ Conv G

+

(ϕ(ℓ

0 )) ∩ q

−1

( ˜

ϕ(a

∗

)).

Montrons l'in lusionré iproque: Soit

ℓ

+

dans

Conv G

+

_(ϕ(ℓ

0 )) ∩ q

−1

( ˜

ϕ(a

∗

))

. Pour tout

ε > 0

, il existe

ℓ

+

₁

dans

Conv G

+

_(ϕ(ℓ

0 )) ∩ q

−1

( ˜

ϕ(a

∗

))

tel que

ℓ

+

− ℓ

+

1 < ε

. Il existe des

t

j

> 0

tels que

X

j

t

j

= 1

et:

ℓ

+

₁

= (x

1 , x

2 , x

3 ), (f, f

2 )

=

X

j

t

j

g

j

ℓ

0 , (g

j

f

0 )

2 =

X

j

t

j

x

1j

, x

2j

, x

3j

, (f, f

2 )

.

Parstri te onvexité de

u 7−→ u

2

,on en déduit quesi

g

j

ℓ

+

1 = (x

1j

, x

2j

, x

3j

, x

4j

, x

5j

, x

6j

)

alors

x

6j

= x

6

et

(

X

j

t

j

x

5j

)

2 =

X

j

t

j

x

2 5j

= x

2

5

. Don , pour tout

j

,

x

5j

= x

5

etde même

x

4j

= x

4 .

On en déduit lavaleur de

µ

1

sur

ℓ

+

1

:

µ

1 (ℓ

+

1 ) = x

2

6 (

X

j

t

j

x

1j

) + x

5 x

6 (

X

j

t

j

x

3j

) − (

1

3 x

3

5 +

1

2 x

2

4 x

6 )

=

X

j

t

j

µ

1 (g

j

ℓ

0 ) =

X

j

t

j

µ

1 (ℓ

0 ) = µ

1 (ℓ

0 )

et don

ℓ

+

1

appartient à

G

+

_ϕ(ℓ

0 )

. Mais et ensemble est :

G

+

ϕ(ℓ

0 ) =

ℓ

+

= ((x

1 , x

2 , x

3 ), (f, f

2 )),

µ

1 (ℓ

+

) = µ

1 (ℓ

0 )

et

x

6 = λ

6 .

(12)

Il est fermé, d'où l'égalité. Parsuite,on on lutquesi

π

et

π

′

sontgénériquestellesque

I

π

+

= I

π

′+

, et si

π

est asso iée à

G.ℓ

0

,

π

′

à

G.ℓ

′

0

,on a:

G.ℓ

0 = p(ϕ(G.ℓ

0 )) = p(ConvG

+

(ϕ(ℓ

0 )) ∩ q

−1

( ˜

ϕ(a

∗

)))

= p(I

π

+

∩ q

−1

( ˜

ϕ(a

∗

)))

= p(I

π

′+

∩ q

−1

( ˜

ϕ(a

∗

))) = G.ℓ

′

₀

don

π ∼

= π

′

.

4.4. Les algèbres de dimension

≤ 6

.

Soit maintenant une algèbre nilpotente réelle

g

dé omposable, de dimension inférieure ou égale à

6

, 'est-à-dire

g

est le produit dire t

g

= g

1 × g

2 × .... × g

k

d'algèbres indé omposables,alors :

Lemme 4.3. Si

g

est dé omposable réelle de dimension inférieure ou égaleà

6

, alors

G = exp g

Preuve

On fait ette preuve pour

k = 2

,le as général est similaire. En identiant

g

∗

à

g

∗

1 × g

∗

2

,posons

g

∗

gen

= g

∗

1gen

× g

∗

2gen

et

G = exp(g) = G

1 × G

2 = exp(g

1 ) × exp(g

2 ).

Notons

G

+

1

(resp

G

+

2

) un surgroupe quadratiquepour

G

1

(resp

G

2

). Pour tout

ℓ = (ℓ

1 , ℓ

2 )

de

g

∗

gen

, ona:

G.ℓ = G

1 .ℓ

1 × G

2 .ℓ

2

et

G = ˆ

ˆ

G

1 × ˆ

G

2 .

En gardant lesnotations i-dessus, onpose :

G

+

= G

+

₁

_{× G}

+

₂

,

ϕ = (ϕ

1 , ϕ

2 )

et

Φ = (Φ

1 , Φ

2 ).

On vérie immédiatement que

G

+

est un surgroupe quadratique pour

G

. On a nalementprouvé :

Théorème 4.1. Soit

G

un groupe de Lie nilpotent, onnexeet simple-ment onnexe de dimension inférieure ou égale à

6

, alors

G

5. Les groupes résolubles de petite dimension 5.1. Les groupes exponentiels.

Les algèbresde Lierésolubles réelles de dimension au plus

4

ont été lasséesparJ.Dozias( .f[Doz℄et[Ber℄, hapitre

8

). Unetellealgèbre

g

est exponentielle sisesra inessontde laforme

ρ(1+iα)

,ave

ρ ∈ g

∗

,

α

réel. Les algèbresexponentielles, indé omposables, non nilpotentes de dimension au plus

4

sont toutes spé iales, sauf une

g

4,9

(0)

. On donne

(13)

i-dessous leur listeet l'idéal

a

orrespondant :

a

g

2 [X

1 , X

2 ] = X

2

ve t

(X

2 )

g

3,2

(α),

[X

1 , X

2 ] = X

2 , [X

1 , X

3 ] = αX

3

ve t

(X

2 , X

3 )

|α| ≥ 1

g

3,3

[X

1 , X

2 ] = X

2 + X

3 ,

ve t

(X

2 , X

3 )

[X

1 , X

3 ] = X

3 g

3,4

(α),

[X

1 , X

2 ] = αX

2 − X

3 ,

ve t

(X

2 , X

3 )

α > 0

[X

1 , X

3 ] = X

2 + αX

3 g

4,1

[X

1 , X

3 ] = X

3 , [X

1 , X

4 ] = X

4 ,

ve t

(X

3 , X

4 )

[X

2 , X

3 ] = X

4 g

4,4

[X

1 , X

2 ] = X

3 , [X

1 , X

4 ] = X

4

ve t

(X

2 , X

3 , X

4 )

g

4,5

(α, β),

[X

1 , X

2 ] = X

2 , [X

1 , X

3 ] = αX

3 ,

ve t

(X

2 , X

3 , X

4 )

−1 < α ≤ β < 0 [X

1 , X

4 ] = βX

4

ou

0 < α ≤ β ≤ 1

ou

(0 < β ≤ 1

et

−1 ≤ α < 0)

g

4,6

(α),

[X

1 , X

2 ] = αX

2 , [X

1 , X

3 ] = X

3 + X

4 ,

ve t

(X

2 , X

3 , X

4 )

α 6= 0

[X

1 , X

4 ] = X

4 g

4,7

[X

1 , X

2 ] = X

2 + X

3 ,

ve t

(X

2 , X

3 , X

4 )

[X

1 , X

3 ] = X

3 + X

4 , [X

1 , X

4 ] = X

4 g

4,8

(α, β),

[X

1 , X

2 ] = αX

2 , [X

1 , X

3 ] = βX

3 − X

4 ,

ve t

(X

2 , X

3 , X

4 )

α > 0, β 6= 0

[X

1 , X

4 ] = X

3 + βX

4 g

_4,9

(α),

[X

2 , X

3 ] = X

4 , [X

1 , X

2 ] = (α − 1)X

2 ,

ve t

(X

3 , X

4 )

α 6= 1, 0 < α ≤ 2 [X

1 , X

3 ] = X

3 , [X

1 , X

4 ] = αX

4 g

4,10

[X

2 , X

3 ] = X

4 , [X

1 , X

2 ] = X

2 + X

3 ,

ve t

(X

3 , X

4 )

[X

1 , X

3 ] = X

3 , [X

1 , X

4 ] = 2X

4 g

4,11

(α),

[X

2 , X

3 ] = X

4 , [X

1 , X

2 ] = αX

2 − X

3 ,

ve t

(X

3 , X

4 )

α > 0

[X

1 , X

3 ] = X

2 + αX

3 , [X

1 , X

4 ] = 2αX

4

L'algèbre

g

4,9

(0)

n'estpas spé ialemais sesorbites génériques

(x

4 6= 0)

peuvent être paramétrées omme suit :

ℓ = (λ

1 + pq, p, λ

4 q, λ

4 ) = (λ

1 +

x

2 x

3 x

4 , x

2 , x

3 , λ

4 ).

Ces orbitessont ara térisées par lesvaleursde fon tions invariantes :

λ

4 = x

4 ,

µ

1 = x

4 λ

1 = x

4 x

1 − x

2 x

3

qui sontpolynomialesde degré inférieureouégale à

2

. Si

g

est une al-gèbreexponentielledé omposable,dedimensioninférieureouégaleà

4

, lemême argumentque dansle as nilpotentnous fournitun surgroupe quadratique.

Proposition 5.1. Tout groupe de Lie

G

exponentiel de dimension in-férieure ou égale à

4

(14)

5.2. Les groupes résolubles non exponentiels.

Si

G

est résoluble simplement onnexe de dimension au plus

4

, non exponentielalors

G

est de type

I

(les orbites oadjointes sontouvertes dansleursadhéren e), sesreprésentationsunitairesirrédu tibles

π

sont données par la théoried'Auslander-Kostant ( .f [A-K℄). Elles sont as-so iées àune orbite oadjointe

G.ℓ

etd'après [A-L℄ :

I

π

= Conv G.ℓ

. Cependant, en général, plusieurs représentations inéquivalentes sont asso iées à la même orbite. L'objet géométrique naturellement asso- ié à la représentation est un bré au dessus de l'orbite. Si de plus la dimension de

G

est inférieure ou égale à

4

, l'ensemblede es brés pour les orbites génériques peut être représenté omme une partie

M

de

g

∗

gen

× R

.

Dans equisuit, nous onstruironsdon un surgroupede Lierésoluble

G

++

de

G

,une appli ation polynomiale

ϕ

++

: M → (g

++

)

∗

de degré

2

et une appli ation

Φ : ˆ

G → d

G

++

telles que si

p(ℓ

++

₎

est la restri tion de

ℓ

++

∈ (g

++

)

∗

à

g

:

p ◦ ϕ

++

= id

g

∗

et

G

++

_ϕ

++

_{(ℓ, ε) = ϕ}

++

_{(G.(ℓ, ε)),}

∀ℓ ∈ g

∗

gen

.

Si

m = (ℓ, ε) ∈ M

ara térise la représentation

π ∈ ˆ

G

alors

Φ(π)

est un prolongement anoniquede

π

à

G

++

. Si

π

et

π

′

dans

G

d

gen

sonttels que

I

Φ(π)

= I

Φ(π

′

)

alors

π = π

′

. Par extension, on dira alors que

G

En fait, il y a

4

algèbres résolubles non exponentielles, de dimension inférieureouégaleà

4

dont

3

sont spé iales,ladernière,

g

4,11

(0)

admet un invariantquadratique.

a

g

3,4

(0)

[X

1 , X

2 ] = −X

3 , [X

1 , X

3 ] = X

2

ve t

(X

2 , X

3 )

g

4,2

[X

1 , X

2 ] = X

3 , [X

1 , X

4 ] = X

4 ,

ve t

(X

3 , X

4 )

[X

2 , X

3 ] = −X

4 , [X

2 , X

4 ] = X

3 ,

g

_4,8

(α, 0), [X

1 , X

2 ] = αX

2 , [X

1 , X

3 ] = −X

4 ,

ve t

(X

2 , X

3 , X

4 )

α > 0

[X

1 , X

4 ] = X

3

Algèbre Relations de ommutations Invariants

g

4,11

(0) [X

2 , X

3 ] = X

4 , [X

1 , X

2 ] = −X

3 , x

4 ,

[X

1 , X

3 ] = X

2 µ

1 = 2x

1 x

4 − x

2

3 − x

2

Ave les mêmes raisonnements que i-dessus pour ha une de es al-gèbres, on onstruit une suralgèbre

g

+

et une appli ation de degré

2

,

ϕ

+

_{: g}

∗

_{→ (g}

+

₎

∗

, telle que

p ◦ ϕ

+

_{= id}

g

∗

,

ϕ

+

_{(G.ℓ) = G}

+

_ϕ(ℓ)

. Si

Conv(G

+

_{ϕ(ℓ)) = Conv(G}

+

_ϕ(ℓ

′

₎₎

alors

G.ℓ = G.ℓ

′

,(

ℓ

et

ℓ

′

dans

g

∗

gen

). Pourlesalgèbresrestantes,onparamétrise idessouslesorbites généri-ques et on a ule lestabilisateur d'un point.

Par exemple, pour l'algèbre de Lie,

g

4,8

(α, 0)

, les orbites génériques sont lesorbites des points:

(15)

On peut paramétrer es orbites ainsi : un point

ℓ

appartient à

G.ℓ

0

si et seulement si:

ℓ = (p, ±e

αq

, r cos(q + θ), r sin(q + θ))

_{(p, q ∈ R).}

Le stabilisateur

G

4,8

(ℓ

0 )

du point

ℓ

0

est onnexe, 'est :

G

4,8

(ℓ

0 ) = exp

±

_α

1 Im(re

iθ

(x

3 + ix

4 ))X

2 + x

3 X

3 + x

4 X

4

On obtient de même, pour les algèbresrestantes, letableau suivant: Algèbre Orbitegénérique

G.ℓ

0 G(ℓ

0 )

g

3,4

(0)

ℓ

0 = (0, r, 0), r > 0

exp RX

2 × exp 2πZX

1 ℓ = (p, r cos q, r sin q)

g

4,2

ℓ

0 = (0, 0, 1, 0)

exp 2πZX

2 ℓ = (p

2 , p

1 , e

q

2 cos q

1 , e

q

2 sin q

1 )

g

4,11

(0) ℓ

0 = (λ

1 , 0, 0, λ

4 )

exp RX

4 × exp RX

1 ℓ = (λ

1 +

p

2 _{+ λ}

2

4 q

2 2λ

4 , p, λ

4 q, λ

4 )

Pour les groupes onnexes et simplement onnexes d'algèbres de Lie

g

4,8

(α, 0)

et

g

4,11

(0)

, les orbites génériques sont simplement onnexes, on leur asso ie une seule représentation unitaire irrédu tible, il n'est pas né essaire de onsidérerde bré

M

etla onstru tionusuelle pour les algèbres spé iales s'applique dire tement : es groupes admettent un surgroupequadratique.

Pour lesgroupes simplement onnexesd'algèbres de Lie

g

3,4

(0)

et

g

4,2

, les orbites oadjointes génériques ne sont pas simplement onnexes. Il y aplusieurs représentations asso iées à une de es orbites.

Plus exa tement,pour

g

= g

3,4

(0)

,

h

= RX

2 +RX

3

estunepolarisation en

ℓ

0 = (0, r, 0)

, le ara tère

e

iℓ

0

déni sur

exp h

admet les prolonge-ments suivantsà

G(ℓ

0 ). exp h

:

χ

ℓ

0 ,ε

(e

2πkX

1 _e

x

2 X

2 +x

3 X

3 _{) = e}

2iπkε+x

2 r

_,

ε ∈ [0, 1[.

Pour haque

ε

, la représentation

π

ε

=

Ind

G

G(ℓ

0 ). exp h

χ

ℓ

0 ,ε

est asso iée à l'orbite

G.ℓ

0

. D'après [A-L℄, son ensemble momentest :

I

π

ε

= ConvG.ℓ

0

qui ne dépend pas de

ε

. On onstruit l'ensemble

M = g

∗

_gen

_{× R =}

(ℓ, ε),

_{ℓ ∈ g}

∗

_gen

_{, ε ∈ R}

et on onsidère et ensemble omme une partie de

(g × R)

∗

, onpose :

g

+

_{= g × R, g}

++

= g

+

_{× R.}

On dénitles fon tions:

ϕ

+

: g

∗

_{−→ (g}

+

)

∗

ℓ

_{7−→ (ℓ, r}

2 )

(16)

(

r

2 _{= x}

2

2 + x

2

3

) et

ϕ

++

: M

_{−→ (g}

++

)

∗

(ℓ, ε) 7−→ (ℓ, r

2 , ε)

alors

ϕ

++

(G.(ℓ

0 , ε)) = G

++

ϕ

++

(ℓ

0 , ε),

∀(ℓ

0 , ε) ∈ (g

∗

)

gen

× R.

Et ondénit

Φ

++

(π

ε

) = π

ε

× e

ir

2 × e

iε

don

I

Φ

++

_(π

ε

)

= I

π

ε

× {(r

2 , ε)}.

Cet ensemblemoment ara térise lairementla représentation

π

ε

. Si maintenant,

G

est le groupe simplement onnexe d'algèbre de Lie

g

4,2

, il admetune seule orbite ouverte (et dense)

G.ℓ

0 = g

∗

gen

. A ette orbite est asso iée omme i-dessus une famille de représentations

π

ε

de laforme Ind

G

G(ℓ

0 ). exp h

χ

ε

,où

h

=

Ve t

(X

3 , X

4 )

et

χ

ε

(e

2πkX

2 ) = e

i2πεk

.

On pose

M = g

∗

gen

× R = (g × R)

∗

gen

,

g

++

= g × R

et

ϕ

++

(g.(ℓ

0 , ε)) = (g.ℓ

0 , ε),

Φ

++

(π

ε

) = π × e

iε

Ainsi

I

π

ε

= g

∗

× {ε}

aratérise lairement

π

ε

.

Si

G

estrésoluble,dedimensioninférieureouégaleà

4

etdé omposable, le même argument que dans le as nilpotent permet de onstruire le surgroupe

G

++

, l'appli ation quadratique

ϕ

++

et l'appli ation

Φ

++

. On peut don dire :

Proposition 5.2. Si

G

est résoluble, onnexe et simplement onnexe, de dimension inférieure ou égale à

4

,

G

admet un surgroupe quadra-tique.

5.3. Le groupe de Mautner.

Si

G

est résoluble de dimension

5

,

G

peut ne pas être de type

I

. L'exemple leplus simple est donné par le groupe de Mautner

G

, on-nexeetsimplement onnexe,d'algèbredeLie

g

=

ve t

(X

1 , X

2 , X

3 , X

4 , X

5 )

vériant les relationsde ommutationsuivantes :

[X

1 , X

2 ] = −X

3 , [X

1 , X

4 ] = −αX

4 , [X

1 , X

3 ] = X

2 , [X

1 , X

5 ] = αX

5 ,

ave

α

irrationnel.

L'algèbre de Lie

g

est spé iale, pour l'idéal

a

=

Ve t

(X

2 , X

3 , X

4 )

. Une orbite générique est un ylindre de base une elle sur un tore

T

2

:

G.ℓ

0 = G.(0, r, 0, R cos θ, R sin θ)

(17)

A ette orbite, on peut asso ier les représentations

π

ℓ

0 =

Ind

G

exp a

e

iℓ

0

dont l'ensemblemomentest :

I

π

_ℓ0

= ConvG.ℓ

0 =

ℓ = (x

1 , x

2 , x

3 , x

4 , x

5 ),

x

2

2 + x

2

3 ≤ r

2 ,

x

2

4 + x

2

5 ≤ R

2 = R × Conv(T

2 )

qui ne dépend pas de

θ

.

Supposons qu'il existe une suralgèbre

g

+

, une appli ation de degré au plus

2

,

ϕ : g

∗

gen

−→ (g

+

)

∗

telle que

p ◦ ϕ = id

g

∗

gen

,

ϕ(G.ℓ

0 ) = G

+

_.ϕ(ℓ

0 )

, montrons que ette appli ation

ϕ

ne peut pas séparer lesorbites deux points

ℓ

0

et

ℓ

′

0

sur letore

T

2

, 'est à dire de même

r

et

R

. Si

ϕ

x

1

est l'appli ation

ϕ

x

1 (x

2 , x

3 , x

4 , x

5 ) = ϕ(x

1 , x

2 , x

3 , x

4 , x

5 )

,

ϕ

x

1

est une appli ation polynomiale de degré inférieure ou égale à

2

. Posons

K

x

1 = ϕ

x

1 (T

2 ₎

, 'est un ompa t. Puisque, pour tout

ℓ

0

de

T

2

ettout

x

1

réel,

G.ℓ

0 ∩ ({x

1 } × R

4 ₎

est dense dans

{x

1 } × T

2

etque l'orbiteest un ylindre alors

ϕ(G.ℓ

0 ) =

[

x

1 ∈R

K

x

1

. Si

ℓ

0

et

ℓ

′

0

sont deux points du tore, les adhéren es de l'image par

ϕ

de leurs orbites oïn identetonnepeutpas séparer es orbitespar les enveloppes onvexes fermées de leur image par

ϕ

.

Le groupede Mautner n'admet pas alors de surgroupe quadratique.

6. Le groupe de Lie

G = SL(2, R)

Le premier exemple de groupe non résoluble et non ompa t est le groupe

SL(2, R)

ou son revêtement universel

SL(2, R)

f

. L'algèbre de Lie

sl(2, R)

a pour base :

X

1 =

1

2

1

0 0 −1

,

X

2 =

1

2 0 1

1 0

,

X

3 =

1

2

0

1 −1 0

ave lesrelations de ommutations:

[X

1 , X

2 ] = X

3 ,

[X

2 , X

3 ] = −X

1 ,

[X

1 , X

3 ] = X

2 .

6.1. Représentations asso iées aux orbites.

Onnes'intéressei iqu'auxreprésentationsgénériquesappeléesdepuis [Barg℄, série prin ipale etsérie dis rète.

6.1.1. Série prin ipale. On note

π

µ,ε

,

µ > 0

,

ε = 0, 1,

lareprésentation de lasérie prin ipale dont l'orbiteasso iée est

O

_µ

_{= {ℓ = (x, y, z), x}

2 _{+ y}

2 _{− z}

2 _{= µ}

2 _}

L'orbite

O

µ

est l'hyperboloïde à une nappe. Cette représentation est réalisée dans l'espa e

L

2 _{([0, 4π[)}

dontla base orthogonale est

(18)

L'a tion de

sl(2, R)

est :

dπ

µ,ε

(X

3 )ϕ

n

=

in

2 ϕ

n

dπ

µ,ε

(X

2 )ϕ

n

=

1 4i

((1 + iµ + n)ϕ

n+2

− (1 + iµ − n)ϕ

n−2

)

dπ

µ,ε

(X

1 )ϕ

n

=

1

4 ((1 + iµ + n)ϕ

n+2

+ (1 + iµ − n)ϕ

n−2

)

L'ensemblemoment est, pour tout

µ

ettout

ε

:

I

π

µ,ε

= g

∗

_{= Conv(O}

µ

).

6.1.2. Série dis rète holomorphe. On note

π

m

,

m ∈

1

2 N

,

m >

1

2

, la représentation de lasérie dis rète dont l'orbite asso iée est

O

_m

_{= {ℓ = (x, y, z), x}

2 _{+ y}

2 _{− z}

2 _{= −m}

2

et

z < 0}.

Pourtout

m > 0

,

O

m

estunenappedel'hyperboloïdeàdeuxnappeset

O

_m

est asso iée àune représentation seulement sielleest entière, 'est

à diresi

2m

est entier et

m >

1

2

. Cettereprésentation estréaliséedans l'espa e

L

2 hol

(D, µ

m

)

des fon tions holomorphessur ledisque unité

D

₌

_{w = u + iv,}

_|w|

2 _{< 1}

de arréintégrablepour lamesure

µ

m

du disqueunitaire

D

donnée par

µ

m

=

4

4 m

(1 − |w|

2 ₎

2m−2

_dudv

et dont la base orthogonaleest

ϕ

n

(w) = w

n

, n ∈ N, w ∈ D

et

kϕ

n

k

2 ₌

π

4 m−1

(2m − 2)!n!

(2m + n − 1)!

.

L'a tion de

sl(2, R)

est lasuivante :

dπ

m

(X

3 )w

n

= −i(n + m)w

n

dπ

m

(X

2 )w

n

=

(−1)

m

2 i((n + 2m)w

n+1

+ nw

n−1

)

dπ

m

(X

1 )w

n

=

(−1)

m

2 ((n + 2m)w

n+1

− nw

n−1

)

L'ensemblemoment permet de retrouver

m

, 'est :

I

π

m

= {ℓ = (x, y, z), x

2 _{+ y}

2 − z

2 ≤ −m

2

et

z < 0} = Conv(O

m

).

(I i, nous avons hoisi d'asso ier à l'orbite

O

m

une représentation in-duite holomorphe "non tordue". L'égalité i-dessus est laraison de e hoix).