Théorie des représentations

Dans cette partie, on va expliquer très brièvement quelques résultats de la théorie de Kirillov dans le cas nilpotent (cf [62] pour plus de détails). Tout d’abord, on va commencer par quelques rappels sur la théorie des représentations d’un groupe nilpotent G.

Représentations sur un groupe G

Soit G un groupe de Lie, et V un espace vectoriel sur C. Une représentation complexe (π, V ) du groupe G est la donnée d’une application

π : G × V −→ V

(g, v) 7→ π(g, v),

telle que :

1. π(e, v) = v , ∀v ∈ V, où e est l’élément neutre de G pour la loi de multiplication. 2. π(g, π(h, v)) = π(gh, v), ∀h, g ∈ G , ∀v ∈ V.

L’espace V (ou Vπ si on veut rappeler la référence à π) est appelé espace de représentation de G. Si V est de dimension finie, sa dimension est notée d_π = dimV . Dans le cas contraire, on pose dπ = +∞.

Si de plus V est un espace de Hilbert pour le produit hermitien h., .iV, la représentation (π, V ) est dite unitaire si π vérifie la propriété suivante :

On utilisera aussi la notation π(g) où

π(g)v = π(g, v) .

Ensuite, on introduit la notion de sous-représentation qui nous servira à introduire la notion de représentation irréductible de G.

Définition 4.2.7. Si (π, V ) une représentation de G, et W est un sous-espace vectoriel de

V , on dit que W est invariant par π, si

∀g ∈ G, ∀w ∈ W, π(g, w) ∈ W .

Dans ce cas, on noteπ_W l’application ainsi définie par restriction àW × G et on dit que

(π_W, W ) est une sous–représentation de (π, V ).

Définition 4.2.8. On dit qu’une représentation π de G est irréductible si : 1. Elle est non nulle.

2. Elle n’admet aucun sous-espace autre que{0} et V invariant par π.

On introduit maintenant la notion d’équivalence entre deux représentations sur le groupe G.

Définition 4.2.9. Soient (π, V ) et (τ, W ) deux représentations du groupe G.

1. Un opérateur d’entrelacement est une application T : V −→ W linéaire de V

dansW vérifiant

T (π(g, v)) = τ (g, T (v)), ∀g ∈ G, ∀v ∈ V.

2. Les deux représentations (π, V ) et (τ, W ) sont équivalentes s’il existe un opéra-teur d’entrelacementT : V −→ W inversible.

Enfin, on donne la définition d’une représentation unitaire.

Définition 4.2.10. Soit (π, V ) une représentation d’un groupe G. On dit que (π, V ) est une représentation unitaire siV est un espace de Hilbert (réel ou plus souvent complexe),

et si pour tout élément deg ∈ G, V 3 v 7→ π(g, v) ∈ V est un opérateur unitaire sur V .

Représentations unitaires induites sur l’algèbre de Lie G

Parmi les représentations, les représentations unitaires irréductibles jouent un rôle cru-cial. La théorie de Kirillov permet d’associer à tout élément du dual G^∗ de G une repré-sentation irréductible.

De plus, cette théorie dit que toute représentation unitaire irréductible peut être repré-sentée de cette manière.

départ est une sous-algèbre H ⊂ G et une forme linéaire ` sur G telle que `([H, H]) = 0. On va alors associer une représentation π`,H du groupe de G dans Vπ := L2(Rk(π)) qui est défini de façon unique modulo une conjugaison unitaire, où k(π) est la codimension de H dans G. Pour cette construction et en utilisant le caractère nilpotent, on peut trouver

k = k(π) vecteurs indépendants e₁, .., e_ktels que tout g peut être écrit sous la forme

g = h exp(s_ke_k) ... exp(s₁e₁) , (4.7)

et tels que, si

A_j = H ⊕ Re1⊕ .. ⊕ Rek−j+1,

alors A_j−1 est un idéal de codimension 1 dans A_j.

Avec cette construction, on peut obtenir que g 7→ (s, h) est un difféomorphisme global de G dans Rk× H. La représentation induite est donnée par

(π<sub>`,H</sub>(exp a)f ) (t) = exp i h`, h(t, a)i f (σ(t, a)),

où h(t, a) et σ(t, a) sont définis par la formule suivante

exp t_ke_k.... exp t₁e₁ exp a = exp(h(t, a)) exp σ_k(t, a)e_k... exp σ₁(t, a)e₁.

On note aussi π_`,Hla représentation de l’algèbre de Lie associée définie par

π_`,H(a)u = ^d

ds ^(π`,H(e

sa)u)_|

s=0 , (4.8)

où la représentation π`,Hpeut-être définie sur l’ensemble des u ∈ Vπtels que l’application

s → π_{`,H</sub>(eas)u est de classe C1. On va en fait surtout travailler sur l’espace Sπ des vecteurs C<sup>∞</sup>de la représentation π<sub>`,H}.

Plus explicitement, on a

π<sub>`,H</sub>(a) = ih`, h⁰(t, a)i +

k X j=1 σ_j⁰(t, a) ∂_tj, où h⁰ et σ⁰ désignent h⁰(t, a) : = ^d ds ^{(h(t, sa))|}s=0, σ⁰(t, a) : = ^d ds ^{(σ(t, sa))|}s=0.

De plus, σ a la structure suivante :

σ_j(t_j, ...., t₁, a) = t_j + ψ_j(t_j−1, .., t₁, a) , (4.9)

où les ψ_j sont des polynômes sur Rk, ne dépendant que des variables indiquées, à coeffi-cients réels.

On sait par la théorie de Kirillov que, dans le cas nilpotent, les représentations irré-ductibles sont associées à des éléments de G^∗ et que, quand π est irréductible, l’espace de représentation V_π s’identifie à L2(Rk(π)) où k(π) est un entier avec L2(R0) = C par convention si k(π) = 0. On noteG l’ensemble de représentations irréductibles du groupe,b

simplement connexe G := exp G associé à G. Il est aussi important aussi de noter que dans le cas d’une représentation irréductible, S_π s’identifie à l’espace de Schwartz S(Rk(π)).

Revenant aux représentations induites π`,H, deux cas particuliers vont nous intéresser. Quand ` = 0, on obtient l’extension standard de la représentation triviale du sous-groupe

H de G. On peut considérer cela comme une représentation sur L²(G/H). Un problème intéressant (qui est résolu dans [34]) est de caractériser l’hypoellipticité maximale de

π_0,H(P ) pour P ∈ U_m(G).

Le second cas est pour une forme ` ∈ G<sup>∗</sup> donnée et lorsque H ⊂ G est de dimen-sion maximale, avec la propriété `([π, π]) = 0. Dans ce cas, on peut montrer que la représentation est irréductible. De plus on peut ainsi construire toutes les représentations irréductibles (à équivalence unitaire près). Partant cette fois d’un élément ` ∈ G<sup>∗</sup>, on peut construire une sous-algèbre maximale V`telle que `([V`, V<sub>`</sub>]) = 0. On peut aussi montrer que la codimension k(`) de V_{`</sub> est égale à <sup>1</sup><sub>2</sub>rang B<sub>`}, où B_` est la 2−forme suivante :

G × G → `([X, Y ]).

Pour a ∈ G, on définit par (ad a)^∗l’adjoint de ad a qui est un endomorphisme de G^∗défini par

(ad a)^∗`(b) := `([a, b]).

Le groupe G agit alors naturellement sur G^∗par :

g 7→ g` = r X k=0 (−1)k k! <sup>(ada)</sup> ∗k `, avec g = exp(a).

Cette action est appelée action coadjointe. La théorie de Kirillov nous dit que si ` et ˜` sont

sur la même orbite pour l’action coadjointe, alors les représentations correspondantes sont unitairement équivalentes. Inversement , deux orbites différentes donnent deux re-présentations irréductibles non équivalentes. On peut ainsi identifier l’ensemble G desb

représentations unitaires de G avec l’ensemble des G-orbites dans G^∗ :

b

G = G^∗/G.

Dans la démonstration du théorème principal, nous rencontrons des représentations π d’une algèbre de Lie G dans l’espace S(Rk) (k ≥ 1) qui ont la forme suivante. Pour tout

X ∈ G, π(X) est un opérateur différentiel de la forme suivante :

π(X) = P₁(X) ^∂ ∂_y1 ^{+ P2(y1; X)} ∂ ∂_y2 ^{+ ... + Pk(y1, .., yk−1; X)} ∂ ∂_yk ^{+ i Q(y1, .., yk; X),} (4.10)

où les Pj(y; X) et Q(y; X) sont des polynômes sur Rk, ne dépendant que des variables indiquées, à coefficients réels, dépendant linéairement de X ∈ G. On suppose que les formes linéaires X → P_j(0; X) (1 ≤ j ≤ k) sont linéairement indépendantes dans G^∗. On notera que les représentations induites ont toujours cette forme. Il s’agit donc de se poser la question inverse :

La représentation introduite plus haut est-elle en fait une représentation induite ?

La réponse positive est donnée par Helffer-Nourrigat dans [34]. La forme linéaire ` est définie en posant, pour tout X ∈ G

h`, Xi = Q(0; X), (4.11)

et H est le sous-espace des X ∈ G tels que P_j(0; X) = 0 (j = 1, ..., k). Les auteurs démontrent la proposition suivante :

Proposition 4.2.11. Sous les hypothèses ci-dessus :

i) Le sous-espaceH est une sous-algèbre de G, et l’on a

h`, [X, Y ]i = 0 ∀X, Y ∈ H . (4.12) ii) La représentation π est unitairement équivalente à π<sub>`,H</sub>. La transformation qui

réalise l’équivalence est un isomorphisme deS(Rk).

Remarque 4.2.12. Dans la suite, on utilisera la proposition précédente pour passer des estimations maximales pourπ`,H(P ) aux estimations maximales pour π(P ). Ce passage est justifié via la forme explicite de la transformationT , qui va réaliser l’équivalence

π_`,H(exp X)T f = T π(exp X)f, pour tout X ∈ G et f ∈ S(R^k), où

• T est définie par :

T f (t) = π(exp Y (t))f|_{Y =0} = e^{iϕ(0,Y (t))}f (θ(t)), ∀f ∈ S(R^k) • θ(t) = (θ₁(t), ..., θ_k(t)) est une application sur R^kdéfinie comme suit :

θ₁(t) = t₁

θ_j(t) = t_j + H_j(t₁, .., t_j−1) , ∀j = 2, .., k ,

• lesH_j sont des polynômes.

Par conséquent θ est un difféomorphisme global de Rk, dont le jacobien vaut1. On passe ainsi sans problème d’une inégalité maximale à l’autre par un chan-gement de variable qui conserve la mesure de Lebesgue.

On va finir cette partie en démontrant une propriété spécifique qui sera utilisée dans la suite.

Proposition 4.2.13. Soit π une représentation définie par (4.10), alors pour tout X ∈ G l’opérateurπ(X) est formellement anti-adjoint pour le produit scalaire usuel défini sur

l’espaceL2(Rk), i.e.

∀u, v ∈ S(Rk), hπ(X) u, vi = −hu, π(X) vi. Démonstration. Soit u et v ∈ S(Rk). Pour X ∈ G, on a

hπ(X)u, vi =

Z

R^k

π(X) u(y) v(y) dy,

en effectuant des intégrations par parties en fonction de yj avec j = 1, ..., k et en utilisant le fait que Pj(y; X) sont des polynômes à coefficients réels et qui ne dépendent que de

y₁, .., y_j−1 pour tout j = 1, .., k, on obtient

hπ(X) u, vi = − k X j=1 Z R^k u(y) P_j(y₁, ..y_j−1; X) ^∂v ∂yj (y) dy + Z R^k

u(y)(−i Q(y₁, .., y_k; X)v(y)) dy,

puisque Q(y; X) aussi est un polynôme à coefficients réels. Puis en réutilisant la définition (4.10) de la représentation π(X), on obtient

hπ(X) u, vi = −hu, π(X) vi, ce qui implique le résultat.

Remarque 4.2.14. La proposition 4.2.13 est en particulier vraie pour toute représenta-tion induite π_`,H. Comme remarqué plus haut, les représentations induites vérifient en effet(4.10).

4.2.4 Caractérisation de l’hypoellipticité dans le cas des opérateurs