Pour l'obtention du grade de
DOCTEUR DE L'UNIVERSITÉ DE POITIERS UFR des sciences fondamentales et appliquées
Laboratoire de mathématiques et applications - LMA (Poitiers) (Diplôme National - Arrêté du 7 août 2006)
École doctorale : Sciences et ingénierie pour l'information, mathématiques - S2IM (Poitiers)
Secteur de recherche : Mathématiques et leurs interactions Cotutelle : Université de Tunis-El Manar (Tunisie)
Présentée par :
Sami Kouki
Étude des restrictions des séries discrètes de certains groupes résolubles et algébriques
Directeur(s) de Thèse :
Pierre Torasso, Mohamed Salah Khalgui Soutenue le 01 mars 2014 devant le jury
Jury :
Président Said Zarati Professeur, Université de Tunis-El Manar, Tunisie Rapporteur Slaim Ben Farah Professeur, Université de Monastir, Tunisie Rapporteur Jean-Yves Charbonnel Directeur de recherche, Université Paris 7 Membre Pierre Torasso Professeur des Universités, Université de Poitiers Membre Mohamed Salah Khalgui Professeur, Université Tunis-El Manar, Tunisie Membre Rupert Wei Tze Yu Professeur des Universités, Université de Reims
Pour citer cette thèse :
Sami Kouki. Étude des restrictions des séries discrètes de certains groupes résolubles et algébriques [En ligne]. Thèse Mathématiques et leurs interactions. Poitiers : Université de Poitiers, 2014. Disponible sur Internet <http://theses.univ-poitiers.fr>
THÈSE
Pour l’obtention du grade de
DOCTEUR DE L’UNIVERSITE
Facuté des Sciences de Tunis
Faculté des Sciences Fondamentales et Appliquées de Poitiers (Diplôme National - Arrêté du 7 août 2006)
DOMAINE DE RECHERCHE : Théorie des représentations Présentée par
Sami Kouki
Étude des restrictions des séries discrètes de certains groupes
résolubles et algébriques
Directeurs de thèse: Pr. Mohamed Salah Khalgui : Pr. Pierre Torasso
Soutenue le 01 mars 2014 Devant la Commission d’Examen
JURY
Said ZARATI Professeur, Université Tunis El Manar Président Slaim BEN FARAH Professeur, Faculté des Sciences de Monastir Rapporteur Jean Yves CHARBONNEL Directeur de recherche, Université Paris 7 Rapporteur Rupert Wei Tze YU Professeur, Université de Reims Examinateur Mohamed Salah KHALGUI Professeur, Université Tunis El Manar Examinateur Pierre TORASSO Professeur, Université de Poitiers Examinateur
❉é❞✐❝❛❝❡s
Je dédie cette thèse :À mes chers parents qui n’ont cessé de me combler par leur amour et leur tendresse. À ma chère femme pour son amour, sa patience et ses sacrifices.
À mes chers enfants Zeineb et Khalil.
À ma soeur et mes deux frères ainsi que leurs familles. À tous les membres de ma famille sans aucune exception.
❘❡♠❡r❝✐❡♠❡♥ts
Je tiens à remercier en tout premier lieu mes directeurs de thèse Mohamed Salah Khalgui et Pierre Torasso, qui ont accepté d’encadrer cette thèse et m’ont initié à la théorie des groupes de Lie et leurs représentations. Ils ont su me laisser une grande liberté dans mon travail tout en restant présents et disponibles lorsque j’en avais besoin, et en cela je leur suis très recon-naissant. Merci également à eux pour leurs conseils dans la rédaction de ce manuscrit, dont la qualité aurai été bien moindre sans ceux-ci. Toutes mes reconnaissances à Pierre Torasso pour tout son aide durant mes séjours à Poitiers.
Je remercie les Professeurs Slaim Ben Farah et Jean Yves Charbonnel d’avoir accepté de rap-porter cette thèse et pour l’intérêt qu’ils ont porté à mon travail. Je leur suis très reconnaissant pour leurs commentaires et suggestions qui m’ont permis d’améliorer la qualité de ce manuscrit. Je remercie également les autres membres du jury, les Professeurs Said Zarati et Rupert Yu, qui ont accepté d’examiner ce mémoire.
Je remercie tout particulièrement le Professeur Michel Duflo pour ses précieuses remarques et suggestions. Je le remercie également pour toutes les discussions que j’ai eu avec lui et pour l’intéret qu’il a porté à tous mes travaux.
Je remercie tous les enseignants du département de mathématiques de Tunis pour leurs en-couragements durant la période de préparation de cette thèse. Je cite en particulier Ahmed Fitouhi, Khalifa Trimèche, Néjib Ben Salem, Mohamed Sifi, Mohamed Selmi, Sami Baraket, Hela Khalgui, Najoua Gamara et Saloua Aouadi. Je remercie aussi le Professeur Ali Baklouti de la faculté des Sciences de Sfax qui a toujours cru en moi.
Durant mes séjours à Poitiers, une bonne partie de cette thèse a pu se dérouler dans des conditions favorables grâce à la bonne ambiance régnant au laboratoire LMA entretenue par les permanents mais également par le personnel administratif. Je remercie en particulier Pol Vanhaecke le directeur du LMA pour ses encouragements et son aide et Abderrazak Bouaziz pour son soutient et ses conseils. Je remercie aussi très sincèrement Brigitte Brault, Nahalie Marlet, Jocelyne Attab, Nathalie Mongin et Benoît Métrot pour tout ce qu’ils ont fait pour moi durant mes séjours à Poitiers.
Ces années auraient été bien difficiles sans la présence et le soutien des doctorants à Tunis et à Poitiers. J’ai passé des moments inoubliables avec eux, je les remercie tous, les anciens comme les nouveaux, pour tous ces excellents moments. Parmi eux Ali Ben Ahmed, Kais Am-mari, Zouheir Aouani, Amine Amri, Meher Bouheni, Amine Aribi, Salem Jezi, Taha Samaali, Walid Nefzi, Abdelhalim Hasnaoui, Gang Liu, Anis Rajhi, Khawla Ben Abdeljalil, Chedlia Cha-kroun, Wissam Talab, Ali Al Riyabi...
Mes remerciements vont également à tous mes amis qui m’ont toujours encourgé et soutenu : Mohamed (Body), Atef, Fadhel, Dali, Khaled, Messad, Mahmoud, Nabil, Amine, Haykel, Ra-ched, Samir, Ahmed...
Je remercie également les différents organismes ayant financé ce travail, à savoir l’action in-tégrée Franco-Tunisienne du Ministère des Affaires Etrangères et Européennes français et du Ministère de l’Enseignement Supérieur, de la Recherche Scientifique et de la Technologie tuni-sien.
Pour finir, j’ai une pensée toute particulère pour mes parents, ma femme Sonia ainsi que mes adorables Zeineb et Khalil.
Table des matières
Bibliographie 7
I Les représentations des groupes de Lie résolubles 9
1 Définitions . . . 9
2 La méthode des orbites . . . 10
2.1 Mesures sur les quotients . . . 10
2.2 Représentations induites et méthode de Kirillov . . . 11
2.3 Polarisation en un point du dual d’une algèbre de Lie réelle . . . 12
3 Représentations des groupes résolubles exponentiels . . . 14
3.1 Les groupes résolubles exponentiels . . . 14
3.2 Représentations irréductibles des groupes exponentiels . . . 15
4 Construction des représentations irréductibles et unitaires des groupes de Lie résolubles . . . 16
4.1 Les représentations Tg,τ . . . 16
4.2 La représentation Su . . . 17
4.3 Extensions des représentations des groupes de Lie nilpotents . . . 18
4.4 Construction des représentations Tg,τ . . . 19
Bibliographie 21 II Les groupes résolubles exponentiels 23 1 Définitions - Préliminaires . . . 23
1.2 Représentations de carré intégrables . . . 25
2 La conjecture de Duflo . . . 28
Bibliographie 33 III Le produit semi-direct d’un tore compact par un groupe de Heisenberg 35 1 Introduction . . . 36
1.1 Notations . . . 36
1.2 Principaux résultats . . . 36
2 Réduction au cas où H contient le centre de G. . . . 39
3 Orbites coadjointes. . . 40
3.1 Formes fortement régulières . . . 41
3.2 Orbites fortement régulières pour G. . . 43
3.3 Orbites admissibles et séries discrètes de G. . . 45
3.4 Réalisation de Fock de la représentation métaplectique et paramétrisation d’Auslander-Kostant des représentations πg. . . 47
4 Réduction du problème. . . 49
4.1 On se ramène au cas oùuH est un groupe de Heisenberg. . . . 49
4.2 On se ramène au cas où G = HuG. . . . 50
5 Démonstration des résultats principaux. Volume des variétés réduites génériques et formule pour les multiplicités. . . 51
5.1 Démonstration des théorèmes (1.2.1) et (1.2.2). . . 52
5.2 Volume des variétés réduites génériques. . . 56
5.3 Formule pour les multiplicités. . . 64
Introduction
L’un des problèmes essentiels de l’analyse harmonique et plus précisément de la théorie des représentations des groupes de Lie est la détermination du dual unitaireG d’un groupe de Lieb G, i.e. l’ensemble des classes d’équivalence de représentations irréductibles et unitaires de G.
Dans ce cadre, la méthode des orbites initiée par A. Kirillov dans le cas des groupes nilpotents permet d’établir une bijection entre G et l’ensemble des orbites coadjointes. Cette méthode ab
été étendue par Bernat pour les groupes résolubles exponentiels, Auslander-Kostant pour les groupes résolubles et Duflo pour les groupes de Lie généraux. Bien que la méthode de Duflo ne permet pas, dans le cas général, de caractériser tout le dual unitaire G de G, elle permetb
de construire un "gros ensemble" de représentations unitaires irréductibles de G. Disons tout simplement que, dans le cas des groupes algébriques, l’ensemble des représentations construites par Duflo suffit pour décomposer L2(G).
Même si, pour certains groupes, on a une bonne description de G, l’étude des restrictionsb
de ces éléments à un sous-groupe fermé H de G reste un sujet très difficile dans le cas général. Si par exemple G est un groupe de Lie de type I et π ∈ G alors la restriction de π à H peutb
s’écrire sous la forme
π|H =
Z ⊕
b
H mπ(σ)σdµπ(σ),
où µπ est une mesure borélienne sur H et mc π : H → N ∪ {∞} est une fonction mesurablec
appelée fonction de multiplicité [1]. Donner des descriptions de la mesure µπ et de la fonction
de multiplicité mπ est la réponse à ce que l’on appelle « le problème de branchement ». Des
ré-ponses satisfaisantes ont été données à ce problème par Corwin-Greenleaf pour le cas nilpotent, Lipsman pour le cas complètement résoluble et par Fujiwara pour le cas résoluble exponentiel.
Néanmoins, le problème de branchement dans le cas des groupes résolubles non exponentiels reste encore sans réponse.
Il est alors naturel de se restreindre au cas ou π est une série discrète et de se poser les questions suivantes :
(i) quand π est-elle H-admissible, i.e. le support de µπ est discret et mπ(σ) < +∞ pour
tout σ ∈H ?c
(ii) si π est H-admissible, déterminer effectivement la fonction de multiplicité mπ(σ) < +∞.
Nous apportons une réponse complète à ces questions lorsque G est résoluble exponentiel et
H ⊂ G est un sous-groupe fermé connexe dans le chapitreIIet lorsque G est le groupe produit semi-direct d’un tore anisotrope par le groupe de Heisenberg et H ⊂ G est un sous-groupe algébrique connexe dans le chapitreIII.
La détermination de la fonction de multiplicité est en rapport avec la conjecture de Guillemin-Sternberg connue sous la forme du slogan « La quantification commute avec la réduction » ou du sigle [Q, R] = 0, dont nous rappelons brièvement le principe :
Soit K un groupe de Lie compact connexe d’algèbre de Lie k agissant de manière hamiltonienne sur une variété symplectique M , de forme symplectique ω, avec application moment Φ : M → k∗
et un fibré en droites complexes L (appelé fibré de Kostant-Souriau) K-équivariant de base M et de forme courbure −iω. On associe à ces données une représentation virtuelle de K notée
QL
K(M ) et appelée la quantification (géométrique) du fibré L qui est l’indice d’un opérateur
différentiel elliptique K-équivariant. Lorsque K est trivial ou agit trivialement sur M , cette représentation virtuelle s’interprète comme un entier relatif. On peut donc écrire
QLK(M ) = M
τ ∈Kb
nττ,
où K désigne le dual unitaire de K et nc τ ∈ Z est la multiplicité de τ dans QLK(M ) qui sont,
dans ce cas, tous nuls sauf un nombre fini. Le procédé de réduction (symplectique) intervient pour donner une formule explicite des multiplicités nτ.
Les élément de K sont paramétrés par les K-orbites de certaines formes régulières sur k ditesc
admissibles. Soit donc λ ∈ k∗ une forme régulière et admissible, O
λ sa K-orbite coadjointe et
Introduction
dans Φ−1(O
λ). Il est clair que Mλ = K(λ) \ Φ−1(λ), où K(λ) est le stabilisateur de λ dans
K. L’espace Mλ est appelé la variété réduite de M en λ ou Oλ est (dans les bons cas) une
variété symplectique. Dans ce cas, la forme symplectique ω et le fibré L de base M induisent respectivement une forme symplectique ωλ et un fibré de Kostant-Souriau Lλ de base Mλ et
de forme courbure −iωλ. La donnée de (Mλ, Lλ) est la réduction symplectique de la donnée
(M, L ). Comme le seul groupe naturel à agir sur celle-ci de manière équivariante est le groupe trivial, sa quantification QLλ
(Mλ) est un entier relatif. La conjecture de Guillemin-Sternberg
dit que le calcul de la multiplicité nτλest exactement le résultat de la quantification de la variété réduite Mλ = K \ Φ−1(Oλ).
Cette conjecture a influencé les recherches de relations précises entre représentations d’un groupe K opérant d’une manière hamiltonienne sur une variété symplectique (non nécessai-rement compacte) M et la géométrie de l’application moment. Dans ce cadre, de nombreux résultats ont été obtenus. En effet, la formule de localisation de Witten [20] et les démonstra-tions de Jeffrey-Kirwan de cette formule [8] ont incité une nouvelle recherche plus insistante dans ce domaine. Ainsi vers 1994, Duistermaat-Guillemin-Meinrenken-Wu [6], Guillemin [7], Jeffrey-Kirwan [8], Meinrenken [10] et Vergne [19] ont simultanément donné des démonstra-tions de la conjecture de Guillemin-Sternberg dans le cas où G = S1. Puis Meinrenken et
Meinrenken-Sjamaar l’ont démontrée lorsque G est un groupe compact connexe quelconque [11], [12], et enfin Tian-Zhang [15–18], Zhang [21, 22] puis Paradan [13, 14] dans le cas des va-riétés à bord, vava-riétés non compactes, application moment abstraite, familles, indices de fibrés positifs.
Par ailleurs, Duflo-Vargas [5] ont traité les questions (i) et (ii) lorsque G et H sont réduc-tifs.
Dans cette thèse, d’une part comme expliqué plus haut, nous apportons une réponse com-plète aux questions (i) et (ii) et d’autre part nous montrons que le principe « la quantification commute avec la réduction » s’applique dans deux situations où le groupe G n’est pas compact. Maintenant nous allons expliquer plus précisément les résultats obtenus. Soit donc G un groupe de Lie connexe de type I (par exemple algébrique), π ∈ G une représentation de carré inté-b
grable (ou série discrète) modulo le centre et H un sous-groupe fermé connexe. On dit que π est
H-admissible si sa restriction à H se décompose en somme directe d’éléments deH intervenantc
π|H sont des séries discrètes de H. D’après les travaux de Duflo [2–4], on sait que les séries
discrètes sont associées aux orbites coadjointes fortement régulières, admissibles dont le groupe d’isotropie est compact modulo le centre de G. Soit Oπ l’orbite coadjointe fortement régulière
associée à π par Duflo, elle est munie d’une structure symplectique canonique β pour laquelle l’action de G (et donc celle de H) est hamiltonienne. L’application moment de cette dernière est la restriction à Oπ de la projection naturelle pg,h : g∗ → h∗, où g∗ (resp. h∗) désigne
l’es-pace vectoriel dual de g = Lie(G) (resp.h = Lie(H)). De plus, la construction de π nécessite de se donner un fibré hermitien de base Oπ de forme courbure −iβ de sorte que l’on dispose
des mêmes données que celles qui interviennent dans le cas compact pour la quantification : il est alors tentant de considérer que la quantification de cette situation est la restriction de π à
H. Compte tenu des travaux cités au paragraphe précédent, Duflo pose la conjecture suivante :
1. La représentation π est H-admissible si et seulement si l’application moment est propre sur l’image.
2. Si π est H-admissible, et si τ est une série discrète de H alors sa multiplicité dans la res-triction de π à H doit pouvoir se calculer en « quantifiant »l’espace réduit correspondant (qui est compact dans ce cas).
Nous explicitons maintenant nos résultats pour chacun des types de groupes étudiés :
1- Le groupe G est résoluble exponentiel : dans cette situation on a montré que les cas de
H-admissibilité sont rares. En effet, on montre qu’une série discrète π est H-admissibile si et
seulement si G = HZ. On obtient donc le théorème suivant (théorème 2.0.6, voir [9]) :
Théorème 0.0.1. Soient G un groupe de Lie résoluble exponentiel d’algèbre de Lie g et π une
représentation irréductible et unitaire de carré intégrable (modulo le centre) de G associée à une G-orbite Ω. Soient H un sous-groupe fermé connexe de G d’algèbre de Lie h et pg,h : g∗ → h∗
l’application restriction. Les assertions suivantes sont équivalentes : (i) G = HZ.
(ii) La représentation π est H-admissible.
(iii) La restriction de pg,h à Ω est propre sur l’image.
(iv) π|H est irréductible.
On vérifie facilement que dans ce cas le principe « la quantification commute avec la réduc-tion » est valable.
2- Le groupe G est le produit semi-direct du groupe de Heisenberg uG d’algèbre de Lie ug par
Introduction
G, R un de ses facteurs réductifs et uH son radical unipotent. On se donne une série discrète
(modulo le centre) π de G dont on note Ω ⊂ g∗ l’orbite fortement régulière associée laquelle
dé-termine une forme symplectique B sur ug/z. Dans le chapitreIII, on montre que l’admissibilité
de la représentation π est équivalente à une condition de positivité de l’ensemble des poids de
uH dans un lagrangien positif de g/h. Plus précisément, si on note P(Ω) la condition définie
par
Définition. On dit que le sous-groupe H ⊂ G vérifie la condition P(Ω) si les deux conditions suivantes sont satisfaites :
(i) Le radical unipotent uH de H est un sous-groupe de Heisenberg de uG.
(ii) L’ensemble des points fixes de R dans ug/uh est réduit à {0} et il existe un lagrangien
R-invariant positif de ((uh/z)B)C
pour lequel l’ensemble des poids infinitésimaux de R soit contenu dans un demi-espace ouvert de r∗.
Alors on établit le théorème suivant (théorème1.2.1)
Théorème 0.0.2. 1. Soit Ω ⊂ g∗ une orbite fortement régulière. Alors les deux assertions sui-vantes sont équivalentes :
(i) L’application pg,h : Ω → h∗ est propre sur l’image.
(ii) Le sous-groupe H vérifie la propriété P(Ω).
2. Soit π une série discrète de G associée à une orbite fortement régulière Ω ⊂ g∗. Alors les deux assertions suivantes sont équivalentes :
(i) La représentation π est H-admissible
(ii) Le sous-groupe H vérifie la propriété P(Ω).
Ce théorème prouve également que s’il existe une orbite fortement régulière Ω ⊂ g∗ telle
que la restriction de l’application pg,h à Ω soit propre sur l’image, alors il en est de même pour
toute G-orbite fortement régulière, et que la H-admissiblité d’une série discrète de G entraîne la H-admissibilité de toute série discrète.
Enfin, dans le cas où π est H-admissible, on montre que les séries discrètes de H qui interviennet dans la restriction de π à H sont associées à des H-orbites fortement régulières contenues dans
p(Ω). De plus, si σ ∈H intervient dans πc |H avec une multiplicité mπ(σ), alors nous calculons
cette multiplicité à l’aide du volume de la variété déduite correspondante (théorème 1.2.2). Autrement dit, le principe « La quantification commute à la réduction » reste valable dans ce cas.
Bibliographie
[1] J. Dixmier – C∗-algebras, North-Holland Publishing Co., Amsterdam, 1977, Translated
from the French by Francis Jellett, North-Holland Mathematical Library, Vol. 15. 1 [2] M. Duflo – « Construction de représentations unitaires d’un groupe de Lie », Harmonic
analysis and group representations, Liguori, Naples, 1982, p. 129–221. 4
[3] — , « Théorie de Mackey pour les groupes de Lie algébriques », Acta Math. 149 (1982), no. 3-4, p. 153–213. 4
[4] — , « On the Plancherel formula for almost algebraic real Lie groups », Lie group represen-tations, III (College Park, Md., 1982/1983), Lecture Notes in Math., vol. 1077, Springer, Berlin, 1984, p. 101–165. 4
[5] M. Duflo et J. A. Vargas – « Branching laws for square integrable representations »,
Proc. Japan Acad. Ser. A Math. Sci. 86 (2010), no. 3, p. 49–54. 3
[6] H. Duistermaat, V. Guillemin, E. Meinrenken et S. Wu – « Symplectic reduction and Riemann-Roch for circle actions », Math. Res. Lett. 2 (1995), no. 3, p. 259–266. 3 [7] V. Guillemin – « Reduced phase spaces and Riemann-Roch », Lie theory and geometry,
Progr. Math., vol. 123, Birkhäuser Boston, Boston, MA, 1994, p. 305–334. 3
[8] L. C. Jeffrey et F. C. Kirwan – « Localization for nonabelian group actions », Topology 34 (1995), no. 2, p. 291–327. 3
[9] S. Kouki – « La conjecture de Duflo pour les groupes résolubles exponentiels », C. R.
Math. Acad. Sci. Paris 348 (2010), no. 13-14, p. 735–738. 4
[10] E. Meinrenken – « On Riemann-Roch formulas for multiplicities », J. Amer. Math. Soc. 9 (1996), no. 2, p. 373–389. 3
[11] — , « Symplectic surgery and the Spinc-Dirac operator », Adv. Math. 134 (1998), no. 2, p. 240–277. 3
[12] E. Meinrenken et R. Sjamaar – « Singular reduction and quantization », Topology 38 (1999), no. 4, p. 699–762. 3
[13] P.-E. Paradan – « Localization of the Riemann-Roch character », J. Funct. Anal. 187 (2001), no. 2, p. 442–509. 3
[14] P.-É. Paradan – « Spinc-quantization and the K-multiplicities of the discrete series »,
Ann. Sci. École Norm. Sup. (4) 36 (2003), no. 5, p. 805–845. 3
[15] Y. Tian et W. Zhang – « Quantization formula for symplectic manifolds with boun-dary », Geom. Funct. Anal. 9 (1999), no. 3, p. 596–640. 3
[16] Y. Tian et W. Zhang – « An analytic proof of the geometric quantization conjecture of Guillemin-Sternberg », Invent. Math. 132 (1998), no. 2, p. 229–259. 3
[17] — , « Holomorphic Morse inequalities in singular reduction », Math. Res. Lett. 5 (1998), no. 3, p. 345–352. 3
[18] — , « Symplectic reduction and a weighted multiplicity formula for twisted Spinc-Dirac
operators », Asian J. Math. 2 (1998), no. 3, p. 591–607. 3
[19] M. Vergne – « Multiplicities formula for geometric quantization. I, II », Duke Math. J. 82 (1996), no. 1, p. 143–179, 181–194. 3
[20] E. Witten – « Two-dimensional gauge theories revisited », J. Geom. Phys. 9 (1992), no. 4, p. 303–368. 3
[21] W. Zhang – « Holomorphic quantization formula in singular reduction », Commun.
Contemp. Math. 1 (1999), no. 3, p. 281–293. 3
[22] — , « Symplectic reduction and family quantization », Internat. Math. Res. Notices (1999), no. 19, p. 1043–1056. 3
Chapitre I
Les représentations des groupes de Lie résolubles
1 Définitions
Soient G un groupe de Lie d’algèbre de Lie g et H un espace de Hilbert. Une représentation
π de G dans H est un homomorphisme de groupes de G dans GL(H ) continu dans le sens
suivant : pour tout v ∈ H , l’application g 7→ π(g)v est continue.
Un sous-espace V ⊂ H est dit invariant si, pour tout g ∈ G, π(g)V ⊂ V (ou, d’une manière équivalente, π(g)V = V ). On dit qu’une représentation est réductible s’il existe un sous-espace propre fermé et invariant. Dans le cas contraire, on dit que la représentation est irréductible. Soient (π1, H1) et (π2, H2) deux représentations de G. On dit que π1 et π2 sont équivalentes
s’il existe un isomorphisme A : H1 → H2 qui les entrelace, i.e. pour tout g ∈ G, on a : A ◦ π1(g) = π2(g) ◦ A.
Une représentation (π, H ) est dite unitaire si pour tout g ∈ G, l’opérateur π(g) est unitaire, i.e. pour tout v ∈ H , k π(g)v k=k v k .
Soient π une représentation de G dans un espace vectoriel de dimension finie V et V∗ le dual de V . On appelle représentation contragrédiente de π, la représentation π∗ de G dans V∗ définie
par : pour tout g ∈ G, f ∈ V∗ et X ∈ V
(π∗(g)f )(X) = f (π−1(g)X).
La représentation adjointe de G dans g, notée Ad, est définie pour tout x ∈ G et Y ∈ g par Adx(Y ) = xY x−1. Sa représentation contragrédiente, appelée souvent représention coadjointe
et notée Ad∗, dans g∗ est définie pour tout x ∈ G, g ∈ g∗ et Y ∈ g par :
(Ad∗(x)g)(Y ) = g(Ad(x−1)(Y )) = g(x−1Y x).
On note G l’ensemble des classes de représentations irréductibles et unitaires de G appelé leb
dual unitaire de G.
2 La méthode des orbites
Un des problèmes essentiels de l’analyse harmonique est la détermination des classes d’équi-valence de représentations unitaires irréductibles des groupes algébriques. On désire, si possible, donner pour chaque classe de telles représentations une réalisation concrète de l’une d’entre elles, en terme d’un objet géométrique lié au groupe. Une réponse complète à cette question a été apportée dans le cadre des groupes nilpotents, par A. A. Kirillov qui a établi une bijection naturelle entre l’espace G \ g∗ des orbites de la représentation coadjointe du groupe G et son
dual unitaireG. Ce procédé s’appelle la méthode des orbites. Nous rappelons dans la suite lesb
principaux détails.
2.1 Mesures sur les quotients
Soient G un groupe de Lie et H un de ses sous-groupe fermés. Si µ désigne une mesure de Haar à gauche sur G, i.e. une mesure de Radon invariante à gauche (une telle mesure existe pour tout groupe localement compact [11] et elle est unique à un scalaire multiplicatif près et strictement positif), on note ∆ (ou ∆G si l’on tient à préciser) la fonction module de sorte que
l’on a les propriétés suivantes :
Soit ϕ une fonction continue et à support compact sur G, on a (i) Z Gf (gxg −1)dµ(x) = ∆(g)Z Gf (x)dµ(x). (ii) Z Gf (x −1)dµ(x) =Z Gf (x)∆(x
−1)dµ(x). La mesure ∆(x−1)dµ(x) est une mesure de Haar
à droite sur G.
Pour tout x ∈ H, on note χ(x) = ∆H,G(x) = ∆H(x)/∆G(x). On considère l’espace des fonctions
F sur G à valeur dans un espace vectoriel qui vérifient la relation
I.2 La méthode des orbites
Soit Cχ(G) l’espace des fonctions numériques continues sur G vérifiant la relation (I.1) et qui
sont à support compact modulo H. Soit Cc(G) l’espace des fonctions numériques continues à
support compact sur G, l’application f 7→ fχ de C
c(G) dans Cχ(G) définie par
fχ(x) =
Z
Hf (xh)χ(h)
−1dµ
H(h) (I.2)
est surjective. De plus, si f ∈ Cc(G) est telle que fχ = 0, alors µG(f ) = 0 de sorte que µG
induit par passage au quotient une forme linéaire positive sur Cχ(G) que nous noterons µ G,H.
Par définition, on a la formule
Z Gf dµG = Z G/HdµG,H(x) Z Hf (xh)χ(h) −1dµ H(h),
pour tout f ∈ Cc(G). Plus généralement, soit K un sous-groupe fermé de H muni d’une mesure
de Haar µK et posons η = ∆K,G. Pour tout f ∈ Cη(G) on a la propriété de transitivité suivante
Z G/Kf dµG,K = Z G/HdµG,H(x) Z H/Kf (xh)χ(h) −1dµ H,K(h).
2.2 Représentations induites et méthode de Kirillov
Soient ρ une représentation de H dans un espace de Hilbert H0 et H l’espace de Hilbert
complété de l’espace des fonctions µG-mesurables ϕ : G → H0 vérifiant :
(i) ϕ(xh) = ∆H,G(h) 1 2ρ(h)−1ϕ(x). (ii) Z G/H|f (x)| 2dµ G,H(x) < +∞.
On définit la représentation induite π = IndG
H(ρ) de G dans H en posant pour tout f ∈ H
(π(x)f )(y) = f (x−1y), (x, y ∈ G).
Cette réalisation des représentations induites est celle de Blattner [4], et est équivalente à celle de Mackey [10].
Soit G un groupe connexe simplement connexe d’algèbre de Lie g. Chaque forme linéaire g ∈ g∗
définit une forme bilinéaire alternée Bg sur g donnée par Bg([X, Y ]) = g([X, Y ]). On note g(g)
son noyau qui n’est autre que l’algèbre de Lie du stabilisateur de g dans G pour l’action coad-jointe.
Une sous-algèbre de Lie h est dite subordonée à g si g|[h,h] = 0 (ou d’une manière
équiva-lente, si le sous-espace vectoriel sous-jacent à h est totalement isotrope pour Bg). On note
S(g, g) l’ensemble des sous-algèbres subordonnées à g et M (g, g) le sous-ensemble de S(g, g)
formé des éléments h de dimension maximale, i.e.
dim h = 1
2(dimg + dim g(g)).
Soient h ∈ S(g, g) et H le sous-groupe analytique de G d’algèbre de Lie h. L’application exp X 7→ eig(X) (X ∈ h) est un caractère de H noté χ
g. Ce caractère induit une représentation
de G notée πg,h = IndGH(χg). D’après A.A. Kirillov [8] on a
Proposition 2.2.1. Soit G un groupe de Lie nilpotent connexe simplement connexe. Avec les
notations précédentes on a
(i) La représentation πg,h est irréductible si et seulement si h ∈ M(g, g). De plus, toute
représentation irréductible de G est obtenue par ce procédé.
(ii) Si h1, h2 ∈ M (g, g) alors les représentations πg,h1 et πg,h2 sont équivalentes. Ce qui nous
permet de noter πg au lieu de πg,h.
(iii) Soient g1, g2 ∈ g∗. Les représentations πg1 et πg2 sont équivalentes si et seulement si g1 et
g2 sont sitiuées dans la même G-orbite.
Ainsi, les représentations irréductibles et unitaires de G sont paramétrées par l’ensemble des orbites cadjointes de G.
Pour étendre le procédé de Kirillov, il est important d’introduire la notion de polarisation qui généralise la notion de sous-algèbre subordonnée de dimension maximale.
2.3 Polarisation en un point du dual d’une algèbre de Lie réelle
Soient g une algèbre de Lie réelle de dimension finie, g∗ son dual et g un élément de g∗.
Notons gC
l’algèbre de Lie complexifiée de g, et prolongeons g en une forme linéaire sur gC
. Notons encore Bg la forme bilinéaire alternée sur gC définie par Bg(X, Y ) = g([X, Y ]). Son
noyau est égal à g(g)C
.
Définition. On dit qu’une sous-algèbre de Lie h de gC
est une polarisation en g si elle vérifie les deux conditions suivantes :
I.2 La méthode des orbites
(ii) L’ensemble h + ¯h est une sous-algèbre de gC
.
Soit Hg la forme hermitienne sur gC définie par Hg(X, Y ) = 2iB(X, ¯Y ) = 2ig([X, ¯Y ]).
Définition. Soit h une polarisation au point g. 1. On dit que h est réelle si h = ¯h.
2. On dit que h est positive si la restriction de Hg à h est positive, i.e. ig([X, ¯X]) ≥ 0,
quelque soit X ∈ h.
Il est clair que si h est une polarisation réelle, alors la restriction de Hg à h est identiquement
nulle et h est positive. De plus, h est une sous-algèbre de g subordonnée à g et de dimension maximale.
Si g est une algèbre de Lie nilpotente, alors M (g, g) est non vide et il existe pour tout g ∈ g∗
une polarisation réelle (positive) [8]. Si g est exponentielle, Bernat montre que M (g, g) est non vide [2]. Par contre, si g est résoluble non exponentielle, il peut arriver que M (g, g) soit vide comme le montre l’exemple suivant
Exemple. Soit g4 l’algèbre diamant résoluble de dimension 4 engendrée par {H, P, Q, E} dont
les relations de commutation sont données par : [H, P ] = Q
[H, Q] = −P [P, Q] = E
les autres crochets sont nuls ou obtenus par antisymétrisation. Les valeurs propre de ad H sont ±i, alors g4 est non exponentielle (voir théorème (3.1.1)). Soit g la forme linéaire sur g4 définie
par g = E∗, alors g
4(g) = RH ⊕RE. Si M (g, g) était non vide, alors ses éléments contiendraient
g4(g) et auraient la dimension 12(dim g4+ dim g4(g)) = 3. Or il n’existe aucune sous-algèbre
de g4 de dimension 3 contenant H et E. Ainsi, M (g, g) = ∅.
Remarquons par contre que la sous-algèbre h = CH ⊕CE ⊕C(P +iQ) de gC
4 est une polarisation
positive au point g.
Dans le cas général, soient g une algèbre de Lie résoluble quelconque, G un groupe de Lie connexe d’algèbre de Lie g, g ∈ g∗ et h une polarisation au point g stable sous l’action de G(g).
Soient e et d les sous-algèbres réelles de g définies par eC
= h + ¯h (ou encore e = (h + ¯h) ∩ g) et dC
= h ∩ ¯h (ou encore d = h ∩ g). Notons D0 le sous-groupe analytique d’algèbre de Lie d et D
le sous-groupe D0G(g). Si h est une polarisation au point g stable sous l’action de G(g), alors
e dans g∗ pour la forme bilinéaire canonique sur g∗× g. Auslander et Kostant montrent que,
pour tout g ∈ g∗, il existe une polarisation positive au point g, stable sous l’action de G(g)
et vérifiant la condition de Pukanszky [1]. Remarquons que si h est une polarisation réelle au point g, alors la condition de Pukanszky s’écrit H.h = g + h⊥.
3 Représentations des groupes résolubles exponentiels
Dans ce paragraphe, on désigne par g une algèbre de Lie résoluble de dimension finie sur un corps k de caractéristique nulle.
3.1 Les groupes résolubles exponentiels
Supposons k algébriquement clos. L’algèbre de Lie g étant résoluble, alors toute représenta-tion irréductible de dimension finie de g est de dimension 1. soit V un g-module de dimension finie. A chaque quotient irréductible, donc de dimension 1, Vi+1/Vi d’une suite de Jordan-Hölder
{0} = V0 ⊂ V1 ⊂ · · · ⊂ Vn= V du g-module V correspond une forme linéaire sur g. Ces formes
linéaires indépendantes à l’ordre près de la suite de Jordan-Hölder sont appelées les poids de g dans V .
Si k n’est pas algébriquement clos, on considère ¯k sa clôture algébrique. Notons ¯g = g ⊗kk et¯
¯
V = V ⊗kk. On prolonge canoniquement la représentation de g dans V en une représentation¯
de ¯g dans ¯V . On appelle poids de g dans V les restrictions à g des poids de ¯g dans ¯V . Les racines de g sont les poids de la représentation adjointe.
Si g est une algèbre de Lie réelle, on note G le groupe connexe simplement connexe d’algèbre de Lie g et exp : g → G l’application exponentielle. On a [3, ChI, th2.1]
Théorème 3.1.1. Les conditions suivantes sont équivalentes
(i) Pour tout X ∈ g, ad X n’as pas de valeur propre non nulle imaginaire pure. (ii) exp est injective.
(iii) exp est surjective. (iv) exp est bijective.
(v) exp est un difféomorphisme.
(vi) Les racines de g sont de la forme ϕ′ + iϕ′′ avec ϕ′ et ϕ′′ réelles et ϕ′′ est proportionnelle à ϕ′. [5, th3]
I.3 Représentations des groupes résolubles exponentiels
Définition. Une algèbre de Lie réelle g et le groupe G connexe et simplement connexe cor-respondant sont dits résolubles exponentiels s’ils vérifient l’une des conditions du théorème (3.1.1).
Les sous-algèbres et les algèbres quotient d’une algèbre résoluble exponentielle sont aussi réso-lubles exponentielles.
3.2 Représentations irréductibles des groupes exponentiels
Soit G un groupe résoluble exponentiel d’algèbre de Lie g. Soit g ∈ g∗, rappelons que
l’ensemble S(g, g) est formé des algèbres de g subordonnées à g et que M (g, g) est le sous-ensemble de S(g, g) formés des éléments de dimension maximale.
Soit h ∈ S(g, g). La forme linéaire g définit un caractère χg,h de H de différentielle ig|h. On note πg,h la représentation de G induite par le caractère χg,h :
πg,h = IndGHχg,h.
Notons I(g, g) le sous-ensemble des h ∈ S(g, g) telles que la représentation πg,h soit irréductible.
Proposition 3.2.1. Avec les notations précédentes, on a
(i) I(g, g) ⊂ M(g, g).
(ii) Si h1, h2 ∈ I(g, g) alors πg,h1 et πg,h2 sont équivalentes.
Dans la suite nous allons donner une condition nécessaire et suffisante pour qu’une sous-algèbre h de M (g, g) soit un élément de I(g, g).
Proposition 3.2.2. Soient g ∈ g∗ et h ∈ S(g, g), alors les assertions suivantes sont équivalentes (i) h vérifie la condition de Pukanszky.
(ii) h ∈ I(g, g).
On considère l’appication θ : ω 7→ θ(ω) de l’espace des orbites coadjointes G \ g∗ dans le
dual unitaire G, définie comme suit : Si g ∈ ω, et h ∈ I(g, g), θ(ω) est la classe de πb g,h. Avec
ces notations on a :
4 Construction des représentations irréductibles et unitaires
des groupes de Lie résolubles
Dans cette section, nous exposons brièvement la construction due à Duflo [7] des représen-tations Tg,τ d’un groupe de Lie vérifiant les propriétés ci-dessous :
(i) Le commutant de Tg,τ est isomorphe à celui de τ . En particulier, Tg,τ est irréductible, si
et seulement si, il en est de même de τ . (ii) Si a est un automorphisme de G, on a aT
g,τ = Tag,aτ (où aτ = τ ◦ a−1).
(iii) Si g′ est admissible et bien polarisable, τ′ ∈ X(g′) et g′ 6∈ G · g, alors les représentations Tg,τ et Tg′,τ′ sont disjointes. (i.e. elles n’ont pas de sous-représentation équivalente.)
(iv) Soient τ et τ′ dans X(g). L’espace des opérateurs d’entrelacement entre T
g,τ et Tg,τ′ est
isomorphe à celui entre τ et τ′.
(v) Supposons τ factorielle. Soit γ un élément du centre de G. Soit (γ, 1) l’élément corres-pondant du centre de G(g)g. Alors T
g,τ(γ) et τ (γ, 1) sont la multiplication par un même
scalaire.
4.1 Les représentations T
g,τSoit V un espace vectoriel muni d’une forme bilinéaire alternée B, et soit H un groupe opé-rant dans V par des automorphismes linéaires conservant B. Si on note V⊥ l’orthogonal de V
relativement à B, alors V /V⊥est canoniquement un espace symplectique (i.e. muni d’une forme
bilinéaire alternée non dégénérée) dans lequel H opère. On note M p(V /V⊥) le groupe
métaplec-tique associé à V /V⊥[7,9]. Nous noterons HV l’ensemble des couples (h, m) ∈ H ×M p(V /V⊥),
tels que h et m aient même image dans Sp(V /V⊥). Compte tenu de la description de M p(V /V⊥),
on peut décrire HV comme l’ensemble des couples (h, ψ), où h ∈ H et ψ est une fonction sur
l’en-semble des sous-espaces lagrangiens de V , tels que si l’on pose x = hV /V⊥ et ψ(L/V⊥) = ψ(L)
pour tout sous-espace lagrangien L de V , les relations définissant le groupe métaplectique sont vérifiées pour (x, ψ).
Soit G un groupe de Lie d’algèbre de Lie g. Le groupe G agit dans son algèbre de Lie g par la représentation adjointe, et dans le dual g∗ de g par la représentation coadjointe. Pour g ∈ g∗, on
note G(g) le stabilisateur de g dans G et g(g) son algèbre de Lie, qui est le noyau de la forme bilinéaire alternée Bg associée à g et définie par Bg(X, Y ) = g([X, Y ]) pour tout X, Y ∈ g.
I.4 Construction des représentations irréductibles et unitaires des groupes de Lie résolubles
agit dans g par des automorphismes linéaires conservant Bg, on peut considérer G(g)g le
revê-tement à deux feuillets de G(g) introduit par M. Duflo dans [6]. On note donc (1, −1) l’élément non trivial du noyau de la projection de G(g)g sur G(g). Notons X(g) l’ensemble des classes de
représentations unitaires τ de G(g)g telles que :
(i) la différentielle de τ est la restriction de ig à g(g), (ii) τ (1, −1) = −Id.
Une forme linéaire g est dite admissible si X(g) est non vide.
On dit qu’une polarisation en g est bonne si elle est résoluble et si elle vérifie la condition de Pukanszky. Une forme linéaire sur g est dite bien polarisable si elle admet une bonne polari-sation. Remarquons que si g est résoluble, alors toutes les formes linéaires dans g∗ sont bien
polarisables.
4.2 La représentation S
uSoit U un groupe nilpotent connexe d’algèbre de Lie u et u un élément de u∗. En choisissant une polarisation réelle b (i.e. ¯b= b) en u, on associe à u une représentation unitaire irréductible [8] qu’on note Tu,b. De plus, la classe de cette représentation ne dépend pas de b. On la note
donc Tu et Hb l’espace de Hilbert dans lequel elle agit. Soit b′ une autre polarisation réelle
en u, Tu,b est équivalente à Tu,b′, et il existe un opérateur d’entrelacement unitaire canonique
Hb −→ Hb′, noté Fb′,b.
Soit A un groupe d’automorphismes de U stabilisant u de sorte qu’on peut définir le revê-tement Au de A. Soient b une polarisation réelle en u et x ∈ A, on définit un opérateur A
b(x)
de Hb dans Hxb en posant, pour α ∈ Hb et y ∈ U ,
Ab(x)α (y) = αx−1(y). On pose Sb′(x) = kAb(x)k−1Fb,xbAb(x).
C’est un opérateur unitaire dans Hb, et l’on a :
Sb′(x)Tu,b(y)Sb′(x)−1 = Tu,b(x(y)), ∀ y ∈ U.
Soit (x, ψ) ∈ Au. On pose
Sb est une représentation unitaire de Au dans Hb qui ne dépend pas de b dans le sens suivant :
Si F entrelace Tu,b et Tu,b′, alors F entrelace Sb et Sb′. Nous noterons Su la représentation de
Au dans l’espace de T
u ainsi définie. Cette représentation vérifie
Su(x, ψ)Tu(y)Su(x, ψ)−1 = Tu(x(y)),
pour tout y ∈ U et (x, ψ) ∈ Au.
4.3 Extensions des représentations des groupes de Lie nilpotents
Soient G un groupe de Lie d’algèbre de Lie g, u un idéal nilpotent G-invariant, U le sous-groupe analytique de G associé et u un élément admissible de u∗. On note h = g(u), H = G(u)u,
q= u(u) ∩ ker u, Q le sous-groupe analytique d’algèbre de Lie q. L’application x 7−→ (x, 1) est un isomorphisme du groupe (connexe) U (u) sur son image dans G(u)u, et Q est la composante
neutre du noyau du caractère χu de U (u) de différentielle iu|u(u). Le groupe Q est donc fermé
et invariant dans H. On pose g1 = h/q, G1 = H/Q. Soit Γ un sous-groupe du centre de G et η
un caractère unitaire de Γ. L’application γ 7−→ (γ, 1) identifie Γ à un sous-groupe de G(g)g. On
notera X(g, η) (ou XG,Γ(g, η)) le sous-ensemble de X(g) formé des éléments dont la restriction
à Γ est un multiple de η. Si X(g, η) est non vide, on dira que g est η-admissible.
Soit maintenant η un caractère de Γ qui a même restriction à Γ ∩ U (u) que χu. On note
Γ′ l’image réciproque de Γ dans H et on pose Γ
1 = Γ′U (u)/Q, c’est un sous-groupe du centre
de G1. On note η1 le caractère de Γ1 qui provient par passage au quotient du caractère η′ de
Γ′U (u)/Q qui prolonge χ
u et tel que η′(γ, ±1) = ±η(γ), pour γ ∈ Γ.
Soit T1 une représentation de G1 dont la restriction à Γ1 est un multiple de η1. On définit
une représentation, notée T1⊗ SuTu du groupe G(u)U de la manière suivante :
Soient x ∈ G(u) et y ∈ U . Soit (x, ψ) ∈ H relevant x. On note encore (x, ψ) son image dans
G1. On pose :
(T1⊗ SuTu)(xy) = T1(x, ψ) ⊗ Su(x, ψ)Tu(y).
Cette définition ne dépend pas du choix de x, y et (x, ψ). Le lemme suivant est dû à Duflo [7, Ch5, lemme 3]
Lemme 4.3.1. (i) Le stabilisateur de Tu dans G est le groupe G(u)U. Il est fermé.
I.4 Construction des représentations irréductibles et unitaires des groupes de Lie résolubles
On pose
T = IndGG(u)U(T1⊗ SuTu).
La restriction de T à Γ est un multiple de η. La restriction de T à U est portée par l’orbite de Tu (sous l’action de G) dans le dual unitaire ˆU de U.
L’application T1 7→ T est une bijection des ensembles de représentations de G1 et G décrits ci-dessus. Cette bijection induit un isomorphisme des espaces d’opérateurs d’entrelacement et des commutants.
4.4 Construction des représentations T
g,τSoit G un groupe de Lie d’algèbre de Lie g, g ∈ g∗, Γ un sous-groupe du centre de G, η
un caractère unitaire de Γ. L’application γ 7→ (γ, 1) identifie Γ à un sous-groupe de G(g)g.
Soient g ∈ g∗ une forme linéaire η-admissible et τ un élément de X(g, η). La construction des
représentations Tg,τ se fait par récurrence sur la dimension de g.
Supposons que dim g = 0. Alors g = 0, G(g) = G, et l’on pose Tg,τ(x) = τ (x, 1) pour tout
x ∈ G.
On suppose que la construction est faite pour tous les groupes de Lie de dimension strictement inférieure, de telle sorte que les propriétés (i) à (v) ci-dessus sont vérifiées. On note u le plus grand idéal nilpotent de g et U le sous-groupe analytique de G associé, il est fermé et inva-riant. On pose u = g|u, il est admissible. On utilise les notations du paragraphe 4.3. On pose h = g|h, et on note g1 l’élément de g∗1déduit de h par passage au quotient, il est η1-admissible et il
existe une bijection canonique τ 7→ τ1 entre XG,Γ(g, η) et XG1,Γ1(g1, η1). On considère deux cas :
(a) On suppose que l’on a dim g = dim g1. Alors g(u) = g et u(u) ∩ ker u = {0}. Or, dans ce
cas, on a u(u) = u, ceci montre que u est injectif et u est de dimension au plus égale à 1. On a donc
g = g(u) = u⊥= {X ∈ g| [X, u] = 0},
ce qui montre que u est central dans g.
Soit r le radical de g (i.e. le plus grand idéal résoluble de g), on a u ⊂ r ⊂ g et [r, r] ⊂ u. Comme u centralise g, on a [r, [r, r]] ⊂ [r, u] = {0}, d’où r est un idéal nilpotent de g et donc r= u. Ainsi, g est réductive de centre u. La représentation Tg,τ est donc définie au chapitre III
(b) On suppose que l’on a : dim g1 < dim g. Alors l’hypothèse de récurrence nous permet
de construire la représentation TG1
g1,τ1 de G1. D’après la propriété (v), sa restriction à Γ1 est le
caractère η1. D’après le paragraphe (4.3), on peut poser : Tg,τG = IndGG(u)U(TG1
g1,τ1 ⊗ SuTu).
Bibliographie
[1] L. Auslander et B. Kostant – « Quantization and representations of solvable Lie groups », Bull. Amer. Math. Soc. 73 (1967), p. 692–695. 14
[2] P. Bernat – « Sur les représentations unitaires des groups de Lie résolubles », Ann. Sci.
École Norm. Sup. (3) 82 (1965), p. 37–99. 13
[3] P. Bernat, N. Conze, M. Duflo, M. Lévy-Nahas, M. Raïs, P. Renouard et M. Vergne – Représentations des groupes de Lie résolubles, Dunod, Paris, 1972, Mono-graphies de la Société Mathématique de France, No. 4. 14
[4] R. J. Blattner – « On induced representations », Amer. J. Math. 83 (1961), p. 79–98. 11
[5] J. Dixmier – « L’application exponentielle dans les groupes de Lie résolubles », Bull. Soc.
Math. France 85 (1957), p. 113–121. 14
[6] M. Duflo – « Sur les extensions des représentations irréductibles des groupes de Lie
nilpotents », Ann. Sci. École Norm. Sup. (4) 5 (1972), p. 71–120. 17
[7] — , « Construction de représentations unitaires d’un groupe de Lie », Harmonic analysis and group representations, Liguori, Naples, 1982, p. 129–221. 16, 18, 19
[8] A. A. Kirillov – « Unitary representations of nilpotent Lie groups », Uspehi Mat. Nauk 17 (1962), no. 4 (106), p. 57–110. 12, 13, 17
[9] G. Lion et M. Vergne – The Weil representation, Maslov index and theta series, Pro-gress in Mathematics, vol. 6, Birkhäuser Boston, Mass., 1980. 16
[10] G. W. Mackey – « Induced representations of locally compact groups. I », Ann. of Math.
(2) 55 (1952), p. 101–139. 11
[11] A. Weil – L’intégration dans les groupes topologiques et ses applications., Hermann, Paris, 1965, Monographies de la Société Mathématique de France, No. 4. 10
Chapitre II
Les groupes résolubles exponentiels
Introduction
Soient G un groupe de Lie résoluble exponentiel d’algèbre de Lie g et π une représentation unitaire irréductible de G et de carré intégrable (modulo le centre) associée à une G-orbite Ω par l’application de Kirillov-Bernat [2, 3]. Soit H un sous-groupe fermé connexe de G d’al-gèbre de Lie h et pg,h : g∗ → h∗ l’application de restriction. Dans le cas où la restriction de la
représentation π au sous-groupe H se décompose discrètement et avec multiplicités finies en représentations irréductibles, on dit que la série discrète en question est H-admissible. Nous allons démontrer la conjecture suivante due à Duflo :
Conjecture : La représentation π est H-admissible si et seulement si la restriction de
l’ap-plication p à Ω est propre sur l’image.
Dans le cas d’espèce, nous montrons que ces deux conditions sont équivalentes à g = h + z, où z est le centre de g.
1 Définitions - Préliminaires
1.1 Mesures quasi-invariantes
Soient G un groupe localement compact dénombrable à l’infinie, dG une mesure de Haar à
pour tout f ∈ Cc(G) : Z Gf (xy −1)d G(x) = ∆(y) Z Gf (x)dG(x). Z Gf (x −1)d G(x) = Z G∆ −1(x)f (x)d G(x).
Soit H un sous-groupe fermé de G, et notons s : G → H \ G la surjection canonique. Pour
f ∈ Cc(G) et x, y ∈ G on note fx l’application définie sur H \ G par fx(s(y)) = f (s(y)x−1)
avec s(y)x−1 = s(yx−1).
Pour une mesure de Radon ν sur H \ G et x ∈ G, on note νx la mesure transformée de ν
donnée par
f 7→ µ(fx−1).
Définition. Une mesure de Radon ν sur H \ G est dite quasi-invariante si elle est équivalente à νx pour tout x ∈ G (i.e. ν et νx ont les mêmes ensembles négligeables).
Notons qu’en général, il n’existe pas de mesure de Radon positive G-invariante sur H \ G bien qu’il existe des mesures quasi-invariante d’après [7]. Dans la suite, nous exposons une manière de construire une telle mesure relative aux mesures de Haar à droite de G et H [4, Chapitre7]. Soit ρ une fonction continue strictement positive sur G vérifiant : pour tout h ∈ H
ρ(hx) = ∆G(h)
∆H(h)
ρ(x), x ∈ G.
Une telle fonction s’appelle une ρ-f onction . On lui associe la mesure quasi-invariante µρdéfinie
par Z Gf (x)ρ(x)dr(x) = Z H\Gdµρ(s(x)) Z Hf (hx)dr(h), (II.1)
où dr(x) (resp. dr(h)) désigne la mesure de haar à droite sur G (resp. sur H).
Lemme 1.1.1. (Bruhat) Si G est un groupe de Lie, alors il existe des C∞-ρ-fonctions [12, Appendice 1].
Dans la suite, on suppose que G est un groupe de Lie et que ρ = ρH est une ρ-fonction C∞
sur G normalisée, i.e. ρH(e) = 1, ainsi, par définition, ρH(h) = ∆∆GH(h)(h) pour tout h ∈ H. On
II.1 Définitions - Préliminaires
1.2 Représentations de carré intégrables
Soient G un groupe localement compact, Z un sous-groupe fermé du centre de G et π une représentation de G dans un espace de Hilbert H . Les coefficients de π sont les fonctions
cϕ1,ϕ2 : x 7−→ (ϕ1 | π(x)ϕ2), ϕ1, ϕ2 ∈ H .
Définition. − On dit qu’une représentation unitaire irréductible π de G est de carré intégrable modulo Z, s’il existe ϕ1, ϕ2 ∈ H non nuls tels que, pour une mesure de Haar invariante à
gauche sur G/Z, le coefficient cϕ1,ϕ2 associé soit de carré intégrable modulo Z.
Soit χ un caractère de Z. On désigne par L2(G, χ) l’espace des fonctions mesurables ϕ sur G,
vérifiant :
(i) ϕ(xz) = χ(z)−1ϕ(x), pour tout x ∈ G et z ∈ Z
(ii) ϕ est de carré intégrable modulo Z.
On note λχ la représentation régulière gauche de G dans L2(G, χ) : Si ϕ est dans L2(G, χ) et
x, y sont dans G, alors
λχ(x)ϕ
(y) = ϕ(x−1y).
On note Gbχ l’espace des classes de représentations unitaires irréductibles de G dont la
restriction à Z est un multiple de χ. Soit π ∈ Gbχ, d’après Duflo-Raïs [8, lemme 5.3.2], la
représentation π intervient discrètement dans la représentation régulière gauche λχ (i.e. π est
isomorphe à une sous-représentation de λχ) si et seulement si elle possède un coefficient non
nul cϕ1,ϕ2 de carré intégrable modulo Z. On a donc la définition (équivalente) suivante :
Définition. − Soient Z un sous-groupe fermé du centre de G et χ un caractère de Z. La représentation π ∈Gbχ est de carré intégrable modulo Z si elle intervient discrètement dans la
représentation λχ.
Soit G un groupe localement compact séparable de centre ZG. Soit H un sous-groupe fermé
de G, et tel que le groupe ZGH soit fermé dans G. Soit χ un caractère unitaire de ZG. Notons
ZH le centre de H, ˜ZH = H ∩ ZG, ψ la restriction de χ à ˜ZH. On a :
Proposition 1.2.1. − La restriction de λχ à H est un multiple de λψ. La multiplicité est égale
au cardinal de G/ZGH si celui-ci est fini, et infinie sinon.
Démonstration. − On raisonne comme Vargas dans [11, proposition 3]. Le groupe G étant séparable et ZGH fermé, d’après Mackey [10, lemme 1.1], il existe une section borélienne X
encore dr(g) (resp. dr(h)) la mesure de Haar à droite sur G/ZG (resp. sur H/ZG∩ H) et ρ une
ρ-fonction dans C∞(G/Z) relative aux groupes G/Z et H/H ∩ Z vérifiant : ρH(ξg) =
∆H(ξ)
∆G(ξ)
ρH(g), ξ ∈ H/ZG∩ H, g ∈ G/ZG.
On note dg (resp. dh) la mesure de Haar à gauche de G/ZG (resp. de H/ZG∩ H). Soit µH
la mesure quasi-invariante [12, Appendice 1], sur ZGH \ G = X associée à ρ.
En utilisant la formule (II.1) pour les groupes G/Z et H/H ∩ Z, on a pour tous ϕ ∈ Cc(G/ZG) : Z G/ZG ϕ(g)dg = Z G/ZG ϕ(g)∆G(g)dr(g) = Z G/ZG (ϕ(g)ρ−1(g)∆G(g))ρ(g)dr(g) = Z ZGH\G dµH(g) Z H/ZG∩H ϕ(hg)ρ−1(hg)∆G(hg)drh = Z ZGH\G dµH(g) Z H/ZG∩H ϕ(hg)∆H(h) ∆G(h) ρ−1(g)∆G(h)∆G(g)drh = Z ZGH\G ∆G(g)ρ−1(g)dµH(g) Z H/ZG∩H ϕ(hg)∆H(h)drh = Z X ∆G(g)ρ −1(g)dµ H(g) Z H/ZG∩H ϕ(hg)dh.
On peut donc écrire G/ZG = X × H/ZG∩ H de sorte que dg = ∆G(x)ρ−1H (x)dµH(x)dh. D’où,
L2(G/Z
G) = L2(X ) ⊗ L2(H/ZG∩ H), et tout élément de ZGH agit trivialement dans L2(X )
de sorte que la restriction de λχ à ZGH est égale à dim(L2(X ))λψ.
On a la proposition suivante :
Proposition 1.2.2. − Supposons que π est une représentation de G de carré intégrable modulo
ZG. Soit σ une représentation unitaire irréductible de H isomorphe à une sous-représentation
de la restriction de π à H. Alors σ est de carré intégrable modulo ˜ZH.
Démonstration. − La représentation π étant de carré intégrable modulo ZG, π est isomorphe à
une sous-représentation de λχ pour un certain caractère χ de ZG. D’après la proposition 1.2.1,
(λχ)|H est un multiple de λψ; ainsi σ est isomorphe à une sous-représentation de λψ, donc de
carré intégrable modulo ˜ZH.
Corollaire 1.2.3. − Supposons qu’il existe π et σ comme dans la proposition1.2.2. Alors ZH/ ˜ZH
II.1 Définitions - Préliminaires
Dans la suite, G désigne un groupe résoluble exponentiel de centre ZG, et H un sous-groupe
fermé connexe de G. Soit χ un caractère unitaire de ZG et ψ la restriction de χ à ˜ZH. Nous
noterons iµ (µ ∈ z∗
g) le caractère infinitésimal de χ, iν (ν ∈ ˜z∗h) celui de ψ, et h∗ν l’espace affine
h∗ν := {h ∈ h∗, h|zg∩h = ν}.
Supposons qu’il existe π et σ comme dans la proposition 1.2.2. Le corollaire nous dit que
ZH = H ∩ ZG, et que λψ contient une sous-représentation irréductible. D’après Duflo-Raïs [8],
λψ est somme directe de représentations irréductibles associées à des orbites ouvertes dans h∗ν,
et donc π|H est somme directe de représentations irréductibles. On a donc le résultat suivant :
Proposition 1.2.4. − Supposons que la représentation π est de carré intégrable modulo ZG.
Alors la restriction de π à H contient une sous-représentation irréductible si et seulement si les conditions suivantes sont réalisées.
(i) ZH = H ∩ ZG.
(ii) H a au moins une orbite ouverte dans h∗
ν.
Dans ce cas, la restriction de π à H est somme directe de représentations irréductibles de carré intégrable modulo ZH.
Soient Ω ⊂ g∗ l’orbite associée à π, ω ⊂ h∗ une orbite coadjointe, et σ la représentation
unitaire irréductible de H associée à ω. Soit βΩ une mesure positive finie sur Ω équivalente à
la mesure de Liouville. Notons p : g∗ → h∗ l’application de restriction. D’après Fujiwara [9,
théorème 1], σ est isomorphe à une sous-représentation de la restriction de π à H si et seulement si p−1(ω) ∩ Ω est de mesure non nulle pour β
Ω; puisque p est H-invariant, cela signifie que ω
est contenu dans p(Ω). Ainsi, dans la situation de la proposition1.2.4, les représentations de H qui interviennent sont paramétrées par les H-orbites ouvertes contenues dans p(Ω). Elle sont en nombre fini [8, théorème 5.3.8], mais il peut arriver qu’il y en ait plus d’une comme le montre l’exemple suivant (qui m’a été communiqué par Michel Duflo) :
Exemple. − Soit g l’algèbre de Lie de base t, x, y, z dont les relations de commutations sont données par :
[t, x] = x, [t, z] = z, [x, y] = z.
Les autres crochets sont nuls ou obtenus par symétrie. Notons G = exp g. Soit g = z∗, l’orbite
Ω := Gg est l’ouvert z > 0 de g∗. Notons π la représentation de G correspondante. Soient
ω1 et ω2 (l’ouvert x > 0 et l’ouvert x < 0). On note σ1 et σ2 les deux représentations de H
correspondantes. Alors les conditions de la proposition1.2.4sont vérifiées et π|H est isomorphe
à la somme dénombrable de copies de σ1⊕ σ2.
En effet, notons b la sous-algèbre de Lie de g engendrée par y et z. C’est une polarisation en g qui vérifie la condition de Pukanszky. Si on note χg le caractère de B de différentielle
ig|b, alors la représentation π est isomorphe à IndGB(χg). D’après [3, ch. I], {t, x} est une base
coexponentielle à b dans g, d’où G = HB et la représentation π peut être réalisée dans l’espace de Hilbert L2(H) ; π
|H étant définie par
π(a)ϕ(b) = ϕ(a−1b) pour tout ϕ ∈ L2(H), a ∈ H
et b ∈ H. La restriction de π à H n’est autre que la représentation régulière gauche de H, et donc, d’après Duflo-Raïs [8], π|H est isomorphe à la somme dénombrable de copies de σ1⊕ σ2.
2 La conjecture de Duflo
Soient G un groupe de Lie de centre Z et H un sous-groupe fermé de G et π une représen-tation irréductible unitaire de G de carré intégrable modulo Z.
Définition. − On dit que la représentation π est H-admissible si la restriction de π à H se décompose discrètement et avec multiplicités finies en représentations irréductibles.
Dans la suite, G est un groupe résoluble exponentiel d’algèbre de Lie g, Z le centre de G et H un sous-groupe fermé connexe de G d’algèbre de Lie h. Soit Ω une orbite de G dans g∗, π l’élément de ˆG associé à Ω, g ∈ Ω et G(g) le stabilisateur de g dans G. D’après Duflo-Raïs
[8, théorème 5.3.4], la représentation π est de carré intégrable modulo le centre Z de G si et seulement si G(g) = Z.
Dans ce paragraphe, nous allons tester la conjecture de Duflo pour une telle représentation. Pour cela, nous aurons besoin du théorème suivant dû à Fujiwara [9](théorème1).
Théorème 2.0.5. Soit π une représentation irréductible et unitaire de G et H un sous-groupe
fermé connexe de G. On note ΩG(π) l’orbite coadjointe dans g∗ associée à π, µπ une mesure
finie sur g∗ équivalente à la mesure canonique sur Ω
G(π) [3] regardée comme une mesure sur
g∗. Soit h l’algèbre de Lie de H, Hc le dual unitaire de H et p : g∗ → h∗ l’application de restriction. L’application de Kirillov-Bernat θH : h∗ → Hc induit un isomorphisme borélien de
l’espace des orbites H \ h∗ sur H. On considère la mesure ν = νc π
II.2 La conjecture de Duflo µπ par l’application θH ◦ p : g∗ →H. On ac π|H = Z ⊕ b H nπ(σ)σdν(σ),
où nπ(σ) désigne le nombre de H-orbites contenues dans Γ(π, σ) = ΩG(π) ∩ p−1(ΩH(σ)).
Le résultat principal de ce chapitre est le théorème suivant :
Théorème 2.0.6. − Soient G un groupe de Lie résoluble exponentiel d’algèbre de Lie g et π une
représentation irréductible et unitaire de carré intégrable (modulo le centre) de G associée à une G-orbite Ω. Soient H un sous-groupe fermé connexe de G d’algèbre de Lie h et pg,h : g∗ → h∗
l’application restriction. Les assertions suivantes sont équivalentes : (i) G = HZ.
(ii) La représentation π est H-admissible.
(iii) La restriction de pg,h à Ω est propre sur l’image.
(iv) π|H est irréductible.
Il est immédiat que si les conditions équivalentes du théorème sont satisfaites, le principe «la quantification commute avec réduction» est valable.
Avant de démontrer le théorème 2.0.6, nous allons énoncer le lemme suivant qui donne une condition nécessaire et suffisante pour que l’application p soit propre.
Lemme 2.0.7. − Soit h une sous-algèbre de g et pg,h : g∗ → h∗ l’application de restriction.
Alors, l’application pg,h est propre de Ω := Gg sur l’image si et seulement si g = h + z.
Démonstration. − Pour une sous-algèbre k de g, on note k⊥
g∗ l’orthogonal de k pour la forme
bilinéaire canonique g∗×g → R. Comme G(g) = Z, Gg est un ouvert de g +z⊥
g∗. Notons h = g|h.
Si g = h + z, l’application p : Gg → Hh est un difféomorphisme, et donc propre.
Dans le cas où h + z 6= g, on note V un sous-espace supplémentaire de h + z dans g, alors
p−1({h}) = g + V∗ (on considère V∗ comme le sous-espace de g∗ formé des formes linéaires
nulles sur h + z). Pour conclure, il suffit de remarquer que Gg ∩ p−1({h}) est un ouvert non vide
de g + V∗, et donc non compact.
Démonstration. −(du théorème 2.0.6) Supposons tout d’abord que p est propre. D’après le lemme2.0.7 on a : g = h + z. Il est donc immédiat que π|H est irréductible. Ainsi, la
représen-tation π est H-admissible.
Inversement, supposons la représentation π H-admissible. D’après la proposition1.2.4 , la res-triction de π à H est somme directe de représentations irréductibles de carré intégrable modulo
