HAL Id: tel-01686260
https://tel.archives-ouvertes.fr/tel-01686260
Submitted on 17 Jan 2018
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de
Arithméticité de sous-groupes discrets contenant un réseau horosphérique
Sebastien Miquel
To cite this version:
Sebastien Miquel. Arithméticité de sous-groupes discrets contenant un réseau horosphérique. Théorie des groupes [math.GR]. Université Paris-Saclay, 2017. Français. �NNT : 2017SACLS579�. �tel- 01686260�
NNT : 2017SACLS579
THÈSE DE DOCTORAT
de
l’Université Paris-Saclay
École doctorale de mathématiques Hadamard (EDMH, ED 574) Établissement d’inscription : Université Paris-Sud
Laboratoire d’accueil : Laboratoire de mathématiques d’Orsay, UMR 8628 CNRS Spécialité de doctorat :
Mathématiques fondamentales
Sébastien MIQUEL
Arithméticité de sous-groupes discrets contenant un réseau horosphérique
Date de soutenance : 22 Décembre 2017
Après avis des rapporteurs : Philippe GILLE (Université Claude Bernard Lyon 1) Gopal PRASAD (Université du Michigan)
Jury de soutenance :
Yves BENOIST (Université Paris-Sud) Directeur de thèse Nicolas BERGERON (Université Pierre et Marie Curie)Président Indira CHATTERJI (Université de Nice) Examinatrice
Gaëtan CHENEVIER (Université Paris-Sud) Examinateur
Philippe GILLE (Université Claude Bernard Lyon 1)Rapporteur
Titre : Arithméticité de sous-groupes discrets contenant un réseau horosphérique Mots Clefs : groupe de Lie, sous-groupe discret, réseau, sous-groupe arithmétique Résumé : Soit G un groupe algébrique réel simple de rang réel au moins 2 et P un sous-groupe parabolique de G. On montre que tout sous-groupe discret de G intersectant le radical unipotent deP en un réseau est un réseau arithmétique deG, sauf éventuellement lorsqueG=SO(2,4n+ 2) etP est le stabilisateur d’un 2-plan isotrope. Ceci répond partiellement à une conjecture de Margulis, déjà étudiée par Hee Oh. On étudie aussi le cas où G est le produit de plusieurs groupes de rang 1, généralisant des résultats de Selberg, Benoist et Oh.
Title : Arithmeticity of discrete subgroups containing a horospherical lattice Keys words : Lie group, dicrete subgroup, lattice, arithmetic subgroup
Abstract : LetG be a real simple algebraic group, of real rank at least 2and P a parabolic subgroup of G. We prove that any discrete subgroup of G that intersects the unipotent radical of P in a lattice is an arithmetic lattice of G, except maybe whenGisSO(2,4n+2)andP is the stabilizer of an isotropic2-plane. This partially answers a conjecture of Margulis already studied by Hee Oh. We also study the case where G is a product of several rank one groups and generalize results of Selberg, Benoist and Oh.
Un grand merci `a mon directeur de th`ese, Yves Benoist, pour presque 5 ann´ees d’encadrement et de nombreuses discussions ainsi qu’`a Dominique Hulin, pour son accueil chaleureux.
Table des mati` eres
1 Introduction 7
1.1 Sous-groupes discrets de groupes de Lie, r´eseaux et sous-groupes
arithm´etiques . . . 7
1.2 Un cas particulier d’une question de M. Nori . . . 8
1.3 L’apport de Hee Oh . . . 10
1.4 Structure et r´esultats . . . 13
1.4.1 Extension de la m´ethode de Hee Oh . . . 14
1.4.2 Les limites de notre m´ethode : le casSO(2, n+ 2) . . . 15
1.4.3 Le cas d’un unique sous-groupe horosph´erique . . . 16
1.4.4 La m´ethode de Selberg et son extension . . . 17
2 Pr´eliminaires 18 2.1 G´en´eralit´es sur les groupes alg´ebriques, sous-groupes horosph´eriques 18 2.1.1 Groupes alg´ebriques . . . 18
2.1.2 Sous-groupes paraboliques, horosph´eriques et sous-groupes de Levi . . . 19
2.1.3 Groupes engendr´es par des sous-groupes unipotents . . . 23
2.1.4 Sous-groupes horosph´eriques commutatifs . . . 24
2.1.5 Sous-groupes horosph´eriques de type Heisenberg . . . 26
2.2 Sous-groupes discrets, r´eseaux et sous-groupes arithm´etiques . . . . 29
2.2.1 Sous-groupes discrets . . . 29
2.2.2 R´eseaux et sous-groupes arithm´etiques de groupes semi-simples 31 2.2.3 R´eseaux de groupes unipotents . . . 34
2.3 Sous-groupes engendr´es par deux r´eseaux, d’apr`es Hee Oh . . . 35
2.3.1 Th´eor`eme de Ratner . . . 36
2.3.2 Deux r´esultats de Margulis et Venkataramana . . . 37
2.3.3 Sous-groupes engendr´es par deux r´eseaux . . . 39
3 Le cas de groupes horosph´eriques commutatifs ou de type Hei- senberg 43 3.1 Groupes interm´ediaires obtenus par Ratner . . . 43
3.1.1 Repr´esentations de groupes r´eels et complexes . . . 44
3.1.2 Sous-groupes maximaux . . . 46
3.1.3 Sur lesQ-formes de repr´esentations . . . 51
3.2 Strat´egie de la preuve . . . 55
3.2.1 Etude de l’orbite simple . . . 56
3.2.2 Etude de l’orbite double . . . 58
3.3 Application de la strat´egie . . . 63
3.3.1 Cas commutatif non r´eflexif . . . 64
3.3.2 Cas commutatif r´eflexif . . . 68
3.3.3 Cas de type Heisenberg . . . 74
4 R´eduction 77 4.1 Structure des sous-groupes horosph´eriques . . . 77
4.2 R´eduction `a des sous-groupes horosph´eriques commutatifs ou de type Heisenberg, d’apr`es Hee Oh . . . 82
4.3 R´eduction au cas d’un couple de sous-groupes horosph´eriques oppos´es 84 4.3.1 Groupes Gde type r´eel An . . . 85
4.3.2 Groupes Gde type r´eel Dn, n impair . . . 88
4.3.3 Groupes Gde type r´eel E6 . . . 92
5 Le groupe G=SO(2, n+ 2) 98 5.1 Introduction . . . 98
5.2 Le groupeSO(2, n+ 2) et r´eduction pr´eliminaire . . . 99
5.3 Strat´egie de la preuve . . . 101
5.4 Groupes interm´ediaires . . . 103
5.4.1 sl2-triplets . . . 104
5.4.2 Sous-alg`ebres de Lie ∆sl2 . . . 105
5.4.3 Sous-alg`ebres ∆sl2 d’alg`ebres de Lie semi-simples complexes 108 5.4.4 Sous-alg`ebres ∆csl2 d’alg`ebres de Lie semi-simples r´eelles . . 111
5.5 OrbitesQ-irr´eductibles, pas de type semi-simple A1 . . . 114
5.5.1 OrbitesQ-simples de type Bl . . . 115
5.5.2 OrbitesQ-simples de type Cl . . . 116
5.5.3 OrbitesQ-simples de type Dl . . . 117
5.5.4 Orbites Q-simples de type Al, l 6= 1, correspondant `a des alg`ebres commutatives . . . 118
5.5.5 Orbites Q-simples de type Al, l 6= 1, correspondant `a des alg`ebres non commutatives . . . 119
5.5.6 OrbitesQ-semi-simple . . . 123
5.6 Orbites de type semi-simple A1 . . . 124
5.6.1 Q-repr´esentations standards de groupes de type semi-simple A1 . . . 125
5.6.2 OrbitesQ-irr´eductibles, S1-minimales . . . 127
5.6.3 Mod`eles des repr´esentations pour |P|= 1,2 et formes sym- plectiques . . . 129
5.6.4 Le cas |P|= 1 . . . 131
5.6.5 Extension et limite de la m´ethode . . . 140
6 Groupes de rang 1 142
6.1 Introduction . . . 142
6.2 Cas d’un produit de groupes SO(n,1) . . . 143
6.2.1 Notations et d´ecomposabilit´e . . . 144
6.2.2 Finitude des doublesNΩ-classes de Γ . . . 146
6.2.3 Calculs dans la repr´esentation adjointe . . . 149
6.2.4 Propri´et´es du r´eseau Ω . . . 150
6.2.5 Construction du corpsK . . . 152
6.2.6 Structure de Ω et de l’intersection Γ∩N− . . . 156
6.3 Cas g´en´eral . . . 160
6.3.1 Groupes alg´ebriques et pr´eliminaires . . . 160
6.3.2 Deux r´esultats de Margulis et Venkataramana . . . 163
6.3.3 D´emonstration du th´eor`eme 6.1 . . . 164
7 Groupes G de type r´eel A2 170 7.1 Introduction . . . 170
7.2 Les groupesSL3(K) . . . 171
7.3 Sous-groupes discrets des groupesSL3(K) . . . 175
7.4 Preuve de la proposition 7.12 . . . 181 A Table des sous-groupes horosph´eriques commutatifs et de type
Heisenberg 188
B Un r´esultat d’extension de Q-formes de Margulis et corollaires 191
C Groupes alg´ebriques classiques 195
R´ef´erences 196
1 Introduction
1.1 Sous-groupes discrets de groupes de Lie, r´ eseaux et sous-groupes arithm´ etiques
On va commencer par mettre en contexte les sous-groupes discrets de groupes de Lie, d´efinir ce que sont les r´eseaux et les sous-groupes arithm´etiques et faire un historique des liens entres ces diff´erents types de sous-groupes.
Les sous-groupes discrets de groupes de Lie semi-simples sont un sujet central des math´ematiques modernes qui intervient dans de nombreux domaines. Pour des sous-groupes discrets Γ de groupes de Lie simplesG, les vari´et´es quotientsG/Γ sont
´etroitement li´ees aux espaces localement sym´etriques. Les surfaces hyperboliques, par exemple, correspondent aux sous-groupes discrets du groupe G = SL2(R).
L’´etude g´eom´etrique et topologique de ces espaces se fait en partie avec de l’ana- lyse harmonique et joue un rˆole important dans la th´eorie des formes automorphes et le programme de Langlands. Les sous-groupes discrets de groupes de Lie per- mettent ´egalement de mod´eliser de nombreux syst`emes dynamiques riches dont l’analyse repose sur des propri´et´es de la vari´et´e quotient.
Pour ´eviter les exemples triviaux, il est naturel de mettre une hypoth`ese de Zariski-densit´e sur les sous-groupes discrets Γ d’un groupe G, qui signifie qu’il n’existe pas de sous-groupe de Lie connexeG0 d’indice infini dans Gqui contienne un sous-groupe d’indice fini de Γ. Avec cette hypoth`ese, l’exemple le plus simple de sous-groupe discret deSLn(R) est le groupeSLn(Z). Cet exemple appartient `a une famille de sous-groupes discrets de groupes de Lie alg´ebriques r´eels semi-simples, dits sous-groupes arithm´etiques dont on va donner une d´efinition informelle.
Les groupes alg´ebriques (lin´eaires) sont des sous-groupes de matrices d´efinis par des ´equations polynomiales. Lorsque le corps de base est R, le groupe sp´e- cial lin´eaire SLn(R) et les groupes orthogonaux O(p, q) sont des groupes alg´e- briques, ainsi que tous les groupes de Lie compacts. Si GQ est un groupe inclus dans Mn(Q) d´efinis par des ´equations polynomiales `a coefficients rationnels, on dit que GZ = GQ ∩Mn(Z) est un sous-groupe arithm´etique du groupe r´eel GR obtenu en consid´erant les solutions dans Mn(R) des ´equations d´efinissantGQ. Ces sous-groupes arithm´etiques sont classifi´es par certaines structures alg´ebriques sur Q. Par exemple, certains sous-groupes arithm´etiques des groupes SLn(R) corres- pondent aux alg`ebres centrales simples sur Q, le groupe SLn(Z) ´etant associ´e `a l’alg`ebre SLn(Q).
Pour tout sous-groupe discret Γ d’un groupe de Lie G, la vari´et´e quotientG/Γ est munie d’une mesure de Haar, invariante par multiplication par G `a gauche.
Quand le volume de la vari´et´e est fini, on dit que Γ est un r´eseau de G. Les sous-groupes arithm´etiques ont la particularit´e d’ˆetre des r´eseaux, ce r´esultat a
´et´e d’abord d´emontr´e pour des groupes classiques par Siegel, puis en toute g´e- n´eralit´e en 1962 par Borel et Harish-Chandra [BH62]. La r´eciproque, conjectur´ee par Selberg et Piatetski-Shapiro, fut ´etablie 20 ans plus tard par Margulis [Mar84]
par des m´ethodes de th´eorie ergodique pour les groupes de rang au moins 2, puis par Gromov et Schoen pour les groupes Sp(1, n) et le groupe exceptionnel F4−20 : dans les groupes Gsimples, sauf les groupes SO(1, n) et SU(1, n), tout r´eseau est un sous-groupe arithm´etique (pour une d´efinition plus g´en´erale que celle esquis- s´ee plus haut). Dans les groupes SO(n,1), des r´eseaux non arithm´etiques ont ´et´e construits par Gromov et Piattetsky-Shapiro. La question de l’existence de r´eseaux non arithm´etiques est toujours ouverte pour les groupesSU(1, n) : de tels r´eseaux n’ont ´et´e construits que pour n= 2,3 par Gromov et Deligne.
Pour la plupart des groupes de Lie semi-simples non compacts, il existe donc 2 types de sous-groupes discrets Zariski-denses. D’un cˆot´e les r´eseaux, dont la classification rel`eve de l’alg`ebre et de la th´eorie des nombres et revient `a celle de certaines structures alg´ebriques sur le corpsQ, de l’autre les sous-groupes discrets de covolume infini, bien plus nombreux, plus sauvages et moins bien compris, si ce n’est en petite dimension par des m´ethodes g´eom´etriques.
1.2 Un cas particulier d’une question de M. Nori
On s’int´eresse `a l’interface entre ces deux classes de sous-groupes discrets et `a la mesure dans laquelle un sous-groupe discret qui n’est pas un r´eseau peut tout de mˆeme contenir une structure arithm´etique, au sens de la question suivante, attribu´ee par Venkataramana et Chatterji `a Nori, 1983 dans [VC09] :
Question 1.1. Pour quels sous-groupes H d’un groupe alg´ebrique semi-simple r´eelG est-ce que tout sous-groupe discret Zariski-dense deG intersectant H en un r´eseau arithm´etique est un r´eseau de G?
Les ph´enom`enes pouvant se produire diff`erent lorsqueH ouGsont de rang r´eel 1. Rappelons que le rang r´eel d’un groupe alg´ebrique r´eel est la dimension d’un tore r´eel d´eploy´e maximal. Les groupes simples de rang r´eel 1 sont les groupes isog`enes `a SO(1, n), SU(1, n), Sp(1, n) ou F4−20.
Dans l’article [VC09], Venkataramana et Chatterji consid`erent la question 1.1 dans le cas o`u le sous-groupe H est lui-mˆeme semi-simple. Ils montrent que si H est de rang r´eel au moins 2 et de dimension suffisamment grande (strictement plus grande que celle du compact maximal deG), alors tout groupe discret Zariski-dense deG intersectantH en un r´eseau est un r´eseau de G. Dans le cas o`u H et Gsont de rang r´eel 1, ils montrent qu’il existe des sous-groupes discrets Γ de covolume infini dans G intersectant H en n’importe quel r´eseau. La question reste ouverte pour les cas interm´ediaires, comme par exemple pour G = SL2(R)×SL2(R) et
H = ∆SL2(R) ={(x, x), x∈SL2(R)} ⊂G.
On va consid´erer un cas particulier de la question 1.1 o`u le groupe H est le radical unipotent d’un sous-groupe parabolique, aussi appel´e sous-groupe horo- sph´erique. Les sous-groupes paraboliques P d’un groupe alg´ebrique semi-simple sont des sous-groupes de Lie qui peuvent se d´efinir de mani`ere g´eom´etrique et dont les classes de conjugaison sont classifi´ees. Leur radicaux unipotents Ru(P) sont des sous-groupes unipotents dont on comprend bien la structure, normalis´es par ce qui est appel´e un sous-groupe de Levi L(P) deP tel que le groupeP soit le produit semi-direct deL(P) avec Ru(P). DansSLn(R), les classes de conjugaison de sous-groupes paraboliques correspondent aux sous-groupes triangulaires sup´e- rieurs pour les choix d’une d´ecomposition diagonale par blocs : dans SL4(R) par exemple, il y a 8 d´ecompositions possibles, dont voici deux exemples :
P =
∗ ∗ ∗ ∗ 0 ∗ ∗ ∗ 0 0 ∗ ∗ 0 0 0 ∗
, Ru(P) =
1 ∗ ∗ ∗ 0 1 ∗ ∗ 0 0 1 ∗ 0 0 0 1
, L(P) =
∗ 0 0 0 0 ∗ 0 0 0 0 ∗ 0 0 0 0 ∗
P =
∗ ∗ ∗ ∗
∗ ∗ ∗ ∗ 0 0 ∗ ∗ 0 0 ∗ ∗
, Ru(P) =
1 0 ∗ ∗ 0 1 ∗ ∗ 0 0 1 0 0 0 0 1
, L(P) =
∗ ∗ 0 0
∗ ∗ 0 0 0 0 ∗ ∗ 0 0 ∗ ∗
.
Cette sp´ecialisation de la question 1.1 est ´egalement justifi´ee par la remarque historique suivante : avant de d´emontrer le th´eor`eme d’arithm´eticit´e en toute g´e- n´eralit´e, Margulis avait d´emontr´e, dans l’article Arithmetic properties of discrete subgroups [Mar74], cette arithm´eticit´e pour les r´eseaux non cocompacts, c’est-`a- dire les r´eseaux contenant des ´el´ements unipotents. Un des principaux ingr´edients de la preuve est de montrer [Mar74, Thm 7.1.1] que dans un groupe alg´ebrique r´eel simpleG, tout r´eseau non cocompact intersecte le radical unipotent d’un sous- groupe parabolique de Gen un r´eseau.
On s’int´eresse donc `a la r´eciproque de cette propri´et´e de Margulis : est-ce qu’un sous-groupe discret de covolume infini peut intersecter le radical unipotent d’un sous-groupe parabolique en un r´eseau.
Question 1.2. Soit G un groupe alg´ebrique r´eel semi-simple et U le radical uni- potent d’un sous-groupe parabolique de G qui se projette de mani`ere non triviale sur chaque facteur simple de G. Tout sous-groupe discret, Zariski-dense de G in- tersectant U en un r´eseau est-il n´ecessairement un r´eseau de G?
Pour des groupes de rang r´eel 1, la r´eponse `a cette question est n´egative. Par exemple, il est bien connu que le sous-groupe deSL2(Z) engendr´e par les matrices
1 3 0 1
et
1 0 3 1
est d’indice infini dans SL2(Z) et n’est donc pas un r´eseau de SL2(R). Plus g´en´eralement, si G est un groupe de rang 1, U1 et U2 deux sous- groupes unipotents maximaux en position g´en´erique, et Λ1, Λ2 des r´eseaux de U1
et U2, il existe toujours des sous-groupes Λ01 et Λ02 d’indice fini dans Λ1 et Λ2 qui jouent ping-pong sur la vari´et´e drapeau G/P. Le groupe Γ engendr´e par Λ01 et Λ02 sera alors discret, isomorphe au produit libre Λ01∗Λ02 et de covolume infini dansG.
En 1992, Selberg avait annonc´e une r´eponse positive `a la question 1.2 pour des groupes G produits d’au moins deux facteurs SL2(R) (sous une hypoth`ese naturelle pour ´eviter les contre-exemples que l’on peut construire `a partir de ceux dansSL2(R)). Ses notes ont ´et´e reprises et g´en´eralis´ees par Yves Benoist et Hee Oh dans [BO10b] pour des groupesG produits de facteurs SL2 sur des corps locaux.
Une r´eponse positive `a la question 1.2 pour les groupes simples de rang au moins 2 a ´et´e conjectur´ee par Margulis [Liz] sous des hypoth`eses l´eg`erement plus fortes : il demandait au sous-groupe discret deGd’intersecter les radicaux unipotents d’un couple de sous-groupes paraboliques oppos´es (c’est-`a-dire en position g´en´erique et ayant un sous-groupe de Levi en commun). On la reformule ici avec les hypoth`eses de la question 1.2.
Conjecture 1.3 (Margulis). Soit G un groupe alg´ebrique r´eel simple de rang au moins 2 et U le radical unipotent d’un sous-groupe parabolique non trivial de G.
Tout sous-group discret, Zariski-dense de G intersectant U en un r´eseau est un r´eseau arithm´etique de G.
Sous la forme plus faible pos´ee par Margulis, cette conjecture a ´et´e ´etudi´ee par Hee Oh, dans sa th`ese [Oh98]. Elle la montre en particulier pour tous les groupes G absolument simples d´eploy´es de rang au moins 2, saufSL3(R).
1.3 L’apport de Hee Oh
On va rapidement pr´esenter le travail de Hee Oh. Le r´esultat montr´e dans sa th`ese [Oh98] est le suivant :
Th´eor`eme 1.4. [Oh98, Th´eor`eme 0.3] Soit G un groupe alg´ebrique connexe r´eel absolument simple de rang r´eel au moins 2, P et P− un couple de sous-groupes paraboliques oppos´es non triviaux de G. Mis `a part les exceptions potentielles sui- vantes, tout sous-groupe discret de G intersectant les radicaux unipotents de P et P− en des r´eseaux est un r´eseau arithm´etique de G.
(i) Le syst`eme de racines r´eel deG est de type A2 et P est un parabolique mini- mal.
(ii) Le groupe G est localement isomorphe `a SO(2, n) et P est le stabilisateur d’un 2-plan isotrope.
(iii) Le groupe G est localement isomorphe `a SLn(H) et P est le stabilisateur d’une droite quaternionique et d’un hyperplan quaternionique la contenant.
(iv) Le groupe G est localement isomorphe `a Sp(p, q), min(p, q) ≥ 2 et P est le stabilisateur d’une droite quaternionique isotrope.
(v) Le syst`eme de racines r´eel de G est de type E6 et le radical unipotent de P est commutatif.
(vi) Le groupe G est localement isomorphe `a SLn(H) et P est le stabilisateur d’une droite quaternionique.
(vii) Le cas du couple (G, P) se ’r´eduit’ au cas (v) ou (vi), voir la remarque sui- vante.
Remarque 1.5. La preuve de ce th´eor`eme repose sur une proc´edure de r´eduction qui permet de se ramener `a des sous-groupes paraboliques de structure plus simple, dans des groupes semi-simples ´eventuellement plus petits. D´eterminer explicite- ment les couples (G, P) qui se ram`enent aux cas (v) et (vi) n’est pas ´evident.
C’est certainement le cas uniquement d’une faible proportion de sous-groupe pa- raboliques de SLn(H) et de certains paraboliques de groupes de type E6, E7 et E8.
Un fois ramen´e au cas de sous-groupes horosph´eriques de structure tr`es simple, un des principaux outils de la preuve du th´eor`eme 1.4 est le th´eor`eme de Ratner.
Expliquons tout d’abord comment ce th´eor`eme est utilis´e.
Notons Γ un sous-groupe discret deGintersectant les radicaux unipotentsU et U−d’une paire de sous-groupes paraboliquesP etP−oppos´es en des r´eseaux Λ et Λ−. On consid`ereSle sous-groupe deP∩P− engendr´e par les ´el´ements unipotents deP∩P−. Le groupeS agit par conjugaison surU etU− en pr´eservant le volume.
Le groupe S agit donc sur l’ensemble des r´eseaux de covolume fix´e de U et U−. On va utiliser le th´eor`eme de Ratner afin de comprendre l’adh´erence de l’orbite par cette action de la paire (Λ,Λ−) de r´eseaux deU etU−.
Commen¸cons par consid´erer le cas o`u cette orbite est ferm´ee. On sait `a poste- riori que si Γ ´etait un sous-groupe arithm´etique il intersecterait non seulement les groupes U et U− en des r´eseaux, mais ´egalement le groupeS en un r´eseau SZ. La conjugaison par des ´el´ements de Γ∩Spr´eserve les r´eseaux Λ et Λ−, c’est-`a-dire que les ´el´ements du r´eseauSZ stabilisent les r´eseaux Λ et Λ− pour l’action consid´er´ee.
Ceci implique la fermeture de la S-orbite du couple (Λ,Λ−).
R´eciproquement, un cas particulier du th´eor`eme de Ratner, dˆu `a Dani et Mar- gulis, dit que si l’orbiteS.(Λ,Λ−) est ferm´ee, le stabilisateur du couple (Λ,Λ−) est un r´eseau de S. Avec l’existence de ce r´eseau de S qui normalise les intersections Γ∩U et Γ∩U−, une construction de Margulis (voir appendice B permet de montrer l’inclusion de Γ dans le groupe des Q-points d’une Q-forme de G. Ceci implique l’arithm´eticit´e de Γ grˆace `a des r´esultats sur les sous-groupes de congruence. Cet argument n´ecessite tout de mˆeme que le groupe S soit non trivial, ce qui explique l’exception potentielle (i) du th´eor`eme 1.4.
Plus g´en´eralement, l’id´ee maˆıtresse de la th`ese de Hee Oh est la suivante. Elle montre d’une part que pour tout couple de r´eseaux (Λ∗,Λ−∗) dans l’adh´erence de la S-orbite de (Λ,Λ−), il existe un groupe discret Γ∗ de G contenant `a la fois Λ∗
et Λ−∗, d’autre part que si la S-orbite de (Λ∗,Λ−∗) est ferm´ee, le groupe Γ∗ mais
´egalement le groupe Γ d’origine sont arithm´etiques. Elle va donc essayer de trouver un tel couple (Λ∗,Λ−∗) dans toutes les adh´erences possibles deS-orbites, classifi´ees par le th´eor`eme de Ratner.
Pour cela, elle commence par consid´erer l’adh´erence de l’orbite simpleS.Λ (resp.
S.Λ−). D’apr`es le th´eor`eme de Ratner, les adh´erences possibles correspondent aux groupes interm´ediaires entre S et le groupe des automorphismes de U pr´eservant le volume. Elle traite exactement les cas o`u il n’y a pas de groupes interm´ediaires semi-simple entreS et la partie semi-simple du groupe des automorphismes deU. Les exceptions potentielles (ii), (iii), (iv), (vi) du th´eor`eme 1.4, ainsi que les cas o`u G n’est pas absolument simple ne v´erifient pas cette propri´et´e. Dans les cas qu’elle traite, H. Oh montre que l’on peut toujours trouver un couple de r´eseaux (Λ∗,Λ−∗) dans l’adh´erence de la S-orbite double S.(Λ,Λ−), tels que les S-orbites S.Λ∗ etS.Λ−∗ soient ferm´ees.
Elle utilise alors un r´esultat de Raghunathan pour montrer qu’il existe deux sous-groupes arithm´etiques ΓΛ∗ et ΓΛ−∗ de G contenant respectivement Λ∗ et Λ−∗. Comme on connait les sous-groupes arithm´etiques deG, ceci rend les r´eseaux Λ∗et Λ−∗ explicites. Si les sous-groupes ΓΛ∗ et ΓΛ−∗ ne sont pas conjugu´es l’un `a l’autre, elle montre alors `a la main que les r´eseaux Λ∗ et Λ−∗ ne peuvent pas engendrer un sous-groupe discret. Sinon, on peut trouver dans l’adh´erence S.(Λ∗,Λ−∗) une nouvelle paire (Λ0∗,Λ0∗−) dont laS-orbite soit ferm´ee, ce qui implique l’arithm´eticit´e du groupe Γ d’origine. C’est cette m´ethode qui ne fonctionne pas pour l’exception potentielle (v) du th´eor`eme 1.4, les sous-groupes arithm´etiques de groupes de type r´eel E6 ´etant plus difficiles `a appr´ehender.
1.4 Structure et r´ esultats
Dans cette sous-partie, on va pr´esenter nos r´esultats, les m´ethodes utilis´ees et la structure de ce texte.
On r´epond dans cette th`ese `a la question 1.2 d’une part pour tous les sous- groupes paraboliques de groupes simples de rang au moins 2, sauf le stabilisateur d’un 2-plan isotrope dans SO(2, n) (et les groupes localement isomorphes) pour lequel on ne donne qu’une r´eponse partielle, d’autre part pour les groupes semi- simples produits de groupes de rang 1.
Dans le cas de groupes simples de rang au moins 2, on montre le th´eor`eme suivant :
Th´eor`eme 1.6. SoitGun groupe alg´ebrique r´eel simple connexe de rang au moins deux, P un sous-groupe parabolique non trivial de G et U son radical unipotent.
On suppose que si G est isog`ene `a SO(2, n + 2), n n’est pas divisible par 4 ou P n’est pas le stabilisateur d’un 2-plan isotrope. Alors tout sous-groupe discret Zariski-dense de G intersectant U en un r´eseau est un r´eseau arithm´etique.
Le cas o`uG'SO(2, n+ 2) et n≡2[4] d´epend du r´esultat suivant, concernant les produits de groupes de rang 1.
Th´eor`eme 1.7. Soit G un groupe alg´ebrique connexe semi-simple r´eel, produit d’au moins deux groupes simples Gi de rang r´eel 1, U un sous-groupe unipotent maximal de G, qui s’´ecrit comme le produit de sous-groupes unipotents maximaux Ui de Gi et Γ un sous-groupe discret Zariski-dense de G intersectant U en un r´eseau ind´ecomposable. AlorsΓ est un sous-groupe arithm´etique de G.
L’hypoth`ese d’ind´ecomposabilit´e signifie que l’intersection de Γ avec U n’est pas commensurable avec le produit de deux r´eseaux, l’un dans le produit de cer- tains groupes Ui, l’autre dans le produit des autres groupesUi.
Dans ces deux th´eor`emes, la difficult´e est de montrer que le sous-groupe discret Γ est inclus dans un sous-groupe arithm´etique. Une fois cette inclusion d´emon- tr´ee, on peut utiliser des r´esultats sur les sous-groupes de congruences de groupes arithm´etiques ´etablis par Raghunathan, Tits, Vaserstein et Venkataramana. De fait, sauf dans le cas de rang 1, les sous-groupes de groupes arithm´etiques qui contiennent un r´eseau dans le radical unipotent d’un groupe parabolique sont d’in- dice fini.
Selon le cas, on utilise l’une des deux m´ethodes suivantes pour d´emontrer cette inclusion dans un sous-groupe arithm´etique. La premi`ere est une extension de celle utilis´ee par Hee Oh. Elle consiste `a montrer que le groupe Γ intersecte le Levi du
groupe parabolique de mani`ere arithm´etique grˆace au th´eor`eme de Ratner, avant d’utiliser une construction de Margulis qui permet de montrer que Γ est inclus dans un sous-gorupe arithm´etique. La seconde est une extension de celle utilis´ee par Selberg et reprise par Y. Benoist et H. Oh. Elle consiste `a ´etudier les projections de Bruhat de certains produits d’´el´ements de Γ.
1.4.1 Extension de la m´ethode de Hee Oh
On raffine la m´ethode de Hee Oh afin de traiter le cas de groupes simples non absolument simples ainsi que la plupart des exceptions potentielles `a son r´esultat.
On obtient l’analogue suivant du th´eor`eme de Hee Oh :
Th´eor`eme 1.8. Soit G un groupe alg´ebrique connexe r´eel simple de rang r´eel au moins 2, P et P− un couple de sous-groupes paraboliques oppos´es non triviaux de G. Mis `a part les exceptions potentielles suivantes, tout sous-groupe discret de G intersectant les radicaux unipotents de P et P− en des r´eseaux est un r´eseau arithm´etique de G.
(i) Le syst`eme de racine r´eel deGest de typeA2 etP est un parabolique minimal.
(ii) Le groupe G est localement isomorphe `a SO(2, n) et P est le stabilisateur d’un 2-plan isotrope.
On commence dans la partie 2 par donner quelques pr´eliminaires sur les groupes alg´ebriques et leurs groupes paraboliques ainsi que les groupes discrets et r´eseaux en g´en´eral puis par pr´esenter les principales propositions et r´esultats utilis´es par Hee Oh. En particulier, on ´enonce le corollaire d’un ´enonc´e de Margulis qui permet de montrer l’arithm´eticit´e du groupe Γ d`es qu’il est normalis´e par un r´eseau d’un facteur du Levi du paraboliqueP. Ce corollaire est d´emontr´e dans l’appendice B, sous une forme l´eg`erement plus forte que celle utilis´ee par Hee Oh.
La preuve du th´eor`eme 1.8 se ram`ene (voir sous-partie 4.3) aux cas de sous- groupes horosph´eriques de structure tr`es simple, s´epar´es en plusieurs cat´egories : (a) Sous-groupes horosph´eriques commutatifs, non r´eflexifs (voir d´efinition 2.7).
(b) Sous-groupes horosph´eriques commutatifs, r´eflexifs.
(c) Sous-groupes horosph´eriques de type Heisenberg (voir d´efinition 2.9).
Les sous-groupes horosph´eriques de ces types, ainsi que certaines de leurs pro- pri´et´es sont list´es dans l’appendice A. On montre le th´eor`eme 1.8 pour ces trois types de sous-groupes horosph´eriques dans la partie 3. D´ecrivons plus en d´etail la
strat´egie suivie.
Dans le contexte du th´eor`eme 1.8, en notant Γ le sous-groupe discret en ques- tion, U et U− les radicaux unipotents de P etP−, Λ et Λ− les intersections de Γ avec U et U−, et S le sous-groupe de P ∩P− engendr´e par ses ´el´ements unipo- tents, on montre d’abord qu’il existe dans l’adh´erence S.Λ (resp. S.Λ−) un r´eseau Λ∗ (resp. Λ−∗) tel que l’orbite S.Λ∗ (resp.S.Λ−∗) soit ferm´ee.
Dans les cas non trait´es par Hee Oh, il est n´ecessaire de comprendre les diff´e- rentes possibilit´es obtenues par le th´eor`eme de Ratner pour l’adh´erence S.Λ. Ces adh´erences possibles correspondent aux orbites de groupes interm´ediaires entre S et le groupe des automorphismes deU pr´eservant le volume. Chacun de ces groupes interm´ediairesHpossibles est muni d’uneQ-structure provenant du r´eseau Λ qu’il faut ´etudier. Trouver une S-orbite ferm´ee dans laH-orbite de Λ revient `a trouver un conjugu´e de S dans H qui soit d´efini sur Qpour la Q-structure de H.
Une fois que l’on a trouv´e deux r´eseaux Λ∗ ∈S.Λ et Λ−∗ ∈S.Λ−dont les orbites par S soient ferm´ees, on analyse l’adh´erence de l’orbite double S.(Λ∗,Λ−∗).
A ce stade, notre m´ethode est diff´erente de celle de Hee Oh. Au lieu de montrer` que les r´eseaux Λ∗,Λ−∗ correspondent en fait `a deux sous-groupes arithm´etiques du groupe G, on analyse directement l’action deS sur U (et U−) et les r´eseaux de S qui stabilisent Λ∗ et Λ−∗ (voir sous-partie 3.2.2).
Dans les cas o`u le parabolique est r´eflexif, une manipulation dans le groupe G permet de lier Λ `a Λ−. On montre que cette liaison est en un sens toujours compatible avec les 2 r´eseaux deS, ce qui permet de trouver deux autres r´eseaux dans S.(Λ,Λ−) dont la S-orbite est ferm´ee.
Dans les cas o`u le parabolique est non r´eflexif, on montre que l’action de S sur U est pr´ehomog`ene. On en d´eduit que si la S-orbite de (Λ,Λ−) n’´etait pas ferm´ee, son adh´erence serait trop grosse pour ne contenir que des couples de r´eseaux appartenant `a des sous-groupes discrets de G.
1.4.2 Les limites de notre m´ethode : le cas SO(2, n+ 2)
La difficult´e du cas o`u G = SO(2, n + 2) et P est le stabilisateur d’un 2-plan isotrope vient du fait que le groupeS est alors tr`es petit. En effet, le groupeU est de dimension 2n + 1, la partie semi-simple de son groupe d’automorphismes est isomorphe `a Sp2n(R) et S est isomorphe au groupeSL2(R). Il y a donc beaucoup de groupes interm´ediaires.
N´eanmoins, lorsquenest impair, on montre `a nouveau que toutes les adh´erences d’orbites possibles contiennent une S-orbite ferm´ee, ce qui permet de montrer l’arithm´eticit´e des groupes Γ correspondant.
Lorsque n est pair, on explicite toutes les orbites S-minimales qui n’ont pas cette propri´et´e. Celles-ci correspondent `a des repr´esentations de produits d’alg`ebres de quaternions sur des corps de nombres.
Pour les plus simples de ces orbites probl´ematiques, l’entier n est congru `a 2 modulo 4 et on montre que le groupe Γ correspondant doit intersecter les sous- groupes unipotents maximaux de groupesSO(1, n/2 + 1)×SO(1, n/2 + 1) en des r´eseaux. Nos r´esultats dans le cadre de produits de groupes de rang 1 (th´eor`eme 1.7) impliquent alors que l’intersection de Γ avec SO(1, n/2 + 1)×SO(1, n/2 + 1) est un sous-groupe arithm´etique, ce qui fournit des informations arithm´etiques suppl´ementaires sur le r´eseau Λ qui vont contredire l’adh´erence de sa S-orbite.
Ceci nous permet d’´etablir le r´esultat suivant dans la partie 5 :
Th´eor`eme 1.9. Soit U le radical unipotent d’un stabilisateur d’un 2-plan iso- trope dans le groupe SO(2, n+ 2). SoitΓ un sous-groupe discret, Zarsiki-dense de SO(2, n+ 2) intersectant U en un r´eseau, alors si n n’est pas divisible par 4, Γ est un sous-groupe arithm´etique de SO(2, n+ 2).
1.4.3 Le cas d’un unique sous-groupe horosph´erique
Alors que les th´eor`emes 1.4 et 1.8 ont pour hypoth`ese que le groupe Γ intersecte les radicaux unipotents d’un couple de sous-groupes paraboliques en des r´eseaux, la question 1.2 concerne les groupes discrets intersectant le radical unipotent d’un unique sous-groupe parabolique en un r´eseau.
Pour certains sous-groupes paraboliques, ces deux hypoth`eses sont en fait ´equi- valentes : si le groupe parabolique P est conjugu´e `a un sous-groupe parabolique oppos´e (on dit que P est r´eflexif), comme Γ est Zariski-dense, il contient un ´el´e- ment γ tel que P et γP γ−1 soient oppos´es. Si le groupe Γ intersecte le radical unipotent de P en un r´eseau, il intersecte alors ´egalement le radical unipotent de γP γ−1 en un r´eseau. Pour les groupes G simples de type r´eel Bn, BCn, Dn pour n pair, G2, F4, E7 etE8 tous les sous-groupes paraboliques sont r´eflexifs.
Lorsque P n’est pas r´eflexif, les hypoth`eses de la question 1.2 sont stricte- ment plus faibles que celles des th´eor`emes 1.4 et 1.8. C’est le cas de la majorit´e des sous-groupes paraboliques de groupes de type r´eelAn,Dn pournimpair etE6. Dans la partie 4, on montre l’analogue du th´eor`eme 1.8 avec les hypoth`eses de la question 1.2.
Pour cela, on construit certains sous-groupes unipotents U0 deU que Γ inter- secte n´ecessairement ´egalement en des r´eseaux. Ces groupes U0 proviennent soit d’une ´etude plus fine de la structure des r´eseaux des sous-groupes horosph´eriques, soit du th´eor`eme d’Auslander, que l’on applique au groupe G0 engendr´e par U0 et un conjugu´e de U0 par Γ, en position g´en´erale. Le groupe G0 a une d´ecomposition
de Levi G0 = Ln U00, o`u U00 est un nouveau groupe unipotent et le th´eor`eme d’Auslander dit que la projection de l’intersection Γ∩G0 sur L est discr`ete. Dans les situations que l’on consid´erera, cela impliquera que Γ intersecte le groupe U00 en un r´eseau.
La strat´egie consiste `a appliquer le th´eor`eme 1.8, soit en construisant ainsi une paire de sous-groupes horosph´eriques oppos´es de G que Γ intersecte en des r´eseaux, soit en construisant une telle paire dans un sous-groupe simple G0 deG, ce qui fournit une information arithm´etique sur l’intersection Γ∩G0 qui peut ˆetre remont´ee `a tout Γ grˆace `a une construction due `a Margulis (appendice B).
1.4.4 La m´ethode de Selberg et son extension
La m´ethode de Hee Oh ne peut pas s’appliquer lorsque le sous-groupe de Levi du groupe parabolique n’a pas d’´el´ements unipotents. C’est le cas du sous-groupe parabolique minimal de groupes simples de type r´eel A2 ainsi que des groupes produits de groupes de rang 1. Pour traiter ces deux cas, on utilise une m´ethode utilis´ee par Y. Benoist et H. Oh et inspir´ee de notes de Selberg.
Cette m´ethode consiste `a ´etudier la projection de Bruhat d’´el´ements astucieu- sement choisis du groupe Γ. En notant U le radical unipotent du parabolique en question, la plupart des ´el´ements γ de Γ se d´ecomposent en γ = u1w0lu2, o`u u1, u2 ∈ U, w0 est un repr´esentant dans le groupe G de l’´el´ement le plus long du groupe de Weyl et l appartient `a un sous-groupe de Levi L normalisant U. La propri´et´e clef que l’on utilise est la suivante (voir propositions 6.8 et 7.8) :
Proposition 1.10. SoitG un groupe alg´ebrique r´eel semi-simple etP =LnU un sous-groupe parabolique. On consid`ere Γ un sous-groupe discret de G intersectant U en un r´eseau, alors l’ensemble
{lγ|γ ∈Γ∩U w0P, γ =u1w0lγu2} est un sous-ensemble discret de L.
On utilise cette propri´et´e soit sur des ´el´ements de U− dans le cas A2, soit sur certains produits d’´el´ements de Γ dans le cas de produits de groupes de rang 1 pour obtenir des informations arithm´etiques sur le r´eseau Γ∩U.
Dans le cas de produits de groupes SO(1, n) on arrive ainsi `a d´eterminer en- ti`erement le r´eseau Γ∩U. Dans les autres cas, on montre que le r´eseau Γ∩U est pr´eserv´e par l’action d’un r´eseau d’un sous-groupe central du groupe de LeviL, ce qui permet d’appliquer la proposition de Margulis.
2 Pr´ eliminaires
Dans cette partie, on pr´esente des r´esultats classiques sur les groupes alg´ebriques et leurs sous-groupes paraboliques et sur les sous-groupes discrets et r´eseaux de groupes simples et unipotents ainsi que l’´etude de Hee Oh de sous-groupes discrets engendr´es par des r´eseaux dans une paire de sous-groupes horosph´eriques oppos´es.
2.1 G´ en´ eralit´ es sur les groupes alg´ ebriques, sous-groupes horosph´ eriques
Cette sous-partie contient quelques propri´et´es des groupes alg´ebriques, leur sys- t`emes de racines et sous-groupes paraboliques. On s’int´eresse ´egalement `a la struc- ture de sous-groupes engendr´es par des sous-groupes unipotents avant de caract´e- riser les sous-groupes horosph´eriques dont la structure est la plus simple.
2.1.1 Groupes alg´ebriques
On commence par rappeler quelques d´efinitions et propri´et´es classiques. Les r´ef´e- rences pour cette partie sont [Bor69] et [BT65].
Soit k un sous-corps de C. Par groupe alg´ebrique d´efini sur k ou k-groupe alg´ebrique, on entend un groupe lin´eaire alg´ebrique d´efini surk au sens de [Bor69].
Si K est une extension de k et G est un k-groupe alg´ebrique, on note GK le groupe de ses K-points.
On appelera groupe alg´ebrique r´eel (resp. complexe) le groupe G des points r´eels (resp. complexes) d’un groupe alg´ebrique G d´efini sur R (resp.C).
On commence par donner un crit`ere classique sur la rationalit´e de sous-groupes d’un k-groupes.
Th´eor`eme 2.1. [Bor69, Corollaire 18.3] Soient G un k-groupe connexe (k sous- corps de C) et H un sous-groupe ferm´e de G, alors Hest d´efini sur k si et seule- ment H∩Gk est Zariski-dense dans H.
Pour K une extension de k et G un K-groupe alg´ebrique, on note G0 = RK/k(G) le k-groupe alg´ebrique obtenu par restriction des scalaires de K `a k, qui v´erifie G0k ' GK. Si k et K sont des sous-corps de C et σ1, ..., σn sont les diff´erents k-morphismes injectifs de K dans C, on a un isomorphisme de groupes
G0K 'Gσσ1
1(K)×...×Gσσn
n(K),
o`u Gσi d´esigne l’image de la vari´et´e G par σi (na¨ıvement, G est d´efini par des
´equations polynomiales `a coefficients dans K et Gσi est d´efini par l’image de ces
´equations par σi).
Soit G un groupe alg´ebrique connexe. On note R(G) (resp. Ru(G)) le radical (resp. radical unipotent) deG, c’est-`a-dire le plus grand sous-groupe ferm´e, distin- gu´e et r´esoluble (resp. unipotent) connexe deG. Si Gest d´efini sur k, les groupes R(G) et Ru(G) sont d´efinis sur k.
On dit que Gest r´eductif (resp. semi-simple) siR(G) (resp.Ru(G)) est trivial.
Si G est r´eductif, on appelera partie semi-simple de G le groupe d´eriv´e de la composante alg´ebriquement connexe deG, qui est le plus grand sous-groupe semi- simple connexe de G.
On dira que G est k-simple, si tout sous-groupe ferm´e normal propre de G d´efini sur k est fini. S’il n’y a pas de confusion possible sur le corps k, on dira simplement que G est simple. Pour cette d´efinition, les groupes alg´ebriques r´eels SLn(R) et SLn(C) (le groupe obtenu par restrition des scalaires de C `a R du groupe alg´ebrique complexe SLn(C)) sont simples.
On dira que Gest absolument simple si tout sous-groupe ferm´e normal propre est fini. Les groupes r´eels simples mais non absolument simples sont les groupes obtenus par restriction des scalaires de C `aR.
Les groupes semi-simples sont les groupes isog`enes `a un produit direct de groupes simples.
SoitGunk-groupe alg´ebrique. On appelle sous-groupe de Levi de Gtout sous- groupe r´eductif ferm´eHdeG tel queGsoit le produit semi-direct de Havec son radical unipotent Ru(G).
Th´eor`eme 2.2 (Mostow). [BT65, §0.8] Soit G un k-groupe alg´ebrique (k de ca- ract´eristique nulle), alors G admet un sous-groupe de Levi H d´efini sur k et tout k-sous-groupe r´eductif de G est conjugu´e `a un sous-groupe de H par un ´el´ement de Ru(G)k.
Pour finir, on rappelle ce r´esultat classique sur la topologie usuelle du groupe des points r´eels d’un groupe alg´ebrique simplement connexe.
Th´eor`eme 2.3. Soit G un groupe alg´ebrique connexe simplement connexe d´efini sur R, alors GR est topologiquement connexe.
2.1.2 Sous-groupes paraboliques, horosph´eriques et sous-groupes de Levi
Dans cette partie, on va s’int´eresser aux racines d’un groupe alg´ebrique et aux sous-groupes associ´es. On pose k =R ou C. Tous les groupes et sous-groupes in- troduits sont des k-groupes alg´ebriques, que l’on identifie dans cette partie avec
leur groupe k-points, que l’on note en lettres non grasses.
Soient G un k-groupe alg´ebrique connexe semi-simple et T un k-tore de G d´eploy´e maximal. On note Φ = Φ(T, G) l’ensemble des racines deGpar rapport `a T.
L’alg`ebre de Lie g de Gse d´ecompose en g=g0⊕X
α∈Φ
gα.
Le crochet de Lie v´erifie la propri´et´e suivante :
Proposition 2.4. [Mar74, Lemme 4.5.1] Si α, β sont deux racines [gα,gβ]⊂gα+β.
Si α+β 6= 0, on a
[gα,gβ] =gα+β. De plus, pour tout x∈gα non nul,
[x,gβ]6={0}.
On fait le choix d’une base ∆ de racines simples de Φ. Toute racine β ∈Φ se d´ecompose en
β = X
α∈∆
nα(β)α
pour des coefficients nα(β) entiers. On note Φ+ l’ensemble des racines positives, c’est-`a-dire des racinesβ pour lesquellesnα(β)≥0 pour toute racineα∈∆ et Φ− l’ensemble des racines n´egatives.
Soit θ ⊂ ∆ un ensemble de racines simples. On note [θ] ⊂ Φ l’ensemble des racines combinaisons lin´eaires des racines deθ et Φ+θ = Φ+\[∆\θ] l’ensemble des racines positives qui s’´ecrivent avec au moins une racine de θ.
L’ensemble Φ+θ d´efinit une sous-alg`ebre de Lie unipotente uΦ+
θ =gΦ+
θ = X
α∈Φ+θ
gα.
On note UΦ+
θ ouUθ le sous-groupe unipotent deG correspondant, appel´e sous- groupe horosph´erique standard associ´e `aθ.
On noteTθ ⊂T la composante alg´ebrique connexe de l’intersection des noyaux des caract`eres α∈∆\θ :
Tθ = ( \
α∈∆\θ
Kerα)◦.
Soit Lθ le centralisateur deTθ dans G. Son alg`ebre de Lie est la somme directe deg0 et des espaces de racinesgβ pour les racinesβ v´erifiantnα(β) = 0 pour toute racine α∈θ.
Le sous-groupe parabolique standard associ´e `aθest le groupePθ, produit semi- direct deLθ et du groupe unipotentUΦ+
θ. Le groupe Pθ est le normalisateur deUθ
dansG. Son alg`ebre de Lie est la somme directe de g0 et des espaces de racinesgβ pour les racinesβ v´erifiant nα(β)≥0 pour toute racine α∈θ. On a Ru(Pθ) =Uθ
et le groupe Lθ est un sous-groupe de Levi de Pθ, que l’on appelle sous-groupe de Levi standard associ´e `a θ.
Les sous-groupes paraboliques (resp. horosph´eriques) deGsont les sous-groupes deG conjugu´es aux groupes paraboliques (resp. horosph´eriques) standards.
Pour θ =∅, le groupe UΦ+ est le sous-groupe unipotent maximal de G : Proposition 2.5. [BT71, Proposition 3.1] Soit U un sous-groupe unipotent deG, alors U est contenu dans un sous-groupe horosph´erique de G.
On note W =N(T)/C(T) le quotient du normalisateur deT par son centrali- sateur, appel´e groupe de Weyl de G. Ce groupe est fini et agit sur les racines. On note w0 son plus long ´el´ement correspondant `a la base ∆ choisie.
Th´eor`eme 2.6 (D´ecomposition de Bruhat). [Bor69, Th´eor`emes 21.15, 21.26, 21.27] Soient P un sous-groupe parabolique standard et U son radical unipotent.
On a
G= G
w∈W
U wP,
o`u si w1, w2 ∈ W, les ensembles U w1P et U w2P sont soit disjoints, soit inclus l’un dans l’autre. De plus, U w0P est un ouvert dense de G.
On dit que deux sous-groupes paraboliquesP1, P2 sont oppos´es si l’intersection P1∩P2 est un sous-groupe de Levi de P1 et P2.
On consid`ere Φ−θ l’ensemble Φ−\[∆\θ]. On notePθ− le produit semi-direct du centralisateur de Tθ avec le groupe unipotent UΦ−
θ. Les sous-groupes paraboliques Pθ et Pθ− sont oppos´es et toute paire de sous-groupes paraboliques oppos´es est conjugu´e `a une telle paire.
D´efinition 2.7. On dit qu’un sous-groupe paraboliqueP est r´eflexif s’il est conju- gu´e `a un sous-groupe parabolique oppos´e `a P.
Cette propri´et´e est caract´eris´ee par la proposition suivante :
Proposition 2.8. Soit θ ⊂∆ un ensemble de racines simples. Le groupe parabo- lique Pθ est r´eflexif si et seulement si θ est stable par la sym´etrie du diagramme de Dynkin induite par −w0. En particulier, si −w0 = Id, tous les sous-groupes paraboliques sont r´eflexifs.
D´emonstration. Le sous-groupe paraboliquePθ− est conjugu´e au sous-groupe para- bolique standardP−w0θ, lui-mˆeme conjugu´e `a Pθ si et seulement si θ =−w0θ.
Dans la section 4.2, on ram`ene la preuve du th´eor`eme 4.1 aux cas o`u le sous- groupe horosph´erique a une structure plus simple. On a simplement besoin de traiter les cas o`u le sous-groupe horosph´erique est commutatif ou de type Heisen- berg, au sens suivant :
D´efinition 2.9. On dira qu’un sous-groupe horosph´eriqueU est de type Heisenberg si [U, U] = Z(U) et Z(U) est le groupe radiciel correspondant `a la plus grande racine α.˜
On introduit certains groupes d’automorphismes de U. Ces groupes ne seront utilis´es que pour les sous-groupes horosph´eriques commutatifs et de type Heisen- berg.
D´efinition 2.10. On noteSAut(U)le groupe des automorphismes deU pr´eservant le volume.
On note SAutId(U)le sous-groupe de SAut(U) agissant par l’identit´e sur le sous- groupe d´eriv´e [U, U].
On a un morphisme de la partie semi-simple d’un sous-groupe de Levi du normalisateur deU dans SAut(U) :
Proposition 2.11. SoientP un sous-groupe parabolique deG, U son radical uni- potent et L un sous-groupe de Levi de P. On note S la partie semi-simple de L (S est le groupe d´eriv´e de L). L’action par conjugaison de S sur U pr´eserve le volume.
D´emonstration. Quitte `a complexifier la situation, on peut supposer queG est un groupe alg´ebrique complexe. Soit s ∈ S, d’apr`es l’unicit´e de la mesure de Haar sur U, l’action de s sur U multiplie la forme de volume par une constante. On a donc un caract`ere alg´ebrique du groupe connexe S, mais les groupes semi-simples connexes n’ont pas de caract`eres non triviaux.
Dans les sous-parties 2.1.4 et 2.1.5, on va classifier les sous-groupes horosph´e- riques commutatifs et de type Heisenberg. On aura besoin du lemme technique suivant
Lemme 2.12. [Bou81b, Prop 19, no 1.6, Chap VI] Soientα1, α2, ..., αk des racines telles que
k
P
i=1
αi soit une racine. Alors il existe une permutation π de [1, k] telle que
∀1≤j ≤k,
j
X
i=1
απ(i)∈Φ.
2.1.3 Groupes engendr´es par des sous-groupes unipotents
Dans cette partie, G d´esignera toujours le groupe des points r´eels d’un groupe alg´ebrique G connexe d´efini sur R. On dira queG est un groupe alg´ebrique r´eel.
Proposition 2.13. SoitGun groupe alg´ebrique connexe r´eel simple. On consid`ere P+ et P− deux sous-groupes paraboliques oppos´es non triviaux et U+, U− leur radicaux unipotents.
• Le groupe G est le groupe alg´ebrique engendr´e par U+ et U−.
• Le groupe topologique engendr´e par U+ et U− est ´egal `a la composante connexe de G pour la topologie usuelle.
D´emonstration. D’apr`es [BT65, Prop 4.11], le groupe alg´ebrique engendr´e parU+ et U− est un sous-groupe normal de G. Comme U+ et U− sont non triviaux et que Gest connexe, c’est le groupe Glui-mˆeme.
On en d´eduit que l’alg`ebre de Lie du groupe engendr´e par U+ et U− est ´egal `a g, d’o`u le r´esultat.
Les r´eseaux de U+ et U− ´etant des sous-groupes Zariski-denses de U+ et U−, on en d´eduit que si Γ est un sous-groupe de Gengendr´e par des r´eseaux de U+ et U−, le groupe Γ est Zariski-dense dans G.
On va d´efinir la notion d’ensemble clos de racines.
D´efinition 2.14. Soit Ψ ⊂ Φ un ensemble de racines. On dit que Ψ est clos si pour toutes racines α, β ∈Ψ, d`es que α+β est une racine, elle appartient `a Ψ.
Si Ψ est un ensemble clos de racines positives (resp. n´egatives), l’alg`ebre de Lie uΨ =X
α∈Ψ
gα
est une sous-alg`ebre de Lie nilpotente de g, correspondant `a un sous-groupe uni- potentUΨ deG.
D´efinition 2.15. Soit Ψ ⊂ Φ un ensemble de racines. On note Ψ le plus petit ensemble clos contenant Ψ.
On va maintenant d´ecrire les sous-groupes de G engendr´es par deux sous- groupes unipotents.
Pour Ψ un ensemble quelconque de racines, on note Ψ+ = Ψ∩Φ+ et Ψ− = Ψ∩Φ−.
Lemme 2.16. Soient Ψ1 un ensemble clos de racines positives et Ψ2 un ensemble clos de racines n´egatives. Soit Ψ = Ψ1∪Ψ2 la clˆoture de Ψ1∪Ψ2. Alors le groupe engendr´e par UΨ+ et UΨ− est ´egal au groupe engendr´e par UΨ1 et UΨ2.
D´emonstration. D´ecoule de la proposition 2.4.
Pour Ψ un ensemble de racines, on note Ψs = Ψ∩(−Ψ) et Ψu = Ψ\Ψs. Proposition 2.17. Soit Ψ un ensemble clos de racines. On consid`ere le sous- groupe GΨ de G engendr´e par les sous-groupes unipotents UΨ+ et UΨ−. Le groupe GΨest la composante connexe du groupe des points r´eels d’un groupe alg´ebrique. De plus, GΨ est ´egal au produit semidirect LΨsnUΨu o`uLΨs est le groupe semi-simple engendr´e par les groupes UΨ+s et UΨ−s.
D´emonstration. La proposition [BT65, Prop 3.13] traite du cas de groupes alg´e- briques : les groupes UΨ± engendrent un groupe alg´ebrique GΨ, ´egal ou produit semidirect LΨs nUΨu o`u LΨs est le groupe alg´ebrique semi-simple engendr´e par les groupes alg´ebriquesUΨ±
s.
Le groupe GΨ est alors ´egal `a la composante neutre du groupe des points r´eels deGΨ, elle mˆeme ´egale `a LΨsnUΨu, comme annonc´e.
2.1.4 Sous-groupes horosph´eriques commutatifs
On va caract´eriser et classifier les sous-groupes horosph´eriques commutatifs. De groupes G alg´ebriques r´eels simples.
Si G est la restriction de C `a R d’un groupe complexe, les sous-groupes para- boliques de G sont en bijection avec les paraboliques complexes du groupe G vu comme un groupe complexe [BT65, Corollaire 6.19].
Si G est absolument simple, le complexifi´e PC (resp. UC) d’un sous-groupe parabolique P (resp. horosph´erique U) est un sous-groupe parabolique (resp. ho- rosph´erique) de GC et U est commutatif si et seulement si UC l’est.
Pour classifier les sous-groupes horosph´eriques r´eels commutatifs, il suffit donc de classifier les sous-groupes horosph´eriques complexes commutatifs de groupes complexes simples.
Proposition 2.18. Soient G un groupe alg´ebrique complexe simple, (αi) ses ra- cines simples et α˜ la plus grande racine. Les groupes horosph´eriques standards commutatifs de Gcorrespondent aux ensembles θ={αi} o`u αi apparait avec coef- ficient 1 dans α.˜
D´emonstration. Siθ ={αi}, l’alg`ebre de LieuΦ+
θ du groupe horosph´erique corres- pondant `aθ est l’espace vectoriel engendr´e par lesgα o`uα est une racine positive s’´ecrivant avec un coefficient strictement positif en αi.
Si nαi(˜α) = 1, c’est que les racines pr´ec´edentes ont toutes un coefficient 1 en αi. L’alg`ebre de Lie uΦ+
θ est donc commutative d’apr`es la proposition 2.4.
R´eciproquement, si θ contient deux racines, ou une racine qui apparait avec un coefficient > 1 dans l’expression de ˜α, on peut trouver deux racines β1 et β2
de Φ+θ telles que β1 +β2 soit une racine (Il suffit d’appliquer le lemme 2.12 `a la d´ecomposition de ˜αen racines simples). D’apr`es la proposition 2.4 l’alg`ebre de Lie uΦ+
θ n’est alors pas commutative.
Pour un sous-groupe horosph´erique commutatif, le groupe des automorphismes est facile `a d´ecrire :
Proposition 2.19. Soient U un sous-groupe horosph´erique commutatif et u son alg`ebre de Lie, on a
SAut(U)'SAutId(U)'SL(u).
D´emonstration. L’application exponentielle r´ealise un isomorphisme de groupe entre U et (u,+) qui pr´eserve le volume.
Soient G un groupe alg´ebrique r´eel et P un sous-groupe parabolique de G de radical unipotent U et de sous-groupe de Levi L. On note S0 le sous-groupe alg´ebrique r´eel de Lengendr´e par les sous-groupes alg´ebriques unipotents r´eels de L. Le groupe alg´ebrique S0 est connexe (alg´ebriquement) et on l’appellera partie semi-simple isotrope de L.
Par la suite on s’int´eressera `a la repr´esentation de S0 sur l’alg`ebre de Lie u de U.
Proposition 2.20. Soitθ ⊂∆un ensemble de racines simples associ´e `a un sous- groupe horosph´erique U =Uθ commutatif, L=Lθ le sous-groupe de Levi standard associ´e, S la partie semi-simple de L et S0 la partie semi-simple isotrope de L.
(i) La repr´esentation de S sur uθ est irr´eductible.
(ii) La repr´esentation de S0 sur uθ est irr´eductible.
D´emonstration. Une repr´esentation d’un groupe de Lie semi-simple est irr´eductible si et seulement si la repr´esentation d´eriv´ee de son alg`ebre de Lie l’est.
(i) Il suffit de montrer que si G est un groupe complexe, la repr´esentation en question est C-irr´eductible. Les espaces de racines gα sont alors des C-espaces de dimension 1.
On aθ ={α}et l’alg`ebre de Lie deS contient les espaces gβ pour toute racine β telle quenα(β) = 0.
Si u∈ uθ est un vecteur de la repr´esentation, il existe une racine β ∈Φ+θ telle que la projection de u sur gβ soit non nulle. On suppose que β est de longueur minimale pour cette propri´et´e.
Il existe une suite de racines simplesαj,1≤j ≤l telles queβ+Pl
j=1αj = ˜αet pour tout 1≤k ≤l,β+Pk
j=1αj soit racine (si ce n’´etait pas le cas, il existerait une racineβ0 6= ˜α telle queuβ0 appartienne au centre de l’unipotent sup´erieur maximal standard, ce qui est impossible, voir proposition 4.9). On a bien nα(αi) = 0.
D’apr`es la proposition 2.4 et la minimalit´e de β, on a alors [gαl,[gαl−1, ...,[gα1, u]...]] =gα˜.
Le plus petit espace stable par S et contenant u contient donc gα˜. A partir de ce sous-espace, le mˆeme raisonnement avec pour αi l’oppos´e de racines simples, montre que le plus petit espace stable par S et contenant u contient tous les es- paces de racines inclus dans uθ.
(ii) D’apr`es la liste des sous-groupes horosph´eriques commutatifs donn´ee dans l’appendice A, le groupeS0est toujours localement isomorphe `aS(de mˆeme alg`ebre de Lie), sauf quandGest localement isomorphe `aSLn(H) etU est le stabilisateur d’une droite quaternionique (resp. d’un hyperplan quaternionique). L’alg`ebre de Lie deS0est alorssln−1(H) et sa repr´esentation suruest la repr´esentation standard Hn−1 (resp. sa duale), qui est bien irr´eductible.
2.1.5 Sous-groupes horosph´eriques de type Heisenberg
On commence par donner une caract´erisation des sous-groupes horosph´eriques de type Heisenberg similaire `a celle des sous-groupes horosph´eriques commutatifs.
Proposition 2.21. Soit G un groupe alg´ebrique r´eel simple et θ ⊂ ∆. On a
´equivalence entre
• Le sous-groupe horosph´erique Uθ est de type Heisenberg.
• Pour toute racine α∈θ, la diff´erenceα˜−α est une racine et P
α∈θ
nα(˜α) = 2.
D´emonstration. Si U est de type Heisenberg, on a n´ecessairement P
α∈θ
nα(˜α) = 2 : si cette somme ´etait ´egale `a 1, le groupe horosph´erique serait commutatif, et si elle
´etait strictement sup´erieure `a 2, par le mˆeme argument que dans le cas commutatif, on aurait [uθ,[uθ,uθ]]6={0}.
De plus, soit αi ∈ θ. Si ˜α−αi n’´etait pas une racine, d’apr`es le lemme 2.12 il existerait une racine α ∈ Φ+θ telle que α+αi ∈ Φ+θ et α+αi 6= ˜α. Mais [uθ,uθ] contiendrait alors l’espace gα+αi, et U ne serait pas de type Heisenberg.
R´eciproquement, si ces conditions sont v´erifi´ees, le groupe U est clairement de type Heisenberg.
Proposition 2.22. Soit Gun groupe simple alg´ebrique r´eel de rang r´eel au moins 2. Le groupe G admet un unique sous-groupe horosph´erique standard de type Hei- senberg.
D´emonstration. D’apr`es [Bou81b, Prop 25, no 1.8, Chap VI] pour toute racine simple positiveα, on a
(˜α, α) = 0 ou (˜α, α) = ||α||˜ 2 2 .
Comme le rang r´eel du groupe G est ≥ 2, ˜α n’est colin´eaire `a aucune racine simple. D’apr`es [Bou81b, Prop 9, no 1.3, ChapVI], la diff´erence ˜α−αest une racine si et seulement si (˜α, α)6= 0.
On note J l’ensemble des racines simples telles que (˜α, α)6= 0. On ´ecrit
˜
α=X
α∈∆
nα(˜α)α.
Alors
||α||˜ 2 = (˜α,X
α∈∆
nα(˜α)α) = X
α∈J
nα(˜α)||˜α||2 2 . On en d´eduit que P
α∈J
nα(˜α) = 2, d’o`u le r´esultat d’apr`es la caract´erisation pr´ec´edente.
A l’aide de cette caract´erisation, on d´etermine la liste des sous-groupes horo- sph´eriques de type Heisenberg (voir appendice A), que l’on s´epare en plusieurs type :
1. Soit G est la restriction de C `a R d’un groupe complexe simple G0 et le sous-groupe horosph´erique de type Heisenberg de G est la restriction de C
`a R d’un sous-groupe horosph´erique de G0, dont le centre est de dimension (complexe) 1.
