Groupes à centre virtuel non trivial

Le but de cette partie est de montrer la réciproque suivante du théorème 1.1.

PROPOSITION 7.7. – Soit ∆0 un groupe. Si l’espace¹² F∆0 est un fermé non vide de Hom(∆0,PGL(R^m)), alors∆0a un centre virtuel trivial.

Démonstration. – Relevons un élément deF∆0en une représentationρ: ∆₀→SL^±(R^m)qui préserve un cône proprement convexeC de V =R^m. Supposons que∆0 a un centre virtuel non trivial et cherchons une contradiction en déformant, comme dans l’exemple 7.6, cette représentationρen une représentation non injective. Pour plus de clarté, distinguons deux cas.

1^ercas : ρest irréductible.

NotonsC=C1+· · ·+Cla décomposition du côneCen produit de cônes irréductibles, V =V1 ⊕ · · · ⊕V la décomposition correspondante de V et di = dimVi. D’après le fait 2.12(b) et le corollaire 2.13, l’hypothèse sur le centre virtuel de ∆0 assure que l’on a 2. Chaque élémentg de∆0 permute les facteursCi. Commeρest irréductible, on peut identifier chaqueV_iàV₁de sorte que, pour tout élémentgde∆₀, l’imageρ(g)s’écrive comme un produitρ(g) = diag(g₁, . . . , g)◦σd’une matrice diagonale par blocs et d’une matriceσ de permutation des indices. D’après le fait 2.12(d), le centre virtuelZ de∆₀est un groupe isomorphe àZ⁻¹. En outre, lorsquegest dansZ, les blocsgisont des homothéties positives et la permutationσest l’identité.

Définissons alors une famille à un paramètre ρ_tde représentations de∆₀dans SL^±(V), pour toutgdans∆₀, par

ρ_t(g) = diag

g₁

|detg1|^t/d1, . . . , g

|detg|^t/d

◦σ.

On aρ0=ρ. Maisρ1n’est pas injective carρ1(Z) ={1}. Contradiction.

2^èmecas : ρn’est pas irréductible.

On procède comme pour le premier cas. Notons cette foisV =V1⊕ · · · ⊕Vavec2la décomposition deV en somme directe de représentations irréductibles etdi= dimVi. D’après le fait 2.12(d), le centreZde∆0est un groupe isomorphe àZ⁻¹et les restrictions à chaque Vides éléments deZsont des homothéties positives.

Définissons alors une famille à un paramètre ρ_tde représentations de∆₀dans SL^±(V), pour toutgdans∆0, par

ρt(g) = ρ(g)

|det(ρ(g)|Vi)|^t/di surVi.

On a encoreρ₀=ρetρ₁n’est pas injective carρ₁(Z) ={1}. Contradiction. 2 7.4. Dimension des facteurs irréductibles d’un convexe divisible

Nous avons déjà vu que, lorsqu’un groupe Γ divise un cône proprement convexe C, la dimension de C et le nombre de facteurs irréductibles de C ne dépendent que du groupe abstrait (fait 2.12(d)). La proposition suivante affirme qu’il en est de même pour les dimensions des facteurs irréductibles deC.

12Cet espace est défini dans l’introduction.

PROPOSITION 7.8. – Soient Γ₀ un groupe, ρ et ρ deux représentations fidèles discrètes de Γ₀ dont les images divisent respectivement des cônes proprement convexes C et C. Soit k1. Notonsn_k(C)le nombre de facteurs irréductibles de dimensionkdu côneC. Alors on an_k(C) =n_k(C).

Démonstration. – Quitte à remplacerΓ0 par un sous-groupe d’indice fini, on peut, grâce au fait 2.12(d), supposer queΓ0est un produitΓ0=Z×∆0où∆0 est un groupe sans torsion et sans sous-groupe distingué nilpotent infini.

NotonsC=C1+· · ·+C la décomposition du côneC en produit de cônes irréductibles, V =V1⊕ · · · ⊕Vla décomposition correspondante deV,Ωi:=P(Ci)les images deCidans P(Vi)etdi= dimViavecd1· · ·d. Notonssle plus grand entier tel queds2. Il suffit de montrer que la suite(d1, . . . , ds)ne dépend que de∆0.

D’après le théorème 1.1 de [6], l’adhérence de Zariski de ρ(∆0) dans PGL(V1)× · · · × PGL(Vs)est un produit S1× · · · ×Ssde groupes quasi simples avec Si⊂PGL(Vi). On en déduit que si∆0est un produit∆0= ∆₀×∆₀ de deux sous-groupes non triviaux, alors, pour touti, l’un des deux sous-groupes doit agir trivialement surVi. Et dans ce cas, notre affirmation se montre par récurrence. On peut donc supposer que :

Aucun sous-groupe d’indice fini de∆0n’est (H)

le produit de deux sous-groupes non triviaux.

Notons

I:={is|Ωiest homogène}, G:=

i∈I

Aut(Ωi) et G:=

i /∈I

Aut(Ωi).

D’après le théorème 1.1 et la proposition 4.2 de [6], le groupeGest semi-simple et a un nombre fini de composantes connexes tandis que le groupeGest discret. Le groupe∆₀est un réseau cocompact du produitG×G. Le sous-groupe∆₀:= ∆₀∩Gest donc un réseau cocompact de G. La projection de∆₀surGest discrète car elle normalise∆₀. Donc le groupe∆₀:= ∆₀∩G est d’indice fini dansGet∆₀×∆₀est d’indice fini dans∆₀. L’hypothèse (H) assure alors que l’on a∆₀= ∆₀ou∆₀.

• Si ∆₀= ∆₀, le groupe ∆₀ est un réseau cocompact irréductible du groupe semi-simple G =S₁×. . .×S_s. Le théorème de rigidité de Mostow assure que le groupe G ne dépend, à revêtement fini près, que de∆₀. La dimensiond_ideV_i est donnée par l’égalité d_i= dim(S_i/K_i)oùK_iest un sous-groupe compact maximal deS_i. Donc l’entierd_i ne dépend que du groupe∆₀.

• Si∆₀= ∆₀, l’hypothèse (H) prouve ques= 1. Dans ce cas, on a l’égalitéd₁= 1 + cd(∆₀) et l’entierd₁ne dépend que du groupe∆₀.

Remarquons pour finir que, par le théorème de superrigidité de Margulis, un groupe∆₀ ne peut être isomorphe à la fois à un groupe de la forme∆₀et à un groupe de la forme∆₀ que si le groupeG est de rang réel1. Dans ce cas, on a encore les égalitéss= 1,d₁= 1 + cd(∆₀)et l’entierd₁ne dépend que du groupe∆₀. 2

7.5. L’adhérence deEΓ0

Le but de cette section est de démontrer le théorème suivant qui généralise le corollaire 3.5. Ce théorème affirme que la seule dégénérescence possible pour les éléments deEΓ0 est donnée par les exemples de 7.2 : elle n’a lieu que sur le centre virtuel deΓ0.

THÉORÈME 7.9. – SoientΓ₀ un groupe etρ_∞ un élément de l’adhérence EΓ0. Notons ρ_n une suite d’éléments de EΓ0 qui converge vers ρ. Choisissons des cônes ouverts proprement convexesCndeV :=R^mdivisés parρn(Γ0). ÉcrivonsCn=C_n +C_noùC_n est la somme des facteurs irréductibles deCnde dimension2etC_nla somme des facteurs irréductibles deCn

de dimension1. NotonsV =V_n⊕V_nla décomposition correspondante deV. Alors (a) Les limitesV_∞ = lim_n→∞V_netV_∞ = lim_n→∞V_nexistent et on aV =V_∞ ⊕V_∞. (b) Il existe un cône ouvert proprement convexeC_∞ deV_∞ qui estρ_∞(Γ₀)-invariant.

(c) Ce cône C_∞ est divisible. Plus précisément, notons C_∞ =C_∞,1 ⊕ · · · ⊕C_∞,s la décomposition du côneC_∞ en facteurs irréductibles,Ω_∞=P(C_∞,1)× · · · ×P(C_∞,s) etρ_∞l’action deΓ0surΩ_∞viaρ_∞. Alors

(i) le noyauKerρ_∞est égal au centre virtuel deΓ₀, (ii) le groupeρ_∞(Γ₀)est discret et

(iii) le quotientρ_∞(Γ0)\Ω_∞est compact.

(d) Le côneC_∞ est, à changement¹³ de signes près, l’unique cône ouvert proprement convexe ρ_∞(Γ0)-invariant deV_∞ .

(e) Il existe des changements de signes(C_n)^εndeC_n qui convergent versC_∞ . On en déduit immédiatement le corollaire suivant qui généralise le corollaire 3.5.

COROLLAIRE 7.10. – SoientΓ₀ un groupe et ρ_∞ un élément de l’adhérence EΓ0. Notons ρ_n une suite d’éléments deEΓ0 qui converge versρ. Choisissons des cônes ouverts proprement convexesCn deV :=R^mdivisés parρn(Γ0). On suppose que, pour tout¹⁴ n,Cna au plus un facteur de dimension1. Alors,

(a) Il existe un cône ouvert proprement convexeC_∞deV qui estρ_∞(Γ0)-invariant. Ce cône est unique à changement de signes près. Il est divisible.

(b) Il existe des changements de signesC_n^εndeC_nqui convergent versC_∞.

Le point clef de la démonstration du théorème 7.9 est encore la proposition 3.4. Pour l’utiliser, nous aurons besoin du lemme suivant.

LEMME 7.11. – Soient1,∆₀ un groupe sans sous-groupe distingué nilpotent infini et Γ0:=Z ×∆0. Soient ρ un élément de EΓ0, C un cône ouvert proprement convexe divisé parρ(Γ0), C=C1+· · ·+C la décomposition du cône C en facteurs irréductibles, V = V1⊕ · · · ⊕V la décomposition correspondante de V, de sorte que les dimensions di de Vi

vérifient d₁ · · ·d_l. On note s le plus grand entier tel que d_s2, V :=

isV_i et V:=

i>sV_i. Alors le commutantLdeρ([Γ₀,Γ₀])dansEnd(V)est égal à L=

ϕ∈EndV |ϕ(V)⊂Vet∀i= 1, . . . , s, ∃αi∈R, |ϕ|Vi=α_iId_Vi . En particulier, on a l’égalitédimL=s+ (l−s)².

Démonstration du lemme 7.11. – D’après le théorème 1.1 de [6], l’adhérence de Zariski de ρ(Γ0)est un produitG=G1× · · · ×GoùGi⊂GL(Vi)est un produitGi=HiSioùHiest le groupe des homothéties deV_ietS_iest un groupe quasi simple dont l’action surV_iest absolument irréductible. L’adhérence de Zariski deρ([Γ₀,Γ₀])est donc le groupeS:=S₁×· · ·×S_s. Comme Lest aussi égal au commutant deS, notre assertion s’en déduit. 2

Démonstration du théorème 7.9. – D’après les faits 2.3 et 2.12, on peut supposer que Γ₀= Z ×∆0 où ∆0 est un groupe sans torsion qui ne contient pas de sous-groupe distingué

13Le changement de signes d’un cône est défini dans le fait 2.12(f).

14D’après la proposition 7.8, il suffit pour cela que, pour au moins un entiern0,Cn₀ ait au plus un facteur de dimension1.

nilpotent infini. Notons C_n =C_n,1+· · ·+C_n, la décomposition du cône C_n en facteurs irréductibles,V =V_n,1⊕ · · · ⊕V_n,la décomposition correspondante deV et, pouri= 1, . . . , , W_n,i:=V_n,1⊕ · · · ⊕V_n,i. D’après la proposition 7.8, on peut choisir la numérotation de sorte que la dimensiond_ideV_n,ine dépende pas denet que l’on aitd₁· · ·d. On notesle plus grand entier tel qued_s2. Par compacité, il existe des sous-suitesSdeNtelles que la suite de drapeaux(W_n,1⊂ · · · ⊂W_n,)_n∈S converge. Fixons une telle sous-suiteS. À l’aide de petites rotations, on peut supposer que cette suite de drapeaux est constante. On note alors(e_j)_1jm une base deV telle que, pour tous n, i,W_n,i ait pour base(e_j)_{1jd1+···+di}. On noteraV_i le sous-espace deV ayant pour base(ej)d1+···+d_i−1jd1+···+di. de sorte que, pour tousn, i, on aitWn,i=V1⊕ · · · ⊕Vi. On pourrait aussi supposer que, pour touti, la suite des sous-espaces (Vn,i)n∈S converge vers un espaceV_∞,i. Malheureusement, les espacesV_∞,ipourraient ne pas être en somme directe.

C’est pourquoi nous allons introduire une deuxième représentation. –ρ_∞deΓ₀dansV en ne gardant que les blocs diagonaux deρ_∞. Plus précisément, dans la basee₁, . . . , e_m, les éléments

Par construction, il existe des matrices triangulaires supérieuresuntelles que ρn(g) =un◦ρ_n(g)◦u⁻¹_n avecρ_n(g) := diag

D’après le fait 2.5, la restriction deρ_∞à∆0est fidèle et discrète. Malheureusement, la restriction deρ_∞àZn’est pas en général fidèle.

C’est pourquoi nous allons introduire une troisième représentation. –ρ_∞deΓ₀dansV. Cette représentationρ_∞ne diffère deρ_∞que par des scalaires sur chacun des sous-espacesVi. Elle est donnée, pour toutg= (n1, . . . , n, h)∈Z×∆0, par alors fidèle et discrète. Comme les groupesρn,i(Γ0)préservent des cônes ouverts proprement

convexes de V_i, tous les éléments ρ_n,i(g) sont positivement semi-proximaux (lemme 3.2).

Par passage à la limite, il en est de même des éléments ρ_∞,i(g) et donc aussi de ρ_∞(g).

Malheureusement, nous ne pouvons pas appliquer directement la proposition 3.4 au groupe ρ_∞(Γ0)car nous ne savons pas encore si cette représentationρ_∞deΓ0est semi-simple.

C’est pourquoi nous allons introduire une quatrième représentation. –ρ_∞deΓ0dansV. Cette représentation est la semi-simplifiée deρ_∞, c’est-à-dire la somme directe des sous-quotients irréductibles qui apparaissent dans une suite de Jordan–Hölder deρ_∞. Le même fait 2.4 prouve que la restriction deρ_∞ à∆₀ est fidèle et discrète. On en déduit encore queρ_∞ est fidèle et discrète. L’adhérence de ZariskiG du groupe Γ :=ρ_∞(Γ₀)est donc réductif, on a l’égalité cd(Γ) = dimV et les éléments deΓsont tous positivement semi-proximaux. La proposition 3.4 assure alors queΓdivise un cône ouvert convexe de C_∞. En outre, comme le centre deΓ est de rang, le nombre de facteurs irréductibles de la représentationρ_∞est égal à(fait 2.12(d)).

Autrement dit, chacune des représentationsρ_∞,iest irréductible et on a l’égalitéρ_∞=ρ_∞. La suite de la démonstration repose sur l’étude des commutants. –Ln,L_∞,L_∞ etL_∞ de ρ_n([Γ₀,Γ₀]),ρ_∞([Γ₀,Γ₀]),ρ_∞([Γ₀,Γ₀])etρ_∞([Γ₀,Γ₀])respectivement ; avec pour objectif la détermination de la limite de la suiteL_n(égalité (13)). Pour cela, notons

V:=

is

Vi et V:=

i>s

Vi.

D’après le lemme 7.11, on a l’égalité L_∞=

ϕ∈EndV |ϕ(V)⊂Vet∀i= 1, . . . , s, ∃α_i∈R, |ϕ|Vi=α_iId_Vi . (7)

Commeρ_∞etρ_∞coïncident sur[Γ₀,Γ₀], on a l’égalité L_∞=L_∞. (8)

Notons G_∞ l’adhérence de Zariski de ρ_∞([Γ0,Γ0]) et écrivons G_∞=R_∞U_∞ sa décompo-sition de Levi où R_∞ est réductif et U_∞ est unipotent. Comme l’action de R_∞ sur V est semi-simple, quitte à changer de basee₁, . . . , e_mà l’aide d’une matrice triangulaire supérieure, on peut supposer que R_∞ stabilise les sous-espaces V_i. Notons G_∞ l’adhérence de Zariski de ρ_∞([Γ₀,Γ₀]) =ρ_∞([Γ₀,Γ₀]). Comme ρ_∞ est une représentation semi-simple de Γ₀, ρ_∞ est aussi une représentation semi-simple de[Γ₀,Γ₀] et le groupeG_∞ est réductif. On a donc G_∞=R_∞et doncG_∞⊂G_∞. On en déduit l’inclusion

L_∞⊂L_∞. (9)

Or, pour toute suiteS⊂Stelle que la limiteL_S:= lim_n∈SL_nexiste, on a l’inclusion L_S⊂L_∞.

(10)

Or, par le lemme 7.11, on a l’égalité

dimLS= dimLn= dimL_∞=s+ (−s)². (11)

On déduit de (8)–(11) que

LS=L_∞=L_∞=L_∞. (12)

Comme la limiteLS ne dépend pas des suitesSetSchoisies, on en déduit que

nlim→∞L_n=L_∞=L_∞=L_∞. (13)

D’après le lemme 7.11, on a aussi l’égalité Ln=

ϕ∈EndV |ϕ(V_n)⊂V_net∀i= 1, . . . , s, ∃αi∈R, |ϕ|Vn,i=αiIdVn,i

. (14)

On déduit alors de (7), (13) et (14) les égalités

nlim→∞V_n=V et ∀i= 1, . . . , s, lim

n→∞V_n,i=V_i. Ce qui prouve le point (a) avecV_∞ =V etV_∞ =V.

(b) Comme les espaces V_n et Vn,i sont stabilisés parρn(Γ0), on en déduit, par passage à la limite que les espaces V et Vi, pour i= 1, . . . , s, sont stabilisés par ρ_∞(Γ0). Donc les représentations ρ_∞ et ρ_∞ coïncident sur V. D’après le fait 2.12(b), on peut écrire C_∞= C_∞ +C_∞ oùC_∞ et C_∞ sont respectivement des cônes ouverts convexes de V etV. Par construction, ce côneC_∞ estρ_∞(Γ0)-invariant.

(c) L’actionρ_∞deΓ0surΩ_∞viaρ_∞coïncide avec l’action viaρ_∞. Comme le côneC_∞est divisé parρ_∞(Γ0), nos assertions résultent des faits 2.12(a) et 2.12(d).

(d) Cela résulte du point (c) et du fait 2.12(f).

(e) On procède comme pour le corollaire 3.5. Soient is et K_i une valeur d’adhérence de la suite n→P(C_n,i) de compacts de P(V_i). Ce compact K_i est convexe non vide et ρ_∞,i(Γ₀)-invariant. Comme la représentation ρ_∞,i est irréductible, K_i est l’adhérence d’un ouvert proprement convexeΩ_ideP(V_i). Par le point (d), on a forcémentΩ_i=P(C_i). Donc, après un éventuel changement de signes, les suitesC_n,iconvergent versC_∞,ietC_n versC_∞ . 2