Weestablish density and onnetedness properties of the subset Hom irr(Γg,GLn(R))of irreduible representations in the spae of representations Hom(Γg,GLn(R

GÉNÉRAL LINÉAIRE

OLIVIERGUICHARD

Abstrat. Weshowthat anyrepresentationofthefundamental groupofanorientable

surfaeΣ^inGLn(R)^{admits abaseof} neighborhoods in anyofwhih thesubsetofirre- duiblerepresentationsisapathwiseonnetedanddensesubset,aslongasthegenusof

Σ^isbigenough.

Introdution

Let Γg ^{denote the} fundamentalgroup of a ompat orientable surfae of genus g^{. This}

group admitsthe following wellknown presentation

Γg =ha1, . . . , ag, b1, . . . , bg |a1b1a⁻¹₁ b⁻¹₁ · · ·agbga⁻¹_g b⁻¹_g = 1i.

Weestablish density and onnetedness properties of the subset Hom

irr(Γg,^GLn(R))^of

irreduible representations in the spae of representations Hom(Γg,^GLn(R))^.

Theorem 1. Let n ^{bea integer. If thegenus} g ^{islarge enough (depending on} n^{) then, for}

every representation ρ ⁱⁿ Hom(Γg,^GLn(R))^{, there exists a base} (Uα)α ^of neighborhoods of

ρ ⁱⁿ Hom(Γ_g,^GL_n(R))^{suh thatthe} intersetion U_α∩^Homirr(Γ_g,^GL_n(R)) ^{is dense in} U_α^,

and pathwise onneted.

Remarks. • ^{The proof implies similar statements for the groups SLn}(R)^{, PGL}n(R)

and PSLn(R)^.

• ^{The methodsof proof givemoreover anexpliit minorationfor the genus:} g ^bigger

than n²+ 1 ^{is suient (probablynot optimal).}

• ^{Inthe following we willfous} partiularlyto the ase when the representation ρ ^is

semisimple. Underthishypothesisweobtainapreisedesriptionofthesingularity

of the spae Hom(Γg,^GLn(R)) ^at ρ (Proposition 8 and 9). In paragraph 6.10 we explain the ase of any representation.

• ^{Theorem 21gives, although understronger} hypothesis, a stronger onlusion than Theorem1, thatis, the onnetednessand the densityof the set of representations

whoserestrition to agiven nite index subgroup isirreduible.

• ^{The set Homirr}(Γ_g,^GL_n(R)) ^{is always open. Its omplement is in fat nowhere}

dense and of measure zero, this is easilyobtained from the Proposition8 and 9.

Webegin by givingsome onsequenes of this result that are easybut moreinstrutive

orollaries.

Corollary 2. If the genus g ^{is large enough, then, for every onneted omponent} C ^of Hom(Γg,^GLn(R))^{, thesubset}C ∩^Homirr(Γg,^GLn(R))^{isdense in}C ^{andpathwiseonneted.}

The spae Hom

irr(Γg,^GLn(R)) ^{has then the same number of onneted omponents as} Hom(Γg,^GLn(R))^{. In [5℄ Bradlow,} Garía-Prada and Gothen show that this number is

3·2^{2g. Also,} Hom(Γg,^GLn(R)) ^{is the set of real points of an algebrai variety and it is}

known that a representation ρ ^{is a smooth point if and only if the entralizer of} ρ(Γg) ^is

a nite extension of the group R^∗ of salar matries, i.e. if, and only if, the Lie algebra of this entralizer equals the salar matries (see Proposition 1.2 of [8℄, we will go bak

to this point in the remark following Theorem 6). For an irreduible representation this

ondition is always satised.

Corollary 3. If the genus g ^{is large enough, then, in any onneted omponent of the}

spae of representations Hom(Γg,^GLn(R))^{, the set of smooth points is dense and pathwise}

onneted.

In the frame of real algebraivarieties the property of onnetedness of smooth points

is not immediate (onsider for example the one dened by a quadratiform of signature

(n,1)^).

It isnaturaltoonsider the quotient spaeHom(Γg,^GLn(R))/^GLn(R)^{where the ation}

of GLn(R) ^{is by} onjugation. This quotient with the quotient topologyis not Hausdor, butifweidentifytwopointshavingthesameneighborhoods,weobtainatopologialspae

M ^{whih has moreover the struture of an analyti variety (}M ^{is also the set of lasses}

of representations of Hom(Γg,^GLn(R)) ^{having the same} semisimpliation). The above orollaries show that the set of smooth points in any onneted omponent of M ^{is still}

pathwise onneted.

Weremark that the tehniques used here apply alsoto the group GLn(C) ^{and that we}

hene have similar results for this group. Although, for omplex groups, there is a more

diret way to onlude. Indeed, let G^{bea onneted semisimpleomplex Lie group. The}

obstrution tolift a representation ρ ^of Γg ^into G ^toa representation ρ˜^{with values in the}

universal over Ge ^{is given by anelement}

σ(ρ)∈H²(Γg, π1(G))≃π1(G).

This element of π1(G) ^{an be desribed using the} presentation of Γg ^{(see [15℄). Let}

˜

a1, . . . ,˜bg ^{be elements of} Ge ^{whih projet to}ρ(a1), . . . , ρ(bg)^{, then}

σ(ρ) = ˜a1˜b1˜a⁻¹₁ ˜b⁻¹₁ · · ·˜ag˜bga˜⁻¹_g ˜b⁻¹_g ∈ker(Ge →G) =π1(G)^.

Theorem. (Jun Li [13℄) The irreduible omponents of Hom(Γg, G) ^{are the bers of the}

map σ: Hom(Γg, G)→π1(G)^.

Note that this proves the irreduibility of Hom(Γg, G) ^when G ^{is simply onneted,}

another proof of the irreduibility for the ase G = ^GL_n(C) ^{and related results an be}

found in [17℄. Moreover the map σ ^{is loally onstant, whih proves that in this ase the}

onneted omponents of Hom(Γg, G) ^{oinide with the irreduible omponents. It is also}

a lassial fat that the set of smooth points of a omplex analyti irreduible variety is

dense and pathwise onneted (setion I.4 in [23℄). Hene, in eah onneted omponent

of Hom(Γg, G)^{, the set of smooths points is dense and pathwise onneted. By exploiting}

the simpler loal struture of Hom(Γg, G) ^{at a smooth point, density and} onnetedness of irreduible representations an easily be dedued. Indeed a neighborhood of suh a

point is analytially isomorphi to an open set of C^N and the subset of non-irreduible representations is the nite union of analyti subvarieties of positive odimension (see

the remark following the lemma 4), the omplement in C^N of suh a union is pathwise onneted.

Another situation where similar results are already known is the ase of PSL2(R)^{. In}

the artile [9℄, W. Goldman shows the density and properties of onnetedness of some

partiular representations. One given a pair-of-pants deomposition of the surfae Σ ^of

genusg ^{(a pair of pants is asphere minus threediss)} Σ = M1∪ · · · ∪M2g−2

satisfyingthat the dual graphof this deomposition is atree, he proves :

Theorem. (Goldman[9℄)In anyonnetedomponentC ^of Hom(Γg,^PSL2(R))^{, the subset}

of the representations

{ρ∈ C | ρ(π₁(M_i)) ^nonabelian ∀i}

is dense in C ^{and is pathwise onneted.}

This statementdoes not appear just asit isin Goldman'spaper, but is one of the tools

used to determine the onneted omponents of Hom(Γ_g,^PSL₂(R))^{. It implies that the}

subset of smooth points is dense and pathwise onneted in eah onneted omponent

and alsothat the subset ofirreduible representations satises the same properties.

To end this introdution we give a ounter-example to a generalization to other Lie

groups. Let ι : Γg ֒→ ^SL2(R) ^{a one-to-one map onto a oompat lattie. The group}

SL2(R) ^{an be identied with SU}(1,1) ^{whih an be seen as a subgroup of PU}(2,1)^{, all} ρ ^{the obtained} representation of Γg ^{in PU}(2,1)^{. A result of D. Toledo [22℄ states that,}

in this ase, the deformations of ρ ^{always preserve a line in} C³, they are therefore never irreduible. The theorem 1 hene does not generalize tothe group PU(2,1)^{. We willalso}

give anexample showing that anhypothesis onthe genus is neessary.

Introdution

Dans e texte le groupe fondamentald'une surfae ompate orientable de genre g > 1

sera noté Γ_g^{. Il admet la}présentation lassique suivante

Γg =ha1, . . . , ag, b1, . . . , bg |a1b1a⁻¹₁ b⁻¹₁ · · ·agbga⁻¹_g b⁻¹_g = 1i.

Nousproposonsiidemontrerdespropriétésdedensitéetdeonnexitédusous-ensemble

de Hom(Γ_g,^GL_n(R))^des représentations irrédutibles, désignépar Hom

irr(Γ_g,^GL_n(R))^.

Théorème 1. Soit n ^{un entier xé. Si} g ^{est assez grand (en fontion de} n^{) alors, pour}

toute représentation ρ ^dans Hom(Γg,^GLn(R))^{, il existe une base} (Uα)α ^{de voisinages de}

ρ ^dans Hom(Γg,^GLn(R)) ^{telle que}l'intersetion Uα∩^Homirr(Γg,^GLn(R)) ^{soit dense dans} Uα ^{et soit onnexepar ars.}

Remarques. Enfait e théorème et la démarhe utilisée impliquent des énonés simi-

laires pour les groupesSLn(R)^{, PGL}n(R)^{et PSL}n(R)^.

Les méthodes employées donnent une estimationexpliite pour legenre, g ^{plus grand}

que n²+ 1 ^sut.

Danslasuite nousnous onentreronspartiulièrementsur leas oùlareprésentation

ρ ^est semi-simple. Préisément 'est sous ette hypothèse que l'on obtiendra la des- ription expliite de la singularité en ρ ^{de l'espae} Hom(Γg,^GLn(R)) (propositions 8 et 9).Le paragraphe6.10 explique leas d'unereprésentation quelonque.

Le théorème 21 donneune améliorationdu théorème préédent, à savoirla onnexité

etladensitédesreprésentationsdontlarestritionàunsous-grouped'indienixé

lui aussiest irrédutible,ependant sous des hypothèses plus fortes.

L'ensemble onsidéré Hom

irr(Γ_g,^GL_n(R)) ^est automatiquement ouvert. Son omplé- mentaire est en fait nulle part dense etde mesure nulle, ei s'obtient failement des

propositionsintermédiaires8 et9.

Commençonspar donnerquelques onséquenes de e résultatquisont des impliations

failesmais plus signiatives.

Corollaire 2. Si le genre g ^{est assez grand, alors, pour haque omposante onnexe} C ^de Hom(Γ_g,^GL_n(R))^,lesous-ensembleC∩^Homirr(Γ_g,^GL_n(R))^estdensedansC ^etestonnexe

par ars.

Autrement dit, Hom

irr(Γg,^GLn(R)) ^{a le même nombre de omposantes onnexes que} Hom(Γg,^GLn(R))^{. Dans [5℄ Bradlow,} Garía-Prada et Gothen démontrent qu'il y en a

3·2^{2g. Aussi} Hom(Γ_g,^GL_n(R)) ^{est l'ensemble des points réels d'une variété algébrique et}

il est onnu qu'une représentation ρ ^{est un point lissesi, et seulement si, le}entralisateur de ρ(Γ_g) ^{est une extension nie du groupe} R^∗ des matries salaires, i.e. si, et seulement si,l'algèbrede Liede e entralisateur est égale auxmatriessalaires(voirlaproposition

1.2 de [8℄, nousreverronsaussi e pointdans laremarquesuivantle théorème6).Or, pour

une représentation irrédutible,ette dernière ondition est toujours vériée.

Corollaire 3. Si le genre g ^{est assez grand, alors, dans haque omposante onnexe de} Hom(Γ_g,^GL_n(R))^{, l'ensemble des points lisses est dense et onnexe par ars.}

Dans le adre des variétés algébriques réelles ette propriété de onnexité des points

lissesn'estpas automatique(prendre parexemplelenequadratiquedéniparuneforme

de signature (n,1)^).

Il est naturel de onsidérer l'espae quotient Hom(Γg,^GLn(R))/^GLn(R) ^{où le groupe}

GLn(R) ^agitpar onjugaison. Ce quotient muni de latopologie quotientn'est pas séparé, maissionidentielespointsquiontlesmêmesvoisinages,onobtientunespaetopologique

M ^{qui aégalementune struture de variété analytique(}M ^{est aussi l'ensembledes lasses}

d'équivalenesdereprésentationsayantmêmesemi-simpliation).Lesorollairesi-dessus

montrent également que l'ensemble des points lisses d'une omposante onnexe de M ^est

enore onnexepar ars.

Notons que les tehniques utilisées ii s'appliquent telles quelles au groupe GLn(C) ^et

nousavons donlesmêmestypesde résultatspouregroupe.Cependant,pourlesgroupes

omplexes, il setrouve qu'il y aune manièreplus direte de onlure. En eet, soit G ^un

groupe de Lieomplexe semi-simpleonnexe. L'obstrutionà releverune représentationρ

de Γg ^dans G ^{en une} représentation ρ˜^{à valeurs dans le revêtement universel} Ge ^{dénit un}

élément

σ(ρ)∈H²(Γg, π1(G))≃π1(G).

Ii,et élémentdeπ1(G)^{peut êtredéritgrâe àla}présentation de Γg ^{(voir[15℄).Soient}

˜

a1, . . . ,˜bg ^{des élémentsde} Ge ^{se projettant sur} ρ(a1), . . . , ρ(bg)^{, alors} σ(ρ) = ˜a1˜b1˜a⁻¹₁ ˜b⁻¹₁ · · ·˜ag˜bga˜⁻¹_g ˜b⁻¹_g ∈ker(Ge →G) =π1(G)^.

Théorème. (Jun Li [13℄)

Les omposantes irrédutibles de Hom(Γg, G) ^{sont lesbres de} σ : Hom(Γg, G)→π1(G)^.

Cei prouvel'irréduibilitéde Hom(Γg, G)^lorsque G ^{est simplementonnexe,une autre}

preuve de ette irréduibilité pour G = ^GLn(C) ^{peut être trouvée dans [17℄. Par ailleurs}

etteappliationσ^{estloalementonstante, equiprouvequ'iilesomposantes onnexes}

de Hom(Γg, G) ^{oïnident ave les omposantes} irrédutibles. Il est de plus onnu que l'ensemble des points lisses d'une variété (analytique) omplexe irrédutible est dense et

est onnexe par ars (setion I.4 de [23℄). Ainsi, dans haque omposante onnexe de

Hom(Γ_g, G)^{, l'ensemble des points lisses est dense et onnexe par ars. En exploitant la}

struture loale de Hom(Γ_g, G) ^{en un point lissequi est plus simple on peut déduire éga-}

lement la densité et la onnexité des représentations irrédutibles. En eet un voisinage

d'untelpointest analytiquementisomorpheàunouvert deC^N etl'ensembledesreprésen- tations non-irrédutibles est la réunion nie de sous-variétés analytiques de odimension

supérieureàun (voirlaremarquesuivantlelemme4),onsaitqueleomplémentaired'une

telle réunionest onnexe par ars dans C^N.

Une autre situation où des résultats de e type sont déjà onnus est le as du groupe

PSL2(R)^{. Dans [9℄, W. Goldman montre la densité et des propriétés de onnexitéde er-}

tainesreprésentations partiulières.Ilsedonne un déoupageen pantalonsde lasurfae Σ

de genre g ^{(un pantalon est une sphèreprivée de trois disques)} Σ = M1∪ · · · ∪M2g−2

qui vérie que le graphedual de e déoupage est un arbre.

Théorème. (Goldman [9℄) Dans toute omposante onnexe C ^de Hom(Γg,^PSL2(R))^{, l'en-}

semble des représentations

{ρ ∈ C |ρ(π1(Mi)) non-abélien ∀i}

est dense dans C ^{et est onnexe par ars.}

Cet énoné ne se trouve pas tel quel dans l'artile ité, mais est l'un des outils utilisés

pour déterminer justement les omposantes onnexes de Hom(Γg,^PSL2(R))^{. Il implique}

que l'ensemble des points lisses est dense et onnexe par ars dans haque omposante

onnexe et don qu'aussi l'ensemble des représentations irrédutibles satisfait les mêmes

propriétés par un raisonnementanalogue auas des groupes omplexes.

Terminons par une sorte de ontre-exemple. Soitι : Γg ֒→^SL2(R) ^{uneinjetion d'image}

un réseauoompat. Le groupe SL2(R)^{s'identie au groupe SU}(1,1) ^{qui se plongedans}

PU(2,1)^{, appelons} ρ ^la représentation de Γg ^{dans PU}(2,1)^{. Un résultatde D. Toledo [22℄}

arme que, dans e as, les déformations de ρ ^{préservent toujours une droite dans} C³, elles ne sont donjamaisirrédutibles. Lethéorème 1 ne segénéralise don pas augroupe

PU(2,1)^{. Nous donnerons aussi un exemple montrant qu'une hypothèse sur le genre est}

néessaire.

1. Lemmes initiaux et organisation du texte

Nous ommençons par quelques remarques simples sur les représentations

irrédutibleset détaillonsrapidement ladémonstration du théorème.

1.1. Représentations irrédutibles. Notons P ^{l'ensemble des} paraboliques maximaux de GLn(R)^{, l'ensemble des} représentations irrédutibles est alors

Hom

irr(Γg,^GLn(R)) = Hom(Γg,^GLn(R))− [

P∈P

Hom(Γg, P)^.

Deplus, danslevoisinaged'unereprésentationdonnée ρ^,lesseuls paraboliques pouvant intervenir sont eux quisont prohesd'un paraboliqueontenant ρ(Γg)^.

Lemme 4. Pour toutvoisinage Ue ^{de l'identité dansGL}n(R)^{et pour toute}représentation

ρ^{, il existe un voisinage} U_ρ ^de ρ ^dans Hom(Γ_g,^GL_n(R)) ^{tel que} Uρ∩^Homirr(Γg,^GLn(R)) =Uρ− [

P∈P,ρ(Γg)⊂P

Ue·Hom(Γg, P)^,

où · ^{désigne l'ation de} G ^par onjugaison, 'est-à-dire Ue ·Hom(Γg, P) = {g ·ρ : γ 7→

gρ(γ)g⁻¹ |g ∈Ue, ρ∈Hom(Γg, P)}^.

Démonstration:On saitquel'ensembledes paraboliques maximauxse déompose en

un nombre ni de lasses {Cα}^{α∈∆ pour l'ation de GLn}(R) ^par onjugaison. Pour tout

α^{, notons} Pα ^un sous-groupe parabolique de G représentant la lasse de onjugaison Cα^.

CommePα^{estson propre}normalisateur,l'ensembleCα ^{s'identieauquotientGL}n(R)/Pα^.

Munide latopologie quotient, Cα ^{est un espae ompat.}

Pour tout α^{, notons} Fα = Cαρ(Γg)

l'ensemble des points xes de ρ(Γg) ^dans Cα^{. Un}

parabolique maximal P ^{appartient alors à} Fα ^{si, et seulement si,} P ^{appartient à} Cα ^et

ρ(Γg) ^{est ontenu dans} P^.

Le omplémentaire Lα ^de Ue·Fα ^dans Cα ^{est ompat. Pour tout} α^, ρ(Γg) ^{n'a pas de}

points xes dans Lα^.

On en déduitl'existene d'unvoisinageUρ ^de ρ ^{telque,pour tout} ρ^{′ dans} Uρ^, ρ^′(Γg)^n'a

pas de pointsxes dans Lα^{, e qui implique lerésultat herhé.}

Remarques. Celemmen'est nispéique augrouperédutifGLn(R)^{, niaugroupede}

type ni Γg^.