Correspondance de Howe: paires duales de type II

(1)

HAL Id: hal-00175213

https://hal.archives-ouvertes.fr/hal-00175213

Preprint submitted on 27 Sep 2007

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Correspondance de Howe: paires duales de type II

Alberto Minguez

To cite this version:

Alberto Minguez. Correspondance de Howe: paires duales de type II. 2007. �hal-00175213�

(2)

hal-00175213, version 1 - 27 Sep 2007

DUALES DE TYPE II

EXPLICIT HOWE CORRESPONDENCE: DUAL PAIRS OF TYPE II

ALBERTO M´INGUEZ

Abstract. In this article, we give a new method for proving Howe correspondence in the case of dual pairs of type (GLn,GLm) over a non-Archimedean locally compact fieldF. The proof consists in combining a study on Kudla’s filtration [Kud] with the results of [Mi1] about the irreducibility of a parabolically induced represen- tation. The proof is valid for F of any characteristic and allows us to make the correspondence explicit in terms of Langlands pa- rameters. Hence it generalizes the results of [Wat] and answers completely all questions studied in [Mu1] and [Mu2] for dual pairs of type II.

Résumé. Dans cet article, nous proposons une nouvelle méthode pour démontrer la bijectivité de la correspondance de Howe pour les paires duales du type (GLn,GLm) sur un corps F localement compact non archimédien. La preuve est basée sur une étude soigneuse de la filtration de Kudla [Kud] ainsi que sur les résultats de [Mi1] à propos de l’irréductibilité d’une représentation induite parabolique.

Elle est valable pourF de caractéristique quelconque et nous permet d’expliciter la bijection en termes des paramètres de Lang- lands. Elle généralise donc les résultats de [Wat] et répond totale- ment aux questions étudiées dans [Mu1] et [Mu2] pour les paires duales de type II.

Codes MSN : 11F27, 22E50.

Introduction

Soit F un corps commutatif localement compact non archimédien de caractéristique résiduelle p > 0. Soit ψ : F → C^× un caractère additif non trivial de F. Si W est un espace vectoriel symplectique sur F, de dimension finie, on dispose du groupe métaplectiqueSpf(W), qui est un revêtement à deux feuillets du groupe symplectique Sp(W),

Partially supported by MTM2004-07203-C02-01 and FEDER.

1

(3)

et d’une représentation (ω, S) deSpf(W) canoniquement attachée à ψ, dite représentation de Weil ou métaplectique, sur un espace de fonctions S à valeurs complexes. Soit (G1, G2) une paire duale réductive (cf.

[MVW, 1.I.17]) dansSp(W) : ou bien (G1, G2) est une paire de groupes classiques -symplectique, orthogonal, unitaire- (paires duales de type I) ou bien une paire de groupes lin´eaires (paires duales de type II).

Notons Gf1 et Gf2 leurs images r´eciproques dansSpf(W).

Soit π une repr´esentation lisse irr´eductible de Gf1 quotient de ω.

Notons S[π] le plus grand quotientπ-isotypique deω. Il est de la forme S[π] =π1⊗Θ (π),

en tant que Gf1×Gf2-module, o`u Θ (π) est une repr´esentation lisse de longueur finie de Gf1.

Roger Howe et Jean-Loup Waldspurger [Wal], [MVW] ont prouvé que, dans le cas où p est impair et que (G1, G2) est de type I, si Θ(π)6= 0, alors Θ(π) a un unique quotient irréductible, notéθ(π). L’ap- plicationπ 7→θ(π) est une bijection entre l’ensemble des représentation lisses irréductibles π de Gf1 telles que Θ(π) 6= 0 et l’ensemble des représentation lisses irréductiblesπ^′ deGf2 telles que Θ(π^′)6= 0. Elle est appelée la correspondance de Howe. Nous nous proposons de montrer un théorème similaire pour les paires duales de type II, valable pour tout p, et d’expliciter, en termes des paramètres de Langlands, la cor- respondanceπ 7→θ(π), ce qui détermine l’ensemble des représentations π telles que Θ(π)6= 0.

Dans le cas des paires duales de type II, Roger Howe, dans un manuscrit non publié, avait prouvé la bijectivité de la correspondance.

Notre m´ethode, diff´erente, rend, de plus, la correspondance explicite.

Passons à une présentation plus détaillée des résultats :

SoitDune alg`ebre `a division de centreF de dimension finied²sur F et soient n et m des entiers strictement positifs. On note M_n,m (resp.

Mn) l’ensemble des matricesn×m (resp.n×n) `a coefficients dansD.

Le groupe GLn(D) des matrices inversibles dans Mn sera not´eGn. On noteSn,m=S(Mn,m) l’espace vectoriel des fonctions Φ deMn,m

dans C, localement constantes à support compact. La représentation métaplectique ωn,m restreinte à la paire duale Gn ×Gm (cf. [MVW, 3.III.1]) est la représentation

(0.1) ωn,m(g, g^′) =ν(g)⁻²^mσn,m(g, g^′)ν(g^′)ⁿ²,

o`u on note ν =|Nrd|F, la valeur absolue de la norme r´eduite et σ_n,m:G_n×G_m →GL (S_n,m)

la repr´esentation naturelle de Gn×Gm d´efinie par σ_n,m(g, g^′) Φ (x) = Φ g⁻¹xg^′

, pour g ∈Gn, g^′ ∈Gm, x∈ M_n,m, Φ∈Sn,m.

(4)

Le résultat principal de cet article est le théorème suivant.

Théorème 1. (voir corollaire 6.3).Soitπune représentation irréductible de Gn.

(1) SiHomGn(ωn,m, π)6= 0, alors il existe une unique repr´esentation irr´eductible π^′ de Gm telle que

HomGn×Gm(ωn,m, π⊗π^′)6= 0.

De plus, dim (HomGn×Gm(ωn,m, π⊗π^′)) = 1.

(2) Supposonsn ≤m. AlorsHomGn(ωn,m, π)6= 0et, siπest le quotient de Langlands (cf. section 6) deτ1× · · · ×τN, o`u τ1, . . . , τN

sont des représentations essentiellement de carré intégrable, alors π^′ est le quotient de Langlands de

ν⁻^m−n−1² × · · · ×ν^m−n−1² ×τe1× · · · ×τfN,

où, pour toute représentation τ, eτ désigne sa contragrediente.

Ainsi, si l’on note π^∗ les paramètres galoisiens de Langlands de la représentation π, les paramètres de θ(π) sont eπ^∗ ⊕1^∗_m−n où on a noté 1^∗_m−n les paramètres galoisiens de la représentation triviale deGm−n.

La preuve du théorème 1 se décompose en trois parties. D’abord, la théorie des fonctions zêta de Godement-Jacquet [GJ] nous fournit un entrelacement entre ωn,netπ⊗eπpour toute représentation irréductible π, ce qui implique, avec un argument classique (cf.[MVW, 3.II.5]), que, si n ≤m, alors Hom_G_n(ω_n,m, π)6= 0.

Pour montrer l’unicité de la représentation θ(π), on a besoin d’u- tiliser l’article [Mi1] où il est prouvé que l’induite parabolique d’une représentation irréductible a, dans beaucoup de cas, une seule sous- représentation irréductible.

Dans la section 2, on décrit explicitement lebord de la représentation métaplectique (un sous-ensemble de représentations deGn) et on trouve que, pour toute représentation qui n’apparaˆıt pas dans ce bord, la représentation θ(π) est unique.

Après, dans la section 3, on s’inspire de l’article [Kud], et on calcule une filtration des foncteurs de Jacquet de la représentation métaplectique.

Ceci nous permet de montrer dans les sections 4 et 5, par récurrence, l’unicité de la représentation θ(π), pour les bonnes représentations π. Les mauvaises représentations sont celles qui ont un foncteur de Jacquet bien précis. Or, ces représentations n’apparaissent pas dans le bord de la représentation métaplectique !

Pour montrer la paramétrisation de la correspondance on a, à nouveau, deux cas. Par récurrence, le cas des bonnes représentations n’est pas très difficile et découle de [Mi1, Corollaire A.3]. Pour les autres, on utilise, dans la section 9, des propriétés subtiles de la classification de Zelevinsky des représentations irréductibles en termes de segments.

(5)

Je voudrais particulièrement remercier Colette Mœglin qui m’a prodigué nombre de conseils et idées ainsi que Guy Henniart pour toutes ses sug- gestions et critiques. Je remercie aussi Goran Muic et Vincent Sécherre pour les remarques et corrections qu’ils m’ont faites à propos de cet article.

1. Pr´eliminaires

Soient F un corps commutatif localement compact non archimédien de caractéristique résiduelle p >0, D une algèbre à division de centre F et de dimension finie d² sur F.

Soient n, m deux entiers strictement positifs. On note Mn,m (resp.

M_n) l’ensemble des matricesn×m (resp. n×n) à coefficients dansD et Nrd : M_n → F la norme réduite. Le groupe GLn(D) des matrices inversibles dans M_n sera notéGn. Le groupe trivial sera noté G0.

A toute partition (ordonnée) α = (n1, . . . , nr) de l’entier n, corre- spond une décomposition en blocs des matrices carrées d’ordre n. On notera M_α le sous-groupe de G_n formé des matrices inversibles diago- nales par blocs, Pα (resp.Pα) le sous-groupe formé des matrices trian- gulaires supérieures (resp. inférieures) par blocs, etU_αle sous-groupe de Pαformé des éléments dont les blocs diagonaux sont des matrices unité.

Le sous-groupe Pα est conjugu´e `a Pα dans Gn avec α = (nr, . . . , n1).

Dans cet article on ne considérera que des représentations lisses complexes et le motreprésentationvoudra toujours direreprésentation lisse complexe. On notera Irr(Gn) l’ensemble des classes d’équivalence des représentations irréductibles de Gn. La représentation triviale de Gn

sera not´ee 1n.

Si π et π^′ sont deux repr´esentations d’un groupe G, on notera HomG(π, π^′)

l’espace des entrelacements entre π etπ^′. On omettra l’indice Gquand il n’y a pas de confusion.

On note ♯−r^G_n₁ⁿ_,...,n_r (resp. ♯−r^G_n₁ⁿ_,...,n_r) le foncteur de Jacquet non normalis´e associ´e au parabolique standard Pα (resp. Pα). On note

r_n^G₁ⁿ_,...,n_r =δ_P⁻_α^1/2♯−r_n^G₁ⁿ_,...,n_r, (resp. r^G_n₁ⁿ_,...,n_r =δ⁻^1/2

Pα ♯−r^G_n₁ⁿ_,...,n_r ), le foncteur de Jacquet normalis´e.

Etant donn´ee une repr´esentation ρi de chaque Gni, on notera

♯−ind^G_P_αⁿ(ρ1⊗ · · · ⊗ρr)

l’induite parabolique non normalisée, où on a prolongé la représentation ρ1 ⊗ · · · ⊗ρr trivialement sur Uα.

On note aussi ρ₁× · · · ×ρ_r la repr´esentation

ind^G_P_αⁿ(ρ₁⊗ · · · ⊗ρ_r) =δ^1/2_P_α♯−ind^G_P_αⁿ(ρ₁⊗ · · · ⊗ρ_r),

(6)

induite parabolique normalis´ee.

Soit π une représentation de Gn; on a un isomorphisme canonique (réciprocité de Frobenius) :

(1.1) Hom (π, ρ1× · · · ×ρr)≃Hom r^G_n₁ⁿ_,...,n_r(π), ρ1⊗ · · · ⊗ρr . On a une formule similaire pour l’induction non normalisée et le foncteur de Jacquet non normalisé. On dispose aussi d’un isomorphisme de réciprocité à la Casselman (cf.[Ber, Theorem 20]) :

(1.2) Hom (ρ1× · · · ×ρr, π)≃Hom ρ1⊗ · · · ⊗ρr, r^G_n₁ⁿ_,...,n_r(π) . Pour l’induction non normalisée et le foncteur de Jacquet non nor- malisé, la formule précédente devient :

Hom ♯−ind^G_P_αⁿ(ρ1⊗ · · · ⊗ρr), π

≃

Hom ρ1⊗ · · · ⊗ρr, δPα♯− r^G_n₁ⁿ_,...,n_r(π) . (1.3)

Soient n, t ∈ Z, 1 ≤ t ≤ n, π ∈ Irr(G_n), χ ∈ Irr(G_t). On notera Jacχ(π) 6= 0 (resp. Jacχ(π) 6= 0) s’il existe ρ ∈ Irr(Gn−t) tel que Hom (π, χ×ρ)6= 0 (resp. Hom (π, ρ×χ)6= 0).

On utilisera `a plusieurs reprises la proposition suivante [Mi1, Propo- sition 7.1] :

Proposition 1.1. Soient π, π^′ ∈ Irr, ρ ∈ C. Les conditions suivantes sont ´equivalentes :

(1) Hom (π^′, π×ρ)6= 0;

(2) Hom (ρ×π, π^′)6= 0.

Corollaire 1.2. Soientπ, π^′deux représentations irréductibles etρune représentation cuspidale. Les conditions suivantes sont équivalentes :

(1) Hom (π^′, π×ρ× · · · ×ρ)6= 0;

(2) Hom (ρ× · · · ×ρ×π, π^′)6= 0.

Démonstration. Puisque, par [Mi1, Théorème 5.1], π×ρ× · · · ×ρ n’a qu’un seul sous-module irréductible et que, par [Mi1, Théorème 5.6], ρ× · · · ×ρ×π n’a qu’un seul quotient irréductible, le corollaire découle de la proposition précédente par récurrence.

SiX est un espace localement profini, on noteS(X) l’espace vectoriel des fonctions Φ :X →Clocalement constantes à support compact. Le lemme suivant sera utilisé dans le calcul explicite de la correspondance : Lemme 1.3. Soit X un espace localement profini, X^′ un sous-espace fermé de X. Supposons qu’un groupe localement profiniGagit de fa¸con continue surX et que G·X^′ =X. NotonsH le stabilisateur deX^′ dans G. Notons aussi π la représentation naturelle (cf. [BZ1, §1.2.2]) de G dans S(X) et ρ la représentation naturelle de H dans S(X^′). Alors :

π≃♯−ind^G_H (ρ).

(7)

D´emonstration. Posons

Ξ : π → ♯−ind^G_H(ρ)

φ 7→ (g 7→(π(g)φ)|X^′).

Ξ est bien d´efini car X^′ est ferm´e dansX (cf.[BZ1,§1.1.8]) et c’est un entrelacement entre π et ♯−ind^G_H(ρ).

Construisons une inverse : Soitf ∈♯−ind^G_H(ρ). On d´efinitφf ∈S(X) par

φf(x) =f(g)(x^′),

si x = g · x^′ et g ∈ G et x^′ ∈ X^′. Puisque G · X^′ = X des tels couples (g, x^′) existent et si g₁, g₂ ∈ G et x^′₁, x^′₂ ∈ X^′ sont tels que x=g1·x^′₁ =g2·x^′₂, alorsx^′₁ =g₁⁻¹g2·x^′₂ et donc, si l’on poseh=g₁⁻¹g2

on a que h∈H.

Ainsi

f(g₁)(x^′₁) = f(g₁)(g₁⁻¹g₂·x^′₂)

= ρ(h)f(g₁)(x^′₂)

= f(g1h)(x^′₂)

= f(g2)(x^′₂).

Donc φf est bien d´efinie et le morphismef 7→φf est un entrelacement

entre ♯−ind^G_H(ρ) et π, inverse de Ξ.

On note Sn,m=S(Mn,m). La représentation métaplectiqueωn,m restreinte à la paire dualeGn×Gm (cf.Introduction) est la représentation

ωn,m(g, g^′) =ν(g)^−m² σn,m(g, g^′)ν(g^′)ⁿ².

Il est plus naturel de travailler avec la représentation métaplectique tordue σn,m et de calculer ses quotients irréductibles. On déduira en- suite immédiatement les résultats pour la représentation ωn,m.

Il est aussi tr`es pratique d’utiliser la notation suivante : on a deux groupes lin´eaires agissant, par multiplication, sur un espace de matrices

à gauche et à droite. Dorénavant, pour différentier ces deux actions, on notera G^′, P^′ et U^′ les groupes linéaire, parabolique et unipotent respectivement, agissant à droite et on gardera les notations G, P et U pour ces groupes quand ils agissent à gauche. De même, en cas d’ambigu¨ıté, on notera ν^′ le caractère ν quand il agit sur G^′. Il peut sembler une notation un peu artificielle mais elle facilite énormément la compréhension des calculs.

On permet les cas m = 0 ou n = 0 (avec G0 = 0 ou G^′₀ = 0) pour lesquels M = 0 et σ0,m ≃ C est la repr´esentation triviale de G^′_m et σn,0 ≃C est la repr´esentation triviale de Gn.

(8)

2. Le bord de la repr´esentation m´etaplectique

Dans cette section, on rappelle les résultats de [MVW, 3.III] et on en déduit quelques premières conséquences. On fixe des entiers positifs n etm.

Commen¸cons par rappeler que la théorie des fonctions zêta de Gode- ment-Jacquet [GJ] nous fournit, pour toute représentation irréductible π de Gn, un entrelacement (cf.[MVW, 3.II.7]) entreσn,n etπ⊗π. Pare [MVW, 3.II.5], on déduit que, pour toute représentation irréductible π deGn, il existe un sous-quotient irréductibleπ^′ de♯−ind^G_P^′^m′

m−n,n(1m−n⊗eπ) tel que

(2.1) HomGn×G^′_m(σn,m, π⊗π^′)6= 0.

Ainsi, si n≤m, alors Θ(π)6= 0. Le problème est de montrer que ce sous-quotient π^′ est l’unique satisfaisant à (2.1) et de déterminer ses paramètres.

D’un autre côté, la représentation σn,m admet (cf. [MVW, 3.II.2]) une filtration

0 =St+1 ⊂St⊂ · · · ⊂S1 ⊂S0 =Sn,m,

où Sk est le sous-espace vectoriel de Sn,m formé des fonctions dont le support est formé des matrices de rang ¹ plus grand ou égal à k, 0 ≤ k ≤ t = min (n, m). L’espace Sk+1 est ouvert dans Sk par [BZ1,

§1.1.8] et, en appliquant le lemme 1.3 avec X^′ =

0 0 0 1i

, on montre dans [MVW, 3.II.2] qu’on a un isomorphisme

σk =Sk/Sk+1 ≃♯−ind^Gⁿ^G^′^m

Pn−k,kP_m−k,k^′ (µk),

où µk est la représentation de Pn−k,kP_m^′ −k,k sur S(Gk) définie par : µk(p, p^′) Φ (h) = Φ p⁻₄¹hp^′₄

=ρk(p4, p^′₄) Φ (h), pour Φ ∈ S(Gk), h ∈ Gk, p =

p1 0 p3 p4

, p^′ =

p^′₁ p^′₂ 0 p^′₄

et ρk la repr´esentation naturelle de Gk×G^′_k sur S(Gk) d´efinie par

ρ_k(p₄, p^′₄) Φ (h) = Φ p⁻₄¹hp^′₄ .

D´efinition 2.1. On dit que π ∈ Irr(Gn) apparaˆıt dans le bord de la repr´esentation σn,m s’il existe k < n tel que HomGn(σk, π)6= 0.

Lemme 2.2. Soientπ ∈Irr(G_n), π^′ ∈Irr(G^′_m)telles que Hom(σ_k, π⊗ π^′)6= 0. Alors il existe τ, τ^′ ∈Irr(Gk) telles que

Hom

♯−ind^G_Pⁿ

n−kk(1n−k⊗τ)⊗♯−ind^G_P^′^m′

m−k,k(1m−k⊗τ^′), π⊗π^′ 6= 0.

1On utilise la définition de rang sur une algèbre à division de [Bou,§10.12]

(9)

D´emonstration. Soientπ∈Irr(G_n),π^′ ∈Irr(G^′_m) telles que Hom(σ_k, π⊗

π^′)6= 0. On a donc un entrelacement non nul de ♯−ind^Gⁿ^G^′^m

Pn−k,kP_m−k,k^′ (µk) dans π⊗π^′. Ceci ´equivaut, par (1.3), `a l’existence d’un entrelacement non nul entre µk etδPn−k,k♯−r^G_n−ⁿk,k(π)⊗δP_m−k,k^′ ♯−r^G_m^′^m−k,k(π^′).

SoitV l’image d’un tel entrelacement ; il existe une sous-représentation irréductible V^′ de V et toute telle sous-représentation est de la forme (1n−k⊗τ)⊗(1m−k⊗τ^′) comme représentation de Mn−k,kM_m^′ −k,k oùτ etτ^′ sont irréductibles. Par (1.3), à nouveau, on trouve le résultat.

Corollaire 2.3. Soitπ∈Irr(Gn). Les conditions suivantes sont ´equivalentes : (1) La repr´esentation π n’apparaˆıt pas dans le bord de σn,m.

(2) Il n’existe pas τ ∈Irr(G_k), k < n, telle que HomGn

♯−ind^Gⁿ

Pn−k,k(1n−k⊗τ), π 6= 0.

D´emonstration. Pour l’implication directe, supposons qu’il existe τ ∈ Irr(Gk),k < n, et un entrelacement non nul de ♯−ind^G_Pⁿ

n−k,k(1n−k⊗τ) dansπ. Par exactitude du foncteur♯−ind et [MVW, Lemme 3.II.3], on a un morphisme surjectif de σk dans ♯−ind^G_Pⁿ

n−k,k(1n−k⊗τ) qui composé avec l’entrelacement précédent nous montre que HomGn(σk, π)6= 0, i.e que la représentation π apparaˆıt dans le bord deσn,m. Rappelons que, d’après [Mi1, Théorème 5.1], pour toute représentation irréductible π∈Irr(Gn), la représentation ♯−ind^G_P^′^m′

m−n,n(1m−n⊗π) a un unique quotient irréductible et qu’il apparaˆıt avec multiplicité 1 dans l’induite. Le théorème suivant résume tout ce que l’on peut conclure à partir de cette filtration par le rang.

Th´eor`eme 2.4. Soient n, m des entiers positifs et supposons n ≤ m.

Soient π ∈ Irr(Gn) qui n’apparaisse pas dans le bord de σn,m. Il existe une unique repr´esentation π^′ ∈Irr(G^′_m) telle que

HomGn×G^′_m(σn,m, π⊗π^′)6= 0.

C’est l’unique quotient irr´eductible de ♯−ind^G_P^′^m′

m−n,n(1m−n⊗eπ). De plus, dim Hom_G_n×G^′m(σ_n,m, π⊗π^′)

= 1.

D´emonstration. On avait vu au d´ebut de la section qu’il existe π^′ ∈ Irr(G^′_m) telle que HomGn×G^′_m(σn,m, π⊗π^′) 6= 0. Montrons qu’elle est unique.

Par composition avec les morphismes Sj → σn,m, j = 0, . . . , n, on obtient des morphismes Sj →π⊗π^′.

Soit k le plus grand j tel que Sj →π⊗π^′ ne soit pas le morphisme nul. On a donc que π⊗π^′ est un quotient de σk. Par hypoth`ese on a k =n et donc,

Hom (σn, π⊗π^′)6= 0.

(10)

Par d´efinition de σ_n on a alors Hom

♯−ind^G_Gⁿ^×^G^′^m

n×P_m^′₋_n,n(µn), π⊗π^′ 6= 0.

Par (1.3) et la d´efinition de µn, on d´eduit que

Hom 1m−n⊗ρn, π⊗δPm−n,n♯−r^G_m^m−n,n(π^′) 6= 0, d’o`u, par [MVW, Lemme 3.II.3],

Hom 1m−n⊗eπ, δPm−n,n♯−r_m^G^m−n,n(π^′) 6= 0,

et, à nouveau par (1.3), on déduit queπ^′ est l’unique quotient irréductible de ♯−ind^G_P^′^m′

m−n,n(1_m−n⊗π).e Montrons finalement que

dim HomGn×G^′_m(σn,m, π⊗π^′)

= 1.

Soit λ ∈ HomGn×G^′_m(σn,m, π⊗π^′). La compos´ee de λ avec l’inclusion σn ֒→ σn,m n’est pas nulle. Or, par le lemme [MVW, Lemme 3.II.3], dim Hom_G_n×G^′m(σ_n, π⊗π^′)

= 1, et donc cette compos´ee est unique

à homothéthie près. Ainsi, si

dim HomGn×G^′_m(σn,m, π⊗π^′)

>1,

on pourrait construire, par combinaison linéaire, un morphisme non nul λ ∈ HomGn×G^′_m(σn,m, π⊗π^′) tel que sa composée avec l’inclusion σn ֒→ σn,m soit nulle. Il existe alors k < n tel que HomGn(σk, π)6= 0, ce qui est absurde, par hypothèse, et qui achève la démonstration.

Remarque 2.5. En particulier, si π est une repr´esentation cuspidale, il existe une unique π^′ (l’unique quotient irr´eductible de ♯− ind^G_P^′^m′

m−n,n(1_m−n⊗eπ)), telle que

HomGn×G^′_m(σn,m, π⊗π^′)6= 0

En effet, si π est cuspidale, il n’existe pas τ ∈Irr(G_k), k < n, telle que Hom_G_n

♯−ind^G_Pⁿ

n−k;k(1_n−k⊗τ), π 6= 0,

et donc, par le corollaire 2.3, elle n’apparaˆıt pas dans le bord de σ_n,m. 3. Suite de Kudla

Dans cette section, on refait les calculs de [Kud], pour les paires duales de type II. On veut calculer une suite de composition des foncteurs de Jacquet de la repr´esentation σn,m.

Soient t, i des entiers, 0< t≤n, 0≤i≤inf{t, m}. Fixons quelques notations pour cette section :

– On notera chaque matrice m∈ M_n,m par m=

a b

=

a m1 m2

,

o`ua∈ M_t,m, b∈ M_n−t,m, m1 ∈ M_n−t,i, m2 ∈ M_n−t,m−i, .

(11)

– On notera chaque g ∈M_(t,n−t) par g =

g0

g1

=



 g2 g3

g4 g5

g1



,

g0 ∈ Gt, g1 ∈ Gn−t, g2 ∈ Mt−i,t−i, g3 ∈ Mt−i,i, g4 ∈ Mi,t−i, g5 ∈ M_i,i.

– On notera chaque g^′ ∈G^′_m par g^′ =

g₁^′ g₂^′ g₃^′ g₄^′

,

o`ug₁^′ ∈ M_i,i, g₂^′ ∈ M_m−i,i, g₃^′ ∈ M_i,m−i, g₄^′ ∈ M_m−i,m−i. Soit ψ un caract`ere non trivial de F.

On d´efinit σ_n,m^∗ par le diagramme commutatif suivant :

(3.1) Sn,m

σn,m(g,g^′)

//

b

Sn,m b

S_n,m^σ

∗n,m(g,g^′)

//S_n,m

,

o`ubest l’isomorphisme de repr´esentations qui envoie f ∈Sn,m vers fb

a b

= Z

M_t,m

f a^∗

b

ψ◦trd ^taa^∗ da^∗, où on a noté trd la trace réduite.

On se propose d’étudier la représentationσ^∗_n,m(transformée de Fourier partielle deσn,m, isomorphe àσn,mpar (3.1)). Plus tard, on ne fera pas de distinction entre les deux représentations.

La repr´esentation σ^∗_n,m agit surfbpar (3.2)

σ_n,m^∗ (g, g^′)fb a

b

= Z

M_n,t

f

g⁻¹ a^∗

b

g^′

ψ◦trd ^taa^∗ da^∗. Ainsi Ut,n−t agit, via σ_n,m^∗ , par

σ_n,m^∗

1 u 1

fb a

b

= ψ◦trd ^taub bf a

b

= ψ◦trd b^tau bf a

b (3.3)

Notons A la partie ferm´ee de M_n,m : A=

a b

∈ M_n,m:b^ta = 0

. Lemme 3.1. Le sous-espace Sn,m Ut,n−t, σ^∗_n,m

de Sn,m engendr´e par les fonctions de la forme

fb−σ^∗_n,m(u)f,b

(12)

o`u f ∈Sn,m et u∈Ut,n−t est l’espace des fb∈Sn,m telles que suppfb∩A=∅,

D´emonstration. SurA,f−σb _n,m^∗ (u)fbest, par (3.3), nul. R´eciproquement, soit fb 6= 0 nulle sur A et montrons que fb ∈ Sn,m Ut,n−t, σ_n,m^∗

. Le lemme sera d´emontr´e.

Pour tout m= a

b

∈ M_n,m, notonsα_m le caract`ere d´efini par α_m : Ut,n−t→C

u7→ψ◦trd ^taub .

Pour tout m ∈ M_n,m\A, il existe u_m ∈ Ut,n−t tel que α_m(u_m)6= 1.

Pour m^′ dans un voisinage I de m, on a par continuité α_m^′(u_m) = α_m(u_m)6= 1. Le support def, étant compact, il suffit de montrer que lab fonction caractéristique 1I du voisinageIest de la formeFb−σ^∗_n,m(u)Fb, pour F ∈Sn,m.

Puisque, α_m^′(u_m) =α_m(u_m)6= 1 on a que 1_I est égal à σ^∗_n,m(u)1_I à une constante non nulle près. Ainsi, Fb= ₁₋_α¹

m(um)1I convient.

Ainsi la suite exacte courte (cf. [BZ1,§1.1.8])

0→S(M\A)→Sn,m → S(A)→0 fb 7→ fb|A

s’identifie `a

0→Sn,m Ut,n−t, σ^∗_n,m

→Sn,m→S(A)→0

et donc S(A), muni de l’action de M_(t,n−t) donnée par (3.2), s’identifie au foncteur de Jacquet non normalisé, d’où un isomorphisme de M_(t,n−t)-modules :

S(A)≃♯−r^G_t,nⁿ−t(σn,m).

On a alors une filtration de♯−r^G_t,nⁿ−t(σ_n,m) deM_(t,n−t)×G^′_m-modules : 0 =S_k+1 ⊂S_k⊂ · · · ⊂S₁ ⊂S₀ =♯−r_t,n^Gⁿ−t(σ_n,m),

o`u

Si =

fb∈S(A) :fb a

b

= 0 si rang (a)≤i−1

k = inf (t, m).

Chaque S_i+1 est ouvert dans S_i. La représentation ♯−r_t,n^Gⁿ−t(σ_n,m) est donc composée des représentations

τ_i^∗ = Si/Si+1 0≤i≤k.

La suite exacte de M_(t,n−t)×G^′_m-modules (cf.[BZ1, §1.1.8]) 0→Si→ Si+1 →S(Ai)→0

(13)

o`u Ai = a

b

∈ Mn,m:b^ta = 0 et rang(a) =i

,nous montre que l’espace de τ_i^∗ est l’espace des fonctionsn

fb∈S(Ai)o

etM(t,n−t)×G^′_m agit, via τ_i^∗, sur cet espace par (3.2).

Maintenant on va appliquer le lemme 1.3, avecX=Ai etX^′l’ensemble des matrices de la forme

ai

0 ∗

, avec ∗ ∈ Mn−t,m−i. Le stabilisateur Ti dans M(t,n−t)×G^′_m de X^′ est le sous-groupe des (g, g^′)∈ P_t−i,i×G_n−t×P_i,m^′ −itels queg⁻₅¹g₁^′ = 1. ClairementM_(t,n−t)×G^′_m·X^′ = Ai. Voyons que l’action deTi dansS(X^′) est isomorphe `aξ_t,i⁰ ⊗σn−t,m−i

oùξ_t,i⁰ est le caractère deTi défini par ν(g0)^mν(g^′)⁻^t, pour (g, g^′)∈Ti. Soient (g, g^′)∈Ti,x∈Sn−t,m−i, et fb∈S(Ai). On a que

τ_i^∗(g, g^′)fb

ai

0 x

=

= Z

M_t,m

f

g⁻¹

a^∗ 0 x

g^′

ψ◦trd

0 1i

0 0

a^∗

da^∗

= Z

M_t,m

f

g⁻₀¹a^∗g^′ 0 g⁻₁¹xg^′₃

ψ◦trd

0 1i

0 0

a^∗

da^∗

= ν(g0)^mν(g^′)⁻^t Z

M_t,m

f

a^∗ 0 g₁⁻¹xg^′₃

ψ◦trd

0 g₅⁻¹g₁^′⁻1

0 0

a^∗

da^∗

= ν(g0)^mν(g^′)⁻^t Z

M_t,m

f

a^∗ 0 g₁⁻¹xg^′₃

ψ◦trd

0 1_i 0 0

a^∗

da^∗

= ν(g0)^mν(g^′)⁻^tσn−t,m−i(g1, g₃^′)f|b^

 ai

0 ∗





(x).

Proposition 3.2. La représentationr^G_t,nⁿ−t(σn,m)est composée des représentations τ_i, i= 0, . . . ,min{t, m}, où

τi ≃ind^M_P^(t,n−t)^×^G^′^m

t−i,i×Gn−t×P_i,m−i^′ (ξt,i⊗ρi⊗σn−t,m−i), et o`u ξt,i est le caract`ere

ξt,i =











ν^2m−n+t−i² sur G_t−i

ν^{2m−n+2t−i}² sur Gi

ν²^t sur Gn−t

ν⁻^m^−2t+i² sur G^′_i ν^−2t+i² sur G^′_m−i.

Démonstration. D’après le lemme 1.3, ce qui précède implique que τ_i^∗ ≃(♯−ind)^M_T_i^(t,n−t)^×^G^′^m ξ_t,i⁰ ⊗σn−t,m−i

.

(14)

Induire de T_i àM_(t,n−t)×G^′_m revient à induire deT_i àP_t−i,i×G_n−t× Pi,m−i et puis àM(t,n−t)×G^′_m. Or, l’induite

(♯−ind)^P_T_i^t−i,i^×^Gⁿ⁻^t^×^P^i,m−i^′ ξ_t,i⁰ ⊗σ_n−t,m−i

est la repr´esentation ξ_t,i⁰ ⊗ρi⊗σn−t,m−i.

Ainsi, l’induite (♯−ind)^M_T_i^(t,n−t)^×^G^′^m ξ_t,i⁰ ⊗σ_n−t,m−i

est la repr´esentation (♯−ind)^M_P^(t,n⁻^t)^×^G^′^m

t−i,i×Gn−t×P_i,m−i^′ ξ_t,i⁰ ⊗ρi⊗σn−t,m−i

.

Pour achever la proposition il ne nous reste qu’à changer les induites et foncteurs de Jacquet non normalisés en induites et foncteurs de Jacquet normalisés. Ainsi

τi ≃δ⁻_P_t,n−t¹² τ_i^∗ ≃ind^M_P^(t,n−t)^×^G^′^m

t−i,i×Gn−t×P_i,m−i^′ (ξt,i⊗ρi⊗σn−t,m−i), avec

ξt,i =ν(g0)^mν(g^′)⁻^tδ_P⁻¹²_t−i,iδ_P⁻¹²_t,n

−tδ_P⁻¹²′ i,m−i,

i.e. le caract`ere requis.

Avec les mêmes arguments on calcule une suite de composition du foncteur de Jacquet r^G_t,m^′^m−t, agissant cette fois-ci du côté de G^′_m. Proposition 3.3. Soient t, i des entiers, 0< t≤m 0≤i≤inf{t, n}.

La représentation r^G_t,m^′^m−t(σn,m) est composée des représentations τ^′i, i= 0, . . . ,min{t, n} où

τ^′i ≃ind^Gⁿ^×^M

(t,m′ −t)

Pn−i,i×P_i,t−i^′ ×G^′_m₋_t σn−i,m−t⊗ρi⊗ξ^′_t,i , et o`u ξ^′_t,i est le caract`ere

ξ^′_t,i =











ν^2t−i² sur G_n−i

ν^n+2t−i² sur G_i ν^{−2n+m−2t+i}² sur G^′_i ν^m−2n−t+i² sur G^′_t−i

ν⁻²^t sur G^′_m−t. 4. Application

Soient π ∈ IrrGn, π^′ ∈ IrrG^′_m telles que π⊗π^′ soit un quotient de σn,m. Soit r un entier positif. Pour toute représentation cuspidale χ de Gr considérons l’eniter positif maximal a tel que π soit une sous- représentation d’une représentation de la forme

χ×χ× · · · ×χ×ρ,

où on a fait le produit de a fois la représentation χ fois ρ, ρétant une représentation irréductible de Gn−ra. Alors, par exactitude du foncteur de Jacquet, on a un entrelacement surjectif de r^G_ra,nⁿ −ra(σ_n,m) dans

(15)

r_ra,n^Gⁿ −ra(π)⊗π^′ d’o`u un entrelacement non nul de r^G_ra,nⁿ −ra(σn,m) dans χ×χ× · · · ×χ⊗ρ⊗π^′.

D’apr`es 3.2, il existe alors i∈ {0, . . . , ra}tel que Hom (τ_i, χ×χ× · · · ×χ⊗ρ⊗π^′)6= 0.

Lemme 4.1. Les seuls τi qui peuvent avoir des quotients de la forme ci-dessus sont τra et τra−1 et, si χ6=ν^2m−n+1² seul τra peut en avoir.

D´emonstration. En effet, supposons que

Hom (τi, χ×χ× · · · ×χ⊗ρ⊗π^′)6= 0.

Cela signifie, par d´efinition de τ_i, Hom

ind^M_P^(ra,n−ra)^×^G^′^m

ra−i,i×Gn−ra×P_i,m^′ ₋_i(ξ_ra,i⊗ρ_i⊗σ_n−ra,m−i), χ×χ× · · · ×χ⊗ρ⊗π^′

6= 0 et, par (1.2),

Hom

ξ_ra,i⊗ρ_i⊗σ_n−ra,m−i, r^M_P_ra^(ra,n⁻^ra)^×^G^′^m

−i,i×Gn−ra×P_i,m^′ ₋_i(χ×χ× · · · ×χ⊗ρ⊗π^′) 6= 0, d’o`u

Hom

ξra,i⊗ρi⊗σn−ra,m−i,

r^G_P_ra−i,i^ra (χ×χ× · · · ×χ)⊗ρ⊗r^G_P^′^m′

i,m−i(π^′) 6= 0, et donc

Hom

ξra,i|_G_ra₋_i, r^G_P_ra−i,i^ra (χ×χ× · · · ×χ)|_G_ra₋_i 6= 0, Ainsi, on trouve finalement

Hom

ν^2m⁻^n+ra⁻

i

ra−i 2 , χ×χ× · · · ×χ 6= 0.

Par l’unicit´e du support cuspidal, il faut alors que supp

ν_ra^{2m−n+ra−i}−i²

={χ, . . . , χ}

et donc, ou bien i=raou bien i=ra−1 et χ=ν^2m−n+1² . Ainsi on se retrouve avec deux cas :

Cas A, Hom (τra, χ×χ× · · · ×χ⊗ρ⊗π^′)6= 0,

Cas B, Hom (τ_ra−1, χ×χ× · · · ×χ⊗ρ⊗π^′)6= 0 et χ=ν^2m−n+1² . Examinons successivement les diff´erents cas du lemme plus haut (le cas B sera trait´e dans la section 9).

Cas A Supposons d’abord Hom (τ_ra, χ×χ× · · · ×χ⊗ρ⊗π^′) 6= 0 (ce qui arrive, en particulier, d’après le lemme précédent, pour χ dis- tinct de ν^2m⁻²ⁿ⁺¹)

(16)

Alors, Hom (τ_ra, χ×χ× · · · ×χ⊗ρ⊗π^′) 6= 0, s’´ecrit, d’apr`es la proposition 3.2

Hom

ind^M_M^(ra,n−ra)^×^G^′^m

(ra,n−ra)×P_ra,m−ra^′ (ξra,ra⊗ρra⊗σn−ra,m−ra), χ×χ× · · · ×χ⊗ρ⊗π^′

6= 0

ce qui implique, par d´efinition de ξra,ra que Hom

ind^G_P^′^m′

ra,m−ra(ρra⊗σn−ra,m−ra),

ν^n−m² χ×ν^n−m² χ× · · · ×ν^n−m² χ⊗ν^−ra² ρ⊗ν^ra² π^′ 6= 0

d’o`u, par le lemme [MVW, 3.II.3], Hom

ind^G_P^′^m′ ra,m−ra

ν^m−n² χe× · · · ×ν^m−n² χe⊗ν^ra² σ_n−ra,m−raν^−ra² , ρ⊗π^′

6= 0.

Soit b ≥ 0 maintenant maximal tel qu’il existe une repr´esentation irr´eductible ρ^′ de G^′_m−rb avec π^′ quotient de

ν^m−n² χe× · · · ×ν^m−n² χe×ρ^′

o`u on a fait le produit de b fois la repr´esentation ν^m−n² χ.e

Ceci ´equivaut, par le corollaire 1.2 au fait queπ^′ soit sous-module de ρ^′×ν^m−n² χe× · · · ×ν^m−n² χ,e

o`u on a fait le produit de b fois la repr´esentation ν^m⁻²ⁿχ.e

Par (1.1), on a un homomorphisme non trivial de r^G_m^′^m−rb,rb(π^′) dans ρ^′ ⊗ν^m−n² χe× · · · ×ν^m−n² χe d’o`u, par conjugaison, un homomorphisme non trivial de r^G_rb,m^′^m −rb(π^′) dansν^m⁻²ⁿχe× · · · ×ν^m⁻²ⁿχe⊗ρ^′.

D’un autre côté, le foncteur de Jacquet étant exact, on a un morphisme surjectif dans

Hom

r^G_rb,m^′^m −rb◦ind^G_P^′^m′ ra,m−ra

ν^m−n² χe×. . .×ν^m−n² χe⊗ν^ra² σn−ra,m−raν^′^−ra² , ρ⊗r^G_rb,m^′^m −rb(π^′)

,

qui, composé avec l’homomorphisme non trivial précédent der^G_rb,m^′^m −rb(π^′) dans ν^m⁻²ⁿχe× · · · ×ν^m⁻²ⁿχe⊗ρ^′, montre que

Hom

r^G_rb,m^′^m −rb◦ind^G_P^′^m′ ra,m−ra

ν^m−n² χe×. . .×ν^m−n² χe⊗ν^ra² σn−ra,m−raν^′^−ra² , ρ⊗ν^m−n² χe× · · · ×ν^m−n² χe⊗ρ^′

6= 0.