Chapitre 4. Les concours comme lieux de sélection
4.2 Des dispositifs d’évaluation et des manières de notation qui varient
Dans les concours de musique internationaux, chaque juré évalue les candidats à travers soit une note globale, soit un simple « oui ou non » système autorisant le candidat à passer au tour suivant, soit encore au travers d'un classement des candidats établi par chaque membre du jury. En règle générale, le règlement dudit jury précise que toute discussion entre ses membres est interdite85, chacun étant appelé à prendre ses décisions à titre individuel et sans chercher à influencer autrui.
De manière générale, les jurés remplissent leurs feuilles en attribuant des notes aux candidats, puis le secrétaire général les ramasse, les insère dans son logiciel et calcule la moyenne obtenue par chacun d’entre eux. Dans la plupart des concours il n’existe pas de possibilité, du moins formellement, pour chaque juré
85 Le premier prix du concours analysé dans ce chapitre est une rare exception.
Le jury classe les trois finalistes selon ses préférences. Le directeur du concours donne les résultats du classement et demande si la première personne du classement mérite un premier prix. Chaque membre du jury doit donner son avis.
Après la discussion, un vote est organisé: oui ou non le candidat aura-t-il ou elle un premier prix. Pour les autres tours de ce concours, les discussions sont interdites. Nous reviendrons sur cet exemple plus loin.
de confronter son jugement avec celui des autres afin de voir si ceux -ci le corroborent ou non86. Un organisateur de concours spécifie :
As you might have seen or heard, there are many, many different types of judging, different types of scorings and procedures around the world.
Almost every competition has a different procedure. From the old-fashion
« yes or no » - this is the very simple one, still very good - all the way to very sophisticated, mathematical scoring systems. But one of the simplest rule, which is different in every competition, is discussion. Some competitions have zero discussion amongst the jury and some competitions have discussions. This is very difficult because when you have discussion the loudest voices, the strongest personalities can steer the conversation the way they want it to go. This is one thing that is a little dangerous but many competitions have discussions 87 . (Jérome, organisateur de concours)
Dans le même ordre d’idée, un autre organisateur déclare :
The most important thing for a competition is for no one to give any statements to other people. We don’t want any influence. (…) So this is
86 Ceci ne veut pas dire que les jurés ne discutent pas entre eux sur les performances des candidats ailleurs. Pour autant que l’on sache, s’il y a des interactions entre les membres d'un jury, elles se passent ailleurs que dans la salle de délibération, par exemple à l'hôtel, lors d'une pause, etc. Dans ce sens, les organisateurs de concours ont, au fond, peu d’impact sur le respect de ce point du règlement
87 Comme vous l’avez peut-être vu ou entendu, il existe de nombreuses manières différentes de jugement, de manières de notation et de procédures dans le monde. Presque chaque concours a une procédure différente. Du traditionnel système « oui ou non » - c’est la manière très simple, mais toujours efficace – jusqu’à la manière de notation mathématique, très sophistiquée. Mais une des règles les plus simples, qui est différente dans chaque concours, c’est la discussion. Certains concours ont zéro discussion au sein du jury et certains concours ont des discussions. C’est très difficile parce que lorsque vous avez des discussions, les voix et les personnalités les plus fortes peuvent diriger la conversation comme ils le souhaitent. C’est une chose qui est un peu dangereus e mais beaucoup de concours ont des discussions.
why we don’t allow jury members to talk to each other about participants because they are human beings. People will talk to each other and some people are native speakers, some people are extravert, some people are quieter, some people are maybe more easily intimated. We want everyone to have the same value as jury member. The vote is equal and if you start discussing things as a jury, some people will always be stronger than others because of personality and we find that not fair.
Everyone should have of course the same weight. (…) They don’t know what the other people voted, they get the names of the ones that are going through, they don’t know the order, they don’t know anything. We think this is the best way to do it, it is the cleanest. (…) It is always points. (…) They give points, there is an average (…) If points would be the same then it is up to our jury chairman to talk about it and maybe it could be necessary to have a discussion but rather than that a new vote. Because discussion as I said will always influence each other. Discussion would be on how to handle a certain situation. It is always necessary in any kind of regulation to have some kind of flexibility, the jury chairman has flexibility.
If there is something going on which is unpredictable. I can give you an example, if something unpredictable would happen, for instance a pianist would play and the piano would fall apart, what to do. Then you need a vote, then you need a discussion amongst jury members to discuss what do we do. We don’t talk about a specific person, we talk about a specific situation. Do we as a jury decide that it is bad luck or do we think that it is fair that he gets another piano? For instance, the situation never happened but it is just to give you an illustration. Those situations can arrive and then the jury chairman who doesn’t vote on the candidates can have a final say if really necessary. But in practice it is not necessary but the rules are there just in case88. (Fabrice, organisateur de concours)
88 La chose la plus importante pour un concours est que personne ne fasse aucune déclaration à d’autres personnes. Nous ne voulons aucune influence. (…) C’est pour cela que nous n’autorisons pas les membres du jury à se parler entre eux à propos des participants parce que ce sont des êtres humains. Ils vont se parler entre eux et certaines personnes parlent dans leur langue maternelle,
A cet égard, ce processus d’évaluation se distingue d’autres situations soumises à l’évaluation telles que les processus de « peer reviews » dans le monde académique, analysés par Michèle Lamont (2009). Dans ce cadre, les discussions sont vues comme amenant à de meilleures décisions. Délibérer permettrait aux membres du panel d’articuler leurs arguments dans un dialogue – un processus qui, dans cette situation, produirait des décisions moins contrôlables et plus transparentes. Débattre jouerait un rôle crucial dans la création de la confiance dans le processus d’évaluation. Tel n’est visiblement pas le cas dans la plupart des concours de musique internationaux.
Les dispositifs d’évaluation varient également selon les concours que nous avons observés.
certaines personnes sont extraverties, certaines personnes sont plus calmes, certaines personnes sont peut-être plus intimidables. Nous voulons que chacun ait la même valeur en tant que membre du jury. Le vote est équitable et si tu commences à discuter les choses en tant que jury , certaines personnes vont toujours être plus fortes que d’autres à cause de la personnalité et nous ne trouvons pas cela juste. Chacun devrait bien sûr avoir le même poids. (…) Ils ne savent pas ce que les autres personnes ont voté, ils ont les noms de ceux qui ont passé, ils ne connaissent pas l’ordre, ils ne savent rien. Nous pensons que c’est la meilleure manière de faire, c’est la manière la plus propre. (…) Ce sont toujours des points. (…) Ils donnent des points, il y a une moyenne (…) Si les points devaient être les mêmes alors c’est au président d’en parler et peut-être que cela nécessiterait une discussion, mais plutôt que cela un nouveau vote. Parce que la discussion comme je le disais va toujours influencer les autres. Il y aurait une discussion sur comment faire face à une certaine situation. Il est toujours nécessaire dans un règlement d’avoir une certaine flexibilité, le président a une flexibilité. S’il y a quelque chose qui est imprévisible. Je peux vous donner un exemple, si quelque chose d’imprévisible arrivait, par exemple si un pianiste jouait et le piano tombait en morceau, qu’est-ce qu’il faut faire. Alors il faut un vote, alors il faut une discussion entre les membres du jury. Nous ne parlons pas d’une personne spécifique, nous parlons d’une situation spécifique. Est-ce qu’en tant que jury nous pensons que c’est de la malchance ou est-ce que nous pensons qu’il est juste qu’il ait un autre piano ? Par exemple, la situation n’est jamais arrivée mais cela vous donne une illustration. Ces sit uations peuvent arriver et alors le président, qui ne vote pas pour les candidats, peut prendre une décision finale si cela est vraiment nécessaire. Mais en pratique cela n’est pas nécessaire, les règles sont là au cas où.
En ce qui concerne le Concours de Genève, la première épreuve ainsi que le récital 1 sont jugés par un système de notes allant de 1 à 25. La note qualificative est fixée à 16 pour passer au récital 1 et à 18 pour passer au récital 2 (finale). La note la plus haute et la note la plus basse ne sont pas prises en considération. A ce stade, aucune discussion n’est admise entre les membres du jury pendant la délibération et lors de ces deux épreuves, les membres du jury n’ont pas le droit de noter les candidats qui ont été leurs élèves réguliers pendant l’année civile en cours.
Le récital 2 est jugé par « oui » ou « non » avec majorité simple des voix et une discussion est organisée au sein du jury.
Les prix sont attribués en deux phases : le jury établit un classement des finalistes et il décide si le meilleur de la compétition mérite un premier prix. Le jury classe ainsi les trois finalistes selon ses préférences. Le directeur du concours donne les résultats du classement et demande si la première personne du classement mérite un premier prix. Chaque membre du jury doit donner son avis. Après la discussion, un vote est organisé: « oui » ou « non » le candidat aura-t-il un premier prix. A cet égard, le concours de Genève, comme le concours de l’ARD, constituent des exceptions dans notre échantillon. En effet, pour les autres concours, comme l’indiquent par ailleurs les deux extraits d’entretien cités, toute discussion est interdite entre les membres du jury.
Dans le cas du Concours Reine Elisabeth, lors des présélections, les membres du jury stipulent si « oui » ou « non » les candidats sont admis à la première épreuve et donnent des points de 0 à 3. Le classement se fait ensuite par le nombre de points obtenus : sont admis à la première épreuve, les candidats qui ont obtenu le plus de points. Le jury décide de la ligne de départage entre les candidats admis et les candidats refusés afin que le nombre de candidats admis soit acceptable.
A l’issue de de la première épreuve, les membres du jury notent les candidats de 0 à 100 et doivent indiquer si « oui » ou « non », ils souhaitent que le candidat
passe en demi-finale. Le classement se fait ici aussi par le nombre de points obtenus.
Les notes pour passer en finale, sont attribuées entre 50 et 100 et ici aussi les membres du jury doivent préciser s'ils aimeraient que « oui » ou « non » le candidat passe en finale. En cas de classement ex aequo par le nombre de points, les candidats sont départagés par le nombre de « oui ». Si le nombre de « oui » est égal, les candidats sont départagés par le nombre de points obtenus à la première épreuve.
Pour la finale enfin, les notes sont attribuées entre 60 et 100. Le classement des finalistes se fait par ordre de préférence.
Comme dans d’autres concours, il n’existe pas de possibilité, du moins formellement, pour chaque juré de confronter son jugement avec celui des autres afin de voir si ceux-ci le corroborent ou non. Le règlement du Concours Reine Elisabeth mentionne par exemple : « Les membres du jury ne peuvent, sous aucun prétexte, se communiquer les notes qu’ils auront attribuées » (Art. 68 du Règlement du Concours Reine Elisabeth, violon 2009). L’article 69 du même règlement indique : « Le Concours a pris pour habitude de faire appel au jugement personnel et individuel de chaque membre du jury. Ceux -ci s’interdiront en conséquence toute concertation. » Toujours dans le même règlement, il est également spécifié à l’article 98 : « Les membres du jury ne pourront échanger de commentaires à propos des candidats avant d’avoir procédé aux votes relatifs aux différents classements. Toute disc ussion relative aux candidats, engagée pendant une séance du jury, entraînera la suspension du membre qui l’aura provoquée. »
La plupart des règlements des concours l’indiquent : les décisions du jury sont considérées comme irrévocables. Dans la majorité des concours, il n’existe pas d’instance pour faire opposition à une décision du jury. Le concours Reine Elisabeth est la seule exception à cette règle dans les concours que nous avons observés. Le règlement de ce concours stipule en effet que « les candidats n’ont
pas le droit de récuser un membre du jury, mais il leur est loisible de déposer une plainte auprès de la commission juridique, s’ils estiment que les articles 56 et 57 n’ont pas été observés » (Art. 58, Règlement du Concours Reine Elisabeth, violon 2009). Les articles 56 et 57 du même règlement indiquent que « les parents ou alliés d’un candidat ne peuvent pas faire partie du jury (jusqu’au 4ème degré de parenté) et que « les membres du jury ne peuvent pas voter pour un candidat dont ils sont ou ont été le professeur ».
Il n’a pas été possible, dans le cas du concours de Montréal, de récolter le règlement concernant les modalités d’attribuer les notes.
En ce qui concerne le concours de l’ARD, pour les premières et deuxièmes épreuves, l’évaluation du jury fonctionne avec un système de points. Chaque juré doit rendre des points entre 1 à 9 et la moyenne est ensuite calculée pour chaque candidat. Les candidats ayant entre 1 à 3 points ne peuvent en aucun cas passer au tour suivant, les candidats qui ont entre 7 et 9 points passent au prochain tour dans tous les cas. Les candidats qui ont entre 4 et 6 points sont des cas de discussions. C’est au jury de décider si ces candidats peuvent continuer ou pas.
En ce qui concerne les demi-finales et les finales, un classement est établi de 1 à 6 dans les demi-finales et de 1 à 3 ou 1 à 4 dans les finales, 1 étant le meilleur.
Les résultats (le nom des personnes passant au tour suivant) sont ensuite mis en ligne sur Internet et sur les listes où sont affichés les ordres de passage dans les locaux du concours. Une étiquette avec le tour suivant est collée sur chaque nom de candidat sélectionné au prochain tour. Une des particularités pour ce concours est que les organisateurs n’attendent pas forcément la fin d’un tour pour annoncer les résultats pour les candidats qui se sont déjà produits sur scène.
Lors du Concours international de piano d’Ecosse, les jurés sont invités à choisir les huit candidats qu’ils ont préférés pour passer à l’étape deux. Les premiers reçoivent plus de points que celui qu’ils ont choisi en huitième position. Ces points de tous les membres du jury sont ensuite additionnés afin de trouver le consensus sur les huit meilleurs candidats. Mais les membres du jury ne connaissent que les
points qu’ils ont donné individuellement et pas ceux des autres jurés. Ils ne verront comme résultat final que le nom des huit personnes qui passent à la deuxième étape. Ils ne savent ainsi pas non plus de quelle manière ces personnes sont classées. Le même système prévaut pour passer des huit candidats aux trois finalistes. Ce système a été établi pour minimiser des influences dominantes parmi les membres du jury.
L’évaluation du jury du Concours international de piano Franz Liszt fonctionne avec le système « oui », « non » pour les épreuves de présélections et pour les quarts-de-finale. Pour les demi-finales et les finales, des points sont utilisés pour juger les candidats. Ces points vont de 10 à 100. Comme pour d’autres concours, il existe un certain nombre de règles telles que l’abstention pour les élèves d’un membre du jury. Il y a également une règle stipulant que si une note est 25% en-dessous ou au-en-dessous de la moyenne, cette note est ramenée à la moyenne afin que les membres du jury ne peuvent influencer l’évaluation en notant une personne de manière très élevée ou très basse.
Mais examinons à présent quels types de jugements sont émis par le jury en comparant cette situation avec d'autres contextes où intervient également une expertise : les concours de beauté (Monjaret et Tamarozzi, 2005), les critiques gastronomiques (Bonnet, 2004), ou encore les compétitions de patinage artistique (Ramonich et Collinet, 2010).