Pour Ardoino et Berger (1989) l’élaboration de ce système fait partie de l’évalua- tion elle-même : « [...] les systèmes de référence, auxquels on rapportera nécessaire- ment les phénomènes considérés, s’élaborent et se construisent, au fur et à mesure, à travers le processus même de l’évaluation » (Ardoino & Berger, 1989 : 15). Cette élabo-
ration s’assimile à ce que Figari (1994) a nommé le processus de référentialisation. Cette notion a été utilisée notamment par ce dernier dans le cadre d’évaluation de disposi- tifs (établissements scolaires, dispositif de formation, curriculum...) qui n’entrent bien entendu pas dans notre propos. Cependant, selon Figari, il apparaît que l’évaluation concernant les dispositifs pose les mêmes problèmes que celle concernant les indivi- dus. On y retrouve selon lui l’approche normative qui va mesurer le taux de réussite ou d’échec ou l’approche critériée, qui s’attache à la perspective de progrès et de réus- site individuelle. La première, dans laquelle l’évaluateur endosse plutôt les postures de juge ou d’expert définies par Hadji, s’entendra comme l’évaluation d’un objet, la seconde, plus portée par la posture du philosophe, comme l’évaluation d’un sujet ou d’un projet (nous y reviendrons ultérieurement).
Cette considération nous permet de choisir en connaissance de cause l’éclairage du processus de référentialisation comme une entrée en matière pour nous guider dans les différentes étapes d’une évaluation. Nous pensons que les principes qui le sous- tendent sont suffisamment généraux pour poser la charpente de l’élaboration de nos références. Nous les présenterons ci-dessous, en les complétant au fur et à mesure par des apports d’autres auteurs.
Dans un premier temps, pour mieux saisir les contours de ce concept de référen- tialisation et permettre de comprendre la définition qu’en donne Figari, nous nous proposons de définir au préalable les notions qui lui sont afférentes, soit celle de réfé- rent, référé et référentiel.
Référent: les référents sont pour Figari (2006 : 103), des données qui constituent les « éléments de comparaison choisis pour attribuer du sens au fait observé (informa- tions " faisant référence ", état souhaité de l’objet) ». Plus simplement, selon la formu- lation de Hadji, dans le champ de l’ évaluation le référent renvoie à « ce au nom de quoi il devient possible d’apprécier la réalité » (Hadji, 1993 : 24).
Référé: les référés constitueront, selon Figari (2006 : 103), ce qui est « de l’ordre des faits observés », soit en d’autres termes, ce qui sera retenu de l’objet d’évaluation à travers la grille de lecture (Hadji, 1993 : 25).
Référentiel: le référentiel enfin, renvoie à l’ensemble des référents qui permettent de décrire l’objet. Selon Figari (2006 : 104-105), on est certes « dans l’optique d’un ins- trument, d’un ensemble statique de catégories préformées », mais il faut comprendre
un référentiel d’abord comme « une conceptualisation : il s’agit de déterminer les élé- ments de la représentation que l’on construit d’un objet ».
Référentialisation: en prenant en considération les définitions énoncés ci-dessus, celle de référentialisation s’énonce ainsi pour Figari :
« On appellera donc " référentialisation " le processus d’élaboration du ré- férent [...]. La référentialisation consiste à repérer un contexte et à construire, en le fondant sur des données, un corps de références relatif à un objet (ou une situation) par rapport auquel pourront être établis des diagnostics, des projets de formation et des évaluations. La référentialisation veut être une méthode de délimitation d’un ensemble de référents et se distingue en cela du référentiel qui désigne, lui, un produit fini, et plus exactement, une for- mulation momentanée de la référentialisation. » (Figari, 1994 : 48)
Pour lui, la référentialisation a un triple statut :
— opératoire, dans le sens ou le référentiel va servir en tant qu’appareil-étalon, — méthodologique, puisqu’il s’agit d’un ensemble de procédures organisées et
finalisées qui justifieront et nommeront les critères avec lesquels sera menée l’évaluation,
— scientifique, dans le sens ou la construction du référentiel va éventuellement permettre d’élaborer un certain nombre d’hypothèses qui expliqueraient les ré- sultats de l’évaluation.
Dans cette dynamique, il s’agira donc d’expliciter « l’ensemble des procédures consis- tant à modéliser l’évaluation et à élaborer un protocole qui établit un lien logique entre référents, critères et indicateurs de l’évaluation. » (Figari, 2006 : 104). La première étape, la modélisation passe par une phase de diagnostic, qui constitue une phase ex- ploratoire, une « prise d’indices » qui devra permettre « une reconstruction abstraite et figurée de la réalité destinée à mieux comprendre cette dernière » (Figari, 1994 : 55). Celle-ci passe par la reconstitution de l’objet et la délimitation des catégories de cet objet qui seront soumises à des investigations spécifiques.
Selon Figari, il n’y a pas de méthode unique pour mener cette phase exploratoire. On peut utiliser divers démarches et matériaux et des instruments de lecture appro- priés. Pour opérer cet état des lieux, on pourra par exemple s’appuyer sur des mé- thodes d’analyse des données existantes (analyses de documents, observations) mais
également des méthodes exploratoires du type entretiens, observations participatives ou questionnaires, qui vont permettre éventuellement de contrebalancer les informa- tions précédentes. Toutefois, quelle que soit la méthode choisie, précise-t-il, l’évalua- teur aura pour tâche de rester « ouvert aux informations existantes, de peur d’ignorer celles qui permettront de construire des représentations de l’évaluation qui suivra, et en même temps, trier dans la masse en fonction d’hypothèses qui détermineront des catégories d’informations en nombre suffisamment limité pour être traitables » Figari (2006). Ce n’est donc qu’au terme de cette première phase d’investigations, qui aura permis de rassembler des données provisoires et hypothétiques, que se déterminera le choix des critères et des indicateurs.
Sur ces deux derniers termes également, les définitions sont relativement similaires dans les champs de l’évaluation des individus et des dispositifs. Même si l’étymolo- gie du terme critère n’est pas claire, pour Barlow (2003 : 19), il viendrait du grec kri- tèrion alors que pour Figari (1994), son origine criterium serait latine, les signifiés se rejoignent, puisqu’ils renvoient à l’aspect par lequel on choisit d’appréhender un ob- jet. Pour le premier de ces deux chercheurs, il renverrait à « une règle pour choisir, distinguer, trier (en grec, krino, qui est aussi à l’origine du mot crise !) ». Figari de son côté étoffera cette définition, mais ne s’en écartera pas vraiment :
« Le mot désigne le principe qui permet de distinguer le vrai du faux, de juger, d’estimer (l’évidence est selon Descartes, le critère de la vérité). Sa première caractéristique est donc l’abstraction (l’évidence, la rapidité, la clarté, la rapidité, l’ordre, etc.) ; sa seconde caractéristique est la discrimi- nation :
- entre les objets possédant ou ne possédant pas le critère : par exemple, en ce qui concerne le critère de clarté, il conviendra de fixer ce qui va discri- miner une phrase claire et une phrase non claire ;
- à l’intérieur des objets possédant le critère : une phrase plus claire qu’une autre. Sa troisième caractéristique consiste à jouer le rôle, d’ "interface entre, d’une part les visions du monde ... d’autre part, les indices, les indicateurs plus opératoires " (Ardoino, Berger, p215) " » (Figari, 1994 : 110)
C’est le caractère abstrait du critère qu’on met en avant pour le distinguer d’un indicateur. L’indicateur, en effet, est de l’ordre du sensoriel, du réel, de l’expérience. Il permet de savoir selon quoi on considère que le critère est rempli (normes de réfé-
rences, indicateur de réussite) et de vérifier s’il est vraiment rempli (indices issus de l’évaluation). Cette dernière vérification ne peut se faire qu’à partir de preuves repé- rables par l’un des cinq sens : l’ouïe, l’odorat, le toucher...
Pour citer deux exemples simples : 1) si le critère de "poids" est pris en compte pour un combat, et que l’indicateur de référence est de "peser entre 70 et 80 kg", tous ceux qui, d’après le test du pèse-personne, pèseront "moins de 70kg" ou "plus de 80 kg" (indices réels) ne seront pas acceptés. 2) Si pour juger qu’une personne est apte à devenir professeur des écoles, est défini dans le critère "pratique sportive suffisante", le sous-critère "savoir nager", les indicateurs pourraient être, en termes opérationnels :
— parcourir 50 m, — en utilisant le crawl, — en moins d’une minute.
Chez certains auteurs, la notion d’indicateur de référence (ou de réussite) est confon- due avec celle de critère qu’on nomme alors critère de réussite. En ce qui nous concerne, pour davantage de clarté, nous nous maintiendrons au terme d’indicateur de référence ou de normes de référence quand il s’agit de la norme ou d’une des normes qui fait office de référence pour délibérer de l’atteinte d’un critère dans l’évaluation. Nous utilise- rons le terme indices du réel pour renvoyer aux observables liés à la compétence des évalués.
Ce qu’il faut retenir au terme de cette discussion, c’est surtout qu’en choisissant des critères pour évaluer un objet donné, en réduisant ce dernier à un ensemble de caractéristiques, le concepteur de l’évaluation construit ce que Bonniol (1981) appel- lera un « produit-norme », en piochant dans « l’ensemble des produits possibles ». Selon de Ketele & Roegiers (1996), cette construction ne devrait s’envisager qu’à partir d’un questionnement sur la validité des critères choisis : « mes critères permettent-ils de vérifier ce que je déclare vouloir vérifier ? ». En d’autres termes, les critères que nous choisissons vont-ils être pertinents et/ou suffisants pour poser une conclusion sur l’atteinte ou non des objectifs fixés ?
Du côté des indicateurs de référence, le choix devrait également s’effectuer de ma- nière raisonnée, même s’il semblerait qu’il n’y ait pas véritablement de règle quand au nombre d’indicateurs minimum requis pour conclure à l’atteinte d’un critère. Comme
le note Guillon (2004 : 72), en citant Thélot (1993), pour certains chercheurs, il apparaît qu’il faudrait un petit nombre d’indicateurs : « L’évaluation doit être modeste, elle ne saurait prétendre saisir dans son entier un système, une action, une politique...il faut donc être simple et trouver de bons équilibres entre simplicité et complexité de la dé- marche ou des indicateurs. En particulier, et ceci doit être une règle impérative, il im- porte de se limiter à un petit nombre d’indicateurs [...] ». Au contraire, pour d’autres, un nombre élevé d’indicateurs devient gage d’une bonne évaluation. Ainsi, poursuit Guillon, de Peretti par exemple (in Encyclopédie de l’évaluation en formation et en édu- cation, 1998), préconise cent vingt-cinq indicateurs et paramètres pour une évaluation positive d’un établissement scolaire.
En réalité, quel que soit le nombre d’indicateurs recueillis, il faudrait se garder se- lon Bonniol des généralisations abusives issus de mises en relation directe, linéaire et exclusive entre critère et indices du réel. Comme dans toute l’évaluation elle-même, la prise de recul est ici aussi nécessaire. Malgré toutes les précautions prises, la com- plexité inhérente à l’activité humaine obligera toujours en effet à concevoir le lien comme hypothétique. Ainsi souligne-t-il :
« [...] la performance d’élève peut être considérée par différents évalua- teurs, et selon leurs objectifs, comme l’indice de "ce que vaut l’élève", de "ce que vaut la méthode pédagogique", adoptée par l’enseignant, ou de "ce que vaut le programme enseigné". Dans la mesure où la performance est effectivement une fonction composée de variables en interactions, dont les modalités ne sont pas toujours indépendantes, le choix qui est opéré d’un objet d’évaluation que représenterait la performance considérée est un choix arbitraire ; cela ne signifie pas qu’il est fortuit ou gratuit, cela si- gnifie que la relation qui unit cette performance à cet objet doit être définie parmi d’autres relations, et non comme si elle était la seule possible, assimi- lée alors à une relation d’identité ou d’implication. » (Bonniol, 1981 : 490)
En outre, pour sa part, Hadji, note qu’il est indispensable de regarder tout lien entre critère et indicateur(s) comme ponctuel et dynamique étant donné que les para- mètres de l’évaluation sont soumis à des changements inexorables. En effet, pose-t-il :
« Il n’y a pas [...] d’évaluation achevée, car un réseau de significations peut toujours être complété et déplacé, en fonction de l’évolution des choses
d’une part, et de la particularité du regard de l’irremplaçable sujet-évaluateur d’autre part. L’évaluation est un processus partiel, par essence inachevé. » (Hadji, 1993 : 131-132)
En fait, selon lui, on pourrait comparer l’évaluation à une photographie, un arrêt sur image, à un instant T, regardée avec un "objectif" dans le sens d’un point de vue, d’une perspective particulière. C’est d’ailleurs au titre de cette relativité que Guillon avance la nécessaire acceptation de la criticabilité de toute évaluation, puisqu’il convient de « considérer d’abord comme un outil de positionnement intellectuel qui met en cause et peut à son tour être mis en cause, selon une dialectique féconde » (Guillon, 2004 : 8).
Une fois toutes ces considérations circonscrites, l’évaluation doit se poursuivre par l’étape du recueil des indices du réel. Cette étape doit selon de Ketele & Roegiers (1996) s’effectuer en étant guidé par trois questions essentielles sur lesquelles repose- ront respectivement la pertinence, la validité et la fiabilité du recueil :
« Est-ce que je ne me trompe pas d’informations à recueillir ? »
« La stratégie mise en place me donne-t-elle toutes les garanties que l’information que je vais recueillir est bien celle que je déclare vouloir recueillir ? »
« La façon de recueillir l’information est-elle semblable d’une personne à l’autre, d’un endroit à l’autre, d’un moment à l’autre ? »
Nous y reviendrons de manière plus détaillée dans la dernière partie de notre thèse.