apprentissages d’un individu (l’auteur du portfolio), des démonstrations d’habiletés, des situations d’évaluation, etc. (Gregori-Giralt et Menéndez-Varela, 2015; Jetter, 2016). L’élaboration de ce dernier peut répondre à différents objectifs, dont le développement de la pensée réflexive, notamment lors de la formation initiale. Son évaluation peut servir des fins d’embauche ou encore de développement professionnel (Meeus, Van Petegem et Engels, 2009; Van Tartwijk, Driessen, Van Der Vleuten et Stokking, 2007). Plus spécifiquement à l’enseignement, le portfolio est de plus en plus utilisé lors de la formation initiale des enseignants dans une visée d’évaluation de la progression des apprentissages en regard du développement des compétences professionnelles (Whitworth, Deering, Hardy et Jones, 2011; Yao et al., 2008) et en guise de support pour l’embauche des futurs enseignants (Patrick-Williams et Bennett, 2010; Temple, Allan et Temple, 2003; Theel et Tallerico, 2004; Wolf et Dietz, 1998). Pour l’embauche, le portfolio comporte généralement des séquences d’activités, des descriptions des expériences de pratiques enseignantes, des rétroactions ou références de superviseurs immédiats, et, parfois même des vidéos du candidat en action (Strohmeier, 2010; Theel et Tallerico, 2004).
Puisqu’il peut prendre de multiples formes, qu’il peut répondre à beaucoup d’objectifs et que son évaluation s’avère très subjective, plusieurs auteurs (Abrami et Barrett, 2005; Gadbury-Amyot et
46
al., 2003; Herman et Winters, 1994; Patrick-Williams et Bennett, 2010; Strohmeier, 2010) mentionnent qu’il est difficile d’en estimer la validité. Peu de recherches portent d’ailleurs sur la validité du portfolio comme instrument d’évaluation (Bums et Haight, 2005; Driessen, Overeem, Van Tartwijk, Van Der Vleuten et Muijtjens, 2006; Gregori-Giralt et Menéndez-Varela, 2015; Knapper et Wright, 2001; Wolf et Dietz, 1998). Or, Bums et Haight (2005) présentent une corrélation positive élevée (r=0,53) entre le portfolio utilisé dans le cadre d’un cours universitaire à l’intention de futurs enseignants en éducation spécialisée et la performance des étudiants en stages mesurée par des indicateurs formatifs et sommatifs : les pratiques d’évaluation adoptées, analyse des situations problématiques, etc. Wilson, Hallam, Pecheone et Moss (2014) trouvent quant à eux une relation positive modérée (r= 0,18) entre le portfolio utilisé pour témoigner de compétences en littérature chez les enseignants en poste (p.ex., planification de leçons, évaluation d’élèves) et la performance en emploi des enseignants mesurée par le succès des élèves à un test de lecture.
Somme toute, plusieurs auteurs (Karlowicz, 2000; Meeus et al., 2009; Temple et al., 2003) insistent sur le fait qu’il est difficile, voire impossible, de présenter des indices représentatifs de la validité du portfolio, compte tenu de la subjectivité de son évaluation qui occasionne des indices d’accord inter-juges faibles (Meeus et al., 2009; Pitts, Coles et Thomas, 1999).
Quant à son utilisation en sélection, bien que plusieurs études fassent état que les directions ont généralement une perception positive de l’outil pour des fins de sélection (Achrazoglou, Anthony, Jun, Marshall et Roe, 2002; Mosely, 2004; Whitworth et al., 2011), les études portant sur les pratiques de sélection des directions scolaires soulèvent qu’il s’agit pourtant d’un outil très peu utilisé pour prendre des décisions relatives à l’embauche des enseignants (Cranston, 2012a; Jetter, 2016; Kersten, 2008; Mason et Schroeder, 2010; Theel et Tallerico, 2004). Tel que mis en lumière par Theel et Tallerico (2004), cela peut s’expliquer par le fait que, bien souvent, les directions d’école ont du mal à évaluer les portfolios des candidats, ne sachant pas sur quels critères se baser pour en réaliser une évaluation objective. Les directions font également état d’un réel besoin de mise en place d’outils pour les aider à standardiser leur approche pour l’évaluation des portfolios (Theel et Tallerico, 2004). Les autorisations d’enseigner, le diplôme et le relevé de notes.
Au Québec, pour être enseignant
au primaire ou au secondaire il faut avoir réussi sa formation en enseignement dans un établissement faisant partie de l'Association des universités et des collèges du Canada et posséder une autorisation légale d’enseigner, et ce, en vertu du Règlement sur les autorisations d’enseigner (L.R.Q., c.I-.1). Les47
autorisations d’enseigner réfèrent au droit de pratique accordé par le ministère de l’Éducation du Loisir et du Sport et permettent d’enseigner dans les écoles primaires et secondaires des secteurs public et privé (Gauthier et Mellouki, 2003). Le brevet d’enseignement représente l’autorisation permanente d’enseigner généralement exigée des candidats, mais comme il faut avoir la citoyenneté canadienne ou être résident permanent pour l’obtenir (L.R.Q., c.I-1.2), certains candidats doivent demander d’autres types d’autorisation, qui, elles, sont temporaires. Pour obtenir l’autorisation d’enseigner, le candidat doit soumettre un formulaire de déclaration des antécédents judiciaires tel qu’il a été précisé précédemment (MELS, 2011). Ainsi, dans la mesure où un candidat ayant suivi sa formation dans une université québécoise ne possède pas ces documents officiels, cela pourra témoigner de son échec à la formation.
Le diplôme ainsi que le relevé de notes du candidat peuvent aussi être utilisés par les recruteurs en contexte de sélection. Le diplôme est un document officiel qui confirme le titre ou le grade obtenu par l’individu à la suite de son parcours scolaire qui est généralement délivré par un organisme officiel (le MELS au Québec). Les écrits scientifiques en éducation tendent à aborder la formation académique selon le type de formation suivie (programme d’enseignement ou programme disciplinaire spécifique) ou selon le type de certification obtenu (standard, alternative ou provisoire) (Stronge, 2007). Ce document officiel peut être vu comme un proxy 5 aux mesures d’intelligence, puisque, comme le souligne Ballou (1996), la formation ou certification peut rendre compte des aptitudes cognitives des candidats.
Parfois accompagné du diplôme, le relevé de notes est un document officiel qui contient le cursus scolaire du candidat, incluant généralement les cours suivis, les crédits et notes obtenus (Stark et Poppler, 2012). Les succès scolaires sont d’ailleurs en relation avec l’intelligence (Hunter et Hunter, 1984; Kuncel, Hezlett et Ones, 2004). Puisque l’intelligence prédit à son tour la performance en emploi ainsi que le succès en formation (Hunter, 1986; Schmidt et Hunter, 2004), théoriquement, les notes devraient être de bons indicateurs des aptitudes cognitives du candidat (Berry, Gruys et Sackett, 2006; Gottfredson, 1997; Jensen, 1980). Les écrits sur le sujet présentent cependant des conclusions mitigées concernant la validité des notes, souvent étudiées par le Grade Point Average (GPA), soit la moyenne générale d’un individu aux cours suivis, pour prédire la performance en emploi (Baird, 1985; Roth, Bevier, Switzer et Schippmann, 1996; Stark et Poppler, 2012). Hunter et
5 Se dit d’une mesure qui évalue indirectement un concept ou un contenu spécifique. Cette mesure présenterait, idéalement, des propriétés
48
Hunter (1984), dans leur méta-analyse, présentent, pour seulement onze études, un indice de validité corrigé pour atténuation et restriction de la variance de r =0,11 entre le GPA et la performance en emploi. Roth et al. (1996), dans une méta-analyse portant spécifiquement sur l’étude de la relation entre le GPA et la performance en emploi (moyenne du calcul de la performance en emploi par les superviseurs et des experts du poste), comportant 71 études, présentent, quant à eux, un indice de validité corrigé pour atténuation et restriction de la variance de r =0,35, ce qui représente un indice de validité moyen entre les deux variables.
En contexte de sélection des enseignants, le relevé de notes est l’un des prédicteurs les moins utilisés (Cranston, 2012a; Rutledge et al., 2008), alors que le diplôme, très peu abordé par les auteurs, semble moyennement utilisé par les directions (Rutledge et al., 2008). Il y a lieu de souligner que, bien souvent, les informations liées à la certification d’un candidat se retrouvent dans son curriculum vitae (Bourhis, 2013; Catano, 2009; Lévy-Leboyer, 2007), ce qui peut faire en sorte que ce soit cet instrument qui soit utilisé comme prédicteurs pour les qualifications du candidat et non le document officiel de certification.
Somme toute, bien qu’une évaluation ciblée du relevé de notes, c’est-à-dire reposant principalement sur l’observation de notes spécifiques à l’emploi, ait une validité plus élevée que son analyse globale (Dye et Reck, 1988, cités dans Roth et al., 1996), il semble manquer d’évidences dans la littérature pour identifier l’apport du relevé de notes, de l’autorisation d’enseigner et du diplôme sur la qualité de l’enseignement (Darling-Hammond, 1999; Hattie, 2009). Les recruteurs doivent ainsi être prudents avec l’utilisation qu’ils font de ces mesures.
Les tests de maîtrise de la langue d’enseignement.
La lecture de différentes politiques d’embauche
de commissions scolaires du Québec indique que la réussite au Test de certification en français écrit pour l’enseignement (TECFÉE) (Centre d’évaluation du rendement en français écrit [CÉFRANC], 2008) est souvent requise. L’épreuve comporte deux parties, une partie à choix multiples portant sur le code linguistique (p.ex., questions sur le vocabulaire, l’orthographe lexicale) ainsi qu’une partie rédaction La réussite de l’épreuve est obligatoire pour l’obtention du diplôme depuis l’automne 2008 dans le cadre de la formation initiale des futurs enseignants. Le test vise à s’assurer de la qualité de leur langue écrite afin qu’ils représentent un « modèle linguistique » pour les élèves (CÉFRANC, 2015). Les candidats n’ayant pas été soumis au TECFÉE dans le cadre de leur formation doivent généralement passer soit le test du Service d’évaluation linguistique (SEL version B) (Télé-université49
du Québec [TÉLUQ], ND6) ou le test du centre d’évaluation du rendement en français écrit (CÉFRANC, 2014). Il s’agit de tests écrits similaires visant à évaluer l’expression écrite ainsi que la maîtrise du code linguistique du candidat (TÉLUQ, 2016). Ceux-ci comportent également deux parties, une portant sur la grammaire et l’orthographe et une autre sur la rédaction (CÉFRANC, 2015). Bien que ces tests puissent sembler pertinents pour évaluer les compétences linguistiques et la production écrite des candidats, il faut souligner que les organismes ne rendent pas disponibles les informations concernant leurs propriétés psychométriques et qu’il n’a pas été possible de trouver d’études évaluant la validité de l’exigence « qualité de la langue » à titre de prédicteur de la performance en emploi.
L’entrevue. L’entrevue est non seulement reconnue comme étant l’un des outils les plus utilisés en sélection du personnel (Mann et Chowhan, 2011), mais également comme l’un des plus étudiés (Macan, 2009; Posthuma, Morgeson et Campion, 2002).
Huffcutt et Arthur (1994) présentent quatre niveaux de structure d’entrevue. L’entrevue présentant de faibles indices de structure (niveau 1 ou 2) prend généralement la forme d’une conversation entre le candidat et le recruteur. Le recruteur peut avoir préparé certaines questions dont il peut déroger pour amener le candidat à approfondir certains éléments de réponse du candidat relatifs à ses expériences, qualifications ou autres et la grille d’évaluation des réponses est générale, qualitative ou très sommaire (Pettersen et Durivage, 2006). Les entrevues présentant des niveaux de structure élevés (niveaux 3 et 4) se distinguent notamment par la nature des questions posées, la grille d’évaluation utilisée ainsi que par l’évaluation des questions (Huffcutt et Arthur, 1994). En effet, pour un maximum de structure, les questions posées aux candidats doivent être les mêmes pour chacun et doivent être présentées dans le même ordre (Campion et al., 1997; Hackett, Lapierre et Gardiner, 2004; Latham et Sue-Chan, 1999; Pettersen et Durivage, 2006). Cette standardisation du processus (mêmes conditions d’administration de l’entrevue pour tous) permet aux évaluateurs de s’assurer que les candidats ont obtenu les mêmes chances de se faire valoir. Selon les auteurs (Campion et al., 1997; Hackett et al., 2004; Levashina, Hartwell, Morgeson et Campion, 2014; Pettersen et Durivage, 2006; Searle, 2003), ce sont les questions comportementales (associées au niveau 3) et situationnelles (associées au niveau 4) qui présentent le niveau de structure le plus élevé.
50
L’entrevue de type comportementale repose sur le principe que les comportements passés constituent les meilleurs prédicteurs des comportements futurs (Janz, 1982). Le candidat, lors de ces entretiens, est appelé à référer à ses expériences de travail pour répondre aux questions des évaluateurs (Bourhis, 2013; Levashina et al., 2014). Par exemple, le recruteur peut demander à un candidat à un poste d’enseignant de décrire une situation dans laquelle il a eu à composer avec un élève ayant un trouble d’apprentissage et de spécifier les différentes stratégies d’interaction qu’il a adoptées pour maintenir un climat de classe propice aux apprentissages. À la différence des entretiens situationnels, lors des entretiens comportementaux, l’évaluateur a recours aux questions de suivi ou d’approfondissement afin d’amener le candidat à préciser certains aspects relatifs aux réponses données (Pettersen et Durivage, 2006). L’entrevue de type situationnelle se base sur l’intention comportementale pour établir des prédictions de la performance de l’individu dans les fonctions liées au poste (Guion, 2011). Lors de l’entretien, le candidat est soumis à des situations susceptibles de survenir en emploi et on lui demande ce qu’il ferait s’il était confronté à la situation dans le cadre de l’emploi (Campion et al., 1997; Guion, 2011; Latham et Sue-Chan, 1999; Searle, 2003). Il s’agit de la forme d’entrevue la plus structurée.
Les entrevues structurées recourent à l’utilisation d’une grille d’évaluation comportementale (Campion et al., 1997; Levashina et al., 2014; Melchers, Lienhardt, Von Aarburg et Kleinmann, 2011). Celle-ci consiste essentiellement en des exemples de réponses attendues (Campion et al., 1997) qui sont élaborées en collaboration avec des experts du poste (Bourhis, 2013; Gatewood et Feild, 1994). Elles permettent, entre autres, d’éviter les évaluations subjectives (Campion et al., 1997; Levashina et al., 2014; Pettersen et Durivage, 2006). Il est également recommandé, que chaque candidat soit évalué à chacune des questions (Campion et al., 1997; Pettersen et Durivage, 2006) et que plusieurs évaluateurs soient impliqués dans le processus (Campion et al., 1997; Melchers et al., 2011).
Si l’entrevue contribue à prédire la performance en emploi lorsqu’elle est bien conçue (Campion, Palmer et Campion, 1997; McDaniel, Whetzel, Schmidt et Maurer, 1994), ses indices de validité varient notamment selon le niveau de structure de celle-ci (Gatewood et Feild, 1994; Guion, 2011; Huffcutt et Arthur, 1994; Schmidt et Hunter, 1998). Schmidt et Hunter (1998) présentent un indice de validité prédictive pour la performance en emploi variant de r= 0,38 à 0,51 selon le niveau de structure de l’entrevue. Selon Huffcutt et Arthur (1994), l’entrevue la plus structurée (niveau 4)
51
présente une validité corrigée pour atténuation et restriction de la variance de r= 0,57 alors que le celle ne présentant aucune contrainte de structure (niveau 1) atteint une validité de r= 0,20.
D’autres facteurs contribuent à la validité de l’entrevue dont la prise de notes par chacun des évaluateurs lors de l’entrevue (Burnett, Fan, Motowidlo et DeGroot, 1998; Campion et al., 1997; Hackett et al., 2004; Houdek Middendorf et Hoff Macan, 2002; Pettersen et Durivage, 2006). En effet, la prise de notes réduit l’influence des différents biais liés aux stéréotypes, favorise le rappel d’informations et augmente les indices de validité de la procédure (Burnett et al., 1998; Campion et al., 1997; Houdek, Middendorf et Hoff Macan, 2002; Melchers et al., 2011; Pettersen et Durivage, 2006). Certaines façons de prendre des notes sont plus adéquates que d’autres (Pettersen et Durivage, 2006). Pour un maximum de validité, il faut opter pour des techniques de prise de notes neutres qui ne contiennent pas de jugement et qui sont comportementales (Burnett et al., 1998). Enfin, plusieurs chercheurs soulignent la pertinence d’avoir recours à des évaluateurs détenant une formation sur les entrevues structurées pour la conduite de l’entrevue (Campion et al., 1997; Gatewood et Feild, 1994; Hackett et al., 2004; Melchers et al., 2011). Cette formation leur permet, entre autres, de se familiariser avec les diverses procédures concernant la standardisation de la conduite de l’entrevue ainsi que de diminuer les risques d’erreurs liés aux décisions (Gatewood et Feild, 1994; Melchers et al., 2011).
Or, malgré ces évidences de la littérature en faveur de l’utilisation de l’entrevue structurée, c’est majoritairement la forme classique ou moyennement structurée (niveaux 1 ou 2) qui est utilisée en sélection (Dipboye, Macan et Shahani-Denning, 2012; Terpstra et al., 1999; Van Der Zee et al., 2002). À ce sujet, malgré que l’étude de Simola, Taggar et Smith (2007) relate que, en majorité (78,4 %), les praticiens en ressources humaines au Canada (n=301), planifient leurs questions d’entrevue, seuls 12,6 % des praticiens ont recours aux échelles de notation détaillées pour l’évaluation des réponses des candidats. Les résultats à cette même étude mettent également en évidence le fait que les praticiens utilisent peu l’analyse de poste pour bâtir leurs questions d’entrevue et négligent l’importance de former les évaluateurs.
En éducation, l’entrevue représente l’outil d’évaluation le plus utilisé lors de la sélection des enseignants (Cranston, 2012a, 2012b; Hindman et Stronge, 2009; Jetter, 2016; Kersten, 2008; Mason et Schroeder, 2010; Rutledge et al., 2008; Young et Castetter, 2000). Il existe cependant peu d’indications au sujet du type d’entrevue utilisé par les directions, de leur niveau de structure (type
52
de questions, type de grille d’évaluation), etc. L’étude de Jetter (2016) rend cependant compte de quelques types de questions utilisées par les directions scolaires lors de l’entrevue d’embauche. Les résultats démontrent que parmi les directions qui ont recours à l’entrevue, 82 % utilisent des questions invitant le candidat à rapporter des connaissances ou compétences (p.ex., « Quelle technologie utilisez-vous en classe ? ») alors que seulement 28 % ont recours à des questions situationnelles ou comportementales.
Les simulations.