Evaluation multicritère pour le classement et la sélection des étudiants
A. Rolland D. A. Zighed
Laboratoire ERIC, Université Lumière Lyon II, campus Porte des Alpes, 69676, BRON [email protected],[email protected]
1 Le “student ranking problem” : une préoccupation partagée
La sélection des étudiants à l’entrée d’une formation de l’enseignement supérieur est un problème partagé par toutes les universités : comment faire pour retenir, parmi le grand nombre de postulants, les étudiants qui seront les plus aptes à suivre la formation (ou pour lesquels la probabilité de réussite sera la plus grande) ? De nombreuses universités utilisent des processus plus ou moins formalisés, certains construits à partir d’outils statistiques (cote R au Québec [2]) d’autres à partir de techniques plus sophistiquées telles que les réseaux de neurones. Plusieurs auteurs se sont penchés sur le sujet, en interrogeant la validité des critères retenus et leur capacité prédictive (voir par exemple [6], [4], [13], [9], et en particulier pour le test GMAT voir [5] ou [1]). Yeh [14] propose une méthode utili- sant l’analyse multicritère à l’aide d’agrégateurs de type moyenne pondérée ou TOPSIS. Cependant, toutes ces méthodes souffrent de devoir utiliser des données parfois incomplètes, souvent subjectives, et demandent une information très précise à propos des niveaux des candidats sur chacun des critères, ainsi que les poids respectifs des différents critères (Yeh par exemple choisit des poids égaux entre les 8 critères qu’il a retenu, avouant être dans l’incapacité, faute d’information, de pouvoir fixer des poids plus adaptés). Leyva López ([7], [8]) propose d’utiliser un algorithme génétique couplé à la méthode Electre pour obtenir un classement des étudiants en vue de leur sélection dans une forma- tion. Il propose par ailleurs un logiciel appelé SADAGE utilisé à l’université de Sinaloa (Mexique).
Cependant, cette méthode, bien que plus robuste que les précédentes, reste toujours très sensible, de par son codage de l’information, aux imprécisions qu’il peut y avoir dans les données initiales.
Par ailleurs, il n’existe pas aujourd’hui en France d’application simple, utilisant la puissance de la modélisation multicritère pour sélectionner les étudiants. C’est ce manque que nous allons essayer de combler.
2 Une démarche purement ordinale pour le choix des étudiants de mas- ter
En décision multicritère, on suppose que les différentes alternatives se présentant au décideur peuvent être décrites sur un certain nombre de critères. Les valeurs des alternatives sur ces critères représentent la prise en compte de points de vue diversifiés, en général non réductibles à un seul critère. Dans le cas présent, les critères retenus pour la sélection des étudiants sont les suivants :
– qualité des résultats académiques obtenus lors des 3 dernières années – adéquation entre les connaissances déjà acquises et le sujet du master – expérience professionnelle
– connaissance en langues étrangères (hors anglais et langue maternelle)
– évaluation proposée par au moins deux enseignants ou chercheurs connaissant l’étudiant sur sa capacité à intégrer le programme du master
– motivations du candidat et projet personnel 1
ainsi qu’une note d’entretien oral intégrant les points suivants : compréhension et aisance en anglais, motivation et projet personnel, adéquation entre les connaissances du candidat et le programme du master. Il existe une grande diversité d’approches et de modèles en théorie de la décision multicritère.
Cet état de fait est justifié par la grande variété des situations pratiques dans lesquelles le décideur peut se trouver. Dans notre cas, nous sommes en présence d’un ensemble discret d’alternatives définies en extension, d’un effectif qui sans être très important est quand même conséquent (environ 800 dossiers), et nous disposons principalement d’une information très basique : de part la diversité des parcours des postulants, il est très difficile de mettre une note précise aux différents critères qui composent le dossier. Nous proposons donc de nous contenter d’une évaluation sur une échelle de quatre niveaux : A (à prendre absolument au vu de ce critère), B (à prendre possiblement au vu de ce critère), C (faiblesse non rédhibitoire au niveau de ce critère) et D (faiblesse très importante au niveau de ce critère). La problématique consiste à proposer au décideur un classement des postulants à partir des critères retenus, en sachant que le choix final des étudiants intègrera d’autres paramètres (équilibre des nationalités, accès aux bourses d’études, . . .) que nous ne pouvons intégrera priori.
Nous proposons d’utiliser une méthode s’inspirant de la méthode ELECTRE ([12]) qui utilise des niveaux de référence pour aider à la comparaison d’alternatives de manière indirecte ([10], [11]). Cela consiste à comparer chaque alternative (ici, un étudiant) à un point de référence (ici, un profil type fixé à l’avance) sur chacun des critères (ici, 5 critères de sélection). Nous obtenons alors l’ensemble des critères pour lesquels l’alternative est préférée au point de référence. Nous pouvons alors comparer, pour deux alternatives, ces deux ensembles afin d’obtenir une relation de préférence entre les deux alternatives vis-à-vis du point de référence. Si la relation obtenue n’est pas assez fine, il est possible de prendre plusieurs points de référence afin d’obtenir plusieurs relations de préférence vis-à-vis de points de référence. Il s’agit ensuite d’agréger ces relations de préférence en une relation globale : on commence par prendre la relation donnée par le premier point de référence, que l’on raffine pour les alternatives considérées comme indifférentes par la relation obtenue vis-à-vis d’un deuxième point de référence, et ainsi de suite. Une implémentation de cette procédure a été effectuée pour aider au recrutement des étudiants du master Erasmus Mundus DMKM. L’implémentation a été effectuée dans le cadre du projet DIVIZ [3]. Les résultats de cette procédures seront comparés à ceux obtenus à partir de la traditionnelle moyenne pondérée.
3 Conclusion
L’expérience proposée pour l’aide à la sélection des étudiants en entrée de master se place dans un programme de recherche pluri-annuel. En effet, un des objectifs est de pouvoir avoir suffisamment de recul sur le processus de sélection en entrée pour valider cette sélection au vu des résultats des étudiants en sortie de formation. Nous pensons cependant que les résultats obtenus par cette nouvelle méthode sont suffisamment encourageants pour être exploités dès maintenant.
Références
[1] Mohammad Ahmadi, Farhad Raiszadeh, Marilyn Helms : An Examination of the Admission Criteria for the MBA Programs : A Case Study.Education, 117,4.(1997)
[2] Conférence des Recteurs et Principaux des Université du Quebec : La cote de rendement au collégial : ce qu’elle est, ce qu’elle fait, Comité de gestion des bulletins d’études collégiales, mis à jour le 5 février 2009
[3] http ://www.decision-deck.org/diviz/
[4] Dobson, P. ; Krapljan-Barr, P. and Vielba, C. : An evaluation of the validity and fairness of the Graduate Management Admissions Test (GMAT) used for MBA selection in a UK business school.International Journal of Selection and Assessment, 7, 196-202.(1999).
[5] Graham, L.D. : Predicating academic success of students in a master of business administration program.Educational Psychology Measure, 4, 721-727.(1991).
[6] Hardgrave, B.C., Wilson, R.L. and Walstrom, K.A. : Predicting graduate student success : a comparison of neural networks and traditional techniques.Computers Operations Research, 21, 249-263.(1994).
[7] Leyva López, J.C. : Multicriteria Decision Aid Application to a Student Selection Problem ; Pesquisa Operacional, v.25, n.1, p.45-68,(2004)
[8] Leyva López, J.C. and Dautt Sánchez, L. A New Decision Support System for Ranking a Finite Ste of Multicriteria Alternatives,Revista Investigation Operacional Vol. 26, No. 3,(2005) [9] Lievens, F. and Coetsier, P. : Situational tests in student selection : an examination of predictive
validity, adverse impact, and construct validity.International Journal of Selection and Assess- ment, 10, (4), 245-257.(2002)
[10] Rolland A. : Points de référence en décision multicritèreActes de la 7ème conférence ROADEF, Presses Universitaires de Valenciennes, 153-167 (2006)
[11] Rolland A :Procédures d’agrégation ordinale de préférences avec points de référence pour l’aide multicritère à la décision, thèse de doctorat, (2008)
[12] Roy, B. : Classement et choix en présence de point de vue multiples , Les cahiers du CERO, n˚8, p. 57-75.(1968)
[13] Wolming, S. : Validity issues in higher education selection : a Swedish example. Studies in Educational Evaluation, 25, 335-351.(1999)
[14] Chung-Hsing Yeh :The Selection of Multiattribute Decision Making Methods for Scholarship Student Selection,International Journal of selection and Assessment, 11, 4(2003)
