Application MLE pour la prédiction du potentiel de leadership

Les chercheurs Marshall-Mies, Fleischman, Martin, Zaccaro, Baughman et McGee (2000) ont utilisé une méthodologie de recherche-développement pour concevoir l’application MLE. Il s’agit d’un système informatisé d’administration qui comprend une batterie de tests évaluant les habiletés cognitives et métacognitives dans le domaine du leadership militaire (Military Leadership Exercices). MLE est utilisé dans l’évaluation des gestionnaires de haut niveau, essentiellement des officiers hauts gradés de l’armée (Marshall-Mies, Fleishman, Martin, Zaccaro, Baughman et McGee, 2000, p. 135). Ces tests ont pour but de former des leaders efficaces qui pourront résoudre des problèmes complexes (Marshall-Mies, Fleishman, Martin, Zaccaro, Baughman et McGee, 2000, p. 136). Les habiletés évaluées par l’application sont (1) la solution générale de problèmes (General Problem Solving); (2) la planification et l’implantation de solutions aux problèmes complexes; (3) le développement de solutions aux problèmes complexes; (4) l’évaluation des solutions (Marshall-Mies, Fleishman, Martin, Zaccaro, Baughman et McGee, 2000, p. 139); (5) les jugements

sociaux (social judgment); (6) l’évaluation de la métacognition et des processus métacognitifs (metacognitive process) (Marshall-Mies, Fleishman, Martin, Zaccaro, Baughman et McGee, 2000, p. 140).

L’application MLE soumet les militaires à des tâches d’évaluation complexes qui se présentent sous la forme de scénarios permettant de mesurer la maîtrise des six habiletés déjà mentionnées, et ce, selon des caractéristiques suivantes : (1) complexité; (2) spécificité du domaine; (3) fidélité; (4) forme et présentation de la réponse (Marshall-Mies, Fleishman, Martin, Zaccaro, Baughman et McGee, 2000, p. 141). Les tâches d’évaluation sont conçues pour (1) présenter les scénarios; (2) administrer les mesures; (3) enregistrer les réponses des participants; et (4) calculer les scores (Marshall-Mies, Fleishman, Martin, Zaccaro, Baughman et McGee, 2000, p. 136).

Les objectifs spécifiques de la recherche étaient les suivants: « (1) identifier les capacités cognitives et métacognitives complexes nécessaires à la résolution créative de problèmes par les gestionnaires de haut niveau; (2) opérationnaliser ces capacités en termes de scénarios de leadership et mesurer ces capacités; ainsi que (3) développer et évaluer une application Internet en effectuant une batterie de tests cognitifs et métacognitifs utilisés pour l’évaluation et le développement professionnel des stagiaires » (Marshall-Mies, Fleischman, Martin, Zaccaro, Baughman et McGee, 2000, p. 136). En raison de sa flexibilité et de son potentiel, l’évaluation par ordinateur semble la plus appropriée pour l’évaluation adaptative qu’un mode d’évaluation traditionnel de type papier-crayon.

L’atteinte des objectifs du projet MLE s’est faite en trois phases : (1) une revue de la littérature a été effectuée pour identifier et définir les capacités métacognitives associées aux performances de leadership de haut niveau; (2) des instruments de mesure de ces capacités ont été développés et expérimentés; (3) la fiabilité ainsi que

la validité des mesures ont été évaluées sur une population constituée d’officiers supérieurs et de généraux étudiant à la National Defense University (NDU USAF, 2017), qui fait partie de l’Indusrial College of the Armed Forces (ICAF). Pour évaluer les six capacités indiquées plus haut, l’application MLE présente aux sujets d’expérimentation des scénarios dont la résolution nécessite l’utilisation de celles-ci. Toutes les mesures des capacités ont les caractéristiques communes suivantes : complexité, spécificité du domaine, fidélité des simulations et format de réponse fixe. L’application présente le scénario, administre les mesures, enregistre les réponses du sujet et affiche les résultats en ligne.

Les avantages de l’utilisation de l’application MLE sont (1) la saisie immédiate des mesures; (2) la présentation d’un scénario qui demande moins d’efforts et maintient l’intérêt des étudiants; (3) l’augmentation de la fidélité des simulations; (4) le fait que les étudiants travaillent à leur rythme et répondent aux questions selon la nature du problème et les normes de présentation de la tâche; (5) la rétroaction sur la performance et le calcul du score immédiat; (6) une meilleure acceptation du processus d’évaluation par les étudiants; et (7) l’enregistrement des résultats dans une base de données (Marshall-Mies, Fleishman, Martin, Zaccaro, Baughman et McGee, 2000, p. 142).

La méthode manuelle servant à évaluer les habiletés cognitives et métacognitives demande beaucoup d’efforts et de budget en ce qui a trait aux facteurs administratifs, au calcul des résultats, aux demandes personnelles, qui sont limités par les genres et variétés des modes de réponses disponibles pour mesurer le développement de ces habiletés (Marshall-Mies, Fleishman, Martin, Zaccaro, Baughman et McGee, 2000, p. 136).

L’application MLE était donnée aux étudiants en format disquette. Elle contenait deux modules : un module d’entraînement ainsi qu’un module d’exercice. Les

étudiants devaient installer le logiciel sur leur ordinateur, parcourir le module d’entraînement et faire ensuite le module d’exercices. Les résultats étaient automatiquement enregistrés sur la disquette. Les étudiants devaient ensuite désinstaller le logiciel et retourner la disquette aux expérimentateurs, qui faisaient partie de l’Industrial College of the Armed Forces (ICAF) (Marshall-Mies, Fleishman, Martin, Zaccaro, Baughman et McGee, 2000, p. 144).

L’analyse des capacités grâce à l’application permet d’attribuer une note à chacune des capacités ainsi que de produire un résultat cumulatif. Les solutions des scénarios ont été saisies en format électronique et ont été analysées en fonction des critères de performance de la norme Distinguished Graduate (DG) de l’Industrial College of the Armed Forces (ICAF), selon laquelle on attribue un nombre de points pour chacune des capacités évaluées. Les données ont été soumises à des analyses internes et externes. Les analyses internes ont été conçues pour examiner les caractéristiques internes des réponses par rapport aux critères d’évaluation, tandis que les analyses externes ont été développées pour fournir des estimés de la validité des résultats produits par l’application MLE.

Les coefficients de fiabilité de Cronbach pour ces mesures ont été de 0,70 pour la capacité de résolution de problèmes généraux (General Problem Solving), de 0,70 pour la formulation de jugements sociaux (Social Judgment) ainsi que de 0,92 pour l’évaluation des processus métacognitifs (Metacognitive Process) (Marshall-Mies, Fleischman, Martin, Zaccaro, Baughman et McGee, 2000, p. 136). La recherche a montré que l’utilisation d’une application informatique pour évaluer le potentiel de leadership était pertinente et suffisamment précise.

2.2.4 Site d’évaluation des procédures opératoires OTAS dans le domaine de