2.5.3 Les limites du modèle
Peu d’indications utiles à une analyse des deux dernières strates Bien qu’il soit fréquemment cité dans la littérature sur l’évaluation de la formation (p. ex., Dunberry et Péchard, 2007 ; Tamkin et al., 2002), le modèle d’impact sur les affaires renvoie à une description succincte des éléments le composant dans les écrits de Molenda et al. de 1996 et de Lee et Pershing de 2002. Cette limite provient sans doute du fait qu’il ne couvre qu’une des phases d’un processus de formation plus important. Ainsi les auteurs vont moins loin que Phillips (1997) dans la présentation de solutions pour l’évaluation des résultats organisationnels (strate 4) et ne proposent aucune réelle marche à suivre pour l’ambitieuse évaluation de l’impact de la formation sur la société, une lacune que l’on retrouve dans le modèle de Kaufman et al. (1995).
Aucun exemple publié de mise en application complète du modèle L’autre
grande limite du modèle d’impact sur les affaires est commune à bon nombre de modèles présentés ici. Molenda, Pershing et Reigeluth (1996) recommandent implicitement une évaluation à tous les niveaux et ceci chaque fois qu’un sé- minaire est donné. En effet, dans l’optique d’une évaluation incluse à part entière dans le processus de formation, les résultats de l’évaluation d’un sémi- naire devraient pouvoir guider la réalisation du séminaire suivant. Or les trois scientifiques ne donnent aucun exemple concret de formation évaluée à tous les niveaux et à plusieurs reprises qui permettrait de juger de l’efficacité et de la pertinence de leur modèle.
2.6 Le modèle KPMT de la valeur ajoutée de Kearns et
Miller (1997)
Constatant que les modèles existants étaient difficilement applicables dans la pratique, Paul Kearns et Tony Miller développent en 1997 un nouveau modèle d’évaluation de la formation. Le modèle KPMT, dont la dénomination provient des initiales des deux auteurs, oriente l’évaluation vers l’apport de la formation à la création de valeur pour l’organisation.
2.6.1 Les cinq niveaux et les neuf étapes
Le modèle KPMT initial ressemble au modèle de Kirkpatrick auquel Kearns et Miller auraient ajouté un niveau supplémentaire (figure 9). Ce niveau, inti-
50 2 LES MODÈLES D’ÉVALUATION DE LA FORMATION
tulé niveau de base, centre l’évaluation non pas sur un résultat, mais sur des objectifs, les objectifs d’affaires et de rentabilité visés par l’organisation. Ainsi, tout comme plusieurs modèles présentés précédemment, le modèle KPMT in- siste sur l’importance de lier formation et besoins de l’organisation (Kearns et Miller, 1997, p.23).
Une autre particularité du modèle est d’insister sur l’importance d’évaluer le dernier niveau, celui de la valeur ajoutée. A ce niveau, les objectifs fixés avant le début de la formation (niveau de base) sont comparés aux résultats financiers obtenus (niveau 4). Ce modèle semble donc insister davantage sur les résultats financiers en laissant de côté les résultats RH ou opérationnels (Kearns et Miller, 1997, p.26-27).
Fig. 9: Le modèle KPMT de la valeur ajoutée de Kearns et Miller (1997)
Utilité de l'information pour les pr
eneurs de décision Niveau 1 Réactions ★Étape 6 Niveau 2 Apprentissages ★Étape 7 La formation a-t-elle l'effet désiré sur les résultats d'affaires?
Les participants appliquent- ils ce qu'ils ont appris?
Les participants ont-ils apprécié la formation?
Qu'ont appris les participants?
+ - - + Niveau de base Objectifs d'affaires ★Étapes 1-5 Niveau 4 Valeur ajoutée ★Étape 9 Niveau 3 Transfert ★Étape 8
★= Étapes du processus d'évaluation dans le modèle avancé Quels sont les objectifs d'affaires à atteindre?
Complexité de la récolte de l'information
Source : inspiré Kearns et Miller, 1997, p.26-27
Plus loin dans leur ouvrage, les auteurs proposent une version dite « avan- cée » du modèle KPMT. L’apport de cette seconde version est de faciliter le processus d’évaluation en le décomposant en neuf étapes à réaliser à des
2.6 Le modèle KPMT de la valeur ajoutée de Kearns et Miller (1997) 51
moments précis. Les cinq premières étapes doivent être accomplies avant le début de la formation et les quatre dernières en fin de formation. A chaque étape, l’évaluateur doit récolter l’information nécessaire pour répondre à une question (Kearns et Miller, 1997, p.65). Ces questions sont les suivantes :
1. Quels résultats d’affaires veut-on améliorer ?
2. Qui peut avoir un impact sur ces résultats et comment ?
3. Peut-on améliorer ces résultats par une formation ?
4. Par quels indicateurs peut-on mesurer une amélioration de ces résultats ?
5. Quels objectifs de formation peut-on fixer pour aboutir aux améliorations requises ?
6. Les participants ont-ils apprécié leur formation ?
7. Qu’ont appris les participants ?
8. Les participants appliquent-ils ce qu’ils ont appris ?
9. La formation a-t-elle eu l’effet désiré sur les résultats d’affaires ?
2.6.2 Les apports du modèle
Un recentrage sur les résultats financiers Un apport du modèle KPMT est de recentrer l’évaluation sur les résultats financiers produits par une formation et sur la comparaison de ces résultats avec les objectifs d’affaires initialement fixés. Les auteurs du modèle partent d’ailleurs du principe qu’une formation n’amène de la valeur à une organisation que si elle permet d’en améliorer le fonctionnement ou d’exploiter une nouvelle opportunité de marché (Kenton et Yarnall, 2005, p.216).
Une prise de position quant à l’estimation de ces résultats L’évaluation des résultats financiers étant au cœur du modèle KPMT, Kearns et Miller donnent plusieurs conseils pour la réaliser. A titre d’exemple, pour quantifier des gains financiers de court terme, les auteurs suggèrent de ne prendre en considéra- tion que les données « dures », c’est-à-dire les données auxquelles il est possible d’attribuer facilement une valeur monétaire. Pour l’estimation de gains finan- ciers de long terme, plus difficile à réaliser, ils proposent d’utiliser des plans décrivant de manière simple et explicite les relations de cause à effet entre la formation et ses différents impacts (Kenton et Yarnall, 2005, p.217).
52 2 LES MODÈLES D’ÉVALUATION DE LA FORMATION
Analyse d’éléments du processus de formation Le premier niveau du modèle
KPMT initial (le niveau des objectifs d’affaires) ainsi que les cinq premières questions du modèle KPMT avancé favorisent une analyse plus poussée que la simple évaluation des résultats de la formation. Le modèle KPMT invite à se pencher sur les pratiques, les valeurs et la situation actuelle de l’entre- prise (Kenton et Yarnall, 2005, p.216), tout comme le suggèrent de le faire les modèles OEM (1995) et d’impact sur les affaires (1996).
2.6.3 Les limites du modèle
Des modifications limitées du modèle de Kirkpatrick Une première limite du modèle KPMT initial est sa forte ressemblance avec le modèle de Kirkpatrick, alors qu’il a été développé avec l’intention d’en dépasser les limites. Or les différences entre les deux modèles sont minimes. Ainsi, si le modèle de Kirkpa- trick ne fonctionne pas dans la pratique, comme le suggèrent Kearns et Miller (1997, p.23), il n’y a pas de raison pour que le leur fonctionne mieux. Il en va de même pour la version avancée du modèle.
Un développement succinct des deux versions du modèle Une autre limite du modèle est la place consacrée à son développement dans l’ouvrage de 1997. On ne comprend pas pourquoi deux versions d’un même modèle y sont présentées ni quels éléments du modèle de Kirkpatrick les auteurs choisissent de conser- ver dans chacune des deux versions. Conservent-ils l’hypothèse d’une double hiérarchisation des résultats dans la version avancée ? On pourrait penser que non, puisqu’ils y emploient la notion « d’étape » en lieu et place de celle de « niveau », mais rien ne nous permet de le confirmer.
Une absence de solution pour isoler les effets de la formation Une dernière limite du modèle est le choix des auteurs d’éluder un problème important lié à l’évaluation des résultats financiers de la formation. En effet, le plus difficile à réaliser à ce niveau est d’isoler les bénéfices financiers dus à la formation des bénéfices financiers dus à d’autres interventions organisationnelles (p. ex., une réorganisation du travail) ou facteurs environnementaux (p. ex., une amélio- ration de la conjoncture). Kearns et Miller (1997, p.64) estiment en effet que la direction ne s’intéresse qu’à l’atteinte des objectifs stratégiques de l’organi- sation. Elle cherchera à connaître ce qui peut nuire à l’atteinte de ces objectifs et non les contributions respectives des différentes interventions organisation- nelles. S’ils ont en partie raison, l’identification de la valeur produite par la