Une évaluation du ROI difficile Selon Barrett et Hövels (1998, dans Beaupré et al., 2007, p.21), le calcul du ROI est incertain, car plusieurs raisons peuvent rendre difficile l’expression monétaire des avantages produits par une forma- tion. Par exemple, les données peuvent s’avérer difficiles à récolter ou n’être disponibles qu’en quantité limitée, les compétences acquises par les personnes formées peuvent se déprécier avec le temps, ce qui pourrait biaiser la valeur du ROI obtenue, ou les personnes formées peuvent être amenées à changer d’emploi, ce qui rend impossible une évaluation post-formation du ROI.
Une évaluation du ROI tournée vers le passé En complément, Willyerd (1997, dans Beaupré et al., 2007, p.21) considère la mesure du ROI comme un ins- tantané tourné vers le passé puisqu’elle ne prend en compte que les bénéfices déjà produits par la formation au moment de l’évaluation. L’évaluation ne fait que fixer ce que le formation a déjà apporté, et non ce qu’elle pourra encore apporter. N’étant pas tournée vers l’avenir, elle n’est pas, selon Willyerd, un bon outil de diagnostic.
Une évaluation du ROI coûteuse Finalement, Nagle (2002, dans Beaupré et
al., 2007, p.21) estime que le processus d’évaluation du ROI est coûteux car il est complexe (le processus implique la participation d’un grand nombre d’ac- teurs) et long (il peut facilement durer plus d’un an). Il pense également qu’il est difficile d’obtenir une mesure fidèle puisque d’autres variables indépen- dantes de la formation vont influencer la performance mesurée.
2.4 Le modèle OEM de Kaufman, Keller et Watkins
(1995)
Le modèle OEM, dont l’abréviation signifie Organizational Elements Model, est une autre variante du modèle de Kirkpatrick développée en 1995 par Ro- ger Kaufman, John Keller et Ryan Watkins, des chercheurs de la Florida State
University. Plusieurs raisons ont motivé les trois chercheurs à développer un
nouveau modèle (Kaufman et Keller, 1994) :
1. Ils constatent que le modèle de Kirkpatrick a principalement été dé- veloppé pour l’évaluation de séminaires de formation en classe et que les organisations souhaitent désormais aussi évaluer d’autres mesures de développement.
42 2 LES MODÈLES D’ÉVALUATION DE LA FORMATION
2. Ils notent que les modèles d’évaluation utilisent des définitions trop res- trictives.
3. Ils remarquent que les évaluateurs ne se posent pas toujours les bonnes questions en matière d’évaluation de formation.
4. Ils observent que la relation entre les moyens et les résultats n’est pas toujours clairement établie dans le cadre d’un processus d’évaluation.
2.4.1 Les niveaux d’évaluation micro, macro et mega
Constatant l’utilisation fréquente et la relative simplicité du modèle de Kirkpa- trick, Kaufman, Keller et Watkins le choisissent comme base pour leur nouveau modèle (figure 7). Néanmoins, les changements qu’ils y apportent vont plus loin que les modifications faites par Hamblin (1974) ou Phillips (1997).
Fig. 7: Le modèle OEM de Kaufman, Keller et Watkins (1995)
Utilité de l'information pour les pr
eneurs de décision
Complexité de la récolte de l'information Niveau 1a Intrants Niveau 2 Micro Niveau 3 Micro Niveau 4 Macro + - - + Niveau 1b Processus Disponibilité et qualité des ressources humaines, financières et physiques Acceptabilité et efficience des méthodes, moyens et processus
Maîtrise de compétences par l'individu et le petit groupe
Utilisation de la formation par l'individu et le petit groupe
Contributions pour l'organisation Niveau 5 Mega Conséquences pour la société et les clients
Source : inspiré de Kaufman et al., 1995, p.12
2.4 Le modèle OEM de Kaufman, Keller et Watkins (1995) 43
aux niveaux du modèle de Kirkpatrick. Les niveaux 2 et 3 changent peu et im- pliquent une évaluation au niveau micro : il s’agit toujours d’évaluer les effets de la formation sur l’individu, respectivement sur son développement de com- pétences (niveau 2) et sur l’utilisation de ses compétences au travail (niveau 3). Cependant, ces deux niveaux impliquent désormais aussi une évaluation de l’impact de la formation sur de petits groupes, comme le groupe de personnes formées ou le groupe de collègues au travail d’une personne formée. Le niveau 4 change peu lui aussi. Ce niveau, qualifié de macro, comporte toujours une évaluation des impacts de la formation sur les résultats organisationnels. En revanche, le niveau 5, le niveau mega ne porte pas sur une évaluation du rendement de la formation pour l’organisation, comme dans les modèles de Hamblin ou de Phillips, mais sur la contribution de la formation pour les clients de l’organisation et pour la société dans laquelle elle évolue. Pour justifier une évaluation à un tel niveau, les auteurs prennent l’exemple des entreprises in- dustrielles contemporaines. Les sociétés dans lesquelles évoluent ces entreprises les poussent de plus en plus à rendre compte des impacts de leurs activités sur l’environnement ou la sécurité des concitoyens.
Le niveau 1 se voit aussi profondément modifié. Il ne porte plus sur l’évaluation d’un résultat produit par la formation – l’impact de la formation sur les réac- tions des participants – mais sur l’évaluation de la pertinence des ressources investies dans la formation (les intrants) et sur la qualité de la formation mise en place (le processus) (Tamkin, Yarnall et Kerrin, 2002, p.6). Ainsi ce modèle n’est plus uniquement centré sur l’évaluation des résultats, mais s’intéresse aussi à l’évaluation de la qualité et de la pertinence des différentes étapes du processus de formation.
2.4.2 Les apports du modèle
L’évaluation d’un rendement de la formation Un premier apport du modèle
OEM est qu’il élargit les cibles de l’évaluation en suggérant l’étude d’éléments autres que les résultats d’une formation. Kaufman, Keller et Watkins invitent à considérer les résultats produits au regard des moyens investis dans la for- mation. Ils incitent ainsi, d’une certaine manière, à réaliser une évaluation du rendement de la formation.
44 2 LES MODÈLES D’ÉVALUATION DE LA FORMATION
La prise en considération des attentes des clients La seconde contribution du modèle est qu’il invite à considérer les clients de l’organisation comme des bénéficiaires finaux d’une formation suivie par des employés à l’intérieur de l’organisation. Ce point rejoint ainsi l’idée de Phillips qui considère que toute formation doit viser l’atteinte d’objectifs stratégiques pour l’organisation.
2.4.3 Les limites du modèle
Une évaluation au niveau mega difficile La principale limite du modèle OEM est la difficulté de réaliser une évaluation au dernier niveau, le niveau mega. Dans leurs écrits, Kaufman, Keller et Watkins insistent surtout sur la per- tinence d’évaluer une formation aux niveaux micro, macro et mega (voir, p. ex., Watkins, Leigh, Forshay et Kaufman, 1998). Par contre, ils donnent peu d’explications sur la manière de le faire. Or si une évaluation du rendement paraissait déjà compliquée dans le modèle de Phillips, une évaluation du ni- veau mega peut paraître ici irréalisable, hormis pour certaines formations bien spécifiques, comme des formations à la protection de l’environnement, p. ex.. Comment identifier l’impact qu’aurait une seule formation au management sur la société dans laquelle évolue l’organisation ?
Une mise en relation avec le modèle de Kirkpatrick à clarifier Une seconde faiblesse du modèle OEM réside dans les liens tissés avec le modèle de Kirk- patrick. Dans leurs écrits, les auteurs du modèle OEM font souvent référence au modèle de Kirkpatrick en établissant, par exemple, des correspondances entre les différents niveaux des deux modèles (Kaufman et al., 1995). On ne sait cependant pas s’ils reprennent dans leur modèle les hypothèses de valeur croissante de l’information selon le niveau (on peut supposer que non), de dif- ficulté croissante de l’évaluation selon le niveau (on peut supposer que oui) ou encore de relation de causalité entre les niveaux (on peut supposer que oui).
2.5 Le modèle d’impact sur les affaires de Molenda,
Pershing et Reigeluth (1996)
Michael Molenda, James Pershing et Charles Reigeluth de l’Indiana University proposent en 1996 un modèle d’évaluation de la formation (figure 8) proche du modèle de Kirkpatrick et qui a la particularité d’être lui-même inclus dans un modèle plus complet de conception et de mise en place d’une formation.