3.3 Les approches d’évaluation du rendement de la formation
3.3.1 L’analyse économétrique
L’analyse économétrique a pour objectif d’évaluer l’impact de l’investissement global en formation sur la performance d’une organisation. On distingue deux variantes de cette approche : l’évaluation d’un large échantillon d’entreprises ou l’évaluation d’un nombre restreint d’entreprises.
Fig. 15: L’évaluation du rendement par analyse économétrique : processus d’évaluation (1revariante) Correction de l'endogénéité Calcul du ROI Choix de la méthode d'enquête Définition du modèle de productivité Définition du timing de l'évaluation 1. Planification de l'évaluation Collecte des données organisation- nelles
2. Collecte des données 3. Analyse des données Définition
des variables de l'étude
Source : tiré de Chochard, 2010, p.11
La 1re variante est la plus répandue (figure 15). L’analyse économétrique s’ap-
puie alors sur un échantillon d’entreprises suffisamment large pour qu’il soit représentatif d’un secteur économique ou d’un territoire particulier (Bernier, 2009 ; Dostie et Pelletier, 2007 ; Hansson, 2007 ; Black et Lynch, 1996 ; Bartel, 1994 ; Holzer et al., 1993). Les données, récoltées au moyen d’enquêtes par courrier ou par téléphone, ont principalement trait à la performance organisa- tionnelle et à la valeur de son capital humain. Différents modèles statistiques et économétriques sont appliqués à ces données afin de mettre en évidence une relation entre l’investissement réalisé en formation et la performance de l’en- treprise. Par exemple, une fonction de production de Cobb-Douglas permettra
3.3 Les approches d’évaluation du rendement de la formation 85
de vérifier l’influence de la quantité de main-d’œuvre formée sur la producti- vité (Dostie et Pelletier, 2007).
La représentativité de l’échantillon est le point fort de la 1revariante. Les éco-
nomistes et responsables politiques peuvent alors s’appuyer sur des résultats statistiquement significatifs pour prendre des décisions en matière de politique publique de formation (Bailey 2007 ; Wang et al., 2002).
Plusieurs difficultés sont néanmoins inhérentes à cette variante. Les informa- tions récoltées sont souvent tirées d’enquêtes à finalités multiples. Certaines informations importantes peuvent ainsi manquer telles que des données fiables sur les coûts de formation (Bartel A., 2000). Ensuite, le choix des variables et des équations est délicat, car ces dernières doivent plus ou moins convenir à tous les contextes organisationnels rencontrés. Il est aussi difficile de dé- terminer le sens de la relation entre les résultats obtenus : comment faire la distinction entre une entreprise A qui devient plus performante parce qu’elle forme plus et une entreprise B qui forme plus parce que, comme elle est plus performante, elle a les moyens de le faire ?
La différence entre la 1re et la 2e variante se situe essentiellement au niveau
de la collecte de données. Dans la 2e variante, l’analyse économétrique est
appliquée à un échantillon d’entreprises plus petit (moins d’une dizaine) afin de pouvoir récolter plus de données dans chaque entreprise et d’adapter la méthode d’analyse à chaque contexte organisationnel. Ainsi, dans la 2e va-
riante, les économistes vont chercher de l’information directement à l’intérieur de l’entreprise par le biais d’entretiens avec les managers ou en consultant les documents internes de l’entreprise. L’information recueillie est alors plus riche. Au niveau de l’analyse des impacts, les méthodes statistiques et écono- métriques sont assez similaires à celles décrites précédemment. Mais comme l’échantillon est plus petit, ces méthodes peuvent être plus facilement modi- fiées pour mieux coller au contexte de chaque entreprise.
La 2evariante aboutit plus facilement à une comparaison des bénéfices et des
coûts de la formation et à l’estimation d’un indicateur de rendement tel que le retour sur investissement (ROI), puisque les chercheurs ont l’opportunité de récolter des données de coûts plus précises. En revanche, il ressort de l’article de Bartel que les analyses économétriques basées sur de petits échantillons soient
86 3 L’ÉVALUATION DU RENDEMENT DE LA FORMATION
relativement rares. Les quelques études existantes rapportent néanmoins des
ROI se situant entre 7% et 49% (Bartel A., 2000).
Quelque soit la variante choisie (c.-à-d. un échantillon large ou restreint), la principale limite de cette approche est qu’elle fournit peu d’informations per- mettant de comprendre pourquoi un ROI est élevé ou faible et comment on pourrait l’influencer. C’est pourquoi, selon A. Bailey (2007), les résultats de telles études peuvent paraître moins intéressants pour les chefs d’entreprises car ils ne donnent généralement aucune information sur le rendement d’un type de formations spécifiques ou sur les variables pouvant l’affecter.
Encadré 1. Un exemple d’application de l’analyse économétrique : L’étude sur le rendement de l’investissement en formation au Québec et en Ontario (Bernier, 2009)
L’étude sur le rendement de l’investissement en formation au Québec et en Ontario réalisée par Amélie Bernier (2009) est un bon exemple d’évaluation du rendement global de l’investissement en formation.
Les données utilisées ici sont tirées d’une enquête plus large que réalise annuellement Statistique Canada sur le milieu de travail et les employés (EMTE). Pour son étude, Bernier retient les données provenant d’entreprises québécoises et ontariennes dont les rendements financiers sont positifs et pour lesquelles il existe des données sur les décisions de formation pour 7 années (de 1999 à 2005). Ces données contiennent, pour chaque entreprise, des informations sur la formation professionnelle offerte, le nombre d’heures de travail réalisées, les salaires et le rendement. L’échantillon étudié se compose ainsi de 730 entreprises québécoises et de 329 entreprises ontariennes.
L’analyse des données s’effectue au moyen d’une fonction de production de type Cobb-Douglas qui détermine la valeur ajoutée de la production à partir de la quantité de main-d’œuvre, de la technologie, des investissements en capital physique et des investissements en capital humain.
Les résultats démontrent l’impact différé de la formation sur la productivité de l’entreprise, surtout pour les entreprises québécoises. En effet, au Québec, les investissements en formation atteignent leur rendement maximum après trois années : une hausse de 10% des investissements en formation réalisés en 2003 produit une augmentation de la productivité de 6,9% en 2005.
3.3 Les approches d’évaluation du rendement de la formation 87
Par contre, cet impact de la formation sur la productivité paraît moins fort pour les entreprises ontariennes : une hausse de 10% des investissements en formation réalisés en 2003 ne produit qu’une augmentation de la productivité de 2,8% en 2005.
Comment expliquer cette différence d’impact entre le Québec et l’Ontario ? A. Bernier avance quelques hypothèses. Tout d’abord, il semble que la légis- lation québécoise pousse davantage les entreprises à prévoir et à organiser le développement de leur capital humain en imposant, p. ex., un seuil minimal d’investissements dans la formation, ce qui n’existe pas en Ontario. Ensuite, les entreprises québécoises ont tendance à favoriser la formation structurée, consi- dérée comme plus efficace, par rapport à la formation en cours d’emploi. La chercheuse constate enfin la difficulté de comprendre pourquoi les rendements de l’investissement sont si faibles en Ontario. Elle observe que, dans ce cas- là, il conviendrait peut-être de changer de type d’indicateurs d’impacts de la formation.
Encadré 2. Un second exemple d’application de l’analyse
économétrique : L’étude canadienne du FCA-CAF sur le rendement des investissements en apprentissage (2006-2009)
L’étude sur le rendement des investissements en apprentissage réalisée en 2006 et 2009 par le forum canadien sur l’apprentissage est un bon exemple d’évaluation du rendement de la formation basée sur un large échantillon. La première phase de l’étude a pour objectif d’évaluer le rendement moyen de la formation des apprentis dans 15 métiers comme celui de briqueteur, de charpentier ou de cuisinier sur la base des coûts et des bénéfices qu’elle entraine (FCA-CAF, 2006).
Une enquête par questionnaire est réalisée auprès de plus de 300 employeurs afin de récolter des informations sur les coûts et les avantages liés à la formation de leurs apprentis. Une même méthode d’analyse est appliquée à l’ensemble des données recueillies afin d’estimer le rendement moyen de l’apprentissage dans chacun des 15 métiers.
88 3 L’ÉVALUATION DU RENDEMENT DE LA FORMATION
Les résultats de cette première phase démontrent un bénéfice moyen de l’apprentissage pour l’ensemble des 15 métiers évalués.
Plus de 700 employeurs participent à la seconde phase de l’étude qui se déroule exactement de la même manière que la phase précédente (FCA-CAF, 2009). La liste des 16 métiers évalués comprend 6 nouveaux métiers, comme celui de coiffeur styliste ou de monteur de lignes électriques, et 10 métiers repris de l’ancienne liste. Les résultats de cette seconde étude montrent que l’apprentissage est rentable dans tous les métiers sauf dans ceux de coiffeur styliste et de monteur de lignes électriques.
Un soin particulier est apporté à la méthodologie, puisque le modèle d’analyse est discuté puis validé durant chaque phase par des économistes et des em- ployeurs lors d’une série de tables rondes. Les scientifiques cherchent également à comprendre les variations de rendement entre les métiers. Les deux enquêtes comprennent ainsi une liste d’avantages et de risques liés aux apprentissages sur lesquels les employeurs sont invités à prendre position.
Les deux études ont le mérite de quantifier les bénéfices liés à l’apprentissage pour différentes catégories de métiers. De plus, les données complémentaires, recueillies durant l’enquête ou durant les tables rondes, fournissent quelques interprétations possibles des différences de résultats.
En revanche, si les principaux résultats sont susceptibles de convaincre les em- ployeurs d’avoir recours à l’apprentissage, les résultats pour chaque métier res- tent très synthétiques et contiennent peu de solutions pour améliorer le rende- ment de l’apprentissage dans telle ou telle situation. Les conclusions de 2009 ne donnent notamment aucune piste pour améliorer la situation dans les métiers de coiffeur styliste et de monteur de lignes électriques.
3.3 Les approches d’évaluation du rendement de la formation 89