Le contexte

L’évaluation du contexte vise à juger du bien-fondé des choix effectués par les décideurs ou concepteurs dans l'élaboration du programme par rapport aux besoins des utilisateurs (Stufflebeam, 2003, 2004). Il s’agit de circonscrire la situation globale dans laquelle on

souhaite intervenir ou des problèmes qu'on doit résoudre, identifier les besoins des usagers du programme et établir l’adéquation des besoins par rapport aux objectifs poursuivis.

À cette fin, l’évaluateur recueille de l’information sur les perceptions des différents acteurs par rapport au programme et les difficultés qu'ils rencontrent dans sa mise en œuvre. Les résultats de l'évaluation du contexte doivent permettre d'identifier, de choisir ou d'ajuster les objectifs et les priorités, de cibler les initiatives à prendre ou les changements nécessaires, c'est-à-dire de prendre des décisions de planification (Bhola, 1992; Nadeau, 1988; Roegiers, 2003; Stufflebeam, 2003, 2004; Stufflebeam & Shinkfield, 2007). L’enquête, le sondage par questionnaire, l’observation directe, le rapport interne sont les instruments et contenus généralement utilisés lorsqu’on évalue le contexte. En général, les données ainsi recueillies sont traitées par des analyses descriptives et inférentielles. Dans la présente étude, les informations recueillies dans ce type d’évaluation aideront éventuellement à ajuster a posteriori les objectifs du programme en fonction des besoins des usagers conformément à l’esprit de la réforme hospitalière en cours.

3.3.1.2. Les intrants

Le but de l'évaluation des intrants est de fournir l'information nécessaire sur les ressources humaines, matérielles et financières disponibles et de déterminer comment les utiliser en vue d'atteindre de la façon la plus rationnelle et efficace possible les objectifs (Stufflebeam, 1980). Elle doit aider à identifier les divers choix à faire concrètement, en rapport avec l'analyse antérieure de la situation et les besoins et objectifs identifiés.

Les entrevues semi structurées, l’observation participante, les procès verbaux de réunion, le matériel didactique sont les instruments et contenus d’évaluation généralement utilisés pour

recueillir des données utiles à l'évaluation des intrants. Dans cette recherche, par exemple, les ressources documentaires existantes, la disponibilité des encadreurs et des enseignants, la disponibilité du matériel didactique adéquat pour la préparation des cours, la répartition du temps consacré à la formation en classe et sur le terrain constituent les éléments des intrants qui seront évalués.

3.3.1.3. Le processus

Selon Stufflebeam (1980), l’évaluation du processus porte sur le fonctionnement du programme et vise à analyser, de manière continue, l’implantation du programme. Dans cette perspective, trois objectifs sont poursuivis : a) fournir des informations sur le déroulement de la mise en œuvre du programme afin de guider, si nécessaire, l’élaboration de directives pour en modifier les conditions; b) vérifier si les intervenants sont en mesure de remplir leurs fonctions ou s’ils acceptent de les exécuter conformément aux objectifs poursuivis; c) vérifier l’écart entre les opérations planifiées et les opérations réalisées (Stufflebeam, 1980; Gariépy & Trahan, 1994). L’évaluation du processus permet d’identifier les problèmes de mise en œuvre du programme et de développer des stratégies pour les corriger de concert avec le personnel rattaché à l'administration du programme.

Elle vise à prendre des décisions relativement à la mise en application ou l’accomplissement du programme. L’observation directe, les entrevues semi-structurées et l'analyse de documents (procès verbaux, plans de cours, etc.) servent à recueillir les données nécessaires à ce type d'évaluation. Dans cette recherche, l’évaluation du processus porte sur le fonctionnement du programme de l’ENDSS c’est-à-dire sur les conditions d’encadrement des stagiaires, les méthodes pédagogiques et les activités d’apprentissages, les rapports sociaux entre les étudiants et le personnel de l’établissement d’enseignement, etc.

3.3.1.4. Le produit

L’évaluation du produit ou des extrants porte sur les résultats du programme. Cette évaluation sert à mesurer ce que le programme a accompli (Stufflebeam, 1980). Centrée sur les résultats produits, son postulat de base pourrait être qu'on reconnaît l’arbre à ses fruits. L’évaluation du produit permet de prendre des décisions de révision du programme dans son ensemble par rapport à la continuation, la terminaison, la modification, la réorientation ou le recyclage du programme. (Beaudry & Gauthier 1992, Bhola, 1992, Nadeau, 1988; Roegiers, 2003; Stufflebeam, 2004, Stufflebeam & Shinkfield, 2007).

Les sondages, l’observation directe, les procès verbaux officiels et les entrevues sont généralement utilisés dans l’évaluation du produit et les données colligées peuvent être traitées par des analyses descriptives et inférentielles. Dans cette recherche, l’évaluation du produit porte sur les résultats scolaires des étudiants (diplomation et résultats à l'examen de certification).

Dans le modèle de Stufflebeam, la prise de décision, selon chaque type d'évaluation, repose sur le jugement de l’évaluateur par rapport à des indicateurs précis qui sont interprétés selon des critères prédéterminés. Toutefois, Stufflebeam ne précise pas la nature des indicateurs et des critères à utiliser dans une évaluation de programme de formation. Aux fins de la présente recherche, ces éléments de l’évaluation sont décrits dans la sous-section suivante.

3.3.2. Indicateurs et critères

Selon Sabourin, Valois et Lussier (2005), un indicateur c’est « un signe observable qui témoigne de la présence d'un phénomène et que nous interprétons comme une manifestation d'un concept particulier ». Ainsi, selon ces auteurs, un indicateur n'est pas un concept, mais un

moyen de le représenter et de le mesurer (p. 281). Selon Van der Maren (1999), le critère est un point de repère auquel on se réfère pour porter un jugement ou décider de la valeur de l’objet évalué, à partir des indicateurs retenus. Gaudreau (2001) poursuit que c’est sur les critères que s’appuient les intervenants qui se prononcent sur ce que vaut le programme, sur son excellence ou sa médiocrité, sur les réussites et les échecs des étudiants. Le critère ne vient jamais seul. Il est toujours accompagné de sa norme qui est le degré souhaité de réalisation du critère, le niveau d’exigence minimum fixé comme seuil de réussite. C’est ce qui permettra de dire que le critère est satisfait ou non et à quel point. Par exemples : la majorité (en %) des répondants va dans tel sens; la moyenne (en %) est exigée pour réussir à l’examen de certification. Les 60 % ou 12 sur 20 retenus comme seuil minimal pour réussir à l’examen de certification sont fixés par Arrêté ministériel (2007) portant organisation de l’examen de certification en vue de l’obtention du diplôme de technicien supérieur de santé, option Administration et enseignement. Cet arrêté est renouvelé chaque année. Les autres critères et normes de satisfaction ou d’opinions établis dans cette étude sont attribués de façon arbitraire. Ils constituent une règle de décision qui s'applique sur l'analyse des indicateurs.

En somme, l’indicateur signale la réalité, tandis que le critère permet de la signifier, de lui accorder un sens ou une valeur particulière. Les indicateurs et les critères de l’évaluation du PFAE de l’ENDSS seront définis de façon opérationnelle dans le chapitre de méthodologie.

Nous avons documenté le sujet d’étude, ce qui a conduit à la formulation de la problématique, à l’énoncé des questions de recherche et à la présentation des assises théoriques de notre démarche. Dans le chapitre suivant, la présentation de la méthodologie permettra de préciser comment nous procéderons pour répondre aux questions de cette recherche.

CHAPITRE 4

Ce chapitre précise les choix méthodologiques de notre évaluation du programme de formation en Administration et enseignement (PFEA) de l’ENDSS. Il s’agit d’une recherche évaluative de type rétrospectif. En premier lieu, des renseignements supplémentaires sont fournis sur le programme évalué. En deuxième lieu, les participants à l’étude sont présentés, c’est-à-dire la population cible, le plan d’échantillon et le recrutement des participants. En troisième lieu, les indicateurs et les critères de l’évaluation, les instruments de mesure, le déroulement de l’étude les considérations éthiques sont présentés. En quatrième lieu, la démarche d’analyse des données et les limites de la recherche sont détaillées.