QUELLE EVALUATION UTILISER POUR SAVOIR
L'EFFICACITE D'UN DOCUMENT AUDIO·VISUEL ?
Maâti ABDELJABBAR Ecole normale supérieure Casablanca - Maroc
MOTS-CLES : L.Y.R. - EXPERT - EVALUATION SOMMATIVE.
RESUME: Si la conception et la production de documents éducatifs ne posent pas de problèmes, leur évaluation objective et systématique constitue une problématique pour laquelle la technologie de l'éducation offre un concept et un approche opérationnelle:ils'agit du système L.V.R.(Learner Vérification and Révision). Cette approche a été appliquée pour évaluer un document audio-visuel utilisé comme aide didactiqueà la formation des enseignants des sciences naturelles.
Quel mode de collecte d'information utiliser? Quels experts? Quelle approche évaluative ? Quels résultats sont obtenus? Sont-ils significatifs? Quelles sont les limites de l'expérimentation? Telles sont les questions auxquelles la présente communication tentera d'y répondre.
SUMMARY: Though it is not too difficult to design and write educationalliterature, the problem is to define an objective and systematical evaluation.In that purpose, educational technology developed a concept and an operational approache : L.V.R. (Learner Verification and Revision) system. This approach was applied to evaluate an audio-visual document tohe used as a didactic tool for the training of teachers in natural science. Which kind of data collection shouldbeused ? What kind of experts? Which evaluative approach?Which results can be obtained ? Are they significant ? Which are the limits of such an experiment ? These are the questions to which this communication intendstoanswer.
1. INTRODUCTION
Laprésente communication porte sur la problématique de l'évaluation de documents éducatifs. Nous avons choisi une approche qui nous semble avoir occupé une position centrale dans les travaux de technologie éducative. Après la présentation de la problématique et des écrits sur l'évaluation des documents éducatifs, nous identifions la méthodologie utilisée et analysons les résultats de l'expérimentation.
2.PROBLEMATIQUE
Une enquête (Mazini, 1988) couvrant tous les centres de formation des maîtres a révélé deux éléments: le cloisonnement entre les différentes disciplines des programmes de formation et la fréquence de cours magistraux utilisés dans les séances des sciences de l'éducation (Psychopédagogie et Didactique des disciplines) et ce malgré les nombreuses critiques et contestations dont il est l'objet telles la directivité, le dogmatisme, la passivité ...
Comment intervenir pour faire de la psychopédagogie et de la didactique des outils de formation? La réponseàcette question nécessite de pratiquer une approche plurielle des problèmes de formation des maîtres, d'instaurer un système d'articulation théorie-pratique, de favoriser une participation active des stagiaires et la prise en charge graduelle de leur propre formation. De tels principes méthodologiques exigent la diversification des méthodes et des stratégies de formation. D'où une stratégie d'intervention basée essentiellement sur l'utilisation d'une structure de binomat dans la formation (professeurs de psychopédagogie et de didactique) et la production et la mise en oeuvre de documents audiovisuels qui permettent de présenter et de rendre plus clairs des concepts abstraits, d'inciter les stagiairesàs'autoformer et de susciter des attitudes positivesàl'égard de l'apprentissage.
Laprésente communication concerne essentiellement la problématique de l'évaluation de documents éducatifs ayant passé par les stades de la conception et de la production. Un certain nombre de questions se posent pour une telle stratégie d'évaluation:
- Quel est le mode d'évaluation le plus adéquat? - Quel type et quel nombre d'évaluateurs faut-il ? - Quelle expérience et quelle formation pour les réviseurs ?
Si l'on opte pour l'évaluation par l'étudiant - ce qui est le cas pour la présente recherche - combien faut-il d'étudiants dans la phase de vérification? Faut-il utiliser un seul étudiant à la fois (approche tutorielle) ou plusieurs étudiants après leur avoir passé un test critérié et un questionnaire de rétroaction (approche de groupe) ? Quels types d'étudiants choisir? Si l'on utilise l'évaluation par des experts et par les étudiants, comment combiner les considérations des experts avec les résultats de la miseàl'essai? Quel type d'instrument devrait-on employer pour la cueillette et l'analyse de l'information?
Avant de présenter brièvement une revue de littérature sur cette question, il y a lieu de situer l'évaluation dans le processus de conception et de production de documents éducatifs.
3.L'ÉVALUATlON, PARTIE INTÉGRANTE DU PROCESSUS DE CONCEPTION ET DE PRODUCTION DE DOCUMENTS ÉDUCATIFS
La production du document audiovisuel s'est faite en adoptant une démarche qui relève des modèles du design du système formation, modèles qui s'appuient sur l'approche systémique. Le schéma suivant réduit l'ensemble des opérations de ces modèles qui ont des points communs à quatre opérations fondamentales,àsavoir l'analyse, le design, l'évaluation et la rétroaction.
Analyse m Design --- Evaluation
! 1
-Rétroaction
Ce paradigme initial qui correspond aux grandes phases de l'analyse systémique situe la place qu'occupe l'évaluation dans tout processus de conception et de production de documents éducatifs (audiovisuel, didacticiel, manuel scolaire, syllabus...). La phase d'analyse consisteàétudier la population cible qui bénéficiera du document éducatif. Il s'agit des étudiants universitaires licenciés en biologie-géologie ayant réussi le concours d'accès à l'Ecole Normale Supérieure pour une année de formation pédagogique et didactique tant théorique que pratique. Cette analyse a débouché sur l'identification des besoins en termes de tâches et de contenu de formation. L'analyse pone également sur la recension du matériel existant, l'inventaire des ressources disponibles et la déterrrtination des contraintes qui sont susceptibles d'empêcher la conception et la production du document audiovisuel.
La phase de conception (design) consiste à mettre au point toute la dimension didactique de la stratégie de formation après avoir identifié les buts et les objectifs de formation et les exigences du système de manière claire et précise.
La phase de production concerne la réalisation des composantes du matériel didactique. Cette opération a conduit àl'enregistrement de quelques bandes vidéo à contenu psychodidactique, à la préparation du syllabus par thème central (conception des apprenants, communication, observation...)àla reproduction de quelques textes de référence, à l'élaboration de quelques tests critériés et d'un questionnaire de satisfaction.
La phase d'évaluation concerne la vérification de la qualité, de l'efficacité et du rendement du prototype. Deux modes d'évaluation peuvent être utilisés: l'évaluation formative et l'évaluation sommative. La vérification se fera par la consultation d'experts et par l'essai des composantes du document audiovisuel auprès du public-cible. Ce principe de l'essai conduitàréunir une échantillon d'étudiants et à noter leurs réactions, feedback et réponses. Les résultats observés permettent de modifier conséquemment le prototype.
4. RECENSION DES ECRITS SUR L'EVALUATION DE DOCUMENTS EDUCATIFS
La revue de littérature nous présente un concept qui relève de la technologie éducative: c'est le L.V.R. (Learner Verification and Revision) traduit par l'expression "la vérification des matériels
d'apprentissage par les utilisateurs" (De LANDSHEERE, 1982). Ce concept ne peut être dissocié de l'idéologie de la maximisation du rendement des documents éducatifs, ni du mouvement de défense du consommateur. L'approche LVR n'a rien de nouveau dans sa méthodologie, ce qui est nouveau - selon De Landsheere . c'est la tendance à en faire une obligation. L'évaluation effectuée par l'expert-matière (pour le contenu, l'expert du public-cible (pour l'adéquation du document au plan contextuel ou technique) ou l'étudiant (pour la capacité de transmission du document) peut concerner l'amélioration du document (formatrice et/ou sa validation (sommative). La révision entraîne des modifications dansledocument en vue de l'améliorer, la décision de mise en oeuvre enclenche la commande de démarrage du système. La vérification et la révision - comme le montre le schéma suivant - constituent les principales phases du processus LVR. Dans la phase de vérification, le document est mis à l'essai auprès d'un ou de plusieurs étudiants représentatifs du public-cible.
On recueille et analyse les informations. La phase de révision consiste, suite au diagnostic des lacunes du document,à prescrire des révisions adéquates. A nouveau, le document est mis à l'essai auprès d'un ou de plusieurs étudiants, jusqu'à ce qu'on obtienne des résultats satisfaisants. On peut effectuer une évaluation sommative quand le document est prêt à être diffusé. Le LVR implique aussi des vérifications périodiques, voire même tout au long de la vie du document.
On peut remonter au début de la décennie 60 pour retrouver la pratique de cette approche d'évaluation des documents éducatifs. MARKLE (1964), RûBECK (1965), CONLSûN et MELARAGNOP (1964) et GILBERT (1969) ont préconisé l'utilisation de l'approche tutorielle ou clinique. GREEN (1962) en a ajouté l'administration d'un test final du programme en situation réelle auprès de groupes d'étudiants (Field testing), MARGULIES et EIGUE (1962) ont suggéré l'approche de GREEN avec l'utilisation de groupes d'étudiants représentatifs du public-cible lors de l'étape de la mise à l'essai et de la révision. BASESAW (1963) a distingué celte approche de MARGULIES et EIGUE, appelée Student editing de la démarche dite Editor listing: vérification du programme par une personne non impliquée dans sa production. LYSOUGHT et WILLSAMS (1963) ont jeté les bases dela méthodologie de l'approche groupale avec la technique Review and rewrite. OPDYCKE (1964) a développé l'approche debugging avec les trois étapes Pretest -Developmentallesting - Comparative testing. SCRIVEN (1967) a établi une distinction entre l'évaluation formative (au cours de production du document en vue de l'améliorer) et l'évaluation sommative (à la fin de la production du document en vue de la valider). STOCK (1967) a précisé que l'évaluation formative est utile pour le producteur du document et l'évaluation sommative pour les utilisateurs. C'est KûMOSK (1974) qui a proposé la méthode LVR qui s'ordonne autour de trois éléments: l'évaluation, la révision et la décision de mise en oeuvre. Toute démarche qui se veut rationnelle au plan de la production de documents éducatifs devrait tendre à unir les trois éléments cités qui constituent la charpente de la méthode LVR.
S. METHODOLOGIE DE LA RECHERCHE
5.1. Objectif et hypothèse de la recherche
Lalittérature de la recherche n'a pas prouvé de façon satisfaisante la suprématie de l'un ou l'autre des modes d'évaluation. BERTHELOT, BORDELEAU(1979) ont montré l'absence de différence significative entre la version originale non révisée et trois documents révisés en utilisant trois types d'étudiants de niveau de
verbalisation différent. Il en est de même pour les documents révisés uniquement par les experts et ceux révisés par les experts avec la miseàl'essai auprès de représentants du public-cible.RûBECK(1965) a utilisé un seul étudiant dans la phase de vérification et effectué deux cycles de révision. Au tenne du premier cycle, il a obtenu une amélioration statistiquement significative de l'efficacité du document programmé. ABEDOR(1972) a mis en relief l'efficacité de documents multi-media évalués selon l'approche tutorielle suivie de l'approche groupale. KANDASWAMY (1976) a conclu que le LVR tutoriel est aussi efficace que leLVR de groupe, les deux approches pennettent d'améliorer la qualité du document programme.
La présente expérience concerne la comparaison de deux documents audio-visuels: un document non révisé et un document révisé auprès d'experts. Cette expérience a été réalisée dans le laboratoire audiovisuel de l'ENS de Casablanca avec la participation du technicien dans la fonction d'appariteur, d'un spécialiste du contenu, du professeur de didactique des sciences et de psychopédagogie.
L'objectif fondamental de l'expérience est de montrer la qualité du document révisé par des experts. L'hypothèse de cette expérience est la suivante: Un document audio-visuel éducatif révisé par des experts pennet aux stagiaires d'acquérir des notions et des concepts que le document non révisé.
5.2. Expérimentation
Lavérification de cette hypothèse a nécessité la démarche suivante:
- L'identification et l'analyse des besoins de fonnation des stagiaires en Sciences de l'éducation (Didactique des sciences et Psychopédagogie).
- La fonnulation des objectifs d'apprentissage de manière précise.
- La production de quelques documents (bandes audiovisuelles, syllabus et textes de référence). - La construction de quelques instruments de mesure critériée, d'un questionnaire de satisfaction et d'une grille d'évaluation.
- Lavérification et la révision du document par les experts.
- L'administration du document non réviséàun groupe de 20 étudiants et du document réviséàun autre groupe équivalent constitué de 25 étudiants.
- L'administration du test critérié et du questionnaire de satisfaction aux deux groupes.
6. PRESENTATION ET ANALYSE DES RESULTATS
D'abord le document a été révisé au moyen des infonnations obtenues relatives au contenu (présentation, organisation, structuration...) àl'image (qualité de prise de vue, qualité séquentielle, pertinence avec l'objectiL) à l'enregistrement (bruitage, qualité des raccords), au texte de référence (rapport avec l'image, avec l'objectif, avec le public concerné...). Ces infonnations ont été transfonnées en prescription de révision visantàl'amélioration du document.
Ensuite, chaque groupe - après avoir utilisé un document· a répondu par la suite au post-test qui a fait l'objet d'une notation et au questionnaire de satisfaction.
EFFECTIF MOYENNE ECART TYPE
1er groupe 20 11 3
2ej1;TOUpe 25 13 2
Letest t donne une valeur égale à 2,68 alors que la valeur théorique (Tabulaire) du test t est égale à 2,02 au seuil P= 0,05. Cela signifie qu'ilya une différence significative entre les deux moyennes. Autrement dit, le document révisé s'est avéré plus efficace que le document non révisé en raison de la différence d'apprentissage entre les deux groupes.
Ledépouillement des résultats du questionnaire révèle que le contenu a été transmis de façon adéquate (82,2 %), que le temps a été suffisant (67,85 %), que la structure du binomat est pertinente(94 %).La majorité des étudiants (84,7 %)ont l'impression qu'ils ont beaucoup plus appris que s'ils avaient subi la démarche classique. Tous ont estimé que cette manière d'apprendre est plus "active" et intéressante que le cours magistral. Modèle de Stolovitch Prototype du produit r - - - -Rt':VISION
--
---, Vt':RlfICATIONauprès des étudiants
1 1 1 1 1 1 1 1 1 1 1 Non
.
g
1 ] 11
L ..J7. CONCLUSION
La présente expérimentation a porté sur le processus d'évaluation de documents éducatifs produits pour remplacer les cours magistraux dispensés de manière cloisonnée par les professeurs de psychopédagogie et de didactique des sciences. Cette évaluation a été faite par des experts au moyen d'une grille d'évaluation et par les étudiants (mode groupal d'évaluation sommative) au moyen d'un instrument de mesure critériée.
Toutefois, les résultats obtenus ne peuvent être dissociés de la qualité des instruments utilisés. D'abord la forme de l'instrument de mesure critériée consitué essentiellement de questions ouvertes engendre des problèmes de fidélité et de sensibilité de l'instrument, problèmes liés à la question docimologique de la subjectivité de la notation. TI en est de même en ce qui concerne la valeur de la grille d'évaluation utilisée par les experts. L'approche qualitative de la recherche fondée sur des techniques relevant de la psycho-sociologie tels les entretiens non directifs et semi-directifs convient pour l'utilisation du mode tutoriel ou clinique d'évaluation tout document éducatif et partant peut contribuerà la clarification d'autres aspects de l'expérimentation réalisée.
8. BIBLIOGRAPHIE
ABEDOR AJ. (1972). - "Development and field test of a model for formation evaluation of self instructional mu1ti-media learning systems"View points ,48,4.
BERTIIELOT, S et BORDELEAU, P. (1979). - Evaluation LVR d'un document audio scripto-visuel éducatif.Revue des Sciences de l'Education,n03.
DE LANDSHEERE G. (1982). -Introduction à la recherche en Education. Se édition. A. Colin, Bourrelier, Paris.
DE LANDSHEERE G. (1982). -La recherche expérimentale en éducation. UNESCO, Delachaux et Niestlé.
KANDASWAMY (1976). -Leamer Verification and Revision: an experimental comparison of two methods.Unpublished doctoral dissertation. Indiana University.
KOMASKIPK(1974). - "ERIC/AVCR Annual Review Paper: An imbalance of product quantity and instructional quality : the imperative of empiricism"AV Communication Review ,22-4.
MAZINI A. (1988). -Commission techniquedelaformation et du recyclage des cadres du ministère de l'Education nationale. Deuxième rapport provisoire.Royaume du Maroc. MEN.
ROBECKM.J. (1965). -A study of the revisionprocess inprogrammed instruction.Unpublished master thesis. University of California.
SCRlVEN M. (1967). -The methodology of evaluation AERA. Monograph series on curriculum evaluation.
