Stratégies et avertissements 1
Richard E. Clark
Center for Cognitive Technology
Rossier School of Education, University of Southern California 250 N. Harbor Dr., Suite 309
Redondo Beach, California 90277 (USA) [email protected]
RÉSUMÉ. Les quatre objectifs de cette discussion sont de 1°) décourager les questions et tactiques d’évaluation de l’enseignement à distance qui n’ont pas prouvé leur efficacité par le passé ; 2°) convaincre les concepteurs d’évaluations d’enseignements à distance de bien faire la distinction entre les effets propres à deux technologies distinctes, à savoir le mode de diffusion de l’information (noté MDI par la suite) et la méthode d’enseignement (notée ME) ; 3°) proposer de brèves descriptions de plans d’évaluation, de questions et d’exemples associés avec le MDI et la ME ; 4°) discuter les questions relatives à l’évaluation des enseignements à distance en termes de coût-efficacité. Le point central de l’article est de discuter des stratégies d’évaluation pouvant donner une image précise des apports les plus significatifs offerts par les programmes d’enseignement à distance, et d’aider le lecteur à éviter les erreurs du passé sur ces questions.
ABSTRACT. The four goals of this discussion are to: (a) Discourage distance education evaluation questions and tactics which have not proved useful in the past; (b) Persuade distance education evaluation designers to distinguish between the effects of two distinctly different technologies;
delivery technology and instructional technology; (c) Offer brief descriptions of evaluation plans, questions and examples associated with delivery technologies on the one hand, and instructional technology on the other, and (d) discuss issues related to the cost effectiveness evaluation of distance education. The emphasis in the article is to discuss evaluation strategies that give an accurate picture of the substantive contributions made by distance education programs – and to help the reader avoid historical pitfalls in technology evaluation.
MOTS-CLÉS: enseignement à distance, média, évaluation, méthodes d’enseignement.
KEYWORDS: distance learning, media, assessment, instructional method.
DOI:10.3166/DS.7.93-112 © Cned/Lavoisier 1. Cet article a été initialement publié en anglais sous le titre : Evaluating distance education: Strategies and cautions, Quarterly Journal of Distance Education, vol. 1, n° 1, 2000, p. 3-16. Tous les droits de propriété intellectuelle liés à cet article restent détenus par Information Age Publishing Inc., Charlotte, NC (www.infoagepub.com). Nous remercions Georges F. Johnson, président d’IAP, d’avoir autorisé la publication de cet article. La traduction en français a été réalisée par Tony Jolley et revue par Philippe Dessus.
Concevoir et poser des questions sur l’évaluation
Les cinquante dernières années ont vu différents types de programmes d’enseignement à distance attirer des groupes de partisans enthousiastes. Les principales technologies de communication de masse comme le cinéma, la radio, la télévision et (actuellement) Internet ont été utilisées pour transmettre de l’information et servir de support à l’enseignement à distance. Pour chacun de ces
« nouveaux » médias, les chercheurs ont rencontré les mêmes difficultés à trouver la preuve crédible qu’ils amenaient un taux de réussite élevé en matière d’enseignement (Clark, 1995). Depuis que l’intervalle de temps séparant l’arrivée de deux technologies tend à être semblable à celui entre deux générations, les défenseurs des technologies sont tentés d’ignorer le passé et d’admettre que leur « nouvelle technologie » est unique (Clark et Salomon, 1986). Ne pas parvenir à apprendre à partir des erreurs passées a une conséquence néfaste : leur répétition. Par exemple, une récente analyse approfondie des études de recherche et d’évaluation de l’hypermédia dans l’enseignement à distance (Dillon et Gabbard, 1998) montre qu’il est difficile d’obtenir des preuves valables de son impact. L’objectif de cet article est de suggérer des stratégies d’évaluation afin d’éviter les erreurs du passé et obtenir des preuves défendables sur l’efficacité de l’enseignement à distance.
Qu’est ce qu’une évaluation ?
L’évaluation est un procédé par lequel nous jugeons l’utilité d’une chose dans le but de prendre des décisions (Baker, 1991). L’évaluation d’une technologie fait intervenir de nombreux modes d’analyse et des stratégies de mesure qui nous aident à établir un jugement sur « l’utilité » des programmes d’enseignement à distance. Les jugements réalisés durant le développement d’un programme sont nommés
« formatifs ». L’évaluation qui tente de décrire l’impact d’un programme d’enseignement en cours de réalisation est souvent nommée « sommative ». D’ici à ce que nos valeurs orientent à la fois nos activités d’évaluation sommatives et formatives, nous devons être clairs sur les types de questions permettant l’évaluation de l’enseignement à distance en fonction des besoins des usagers de l’enseignement à distance – les étudiants et leur communauté. Les questions qu’on se pose à propos de l’enseignement à distance et de ses instruments d’évaluation vont nécessairement mettre l’accent sur certains paramètres et en laisser d’autres dans l’ombre. Les questions d’évaluation de l’enseignement à distance véhiculent implicitement des suppositions et des croyances sur le poids de différents paramètres et leur impact sur les résultats recherchés. Par exemple, en nous demandant si un nouveau média d’enseignement entraîne davantage de réussite chez les étudiants qu’un média traditionnel, nous admettons que le média est capable d’influencer leur apprentissage. Cette supposition a pourtant été sérieusement discutée (Clark, 1992a ; 1994a ; 1994b ; Clark et Estes, 1998 ; 1999 ; Clark et Salomon, 1986 ; Gardner et Salomon, 1986).
Une des plus importantes recommandations liées à cette discussion est que chaque évaluation devrait explicitement appréhender l’apport relatif de deux caractéristiques des technologies d’enseignement à distance, différentes mais compatibles, embarquées dans tout moyen de télé-enseignement. Une caractéristique technologique – matérielle – influence la diffusion de l’information et une autre – intellectuelle – influence l’apprentissage par le biais de l’enseignement.
Mode de diffusion de l’information (MDI) et méthode d’enseignement (ME) Le mode de diffusion de l’information est caractérisé par l’équipement, les machines et médias qui permettent l’accès à l’information. Les livres, les ordinateurs ou les enseignants sont des exemples familiers de MDI. Les méthodes d’enseignement (ME) visent à influencer l’apprentissage de l’étudiant. Des exemples de ME seraient des moyens d’organiser et structurer les leçons, l’utilisation d’exemples, des moyens de favoriser la pratique et les tests. La ME peut être apportée à l’étudiant par le biais de divers MDI. Par exemple, l’information, les exemples, la pratique et les tests peuvent tous être mis à disposition de l’étudiant par l’intermédiaire de livres, d’ordinateurs et/ou d’enseignants.
ME et MDI sont généralement confondus lorsqu’on évalue l’enseignement à distance. Les augmentations ou baisses du taux de réussite des étudiants influencées par la ME sont plus souvent attribuées aux MDI. Les réductions en coût ou en temps passé pour atteindre des populations d’étudiants particulières (par exemple, en milieu rural ou défavorisé) sont incorrectement attribuées à la ME. Cette confusion à propos des bénéfices que peut apporter une technologie peut mener à des erreurs politiques coûteuses et inappropriées. Le grand nombre de définitions du terme
« technologie » est sans doute imputable à cette confusion (Clark, 1992d).
Quelle technologie et dans quel but ?
Dans un cadre général, le terme de « technologie » suggère l’application d’une science et d’une expérience propre à résoudre des problèmes (Clark et Estes, 1998, 1999 ; Heinrich, 1984). L’obstacle majeur qui nous empêche jusqu’à présent de comprendre en détail comment les nouvelles technologies contribuent à l’enseignement à distance est la confusion faite sur les apports de ces deux technologies distinctes (ME et MDI). L’une de ces technologies, la MDI, provient de l’application de divers principes scientifiques et d’ingénierie au développement et à l’utilisation des équipements, matériels pédagogiques et procédures qui enregistrent et transmettent l’information. Ces technologies médias d’enseignement ont été développées grâce à la science physique qui a permis la création des nouveaux multimédias basés sur l’électronique (par exemple, les fibres optiques, les disques vidéo interactifs et les ordinateurs). Le MDI augmente les possibilités d’accès de
l’étudiant à l’apprentissage de connaissances, qui est l’objectif le plus important dans le cadre de l’enseignement à distance.
La méthode d’enseignement (ME)
Une seconde catégorie de technologies implique divers principes issus des sciences sociales, et est liée au développement des méthodes d’ingénierie pédagogique (Reigeluth, 1983 ; 1987). La ME prend racine dans la recherche faite sur l’enseignement, l’apprentissage et les méthodes pour améliorer la réussite de l’étudiant. Les « produits » d’une ME sont de nouvelles théories en ingénierie éducative (Reigeluth, 1983 ; 1987 ; Gagné, Briggs et Wager, 1992 ; Merrill, Jones et Li, 1992), de nouvelles méthodes d’enseignement et de nouvelles stratégies pour améliorer la réussite des étudiants (Clark, 1998 ; Clark et Salomon, 1986 ; Weiner, 1992). Ces produits pouvent être intégrés au matériel de cours (courseware) diffusé dans un cadre d’enseignement à distance.
L’objectif principal de cette discussion est de montrer que toutes les évaluations des programmes d’enseignement à distance doivent avoir pour but de mettre en évidence, de manière fiable et valide, les effets séparés de la ME et de la MDI.
Séparer les questions d’évaluation du MDI et de la ME
Le soutien en faveur de la distinction des apports de la ME et du MDI lors des évaluations est clairement établi dans la littérature, mais est pourtant rarement pris en compte lors de l’appréciation ou l’organisation des programmes. Schramm (1997), le critique le plus renommé sur la question de l’utilisation des médias dans l’éducation, conclut que « … l’apprentissage semble être affecté davantage par le message à délivrer que par la façon de le délivrer » (p. 273). Plus récemment, les recherches sur les médias et technologies comparant leur effet sur l’apprentissage (Clark et Salomon, 1986 ; Clark et Sugrue, 1989 ; Gardner et Salomon, 1986 ; Schramm, 1977 ; Clark, 1983 ; 1985 ; Allen, 1971 ; Jamison, Suppes et Wells, 1974 ; Kearsley, Hunter et Sidel, 1983 ; Levie et Dickie, 1973 ; Lumsdaine, 1963 ; Mielke, 1968 ; Salomon, 1981 ; Winn, 1982) peuvent être résumées par l’analogie suivante : le média « … n’influence pas plus l’apprentissage que le camion qui livre les provisions n’influence le mode de nutrition d’une communauté » (Clark, 1983 ; p. 3).
Le média utilisé par l’enseignement à distance est le vecteur qui transmet l’information jusqu’aux étudiants. Le choix du vecteur influence fortement l’accès des étudiants à l’information, tout comme la vitesse et le prix du transfert. Ce choix, en revanche, n’influence pas l’impact de l’information délivrée au « client » sur son apprentissage. Les vecteurs de livraison peuvent indistinctement délivrer un enseignement utile, dangereux ou bien neutre.
Choix des indicateurs pertinents pour l’évaluation
Les futures évaluations des technologies de l’enseignement à distance impliquent de répondre aux questions suivantes : Quels aspects du protocole d’évaluation améliorent l’utilité de l’information pour les décideurs ? Comment pourrions-nous collecter des informations sur le programme qui pourraient nous aider à déterminer si les MDI ou ME ont un effet ? (Clark, 1995 ; Baker, 1989 ; Congrès des Etats- Unis, 1998). Bien que de nombreuses questions à propos d’évaluation ne peuvent concerner tous les programmes, trois généralisations paraissent être utiles à tous, (a) se préoccuper de l’évaluation le plus tôt possible, (b) utiliser un protocole d’évaluation multiniveau, (c) conduire des analyses coût-efficacité systématiques.
Se préoccuper de l’évaluation le plus tôt possible
Les spécialistes de l’évaluation et les décideurs ont besoin d’être impliqués activement et le plus tôt possible dans l’élaboration de programmes d’enseignement à distance. Les expériences précédentes suggèrent qu’attendre la fin de la conception d’un système avant de penser à son évaluation est une procédure habituelle mais très dispendieuse et contre-productive (Baker, 1989). Il est fondamental d’avoir très tôt à disposition des informations initiales relatives au programme, par exemple, connaître avec précision dans quelles conditions un nouveau programme d’enseignement à distance est créé. Un des moyens d’obtenir cela est de passer beaucoup de temps, lors de l’élaboration du programme, à décrire précisément les problèmes que ce programme a pour but de résoudre. Nous pourrions décrire comment les conditions actuelles seront mesurées (par exemple, une mesure des conditions initiales de la situation existante, incluant les points de vue et impressions des personnes concernées) et discuter soigneusement des possibles solutions alternatives au(x) problème(s).
Il est avantageux de développer une procédure d’évaluation parallèlement à la conception et à la mise en place du programme. Dans le domaine de l’apprentissage assisté par ordinateur, Henri Levin (1983 ; 1988 ; Levin et Meister, 1985) décrit huit protocoles exemplaires d’évaluation en terme de coût-efficacité. Chacun de ces exemples permet de mesurer les conditions initiales des problèmes que nous cherchons à résoudre. Il pose la question de l’évaluation dès le début de la mise en place du programme, ce qui rend possible la détermination de ses aspects positifs ou négatifs. Les aspects négatifs peuvent ainsi être corrigés et les points positifs améliorés pour atteindre un bénéfice maximum. Par exemple, la plupart des programmes d’enseignement à distance du secondaire tentent d’intégrer un maximum de cursus différents et un enseignement de qualité. Les concepteurs de tels programmes pourraient débuter par une analyse des options possibles (les différents médias pouvant diffuser un nouveau cursus) et de leur public-cible (par exemple, évaluer le nombre d’étudiants qui pourraient s’inscrire à ces nouveaux cours). Un intérêt précoce pour l’évaluation conduit à la collecte d’informations à la fois sur les besoins et sur le public potentiel du programme, et sur les moyens d’enseignement
déjà existants. Un autre avantage de cet intérêt précoce est de pouvoir mettre en place un protocole d’évaluation tout au long de la mise en œuvre du programme.
Trop souvent, des programmes sont développés et mis en place puis, quelques temps plus tard, leurs concepteurs se souviennent que « nous devons faire quelques évaluations ». Au final, on apprend très peu d’informations sur le programme, informations qui pourraient pourtant être utiles à la fois pour son développement ou pour celui d’autres. […] Levin (1983) a montré combien la recherche d’une évaluation adéquate d’un programme en termes de coût-efficacité était difficile.
Après avoir étudié six rapports évaluant des programmes d’enseignement à distance selon leur coût-efficacité, il a noté qu’un seul d’entre eux était correctement réalisé de ce point de vue. Puisque la plupart des rapports ne sont pas publiés, on peut supposer que ce type d’évaluation dès le début de la mise en place d’un programme n’est pas encore une préoccupation largement partagée. Le second conseil utile pour tout programme d’enseignement à distance est d’adopter une évaluation multiniveau.
Utiliser un protocole d’évaluation multiniveau
Les deux niveaux d’évaluation qui semblent, le plus souvent, apporter des informations sur le développement d’un programme d’enseignement à distance sont des mesures de : (a) la réaction des utilisateurs et (b) la réalisation des objectifs du programme. La réaction des utilisateurs par rapport à l’efficacité du programme d’enseignement à distance est le niveau d’évaluation le plus couramment pris en compte par les enseignants à distance (et malheureusement souvent le seul).
Typiquement, on évalue ce niveau par des formulaires imprimés comprenant des questions ayant pour objectif de sonder les « ressentis » et « impressions » des différents participants au programme. Une question classique est « Comment noteriez-vous la qualité de l’enseignement par ce programme ? » (généralement notée sur 5 qui va d’exceptionnel à mauvais en passant par moyen). Des questions du style « Etablissez une liste de ce que vous pensez être les points forts (et faibles) de ce programme » permettent à l’intéressé d’écrire ses points de vue et commentaires personnels. Les formulaires de type questionnaire sont le plus souvent utilisés pour obtenir des impressions en raison de la protection de l’anonymat de la personne interrogée et, de plus, nous supposons qu’ils permettent une plus grande sincérité des réponses. Les formulaires sont souvent envoyés à tous les participants du programme mais ne sont remplis et renvoyés que par une infime partie.
Le retour des participants n’est utile qu’à condition qu’il ne serve pas que pour l’évaluation. Il est évident que lorsque les données sur les réactions des participants ne sont utilisées que pour estimer l’apprentissage ou la réalisation d’autres objectifs, l’information peut souvent indiquer l’exact opposé de ce qui s’est réellement passé.
Clark (1982) a apporté la preuve qu’il existait une forte relation d’opposition entre les réactions et l’apprentissage lorsque les étudiants indiquent avoir appris beaucoup.
En effet, lorsqu’ils sont interrogés plus précisément, il apparaît qu’ils ont appris très peu ou même que leur apprentissage a été perturbé par l’enseignement.
L’évaluation des réactions peut être utilisée initialement pour faire apparaître simplement les impressions des participants et d’éventuels bénéfices ou problèmes inattendus. Ensuite, elle peut aussi donner une indication sur la motivation des participants testés, ce qui peut être l’un des résultats d’évaluation du programme. Les questions relatives à la motivation doivent être séparées : d’une part celles en rapport avec le mode de diffusion (par exemple, la facilité d’accès, la fiabilité ou qualité technique du transfert de connaissances ou des appareillages, l’espace alloué) et, d’autre part, celles qui sont associées à l’enseignement (par exemple, la qualité de l’enseignement, comment les choses apprises seront utilisées à l’extérieur du cours).
Le fait de recueillir les impressions des participants permet aux responsables d’un programme d’obtenir des informations informelles, et souvent inattendues, sur ce dernier. Par exemple, le projet de télé-enseignement du Nord-Est de l’Utah qui utilise des informations gérées informatiquement et transmises par l’intermédiaire des lignes téléphoniques entre des écoles éloignées les unes des autres a rencontré un problème inattendu car il avait utilisé des formulaires à questions ouvertes (Congrès des Etats-Unis, 1989). Les étudiants se sont plaints que, dans les premières phases du programme, il était très difficile de contacter un enseignant pour obtenir de l’aide lorsque cela était nécessaire. D’autre part, le Réseau de Télévision Educative Interactive (InterAct Instructional Television Network) de Houston, Texas (Congrès des Etats-Unis, 1989) a utilisé un instrument similaire et a découvert un résultat positif inattendu. Il a été observé que les étudiants placés dans de petites salles TV avaient tendance à beaucoup s’entraider durant les cours. Ils pouvaient s’entraider sans déranger l’enseignant ou les autres étudiants. Ce « tutorat » entre étudiants semble avoir eu un impact positif sur l’apprentissage des étudiants et leur motivation. Après une étude plus poussée, ce tutorat semblait seulement dû au fait que le microphone par lequel les étudiants communiquaient avec l’enseignant se trouvait dans un autre lieu et devait être allumé pour fonctionner. Quand le microphone était hors fonction, les étudiants pouvaient se consulter entre eux avant de le remettre en marche pour répondre ou discuter d’un point avec l’enseignant.
Lorsque cette forme de tutorat a été découverte et observée, le projet Houston montra que certains des enseignants embauchés pour superviser les salles TV demandaient aux étudiants de « rester tranquilles », ce qui décourageait ces derniers de s’entraider. Ces enseignants avaient estimé que les discussions étaient un
« problème de discipline » qu’il convenait de régler. Une fois découvert, le tutorat entre étudiants a été encouragé (et la formation des enseignants locaux a été calquée sur le modèle de Houston).
Le problème avec les données sur les réactions des participants est que, le plus souvent, elles sont recueillies d’une façon telle qu’elles ne sont pas fiables ou même valides en tant qu’indicateurs des effets d’un programme. Pourtant, des informations non fiables pourraient parfois apporter des indications, comme avec le projet Houston.
Les données issues d’un questionnaire peuvent être représentatives si les évaluateurs sélectionnent un échantillon aléatoire de participants suffisamment important pour être représentatif de chaque groupe impliqué dans le projet. Pour augmenter cette
participation, des évaluateurs ont trouvé utile d’envoyer à chaque participant choisi au hasard une carte leur annonçant qu’il a été sélectionné, que sa réponse est capitale et qu’il pouvait s’attendre à recevoir un questionnaire sous peu. S’ensuivait une note à tous ces participants sélectionnés encourageant les retardataires à envoyer leur formulaire sans violation de leur anonymat. Selon le nombre de personnes impliquées dans le programme, un petit échantillon aléatoire de participants (5-10 %) peut donner une vision très précise des réactions du groupe entier (voir Fowler, 1984, pour une discussion sur la taille des échantillons dans les études évaluatives).
Les questionnaires pourraient être utilisés à différents niveaux de développement du programme, y compris dès le début. Les problèmes inattendus et les bénéfices mis en évidence par les questionnaires requièrent généralement une étude plus approfondie. Par exemple, lorsqu’on interroge des étudiants à distance, une majorité fera clairement état du fait qu’ils ne choisiraient pas une méthode d’enseignement à distance s’ils avaient la possibilité de suivre un mode « traditionnel » d’enseignement – comme cela s’est passé dans le Nord-Est de l’Utah, dans le cadre d’un projet de télé-enseignement (Congrès des Etats-Unis, 1989). Le fait que, si cela leur était proposé, les étudiants pouvaient choisir un programme traditionnel n’indique pas que le projet Utah a échoué. Après une étude plus approfondie, on a souvent montré, comme cela a été suspecté dans le cas du projet Utah, que les étudiants se sentent parfois isolés dans ce cadre d’enseignement à distance et choisissent par conséquent des options plus traditionnelles pour des raisons sociales et « non académiques ».
Cela est particulièrement vrai pour les élèves de collèges et lycées. Typiquement, ils ont de forts besoins sociaux qui ne sont pas toujours pris en compte dans les programmes à distance.
D’autres problèmes peuvent être mis en évidence en utilisant le « système précoce d’alerte » via des questionnaires de ressenti des utilisateurs. Ce sont les problèmes liés à la communication entre participants, à l’ampleur et l’impact des difficultés techniques, à la mise en œuvre inadéquate de moyens et aux opportunités d’étendre le programme à de nouveaux domaines. Pourtant, dans les meilleurs cas, les formulaires sur les réactions ne donnent pas d’informations solides sur l’aboutissement de la plupart des objectifs de transfert et de formation. Pour cette raison, les programmes doivent comprendre un second niveau d’évaluation.
Atteindre les objectifs du programme
Le deuxième et le plus important objectif de l’évaluation est de se centrer sur les objectifs du programme. L’atteinte des objectifs est habituellement considérée par les spécialistes de l’évaluation comme étant l’information la plus cruciale à obtenir. Les objectifs doivent être séparés en au moins deux catégories, ceux associés au mode de diffusion de l’information et ceux à l’enseignement. Les types de résultats communs aux deux types d’approches sont les évaluations coût-bénéfice et coût-efficacité. Dans le cadre de ces évaluations, nous recherchons une valeur du coût de l’effet de diverses
caractéristiques du programme la plus faible possible. Dans la suite de cette section nous décrivons les résultats liés à la méthode d’enseignement puis ceux liés au média et enfin ceux liés aux analyses coût-bénéfice et coût-efficacité.
Les objectifs des ME sont les suivants : une évolution chez les étudiants du point de vue de leur apprentissage, de leurs valeurs, leur motivation et leur capacité à transférer leurs connaissances à l’extérieur de la classe. Ces objectifs importants sont influencés par le matériel de cours ou les programmes d’éducation développés et/ou choisis et transmis aux étudiants à distance. Dans quelques cas, l’enseignement est conçu par les enseignants. Dans d’autres cas, des matériels de cours tout prêts sont achetés et diffusés par l’intermédiaire de sites. Les décisions d’enseignement intégrées dans chaque leçon influencent l’apprentissage de l’étudiant et sa motivation. Les différentes méthodes d’enseignement et options de cursus ont des effets très différents sur l’apprentissage de l’étudiant, ce qui pourrait être pris en compte dans une évaluation. Ainsi, l’évaluation d’enseignements à distance pourrait porter au moins sur les sept types de questions relatives à la MDI et la ME.
1°) Entre le curriculum ou la méthode d’enseignement, qu’est-ce qui, dans un programme d’enseignement à distance donné, influencera la réussite de l’étudiant et, par conséquent, son aptitude à utiliser (transférer) la connaissance acquise à l’extérieur du contexte de son apprentissage ?
La réussite peut être évaluée par l’intermédiaire d’un test conçu par un enseignant ou par des tests standardisés de contrôle de connaissances. De plus en plus d’écoles évaluent dans quelle mesure les étudiants peuvent transférer dans d’autres contextes ce qu’ils ont appris. Le transfert pourrait être estimé par l’intermédiaire de questions ouvertes. Si des écoles d’un même district ont des curricula similaires tout en diffusant leur enseignement de façon différente, il y a manifestement une possibilité de vérifier si des différences en termes de réussite et de motivation existent entre les écoles. Lorsque c’est possible, les méthodes alternatives d’enseignement et les choix de curriculum pourront être explorées dans le but de maximiser l’apprentissage des différentes catégories d’étudiants. Par exemple, un enseignement hautement structuré et soutenu peut être proposé en parallèle avec une approche par la découverte et plus centrée sur l’étudiant (Clark, 1983 ; 1985).
De nombreux programmes ont montré que les étudiants anxieux ou ayant des problèmes pour apprendre ont besoin d’une structure plus cadrée et comportant un meilleur soutien alors que les étudiants plus indépendants et de meilleur niveau ont davantage besoin d’une approche fondée sur la découverte (Clark, 1983).
2°) Qu’est-ce qui influence la motivation des étudiants et des enseignants pour apprendre et s’investir dans la réussite d’un programme ?
Des théories courantes sur la motivation (Clark, 1998 ; Weiner, 1992) ont introduit un élément très contre-intuitif concernant la mise en œuvre et l’évaluation de programmes d’enseignement à distance. Formellement, on pense que le choix du média influence grandement les motivations à la fois de l’étudiant et de l’enseignant.
Une récente approche cognitive de la motivation suggère qu’elle est influencée par les croyances et attentes et de plus, qu’elle a pour origine les différences de
croyances à propos du média et non le média lui-même (Clark, 1994 ; 1983 ; Salomon, 1984). Pourtant, nombre de récentes études sur les préférences à propos des médias (Dillon et Gabbard, 1998) sont en accord avec la classique étude de référence réalisée par O’Neil, Anderson et Freeman (1986, p. 977) affirmant qu’« en général, l’attitude des étudiants est positive lorsque l’attitude des enseignants est négative ». Il y a une preuve récente mais solide montrant que lorsque les étudiants s’attendent à ce qu’un nouveau média leur rende l’apprentissage plus facile et plus
« amusant », ils l’aiment. Cependant, il y a aussi une preuve certaine que leur appréciation ne les pousse pas à travailler davantage (Saettler, 1968 ; Clark, 1994a).
Pratiquement à l’opposé, plus grande est leur croyance qu’un média rend l’apprentissage « facile », moins grands seront les efforts qu’ils consentiront à fournir pour apprendre (Mielke, 1968 ; Salomon, 1984 ; Kozma, 1991). Cet effet a été expliqué comme étant une évaluation erronée de l’étudiant à propos de l’effort qu’il doit engager pour apprendre, évaluation fondée sur ses précédentes expériences et attentes. Par exemple, l’étudiant américain moyen suppose que la télévision est un média plus « facile » que les livres ou les enseignants, probablement parce qu’il regarde la TV pour se distraire. Cette réaction de la part de nos étudiants est très différente de celle des étudiants israéliens qui, en moyenne, investissent davantage d’efforts dans la télévision parce que leurs récentes expériences avec la télévision ont été moins distrayantes et plus exigeantes intellectuellement (Salomon, 1984).
Il y a une preuve supplémentaire montrant que les étudiants n’investiront pas d’efforts s’ils croient qu’un média va être très difficile. Avec les enfants américains, c’est parfois la raison de leur manque de volonté à lire (Salomon, 1984 ; Kozma, 1991). Par conséquent, la plus grande part de leur motivation est centrée sur le média et la méthode d’enseignement, qui seraient perçus comme étant modérément difficiles. Cette preuve pourrait suggérer qu’un moyen d’influencer la motivation de l’étudiant serait de choisir un média « modérément difficile ». Cependant, cette preuve suggère également que les croyances de l’étudiant et de l’enseignant à propos de la difficulté du média changent parfois radicalement en fonction du temps (Clark, 1994). L’indicateur de motivation le plus stable semble être les croyances de l’étudiant à propos de ses propres aptitudes et des attentes que l’on a de lui dans les différentes tâches d’apprentissage (Salomon, 1984). Nous pourrions donc évaluer les perceptions et croyances des étudiants à propos des tâches d’apprentissage incorporées au média employé par le programme d’enseignement à distance et leur propre efficacité en tant qu’étudiants. Cette forme d’évaluation peut être intégrée aux questionnaires d’évaluation des impressions des utilisateurs.
3°) Entre le curriculum ou la méthode d’enseignement, qu’est-ce qui, dans un programme d’enseignement à distance donné, influencera (a) les valeurs des étudiants et des enseignants concernant le contenu appris et (b) la motivation ultérieure à enseigner et apprendre ainsi qu’à transférer les connaissances acquises en dehors du programme d’enseignement ?
Des questionnaires soigneusement construits et interprétés donneront une bonne indication des impressions des étudiants et des enseignants sur l’enseignement et le
curriculum proposés. Un résultat d’évaluation négatif ne donne pas forcément une image négative du programme (pour mémoire, les étudiants du projet Utah préféraient les classes traditionnelles à l’enseignement à distance en raison des opportunités sociales qu’elles leur procuraient). Généralement, on espère que l’enseignement à distance favorise les opinions positives sur l’apprentissage et les choix de cursus qu’il permet. Des revirements d’opinion résultant de changements dans le programme peuvent être surveillés par l’intermédiaire de questionnaires périodiques (mensuels) tout au long des étapes du programme.
4°) Entre le curriculum ou la méthode d’enseignement, qu’est-ce qui, dans un programme d’enseignement à distance donné, influencera le développement de diverses formes de connaissances à la fois au niveau des habiletés procédurales et des formes de pensée critique, comme apprendre à apprendre ou les habiletés métacognitives ?
Alors que l’évaluation d’un apprentissage impliquant la pensée critique (higher order thinking) est plus difficile que celle d’un apprentissage « ordinaire », quelques programmes sont parvenus avec succès à l’évaluer. Un bon exemple de programme d’entraînement de l’apprentissage assisté par la technologie est le programme Higher Order Thinking Skills (HOTS) qui se focalise sur les étudiants en difficulté […]. Le programme est né à l’université d’Arizona et a été dispensé dans les écoles affiliées de nombreux états. Les enseignants de ce programme utilisent des cours informatisés, des travaux dirigés et des ateliers de discussion pour améliorer les procédures de pensée et d’étude. L’évaluation de HOTS implique une utilisation régulière de tests standardisés permettant de rendre compte de l’évolution de la qualité des questions des étudiants et de leurs contrôles continus. Alors qu’il existe peu de moyens d’évaluer les habiletés de pensée (il y en a toutefois en cours de développement), les gestionnaires de programmes d’enseignement pourraient consulter des spécialistes de l’évaluation pour sélectionner et développer des tests mesurant la capacité à résoudre des problèmes et à étudier (Congrès des Etats-Unis, 1998 ; Levin et Meister, 1995). Alors que l’apprentissage, les valeurs et les habiletés à étudier sont des facteurs importants pour l’enseignement à distance, le MDI en influencera d’autres.
Le mode de diffusion de l’information (MDI)
Le MDI peut transmettre diverses formes d’enseignement aux étudiants.
L’augmentation considérable de l’accès aux ordinateurs et à l’Internet dans les écoles et à la maison a conduit à une attention plus importante portée aux bénéfices du MDI (Dillon et Gabbard, 1998). Les questions d’évaluation associées au MDI tentent de mesurer l’influence du média sur (a) la possibilité pour un étudiant d’accéder à une plus grande variété de curricula, (b) l’utilisation de ressources par le programme ou l’école et (c) la fiabilité des modes choisis. Les questions que l’on retrouve habituellement dans les évaluations des médias sont les suivantes.
5°) Est-ce que le média utilisé pour l’enseignement à distance maximise l’accès de l’étudiant à un enseignement nouveau et/ou de haute qualité, comparativement à d’autres modes de diffusion ?
L’accès à des nouveaux cours et à des enseignants ou des techniques d’enseignement de haute qualité est l’un des objectifs principaux de la plupart des programmes d’enseignement à distance. Collecter des informations sur cet accès amène souvent des comparaisons entre les différents moyens de diffuser des cours ou entre le nombre d’étudiants au début/pendant le déroulement du programme. Par exemple, le programme Share-Ed dans le comté de Beaver, Oklahoma (Congrès des Etats-Unis, 1989) a utilisé un nouveau réseau de fibres optiques pour permettre à des écoles rurales l’accès à de nouveaux cursus. Les opinions des lycéens ont été recueillies sur l’augmentation de la diversité des choix des cursus offerts, qui leur permettent de plus de valider par anticipation des unités de valeur ensuite reconnues à l’université. Ces opinions, combinées avec une mesure du niveau initial du programme et du nombre d’étudiants réellement inscrits, montrent dans quelle mesure l’innovation favorise son accès. Les évaluateurs devraient considérer avec prudence l’accroissement de la facilité de connexion et la qualité de celle-ci pour les minorités, les groupes d’étudiants plus âgés ou très dispersés.
Alors que « l’accès » suggère habituellement la disponibilité de nouvelles options de cursus, cela peut aussi évoquer un accès des étudiants à un niveau plus personnel.
Les enseignants appartenant au programme InterAct Instructional Television à Houston, Texas (Congrès des Etats-Unis, 1989) ont mentionné des difficultés à accéder personnellement et rapidement à leurs étudiants afin de tester leur réactions ou leur état d’esprit pour adapter leur enseignement. D’autre part, les enseignants utilisant des supports informatisés témoignent souvent d’une augmentation de l’ « individualisation » de leur enseignement et de l’opportunité d’« observer les étudiants en train d’apprendre ».
6°) Est-ce que le média influence l’utilisation des ressources de l’école et de la communauté éducative (par exemple, l’espace alloué, l’équipement à disposition, les enseignants qualifiés, de nouveaux matériels de cours développés sur un site mais non disponibles sur les autres) ?
C’est souvent le cas, car les programmes d’enseignement à distance sont enregistrés et distribués sur de nombreux sites, ce qui rend les meilleurs enseignants disponibles pour beaucoup plus d’étudiants. Les évaluateurs pourraient établir des statistiques sur les connaissances et/ou l’expérience des enseignants intervenant dans les programmes à distance, et les comparer à celles de l’enseignement traditionnel.
Voici un exemple d’un type différent d’utilisation : dans le comté de Beaver, Oklahoma dans le cadre du programme Share-Ed (Congrès des Etats-Unis, 1989), la compagnie locale de téléphone a installé des fibres optiques pour améliorer le service local. Le système était capable de supporter des volumes de communication très au-delà de ce que les communes attendaient. Le réseau des écoles utilisait la bande passante libre des lignes optiques pour la télévision et la transmission de la
voix pour l’enseignement à distance. De plus, comme peu d’étudiants recourent à l’enseignement à distance, il est souvent dispensé à un plus petit nombre d’étudiants par école que pour un cours classique, et il mobilise les salles et équipements en sous-utilisation (par exemple, les espaces de stockage).
7°) Est-ce que les médias d’enseignement à distance sont plus fiables que les autres alternatives ?
Une des principales critiques des médias à distance porte sur leur fiabilité technique. Par exemple, les questionnaires d’opinion utilisés pour l’évaluation du système de télévision éducative du comté de Beaver, dans l’Oklahoma, ne faisaient référence qu’à des problèmes techniques pour évoquer les points faibles du système.
Aucun des administrateurs n’a noté de problème technique, 11 % des enseignants ont mentionné des problèmes de fiabilité, mais 36 % des étudiants ont évoqué plus en détail des problèmes de larsen des micros, des équipements au fonctionnement perturbant, des images floues, du matériel bruyant et des problèmes d’affichage de couleurs. Cette différence dans l’évocation de problèmes techniques est probablement liée aux différences d’expérience que chaque groupe d’utilisateurs a pu avoir avec la diffusion par télévision. Cependant, les évaluations pourraient vérifier régulièrement si de tels problèmes techniques surviennent et ainsi rééquilibrer la sévérité éventuelle des utilisateurs, et si nécessaire corriger ces problèmes. Lorsque de tels problèmes de diffusion restent non réglés, ils peuvent réduire les taux de réussite et de participation des différents protagonistes.
Dans les programmes d’enseignement à distance efficaces, le MDI (média) et la ME doivent interagir. Les caractéristiques des médias liées à la diffusion doivent pouvoir permettre au bout du compte de sauvegarder de précieuses ressources d’enseignement. L’ingénierie éducative, quant à elle, doit pouvoir favoriser un apprentissage efficace et le transfert de concepts. L’enseignement doit pouvoir être développé en tenant compte des caractéristiques spécifiques de chaque média.
Toutefois, les établissements et les agences de financement sont de plus en plus concernés, non seulement par l’efficacité des programmes d’enseignement à distance, mais aussi par leur coût. Le coût est un « but » ou une « conséquence » à la fois du MDI et de la ME.
Évaluation du coût-bénéfice
Il est nécessaire d’évaluer séparément le coût du MDI et de la ME des programmes d’enseignement à distance. Cela permet de combiner la question de l’« efficacité » (des médias et de l’enseignement) à celle du « coût » afin de fournir aux décideurs une information en terme de coût-efficacité. Ce type d’évaluation nécessite qu’au moins deux options technologiques différentes soient comparées selon les mêmes critères (Levin, 1983). Sur de nombreux aspects, le rapport coût- efficacité est l’information la plus intéressante que nous pouvons fournir aux responsables d’écoles, aux contribuables et à leurs représentants élus. Les ressources
à allouer à l’éducation étant limitées, il est important de se centrer sur le coût financier et en temps des nouveaux programmes.
Coût du mode de diffusion de l’information (MDI)
Les évaluations précédant l’introduction d’un nouveau média devraient explorer les coûts de ses alternatives. Dans de nombreux cas, les anciennes technologies (par exemple, tuteurs, livres, cassettes vidéo, système postal) sont plus économiques financièrement. Les évaluations de coûts devraient toujours envisager les MDI moins coûteux et plus traditionnels. Des évaluations indiquent, par exemple, que des tuteurs entraînés et payés au salaire minimum sont moins coûteux que les ordinateurs pour de nombreuses tâches d’enseignement (Levin, 1983). Une excellente discussion sur l’analyse du rapport coût-efficacité a été apportée par Fletcher (1990) dans une revue de la question sur l’utilisation de DVD interactifs d’entraînement militaire. Il a noté que certains programmes répertorient leurs coûts en catégories telles que : (a) l’investissement initial, (b) l’assistance technique (maintenance et remplacement), et (c) le coût d’utilisation ; alors que d’autres les amalgament. Fletcher soutient que la séparation des coûts donne une meilleure image de leur source et aide à leur maîtrise. Il note que le rapport coût-efficacité est très variable selon les programmes. Quelques études trouvent d’énormes bénéfices par rapport au coût des technologies utilisées.
D’autres font référence à de gros problèmes financiers. Clairement, cette question implique de nombreux facteurs, dont beaucoup n’ont pas encore été identifiés. Fletcher laisse entendre que les analyses coût-efficacité peuvent être (et sont) manipulées quand il suggère qu’« en fait, ces ratios peuvent être aussi bas que nous le désirons, et dépendent de l’équipement à mettre en œuvre » (Fletcher, 1990, p. 19). Il est conseillé aux évaluations de programmes d’enseignement à distance d’adopter une approche évaluant les coûts en termes d’« ingrédients », décrite ci-dessous.
Le coût de la méthode d’enseignement (ME)
Dans les écoles et communautés éducatives, il y a une grande variété de buts qui influencent les critères d’évaluation de la catégorie « coûts liés à l’efficacité de l’enseignement ». Les dépenses nécessaires pour augmenter la motivation des étudiants, leur apprentissage et transfert sont de plus en plus fréquemment étudiées (Jamison, Suppes et Wells, 1974 ; Congrès des Etats-Unis, 1998). Si les différentes administrations scolaires veulent développer leur politique d’enseignement à distance, elles seraient bien avisées de recueillir des informations sur de tels coûts.
Développer une ME amène à faire des choix sur l’enseignement, la motivation et le transfert ayant des coûts financiers très différents (Congrès des Etats-Unis, 1988 ; Levin et Meister, 1985).
Au-delà de ces coûts, les écoles s’intéressent de plus en plus au coût en terme de temps associé à la maîtrise des objectifs d’apprentissage et de performance. Certains
types de tâches sont davantage consommateurs de « temps d’enseignement » et/ou de
« temps d’apprentissage » (Clark et Sugrue, 1989). Par exemple, il est plus long d’enseigner à un étudiant une méthode d’apprentissage que de lui demander d’apprendre par cœur. Cela prend également plus de temps à un étudiant d’assimiler vraiment une connaissance procédurale, jusqu’à ce qu’elle devienne automatique, soit environ 100 heures de pratique pour les procédures les plus simples, ce qui est une estimation courante (Clark, 1989 ; Gagné, Briggs et Wager, 1992). Fletcher (1990), en recensant de nombreux programmes militaires d’entraînement par ordinateur, montra que le temps économisé était de l’ordre de 30 % sur les différents sites. Il est presque certain que le choix parmi différentes options méthodologiques va de plus en plus porter sur leur coût en temps.
Parfois, la moins chère et/ou la plus rapide des options n’est pas nécessairement la meilleure. Les étudiants qui apprennent le plus vite ou au moindre coût ne sont pas nécessairement ceux qui apprennent le mieux. Les nouvelles théories « cognitives » de l’apprentissage montrent qu’il pourrait être plus important de savoir comment les étudiants atteignent tel ou tel objectif d’apprentissage plutôt que de savoir s’ils donnent de bonnes réponses aux examens. Cela prend souvent plus de temps aux étudiants d’apprendre d’une façon telle que leurs réponses aux examens reflètent des processus cognitifs de haut niveau et une pensée critique que de se focaliser sur leurs connaissances superficielles (Clark et Voogel, 1985 ; Merrill, Jones et Li, 1992). Les enseignants doivent être prudents lorsqu’ils focalisent leur évaluation sur l’économie de temps plutôt que sur la qualité de l’apprentissage.
Généralement, quand une équipe responsable d’un programme d’enseignement à distance a fixé la liste des objectifs liés aux coûts monétaire et temporel, une trame d’évaluation peut être choisie. Une des premières difficultés à laquelle on est confronté est le choix de la manière de recueillir ces données de coût. Alors qu’il y a de nombreuses méthodes pour le faire, l’une d’entre elles semble particulièrement adaptée à la fois à la ME et au MDI : c’est la méthode des ingrédients de Levin (Levin, 1983 ; 1988 ; Levin et Meister, 1985).
La méthode des ingrédients pour la détermination des coûts
Alors qu’il y a quantité de moyens possibles pour déterminer localement les coûts locaux et leur résultats sur l’efficacité des programmes, l’une des plus pertinentes et complètes est la « méthode des ingrédients » développée par Henry Levin à l’Université Stanford (Levin, 1983 ; 1988). Cela « requiert une identification de tous les ingrédients requis pour une intervention [d’enseignement à distance], un chiffrage du coût de ces ingrédients pour déterminer par sommation le coût total du programme » (Levin, 1988, p. 3). Dans le contexte de l’enseignement secondaire, le coût est défini comme la valeur de ce qui est perdu en investissant dans des ressources autres que les meilleures possibles. Par exemple, si du temps-enseignant est dépensé, alors il ne pourra l’être pour d’autres utilisations. Ainsi, le coût du
temps-enseignant est évalué en fixant une valeur à ce qui est perdu lorsque les enseignants sont impliqués dans un programme d’enseignement à distance.
L’application de la « méthode des ingrédients » se décompose en deux étapes.
Dans la première, tous les ingrédients nécessaires à un programme d’enseignement à distance sont listés. L’identification des ingrédients requiert le listage des besoins de ce programme selon cinq catégories : (a) personnel, (b) locaux, (c) équipement, (d) consommables et (e) tous les autres. Dans la deuxième étape, la valeur de chacun des ingrédients listés est estimée.
Faute de place nous ne détaillerons pas la méthode des ingrédients, mais un résumé de Levin (1988 ; Levin et Meister, 1985) pourra apporter la plupart des informations nécessaires pour déterminer le coût des ingrédients. Levin donne des exemples compatibles avec les programmes qui se développent actuellement dans nombre d’écoles et il conseille vivement d’établir des listes complètes des ingrédients. Par exemple, il recommande que le temps « donné » par les bénévoles et organisations extérieures soit introduit comme ingrédient « personnel » s’il est indispensable à la conduite du programme. Dans le cas contraire, cela conduira à une vision inexacte des dépenses allouées au programme et pourra empêcher sa reproduction. Cet auteur prétend aussi (Levin et Meister, 1985) que, dans les rares cas où l’on parvient à obtenir une liste complète des coûts relatifs aux programmes utilisant des technologies, on montre souvent que le climat organisationnel influence grandement le rapport coût- bénéfice. Il met en évidence que lorsqu’un même programme d’enseignement à distance est présenté sur différents sites, le coût de son implantation peut varier de 400 % (Levin et Meister, 1985). Certaines organisations semblent donc beaucoup plus efficaces que d’autres du point de vue de leur utilisation de la technologie.
Conclusion
Par le passé, les évaluations des programmes d’enseignement à distance ont généralement conduit à des « réflexions après-coup » et se sont appuyées sur des questionnaires d’opinion souvent peu fiables et peu représentatifs des participants impliqués. Même quand les évaluations se sont centrées sur la réussite des étudiants, les questions mélangeaient les contributions du MDI et de la ME.
Des plans d’évaluation des programmes d’enseignement à distance plus solides doivent être adoptés dans le futur, si l’on souhaite identifier leurs points forts et éliminer leurs points faibles. Ces plans devraient principalement se fonder sur l’expérience de ceux qui ont eu à évaluer les technologies par le passé (Levin, 1988).
Trois grandes lignes devraient être suivies : premièrement, l’évaluation devrait commencer dès le début de la planification du programme d’enseignement à distance. Lancer une évaluation dès le début du projet pourra apporter des informations beaucoup plus utiles sur ses points forts et faibles. Ainsi d’éventuels changements pourront être apportés à temps. La seconde recommandation est que tous les programmes devraient adopter un système d’évaluation multiniveau. Les
différents rôles des données qualitatives (par exemple, questionnaires, rapports journaliers et réactions des participants) et quantitatives (par exemple, les notes des étudiants, les coûts monétaires) devraient être définis. Les évaluations du MDI et de la ME devraient être séparées et les différents objectifs évalués. Finalement, de nouvelles méthodes, comme la méthode des « ingrédients » de Levin, permettent d’évaluer le rapport coût-efficacité des programmes d’enseignement à distance.
Bibliographie
Allen W. H., “Instructional media research: Past, present and future”, Audio Visual Communication Review, n° 19, 1971, p. 5-18.
Baker E. L., “Technology assessment: Policy and methodological issues”, Air Force Systems Command, Proceedings of the 2nd intelligent tutoring systems research forum, 1989, p. 151-158.
Baker E. L., “Technology assessment: Policy and methodological issues for training”, H. Burns, J. W. Parlett and C. L. Redfield (Eds.), Intelligent Tutoring Systems, Hillsdale, N. J., Lawrence Erlbaum Associates, 1991, p. 243-263.
Benjamin L. T., “A history of teaching machines”, American Psychologist, vol. 43, n° 9, 1988, p. 703-712.
Clark R. E., “Antagonism between achievement and enjoyment in ATI Studies”, Educational Psychologist, vol. 17, n° 2, 1982, p. 92-101.
Clark R. E., “Reconsidering research on learning from media”, Review of Educational Research, vol. 53, n° 4, 1983, p. 445-459.
Clark R. E., “Evidence for confounding in computer-based instruction studies: Analyzing the meta-analyses”, Educational Communication and Technology Journal, vol. 33, n° 4, 1985, p. 249-262.
Clark R. E., “Current progress and future directions in research on instructional technology”, Educational Technology Research and Development, vol. 37, n° 1, 1989, p. 57-66.
Clark R. E., “Dangers in the evaluation of instructional media”, Academic Medicine, vol. 67, n° 12, 1992a, p. 819-820.
Clark R. E., « Six definitions of media in search of a theory », D. P. Ely and B. B. Minor (Eds.), Educational Media and Technology Yearbook, Littletown Co, Libraries Unlimited Inc., vol. 18, 1992b, p. 65-76.
Clark R. E., “Media use in education”, Alkin M. (Ed.), Encyclopedia of Educational Research, Sixth Edition, New York, Macmillan, 1992c, p. 805-814.
Clark R. E., “Media and method”, Educational Technology Research and Development, vol. 42, n° 3, 1994a, p. 7-10.
Clark R. E., “Media will never influence Learning”, Educational Technology Research and Development, vol. 42, n° 3, 1994b, p. 21-29.
Clark R. E., “Assessment of Distance Learning Technology”, Baker E.L., O’Neil, H.F. Jr.
(Eds.), Technology Assessment, Hillsdale, N.J., Lawrence Erlbaum, 1994c.
Clark R. E., “Media and Learning”, T. Husén, T. N. Postlethwaite (Eds.) The International Encyclopedia of Education (2nd Ed.), Oxford, Pergammon, 1995.
Clark R. E., “Motivating Performance: Part 1 – Diagnosing and Solving Motivation Problems”, Performance Improvement, vol. 37, n° 8, 1998, p. 39-46.
Clark R. E., Learning from Media: Arguments, Analysis and Evidence, Greenwich, Conn, Information Age Publishers, 2001.
Clark R. E., Craig T. G., “Research and theory on multimedia learning effects”, M. Giardina (Ed.) Interactive Multimedia Learning Environments, New York, Springer Verlag, 1992.
Clark R. E., F. Estes, “Technology or craft: What are we doing?”, Educational Technology, vol. 38, n° 5, 1998, p. 5-11.
Clark R. E., Estes, F., “The Development of authentic educational technologies”, Educational Technology, vol. 39, n° 2, 1999, p. 5-16.
Clark R. E., Estes F., Turning research into results: A guide to selecting the right performance Solutions, Atlanta, CEP Press, 2002.
Clark R. E., Salomon G., “Media in Teaching”, Wittrock, M. C. (Ed.), Handbook of research on teaching (3rd Edition), New York, Macmillan, 1986, p. 464-478.
Clark R. E., Voogel A., “Transfer of training for instructional design”, Educational Communications and Technology Journal, vol. 33, n° 2, 1985, p. 113-123.
Congrès des Etats-Unis, Power on: New tools for teaching and learning, Office of Technology Assessment, Washington, D.C., U.S. Government Printing Office, September 1988.
Congrès des Etats-Unis, Linking for learning: A new course for education, Office of Technology Assessment, OTA-SET-430, Washington, D.C., U.S. Government Printing Office, November 1989.
Cuban L., Teachers and machines: The classroom use of technology since 1920, New York, Teachers College Press, 1986.
Dillon A., Gabbard R., “Hypermedia as an educational technology: A review of the quantitative research literature on learner comprehension, control and style”, Review of Educational Research, vol. 68, n° 3, 1999, p. 322-349.
Fletcher D., Effectiveness and cost of interactive videodisc instruction in defense training and education, Institute for Defense Analysis, Paper P-2372, Alexandria, Virginia, 1990.
Fowler F. J., Survey Research Methods, Beverly Hills, CA, Sage Publications, 1984.
Gagné R. M., Briggs L. J., Wager W. W., Principles of Instructional Design, New York, Harcourt Brace Jovanovich, 1992.
Gardner H., Salomon G., “The computer as educator: Lessons from television research”, Educational Researcher, January 1986, p. 13-19.
Heinich R., “The proper study of instructional technology”, Educational Communication and Technology Journal, vol. 32, n° 2, 1984, p. 67-87.
Jamison D., Suppes P., Wells S., “The effectiveness of alternative instructional media: A survey”, Review of Educational Research, vol. 44, 1974, p. 1-68.
Kearsley G., Hunter B., Sidel R. J., “Two decades of computer based instruction: What have we learned?”, T.H.E. Journal, vol. 10, 1983, p. 88-96.
Kirschner P., Sweller J., Clark R. E., “Why minimally guided learning does not work: An analysis of the failure of discovery learning, problem-based learning, experiential learning and inquiry-based learning”, Educational Psychologist, vol. 41, n° 2, 2006, p. 75-86.
Kozma R. B., “Learning With Media”, Review of Educational Research, vol. 61, n° 2, 1991, p. 179-211.
Levie W. H., Dickie K., “The analysis and application of media”, R. M. W. Travers (Ed.) Second handbook of research on teaching, Chicago, Rand McNally, 1973.
Levin H. H., Cost Effectiveness: A primer, Beverly Hills, CA, Sage Publications, 1983.
Levin H. H., Meister G. R., Educational technology and computers: Promises, promises, always promises. Report No. 85-A13. Stanford, CA, Center for Educational Research at Stanford, School of Education, Stanford University, 1985.
Levin H. H., “The economics of computer-assisted instruction”, Peabody Journal of Education, Tate Center, Western Michigan University, May 1988.
Lumsdaine A., “Instruments and media of instruction”, N. L. Gage (Ed.) Handbook of research on teaching, Chicago, Rand McNally, 1963.
Merrill D. M., Jones M. K., Jones L. Z., “Instructional Theory: Classes of Transactions”, Educational Technology, June 1992.
Mielke K., “Questioning the questions of ETV research”, Educational Broadcasting Review, n° 2, 1968, p. 6-15.
O’Neil Jr., H., Anderson C. L., Freeman, J., “Research and teaching in the armed forces”, M.
C. Wittrock (Ed.) Handbook of research on teaching (3rd Ed.), New York Macmillian, 1986.
Reigeluth C. M., Instructional design: Theories and models, Hillsdale N.J., Lawrence Earlbaum Associates, 1983.
Reigeluth C. M., Instructional theories in action, Hillsdale, N.J., Lawrence Erlbaum Associates, 1987.
Saettler P. A., A history of instructional technology, New York, McGraw Hill, 1968.
Salomon G., Communication and Education, Beverly Hills, CA, Sage Publications, 1981.
Salomon G., “Television is ‘easy’ and print is ‘tough’: The differential investment of mental effort in learning as a function of perceptions and attributions”, Journal of Educational Psychology, vol. 76, n° 4, 1984, p. 647-658.
Schramm W., Big media, little media, Beverly Hills, CA, Sage Publications, 1977.
Sweller J., Kirschner P. A., Clark R. E., “Why minimally guided teaching techniques do not work”, Journal of Educational Psychology, vol. 43, n° 2, 2007, p. 115-121.
Weiner B., Human motivation: Metaphors, theories and research, Newbury Park, Sage, 1992.
Winn W., “Visualization in learning and instruction”, Educational Communication and Technology Journal, vol. 30, n° 1, 1982, p. 3-25.
