3.3 Etude des effets sur l’apprentissage, sur le développement professionnel et l’institution professionnel et l’institution
3.3.1 Etudes pilotes
3.3.1.1 Étude pilote pour les enseignants
Participants
Le questionnaire, anonyme, en ligne a été administré selon un protocole standardisé. Les consignes de passation sont reprises à la Figure 3.1. 77 enseignants provenant de plusieurs établissements d’enseignement supérieur et universitaire en Europe (Belgique, France, Luxembourg, Suisse) ont répondu à ce questionnaire. Ces enseignants étaient accompagnés par un enquêteur tout le long de la passation du questionnaire. Ce dernier avait comme objectif de recueillir des informations complémentaires quant à la pratique de l’enseignant afin de mieux comprendre les effets mais aussi de s’assurer que le questionnaire était bien compris.
29 Figure 3.1 : consignes de passation du questionnaire en ligne
Questionnaire
Sur la base du cadre théorique décrit à la première section, les chercheurs ont développé un questionnaire comprenant des questions fermées et des échelles de fréquence et d’attitude.
Outre les questions permettant de définir le type de dispositif, ce questionnaire comporte les parties suivantes évaluant :
1. les données sociodémographiques, comprenant 18 questions fermées. Les questions fermées ont été utilisées pour appréhender les facteurs contextuels liés du dispositif hybride à l’enseignant (sexe, institution d’origine, statut professionnel, expérience professionnelle), au cours dispensé (niveau d’études, type de formation, nombre d’étudiants inscrits, durée, charge de travail totale, nombre d’heures d’enseignement assurées en présence, fréquence des cours en présence et à la plateforme utilisée pour le cours.
2. les effets des dispositifs d’enseignement hybrides sur le développement professionnel des enseignants et, plus particulièrement, sur les changements perçus par eux au niveau de leurs pratiques d’enseignement et au niveau de leur engagement professionnel. Cette partie comprend différentes sous parties concernant :
30 a. la perception du cours comme support à l’apprentissage. Cette partie s’attarde
sur les changements que la mise en oeuvre du dispositif aurait induits en matière :
i. de motivation (8 items), ii. d’informations (7 items), iii. d’activités (6 items), iv. d’interactions (6 items) et,
v. de productions (7 items).
b. les effets du cours sur les pratiques de l’enseignant. Cette partie s’attarde sur les modifications que la mise en œuvre de leur cours aurait induites sur :
i. la pratique de l’enseignant (9 items) et,
ii. la réflexion sur leur métier d’enseignant (4 items).
c. les effets de leur cours sur leur engagement en lien avec leurs intentions de départ (5 items) et d’aujourd’hui (4 items) ainsi que leurs intentions d’action (12 item)
d. les effets de leur cours sur leur sentiment d’efficacité personnelle (5 questions) 3. l’accompagnement ou formation techno-pédagogique qu’ils ont reçue (4 questions) 4. l’usage des technologies en ce qui concerne la fréquence (5 items) et l’usage (10 items) 5. la posture professionnelle en tant qu’enseignant (16 items)
6. la perception des technologies comme incitants (5 items) et comme obstacles (10 items).
Résultats des analyses statistiques Analyse descriptive de l’échantillon
L’échantillon pilote est composé de 44% de femmes et de 56% d’hommes. Parmi eux, 48%
travaillent en Suisse, 29% en France, 13% en Belgique et 9% au Luxembourg. 78% ont la fonction d’enseignant, 9% celle d’assistant et 13% ont une autre fonction. Cette autre fonction se réfère à des fonctions telles que chercheur, coordinateur de l'offre de formation ou encore, responsable d'orientation et d'insertion professionnelle.
30% des enseignants ont une expérience professionnelle allant de 11 à 20 ans, 21% de 5 à 10 ans, 17% de 21 à 30 ans, 17% plus de 30 ans et 16% ont une expérience de moins de 5 ans.
57% d’entre eux enseignent au niveau du bachelor, 31% au niveau du master, 10% en formation continue et 1% au niveau doctoral.
Le type de formation dans lequel le cours s'inscrit est explicité dans le Tableau 3.6 ci-dessous.
Nous notons que près d’un quart des participants enseignent la psychologie
Tableau 3.6 : Type de formation dans lequel le cours s'inscrit.
Types de formations %
Psychologie 24.7%
Philosophie 10.4%
Management 6.5%
Sciences humaines 6.5%
Sciences de l'éducation 6.5%
Médecine 6.5%
Géographie humaine 5.2%
Sciences de l'ingénieur et sciences appliquées 3.9%
31
Droit 3.9%
Gestion 3.9%
Sciences politiques 3.9%
Mathématiques 2.6%
Commerce 2.6%
Formation d'enseignants/formateurs 2.6%
Lettres 1.3%
Histoire 1.3%
Sciences naturelles (sciences du vivant, sciences de la Terre, ...) 1.3%
Sciences de l'environnement 1.3%
Sciences de l'information 1.3%
Sociologie 1.3%
Santé publique 1.3%
soins infirmiers 1.3%
Total 100.0%
Plus de la moitié des dispositifs (56%) comprennent entre 11 et 50 étudiants, 21% des dispositifs comprennent entre 51 et 100 étudiants, 14% des dispositifs comprennent plus de 101 étudiants et 9% comprennent moins de 10 étudiants.
La plateforme la plus utilisée par notre échantillon est la plateforme Agrégateur6
Tableau 3.7 (44%) suivie par la plateforme cartable Electronique de Savoie (17%) et Moodle (12%). Le
précise l’utilisation des plateformes. Précisons, que l’utilisation d’une plateforme en particulier ne dépend pas d’un choix individuel/personnel mais bien du choix de de l’université ou l’institution d’appartenance.
Tableau 3.7 : Plateforme utilisée par les enseignants de notre échantillon
Plateforme %
Agrégateur 44.2%
Cartable électronique de
Savoie 16.9%
Moodle 11.7%
Acolad 9.1%
Développement propre 2.6%
Dokeos 1.3%
Autres 14.3%
Total 100.0%
La charge de travail totale attribuée officiellement aux cours en crédits donnés par les enseignants de notre échantillon est de 5 crédits et moins pour 69% des cours, de 6 à 11 crédits pour 22% et plus de 11 crédits pour 9%. 75% des cours sont donnés durant un semestre et 25% en plus d’un semestre.
44% des cours comportent entre 21 et 40 heures d’enseignements assurées en présence, 33%
assurent 20 heures et moins et 33% et 23% assurent plus de 40 heures de cours en présence.
La fréquence à laquelle se déroulent les séances d’enseignement en présence est
• à intervalle régulier, chaque semaine pour 62% (n = 48) des cours ;
• à intervalle régulier, espacées d'au moins 2 semaines pour 14% (n = 11) ;
6 Logiciel permettant de rassembler au même endroit plusieurs applications
32
• une fois au démarrage et une fois en fin de cours pour 4% (n = 3) ;
• une série de séances présentielles suivie d'une phase à distance pour 3% (n = 2).
17% (n = 13) des cours utilisent une autre articulation entre présence et distance que celle que nous venons de citer.
Analyses factorielles
Des analyses factorielles (Analyse en composantes principales avec rotation Varimax), réalisées sur les différentes échelles, ont permis d’extraire une ou plusieurs composantes principales par échelle. Le Tableau 3.8 reprend les différentes échelles évaluées en indiquant les composantes principales extraites ainsi que les valeurs du coefficient alpha de Cronbach calculé pour chacune d’elles.
Tableau 3.8 :Etude pilote, composantes principales extraites des échelles évaluant les effets des dispositifs d’enseignement hybrides.
Echelles Type
d’échelle
Nombre de composante(s)
alphade Cronbach Perception du cours comme support à l'apprentissage :
1. En matière de motivation Degré d’accord 1 0.91
2. En matière d'informations Degré d’accord 2
• Effet sur les compétences développées 0.83
• Effet sur les ressources d'apprentissages 0.67
3. En matière d'activités Degré d’accord 1 0.85
4. En matière d'interactions Degré d’accord 1 0.9
5. En matière de production Degré d’accord 2 0.9
Effets du cours sur les pratiques d'enseignement :
6. Modification de la pratique d’enseignement Degré d’accord 1 0.86
7. Modification de la réflexion sur le métier d'enseignant Degré d’accord 1 0.88 8. Effets du cours sur l’engagement professionnel (les intentions) :
Avant
Degré d’accord 2
• effet engagement intention centre métier 0.59
• effet engagement intention centre institution 0.50
9. Effets du cours sur l’engagement professionnel (les intentions) : Aujourd’hui
Degré d’accord 1
0.78 10. Effets du cours sur l’engagement professionnel (les actions) Degré d’accord 3
• diffuser communiquer 0.88
• aider les collègues 0.79
• se former 0.68
11. Effets de votre cours sur votre sentiment d'efficacité personnelle Degré d’accord 1 0.87
12. Accompagnement ou formation techno-pédagogique Intensité d’effet 0.75
13. Usage des technologies Fréquence 2
• usage social 0.87
• usage prive 0.77
14. Posture professionnelle en tant qu'enseignant Degré d’accord 3 Enseignant centré sur l'enseignement
• composante 1 0.62
• composante 2 0.55
• composante 3 0.5
33
Enseignant centré sur l’étudiant 0.83
15. Perception des technologies : Incitant Degré d’accord 2
• incitant pour l'enseignement 0.66
• incitant pour gagner du temps -
16. Perception des technologies : Obstacles Degré d’accord 3
• obstacle manque d'accompagnement ou de formation 0.78
• obstacle manque de pertinence pour un enseignant 0.62
• obstacle argument de résistance ordinaire 0.5
Analyses de la variance multivariées
Une MANOVA tenant compte des 6 types de dispositifs comme variable indépendante et de l'ensemble des composantes principales extraites (voir tableau 3.8) comme variables dépendantes a mis en évidence des différences significatives (p < 0.05) entre types. Ces différences significatives, présentées dans le tableau 3.9, indiquent quels sont les effets des dispositifs hybrides sur la pratique professionnelle des enseignants selon le type de l’enseignant.
Suite à la MANOVA, les différences entre les pratiques des six types d’enseignants, sont testées avec le test de Tukey. Le test de Tukey nous permet de mettre en évidence quelles sont les paires de groupes pour lesquelles les différences sont significatives à la MANOVA.
Tableau 3.9 : Les effets des dispositifs hybrides sur la pratique professionnelle des enseignants selon leur type.
statistiques Partial Eta Squared Perception du cours comme support à l'apprentissage :
1. En matière de motivation F (6 ,72) = 3.99 ; p < 0.001 0.25
2. En matière d'informations
• Effet sur les compétences développées F (6 ,72) = 3.92 ; p < 0.001 0.25
• Effet sur les ressources d'apprentissages F (6 ,72) = 1.13 ; p > 0.05 0.09
3. En matière d'activités F (6 ,72) = 1.62 ; p < > 0.05 0.12 4. En matière d'interactions F (6 ,72) = 4.44 ; p < 0.001 0.27
5. En matière de production F (6 ,72) = 3.71 ; p < 0.001 0.24
Effets du cours sur les pratiques d'enseignement :
6. Modification de la pratique d’enseignement F (6 ,72) = 4.16 ; p < 0.001 0.26 7. Modification de la réflexion sur le métier d'enseignant F (6 ,72) = 2.4 ; p < 0.04 0.17 8. Effets du cours sur l’engagement professionnel (les
intentions) : Avant
• effet engagement intention centre métier F (6 ,72) = 4.24 ; p < 0.001 0.26
• effet engagement intention centre institution F (6 ,72) = 0.5 ; p > 0.05 0.04 9. Effets du cours sur l’engagement professionnel (les
intentions) : Aujourd’hui
F (6 ,72) = 14.64 ; p < 0.001 0.55
10. Effets du cours sur l’engagement professionnel (les actions)
• diffuser communiquer F (6 ,72) = 2.98 ; p < 0.01 0.2
34
• aider les collègues F (6 ,72) = 3.88 ; p < 0.001 0.24
• se former F (6 ,72) = 1.47 ; p > 0.05 0.11
11. Effets de votre cours sur votre sentiment d'efficacité personnelle
F (6 ,72) = 4.91 ; p < 0.001 0.29
12. Accompagnement ou formation techno-pédagogique F (6 ,72) = 1.61 ; p > 0.05 0.12 13. Usage des technologies
• usage social F (6 ,72) = 1.08 ; p > 0.05 0.08
• usage prive F (6 ,72) = 4.17 ; p < 0.001 0.26
14. Posture professionnelle en tant qu'enseignant Enseignant centré sur l'enseignement
• composante 1 F (6 ,72) = 0.75 ; p > 0.05 0.06
• composante 2 F (6 ,72) = 0.93 ; p > 0.05 0.07
• composante 3 F (6 ,72) = 0.7 ; p > 0.05 0.06
Enseignant centré sur l’étudiant F (6 ,72) = 4.59 ; p < 0.001 0.28 15. Perception des technologies : Incitant
• incitant pour l'enseignement F (6 ,72) = 4.19 ; p < 0.001 0.26
• incitant pour gagner du temps F (6 ,72) = 1.93 ; p > 0.05 0.14 16. Perception des technologies : Obstacles
• obstacle manque d'accompagnement ou de formation F (6 ,72) = 1.73 ; p > 0.05 0.13
• obstacle manque de pertinence pour un enseignant F (6 ,72) = 1.23 ; p > 0.05 0.09
• obstacle argument de résistance ordinaire F (6 ,72) = 0.85 ; p > 0.05 0.07
L’intérêt de ces différentes analyses réside dans la procédure mise en place et surtout de s’assurer que le recueil des données nous permette de mesurer quantitativement les effets de l’utilisation des dispositifs hybrides sur l’enseignement.
Entretiens complémentaires
Simultanément au questionnaire en ligne7
• des questions complémentaires relatives au questionnaire : précisions sur le choix du cours, sur la plateforme utilisée, sur l’effet d’un éventuel accompagnement/formation pour utiliser la plateforme, ...
, l’enquêteur/accompagnant a interrogé les enseignants de manière à préciser certains aspects de leurs pratiques professionnelles et à valider le questionnaire. Ces précisions ou questions complémentaires se réfèrent à :
• un recueil des commentaires spontanés sur le questionnaire. Ces commentaires se réfèrent
o à la forme du questionnaire : lisibilité, compréhension, longueur du questionnaire, présentation, ...
o au contenu du questionnaire : pertinence de certains items, précisions sur le choix de certaines réponses, ...
7Les questionnaires enseignants et étudiants sont disponibles en version pdf sur le site Publications.
35
• des questions complémentaires sur les impacts du dispositif au niveau institutionnel A. Quel est selon vous le projet, l’intention de l’institution quant au développement
de ces dispositifs ?
B. De quelles mesures de soutien avez-vous bénéficié dans votre institution pour développer et mettre en œuvre votre dispositif ? Quelles sont selon vous les mesures de soutien les plus efficaces ?
C. Quels effets avez-vous pu observer de la mise en place de ces dispositifs au niveau institutionnel (par ex en termes de mobilité des enseignants et des
étudiants ? ouverture des dispositifs à de nouveaux publics, collaboration intra ou interinstitutionnelle)
D. Quid de l’intégration de ces dispositifs dans la gestion qualité – évaluation des enseignements (AERS) ? Critères spécifiques pour les évaluer ?
E. Comment ces dispositifs sont implantés dans l’institution par rapport aux
dispositifs plus traditionnels d’un point de vue organisationnel et pédagogique ? Quels impacts sur l’organisationnel ?
F. Comment est valorisé votre travail de développement de dispositif dans votre institution ? (publication institutionnelle, promotion, etc.) ?
• des questions complémentaires de bilan sur l’utilisation du dispositif : points positifs de son utilisation, points négatifs, changements de postures, changements de pratiques, des feed-back des étudiants sur l’usage de ce dispositif, ...
A. Si vous deviez retenir les principaux points positifs de cette expérience ? (ex : souplesse, richesse des échanges, gain de temps, améliorations, ?)
B. Si vous deviez retenir les principaux points négatifs de cette expérience ? (ex : surcharge, difficultés techniques, etc.?)
C. Plus généralement, qu?est-ce que vous avez tiré de cette expérience ? quelles en sont les principales conséquences (à titre personnel, professionnel ? essayer de repérer les changements de postures, les changements de pratiques)
D. Avez-vous eu des feed-back de vos étudiants sur l’usage de ce dispositif ? lesquels ?
L’analyse de ces entretiens a été réalisée avec le logiciel ATLAS TI version 6.2. L’analyse catégorielle a été réalisée selon un modèle mixte par chacun des trois groupes de chercheurs intéressés par l’analyse des effets sur le développement professionnel des enseignants (1), l’apprentissage des étudiants (2) et l’analyse des relations avec les conditions organisationnelles (3). Ainsi, des pré-catégories ont été définies sur la base des variables prises en compte pour analyser les effets des dispositifs hybrides (voir Figure 2.3 de l’introduction) et complétées par de nouvelles catégories induites des retranscriptions (voir catégories définies et illustrées en annexes 14.4, 14.5 et 14.6). Les chercheurs ont exploité ces analyses qualitatives dans leurs analyses et interprétations des analyses statistiques des effets (voir chapitres 6 et 7).Le groupe de chercheurs ayant en charge la description de la typologie a également exploité ces entretiens complémentaires pour affiner ses descriptions et proposer des vignettes par type (chapitre 4).
Des données ont également été exploitées pour la question relative aux conditions institutionnelles (chapitre 8). Enfin certaines questions du questionnaire ont pu être reformulées pour le questionnaire de l’étude large (voir point 3.2.2.2).
36 3.3.1.2 Étude pilote pour les étudiants
Echantillon
Un questionnaire en ligne a été administré selon un protocole standardisé. 352 étudiants provenant de plusieurs établissements d’enseignement supérieur et universitaire en Europe (Belgique, France, Luxembourg, Suisse) ont répondu à ce questionnaire. Le tableau ci-dessous fournit les informations concernant le nombre moyen d’elève, par institution et par enseignants, qui ont répondu au questionnaire.
Tableau 3.10: Nombre moyen d’elève, par institution et par enseignants, qui ont répondu au questionnaire
Pays Nombre
d’enseignants par institution
Moyenne (± SD) des élèves par enseignant
Nombre min d’élèves par enseignant
Nombre max d’élèves par enseignant
Belgique 6 23.2 (± 14.5) 5 52
France 10 8.2 (± 12.3) 1 44
Suisse 11 6.5 (± 4.4) 1 16
Luxembourg 4 2.3 (± 1.3) 1 4
Total 31 9.7 (± 12) 1 52
Questionnaire
Le questionnaire comporte les différentes parties suivantes évaluant :
1. les données sociodémographiques, comprenant 9 questions fermées et 1 ouverte. Les questions sont utilisées pour appréhender les facteurs contextuels liés du dispositif hybride à l’étudiant (sexe, âge, pays de l’institution, cours suivi), au profil du cours et à l’état d’esprit de l’étudiant au démarrage du cours.
2. les effets des dispositifs d’enseignement hybrides. Cette partie comprend différentes sous-parties concernant :
a. la perception du cours comme support à l’apprentissage. Cette partie s’attarde sur les changements que la pratique du dispositif aurait induits en matière :
i. de motivation (9 items), ii. d’informations (5 items), iii. d’activités (7 items),
iv. d’interactions (6 items) et, v. de productions (7 items).
b. les effets de leur cours sur leur sentiment d’efficacité personnelle (10 items) 3. l’usage des technologies (9 items)
4. l’approche d’apprentissage (20 items)
5. leur perception des technologies comme incitants (5 items) et comme obstacles (10 items).
Analyses statistiques
Analyse descriptive de l’échantillon
L’échantillon étudiant pilote est composé de 66% de femmes et 44% d’hommes. Il est âgé en moyenne de 22 (± 5.6) ans avec un minimum de 18 ans et un maximum de 52 ans.
Parmi eux, 86% ne se considèrent pas comme un adulte en reprise d’étude. 53% étudient en Belgique, 24% en France, 20% en Suisse et 2.6% au Luxembourg.
37 En ce qui concerne le profil du cours, il semblerait que les étudiants estiment qu’ils consacrent 3.8 (± 5.4) heures à leurs cours pour les activités A DISTANCE, avec un minimum de 0 heure et un maximum de 48 heures. Par rapport aux autres cours (qui n'utilisent pas de plateforme ou les technologies), ce cours demande :
• une quantité de travail équivalente selon 44% (n = 154) des étudiants,
• plus de travail selon 32% (n = 111) des étudiants et
• moins de travail selon 24% (n = 82) des étudiants.
Le cours est obligatoire pour 86% (n = 297) des étudiants. Pour les 14% (n = 50) restant, ce cours était en option. Les raisons que ces derniers invoquent pour le choix de ce cours sont (ils pouvaient choisir plusieurs possibilités) :
1. La thématique du cours les intéressait (n = 43)
2. Ce cours les intéressait pour leur devenir professionnel (n = 21)
3. Ils étaient intéressés par le fait qu'une partie du cours se passe à distance (n = 8) 4. Ce cours était bien réputé (n = 4)
5. Ils étaient attirés par la facilité du cours (n = 2)
Le questionnaire comprenait trois questions interrogeant les étudiants sur leur état d’esprit au début du cours. le Tableau 3.11 décrit ces état d’esprits ainsi que la répartition des étudiants selon les modalités de réponses.
Tableau 3.11 : Etat d’esprit des étudiants au début du cours
Etat d’esprit au début du cours
Totalement désaccord en
Plutôt en
désaccord Plutôt en
accord Totalement en accord
% % % %
Je me sentais bien informé sur le
déroulement du cours 6.0% 15.9% 47.5% 30.6%
J'ai l'habitude de participer à ce
type de cours (hybride) 23.3% 21.9% 36.2% 18.6%
Il me plaît de participer à ce type
de cours (hybride 9.0% 17.3% 50.8% 22.9%
Analyses factorielles
Des analyses factorielles (Analyse en composantes principales avec rotation Varimax), réalisées sur les différentes échelles, ont permis d’extraire différentes composantes principales. Le Tableau 3.12 reprend les différentes échelles évaluées en indiquant les composantes principales extraites ainsi que les valeurs du coefficient alpha de Cronbach calculé pour chacune d’elles.
38 Tableau 3.12 : composantes principales extraites des échelles évaluant les effets, pour les étudiants, des
dispositifs d’enseignement hybrides.
Type d’échelle Nombre de
composante(s) alpha Perception du cours comme support à l'apprentissage :
1. En matière de motivation Degré d’accord 2
• effet sur la motivation 0.82
• effet sur la motivation - perspective socio professionnelle 0.84
2. En matière d'informations Degré d’accord 2 0.65
3. En matière d'activités Degré d’accord 1 0.85
4. En matière d'interactions Degré d’accord 1 0.82
5. En matière de production Degré d’accord 1 0.88
6. Effets de votre cours sur votre sentiment d'efficacité personnelle Degré d’accord 1 0.93
7. Usage des technologies Fréquence 3
• usage social : réseau 0.89
• usage social : publication 0.78
• usage prive 0.44
8. L’approche d’apprentissage Degré d’accord
Approche en profondeur 2
• approche en profondeur, stratégie 0.69
• approche en profondeur, motivation 0.69
Approche de surface 2
• approche de surface motivation 0.74
• approche de surface stratégie 0.42
9. Perception des technologies : Incitant Degré d’accord 1 0.75
10. Perception des technologies : Obstacles Degré d’accord 3
• obstacle manque d'accompagnement ou de formation 0.76
• obstacle manque de pertinence pour un étudiant 0.69
• obstacle manque de moyen mis à disposition et de temps 0.43
Analyses multivariées
En considérant le type de l’enseignant et en l’attribuant à son étudiant, nous avons effectué une MANOVA tenant compte des 6 types de dispositifs comme variable indépendante et de l'ensemble des différents effets (voir analyse factorielle, Tableau 3.12) sur ces dispositifs comme variables dépendantes. Suite à la MANOVA, les différences entre les pratiques des six groupes/typologies, ont été testées avec le test de Tukey.
Tout comme l’étude pilote enseignant, l’intérêt de cette étude réside aussi dans la procédure mise en place et surtout de s’assurer que le recueil des données nous permette de mesurer quantitativement les effets de l’utilisation des dispositifs hybrides sur l’étudiant. Les résultats des analyses seront donc, présentés dans les chapitres et sections suivants.