Validation de l’outil d’autopositionnement Participants

3.2.2 Validation de la typologie et mise au point d’un outil d’autopositionnement Le but de cette nouvelle recherche est, d’une part, de valider la typologie mise en évidence lors

3.2.2.2 Validation de l’outil d’autopositionnement Participants

77 enseignants provenant de six universités européennes (Belgique, France, Luxembourg, Suisse) ont répondu au questionnaire en ligne administré selon un protocole standardisé.

Questionnaire

Comme il a été précisé, le questionnaire décrit ci-dessus (dont la version complète se trouve dans l’annexe 14.5), comprenait différentes parties. Pour la validation de l’outil d’autopositionnement, nous avons comparé les résultats provenant de deux séries de questions.

Le questionnaire en ligne comprenait :

1. une version abrégée du questionnaire utilisé lors de la première étude. Ce questionnaire comprenait 60 questions qui nous ont permis de mettre en évidence les 14 composantes nécessaires à déterminer la typologie de l’enseignant. ces questions évaluent :

a. l'articulation présence-distance (11 questions),

b. les usages des outils et de la plate-forme (24 questions), c. les objectifs pédagogiques (5 question),

d. l'accompagnement que les enseignants proposent aux étudiants (20 questions), e. l'ouverture du cours (10 questions).

2. une série de 14 questions constituées à partir des 14 composantes déterminées lors de la première étude.

a. l'articulation présence-distance (2 questions),

b. usages des outils et de la plate-forme (6 questions), c. les objectifs pédagogiques (1 question),

d. l'accompagnement que les enseignants proposent aux étudiants (3 questions), e. l'ouverture du cours (2 questions).

24 Analyses statistiques

Une analyse discriminante basée sur la série de 14 questions nous permettra de déterminer un type d’enseignement et une corrélation de Pearson nous permettra de déterminer le lien entre les deux séries de questions.

Résultats

L’analyse discriminante est utilisée pour expliquer et prédire l’appartenance d’un enseignement à plusieurs classes (typologie), sur la base des réponses aux 14 questions-composantes.

Le tableau de classification qui permet de calculer un pourcentage d’observations bien classées a déterminé 83.5% d’enseignements correctement positionnés par rapport à l’une des six configurations de dispositifs.

Plusieurs corrélations ont été effectuées entre chacune des composantes provenant du questionnaire à 60 questions et du questionnaire à 14 questions. De plus une corrélation a été effectuée entre la typologie issue du questionnaire à 60 questions et celle issue du questionnaire à 14 questions. Chaque corrélation testée est significative avec un r allant de 0.38 à 1 (voir Tableau 3.4).

Tableau 3.4 : Coefficients de corrélation de Pearson entre les 14 composantes calculées à partir du questionnaire comprenant 60 questions et les 14 composantes/questions provenant du questionnaire réduit

r de Pearson

Articulation P/D

Comp 1 – Participation active des étudiants en présence 0.42 **

Comp 2 - Participation active des étudiants à distance 0.41 **

Médiatisation

Comp 3 – Mise à disposition d’outils d’aide à l’apprentissage 0.38 **

Comp 4 – Mise à disposition d’outils de gestion, de communication et d’interaction 0.69 **

Comp 5 – Ressources sous forme multimédias 0.74 **

Comp 6 – Travaux sous forme multimédias 0.65 **

Comp 7 – Outils de communication synchrone et de collaboration utilisés 0.99 **

Comp 8 – Possibilité de commentaire et d'annotation des documents par les étudiants 1 **

Médiation

Comp 9 – Objectifs réflexifs et relationnels 1 **

Accompagnement

Comp 10 – Accompagnement méthodologique par les enseignants 1 **

Comp 11 – Accompagnement métacognitif par les enseignants 1 **

Comp 12 – Accompagnement par les étudiants 1 **

Ouverture

Comp 13 – Choix de liberté des méthodes pédagogiques 1 **

Comp 14 – Recours aux ressources et acteurs externes 1 **

Typologie

Corrélation entre la typologie issue du questionnaire 60 questions et celle du

questionnaire 14 questions 0.8 **

25 Remarque : identification d’une erreur dans le questionnaire à 14 questions (étude 2 et outil d’autopositionnement)

Lors de l’atelier réalisé en mai 2012 dans le cadre de l’AIPU (cf point 9 du rapport), nous avons utilisé la première version de l’outil d’auto positionnement. Nous nous sommes alors rendu compte à l’usage que notre outil pouvait être amélioré afin de rendre pus lisibles certains des items correspondant aux 14 composantes permettant d’analyser un cours hybrides et de prendre connaissance du type de dispositif auquel il se rapproche le plus (parmi les 6 types identifiés dans la recherche)

Cette expérimentation de l’outil d’autopositionnement a également été l’occasion pour nous de remarquer une erreur pour la prise en compte des composantes 10 (accompagnement méthodologique) et 12 (accompagnement étudiant). En effet, deux items ont été repris dans le questionnaire de l’étude 2 pour interroger l’accompagnement étudiant (composante 12) alors qu’aucune question n’interrogeait l’accompagnement méthodologique (composante 10). Nous interrogions donc la composante accompagnement méthodologique avec un des deux items portant sur l'accompagnement étudiant.

Lors d’une réunion à Louvain-la-Neuve le 7 juin 2012 pour rédiger les vignettes de formation sous forme de carte conceptuelle pour la version 2 de l’outil, nous avons pris la décision de corriger cet item et d’apporter quelques améliorations de rédaction sur certains autres items pour :

- Faire correspondre les items aux composantes et permettre une meilleure identification des types à travers l’outil ;

- Recueillir des données plus fidèles à notre recherche dans une perspective future de prolongement de la recherche (puisque la nouvelle version permet une sauvegarde des données) ;

- Faciliter la compréhension de certains items par les enseignants dans leur utilisation de l’outil.

Les modifications effectuées sont détaillées dans le Tableau 3.5.

Tableau 3.5 : Modifications des items des composantes entre version 1 et 2 de l’outil d’autopositionnement

Composante Item du questionnaire dans la version

1 de l’outil Item du questionnaire dans la version 2 de l’outil

act_pre1 comp1

Vous proposez des activités de groupe lors des phases d'enseignement EN PRESENCE (dans la salle de cours)

Vous proposez des activités lors des phases d'enseignement A DISTANCE (en dehors de la salle de cours)

act_dis1 comp2

Vous proposez des activités de groupe lors des phases d'enseignement A DISTANCE (en dehors des salles de cours)

Vous proposez des activités lors des phases d'enseignement EN PRESENCE (dans la salle de cours)

out_dis1 comp3

Vous proposez aux étudiants un ou plusieurs outils pour produire des travaux (wiki, éditeur de carte conceptuelle, blog, carnet de bord...)

out_dis2 comp4

Vous proposez aux étudiants un ou plusieurs outils de communication, d’organisation et de collaboration (calendrier, échéancier, forum, etc.)

26 res_mult comp5

Dans les ressources numériques que vous proposez, vous intégrez des images, photos, schémas, cartes, vidéos etc.

tra_mult comp6

Dans leurs travaux, les étudiants intègrent des images, photos, schémas, cartes, vidéos etc.

out_uti1 comp7

Vous utilisez des outils de communication et de collaboration SYNCHRONES (chat, visioconférence, partage de documents et d’écran, etc.)

com_ann comp8

Les étudiants peuvent commenter/modifier les ressources/documents mis à leur

disposition et/ou les travaux de leurs pairs

Les étudiants peuvent commenter/modifier les ressources/documents mis à leur

disposition et/ou les travaux de leurs pairs

obj_att1 comp9

Votre cours vise des objectifs d'apprentissage de type communiquer, collaborer, mieux se connaître

Votre cours vise à ce que les étudiants apprennent à communiquer, à collaborer et à mieux

connaitre leurs processus d’apprentissage

acc_meth comp10

Vous stimulez l'entraide et le soutien des étudiants entre eux (répondre aux questions des autres, fournir des ressources d'apprentissage aux autres...)

Vous apportez un soutien

méthodologique (aide à l'organisation, à la gestion du

temps, aux méthodes de travail) acc_meta comp11

Vous sollicitez une réflexion des étudiants sur leur savoir et leur processus d'apprentissage

acc_etu comp12

Les étudiants fournissent des ressources à leurs pairs et/ou répondent aux questions de leurs pairs

Vous stimulez l'entraide et le soutien des étudiants entre eux (répondre aux questions des autres, fournir des ressources d'apprentissage aux autres...)

lib_cho1 comp13

Votre cours laisse aux étudiants des possibilités de choix au niveau des activités d'apprentissages, des médias et outils à utiliser, des méthodes, etc.

reac_ext comp14

Vous faites intervenir dans votre cours des experts extérieurs à l'université ou des ressources extérieures au monde académique

Vous faites intervenir dans votre cours des ressources ou des experts extérieurs

Ces modifications, intervenant en fin de projet, ont entrainé quelques difficultés pour l’implémentation de l’outil.

En effet, dans sa deuxième version, l’outil d’auto positionnement propose à l’enseignant qui souhaite identifier son dispositif d’enseignement hybride, d’afficher les radars moyens des 14 composantes de l’étude 2 (pilote +large) pour comparer ses propres réponses aux réponses moyennes du type auquel son dispositif ressemble le plus.

Or l’étude 2 (pilote+large) incluait les mêmes items que ceux de la version 1 de l’outil d’autopositionnement.

Ayant rectifié dans l’outil l’item de la composante 10 (initialement « Vous stimulez l'entraide et le soutien des étudiants entre eux (répondre aux questions des autres, fournir des ressources d'apprentissage aux autres...) » ) par l’item « Vous apportez un soutien méthodologique (aide

27 à l'organisation, à la gestion du temps, aux méthodes de travail) » questionnant l’accompagnement méthodologique, et n’ayant pas questionné correctement dans l’étude 2 (pilote+large) l’accompagnement méthodologique, nous ne disposions pas de valeur de référence pour les réponses moyennes des répondants à afficher pour la composante 10 dans l’outil. Nous disposons donc de toutes les valeurs des répondants pour toutes les composantes sauf pour la composante 10, accompagnement méthodologique.

Nous ne sommes donc pas en mesure de proposer de valeur à la composante 10 dans les radars de référence proposés à l’enseignant dans l’outil d’auto positionnement. Nous mentionnons cette absence dans l’outil par la note « En raison d’une erreur qui s’est glissée dans la recherche (interrogation de la composante méthodologique avec un item portant sur l’accompagnement par les pairs), nous n’avons pas de valeur de référence qui vous permette de vous situer sur la composante « Accompagnement par les étudiants » par rapport à notre étude. La validité de l’algorithme de calcul a été vérifiée et garantit l’exactitude des résultats sur les autres composantes. Voir plus de détails dans le rapport» afin que les utilisateurs ne soient pas surpris.

Conclusion

Malgré l’erreur décrite, les résultats présentés dans cette section indiquent qu’il nous est possible de caractériser un type d’enseignement en utilisant un seul questionnaire comprenant 14 questions/composantes.

Puisque les corrélations entre les 14 composantes calculées à partir du questionnaire comprenant 60 questions et les 14 composantes/questions provenant du questionnaire réduit sont satisfaisantes à très satisfaisantes (voir Tableau 3.4), il nous est possible de poursuivre notre recherche en utilisant le questionnaire réduit et corrigé.

Ce questionnaire réduit (14 questions constituées à partir des 14 composantes déterminées lors de la première étude) représente un outil d’autopositionnement permettant aisément à chaque enseignant de se positionner parmi les six types déterminés (pour plus de détail sur l’utilisation de cet outil, voir point 9.1.2.2).

3.3 Etude des effets sur l’apprentissage, sur le développement

Dans le document Dispositifs hybrides, nouvelle perspective pour une pédagogie renouvelée de l'enseignement supérieur. Rapport final (Page 24-28)