L’évaluation, repérage de quelques éléments

Il ressort de l’analyse des monographies que l’évaluation porte sur trois dimensions : l’adoption, la participation et les retombées. Nous préciserons quels sont les critères quantitatifs et qualitatifs repérés ainsi que les facteurs semblant jouer un rôle pour chacune.

4.1.1.1. L’adoption

Nous définirons l’adoption comme l’engagement (ou l’adhésion ou l’implication) des acteurs dans les environnements, les activités ou les apprentissages. Le contexte doit évidemment être pris en compte. L’adoption n’a pas le même sens lorsqu’il s’agit pour un enseignant d’adhérer volontairement à une communauté de pratique/d’intérêt et pour un formateur de participer aux échanges d’une communauté d’apprentissage, partie intégrante de son travail.

• Les critères d’évaluation de l’adoption

Dans le cas des communautés de pratique/d’intérêt, cette adoption est le plus souvent évaluée de manière quantitative. Il s’agit d’évaluer principalement l’environnement et plus encore l’usage du dispositif technique. Ainsi, les critères utilisés sont-ils ceux du nombre d’inscrits à une liste de diffusion. Des taux d’adoption, définis comme le ratio entre les enseignants abonnés et les enseignants potentiellement concernés par la liste de diffusion professionnelle, sont calculés. Un autre critère est l’évolution du nombre d’inscrits.

Le « succès » de la liste se mesure aussi par la présence de participants périphériques représentant la hiérarchie ou des membres d’associations professionnelles ou d’autres professionnels concernés par les échanges (le monde de l’édition par exemple), considérés comme une reconnaissance, parfois institutionnelle, de l’intérêt de l’activité de cette liste. Lorsque la liste est couplée à un site web, un critère pris en compte est celui de la progression des visites sur celui-ci.

Dans le cas des communautés d’apprentissage, l’adoption est évaluée en fonction d’objectifs liés aux apprentissages et aux activités de manière davantage qualitative que quantitative. Elle reflète parfois l’écart entre les usages prévus et les usages réels.

Ainsi, lorsque le dispositif prévoit des espaces de travail dédiés à certains types d’échanges, les résultats obtenus ne sont pas nécessairement ceux attendus. Dans un des cas cités, CRACTIC, des espaces locaux de collaboration ont été conçus pour permettre aux enseignants-pairés d’échanger mais étaient accessibles à toutes les équipes de travail. Dans la pratique, aucun de ces espaces n’a fait l’objet d’échanges de la part d’enseignant extérieur à l’équipe, ils ont été principalement utilisés pour la gestion et la régulation des activités avec les élèves par les enseignants concernés. De plus, un espace global devait recevoir, dans l’esprit des instigateurs de ce dispositif, des échanges de nature logistique et réflexive, permettant ainsi à la communauté d’assumer en parallèle ses rôles de régulateur des projets de classe et de « co-constructeurs des connaissances et des compétences pour les enseignants ». L’évaluation des échanges montre cependant que, dans ce cas précis, cette dimension réflexive s’est plutôt réalisée à l’extérieur du dispositif virtuel. Autrement dit, l’adoption par les enseignants des espaces mis à leur disposition a été autre que celle prévue à l’origine. Cependant, ce constat n’est pas généralisable à l’ensemble des monographies présentées, comme le montre l’exemple de Learn-Nett, où cette dimension réflexive est plus fortement présente.

• Les facteurs favorisant l’adoption

Les monographies révèlent un certain nombre de facteurs ayant une influence sur l’adoption. Dans le cas de listes professionnelles créées à l’initiative de l’institution, on note l’importance de l’information et de l’adhésion de l’ensemble de la hiérarchie pour favoriser le démarrage. Chacun doit avoir une bonne connaissance du dispositif technique mais surtout des enjeux pédagogiques et professionnels pour être un élément moteur de la diffusion de cette innovation parmi les enseignants.

On constate que le sentiment d’appartenance à un groupe favorise l’investissement personnel dans les activités et les apprentissages au sein des communautés. Ce sentiment peut être renforcé par des rencontres en présentiel, que ce soit dans le cadre des communautés d’apprentissage ou des communautés de pratique/d’intérêt. Dans ce dernier cas, l’obligation faite parfois aux postulants à l’abonnement d’exprimer les motivations de leur démarche contribue probablement au sentiment d’intégrer un groupe.

4.1.1.2. La participation

Nous définirons la participation comme le simple fait de déposer un message dans un forum, un document dans un espace d’échanges, de prendre part aux activités proposées, etc. Nous différencions ainsi les apprenants passifs, qui adoptent l’environnement, des apprenants actifs, qui adoptent et participent activement aux activités.

• Critères d’évaluation de la participation

Quel que soit l’environnement (communautés de pratique/d’intérêt, communautés d’apprentissage), les critères d’évaluation de la participation sont de deux ordres : quantitatifs et qualitatifs.

Parmi les critères quantitatifs, le plus usité est celui du nombre de messages et de son évolution dans le temps, comme étant un indicateur intrinsèque de l’activité. On peut affiner cette première mesure en s’intéressant à la répartition des messages dans le temps ou bien par auteur. Dans ce dernier cas on définit un taux de participation comme le rapport entre le nombre d’abonnés-formés- formateurs participant et le nombre total d’abonnés-formés-formateurs. Le constat est que la participation est généralement faible, d’autant plus si l’on tient compte de la concentration de la participation, c’est-à-dire du nombre d’auteurs différents émettant des messages. La participation active s’avère alors encore plus faible, particulièrement dans le contexte des communautés de pratique/d’intérêt. Ce constat est à nuancer dans le cas des communautés d’apprentissage. Pour certaines, il est vérifié, pour d’autres la participation active est jugée satisfaisante.

Au-delà de cette dimension comptable, l’évaluation de la participation s’intéresse aux usages des différents outils proposés, certains étant plus prisés que d’autres. La convivialité de l’outil et des échanges est évoquée pour l’expliquer. Enfin, les fils de discussion sont analysés, fils qui s’avèrent la plupart du temps très courts en termes de tour de parole.

• Facteurs favorisant ou freinant la participation

Dans le cas des communautés de pratique/d’intérêt le choix du type d’animation semble avoir un impact sur la participation par la sélection opérée sur les messages. La place du modérateur semble avoir un rôle important, sans qu’il y ait pourtant accord normatif sur celle-ci : très présent ou au contraire le plus discret possible.

Les messages doivent être de « qualité » tant par leur contenu que par leur adéquation avec les objectifs de la liste. La qualité des auteurs des messages est également prise en compte par les participants, les spécialistes semblant avoir dans certains cas une meilleure audience que les généralistes. Cependant, et c’est là une limite de cet outil de communication, les messages de « qualité » se caractérisent pour certains par leur longueur, signe d’un débat riche et non superficiel, mais cette même longueur est jugée inadaptée au mode de communication choisi.

Un nombre élevé de messages par jour peut être considéré comme un frein à la participation, sans qu’une limite absolue puisse véritablement être définie, celle-ci étant probablement variable d’un individu à l’autre. De « trop nombreux » messages peuvent devenir difficile à gérer, à traiter et ainsi décourager la participation. La question de l’utilisabilité des outils est ainsi posée, ainsi que celles des compétences nécessaires pour utiliser efficacement les médias proposés (dépouiller les messages, les trier, etc.). Mais ces compétences techniques ne sont pas les seules à être requises : des enseignants abonnés à une liste professionnelle soulignent la nécessité d’une aisance particulière dans leur champ professionnel pour oser prendre la parole devant leurs pairs. Est également requise une aisance dans la communication via ces médias, avec le besoin d’une phase d’observation pour connaître la tonalité des échanges, les modes d’interaction, le style employé, etc.

Dans le cas des communautés d’apprentissage, on retrouve également les facteurs concernant le rythme et le nombre des messages. Mais s’y ajoutent ceux concernant plus spécifiquement les activités et les apprentissages au sein de ces communautés. Ainsi le rôle des consignes de travail est souligné, soit parce qu’elles favorisent la participation (discussion sur le choix du thème de travail, constitution libre des groupes de travail impliquant davantage les apprenants approche collaborative, par exemple) et partant l’apprentissage (par la collaboration entre étudiants, l’encadrement par des tuteurs et des animateurs, les opportunités aménagées pour réfléchir à ses propres apprentissages, etc.),

soit parce qu’elles semblent la freiner (imposition d’un thème de travail, absence de sentiment d’appartenance au groupe, etc.).

Pour favoriser l’ancrage des discussions en réseau dans la pratique locale, mieux répondre aux besoins des participants, les activités ont parfois un accès limité. C’est également vrai pour certaines communautés de pratique/d’intérêt (archives privées, adhésion via la cooptation par des pairs, par l’approbation du modérateur, etc.).

Finalement, la participation, tout comme l’adoption, résulte des opportunités pour chacun d’accomplir ses propres objectifs (apprentissages, échanges, etc.).

La troisième dimension de l’évaluation relevée dans les monographies est celle des retombées de ces environnements, activités et apprentissages.

4.1.1.3. Les retombées

Les retombées signalées dans les monographies sont davantage espérées, attendues et souhaitées que réelles et/ou mesurées. Toutefois, lorsqu’elles existent, elles ont fait l’objet d’une évaluation.

Parmi les retombées espérées des communautés de pratique/d’intérêt de notre échantillon, sont cités comme des objectifs professionnels et institutionnels le soutien et la diffusion de l’innovation pédagogique, la qualité des débats. La volonté de fonder une communauté est également souhaitée. Cependant, le plus souvent le constat est l’impossibilité de mesurer l’impact des échanges sur les pratiques des enseignants et plus généralement l’impossibilité d’évaluer des objectifs très (trop) généraux.

Les objectifs attendus des communautés d’apprentissage sont liés à leur objet même : développer la pratique pédagogique au sein de la classe en réseau, faire vivre aux futurs enseignants une expérience d’apprentissage à distance et collaboratif, soutenir des enseignants dans la réalisation d’activités intégrant une approche pédagogique socioconstructiviste, etc. Les communautés d’apprentissage se donnent davantage les moyens d’évaluer leurs retombées que les communautés de pratique/d’intérêt, dont l’objet par définition est peut-être moins finalisé.

L’évaluation peut être de nature diverse : évaluation continue en soumettant les activités à des analyses réflexives, évaluation des usages des différents outils mis à disposition, évaluation des productions, évaluation de nature qualitative/descriptive visant à identifier des pratiques et des facteurs, identification des types d’impacts : apprentissages technologique, de communication, de collaboration, du métier et de développement professionnel, etc.

Les analyses réflexives peuvent prendre plusieurs formes : tenue d’un carnet de bord par les apprenants, présentation devant les pairs, les experts, etc. Elles peuvent également être un échec au sens où elles ont été souhaitées par les concepteurs des dispositifs mais ne pas avoir été menées par les participants, en tous les cas pas sous la forme attendue.

Les retombées peuvent également s’apprécier par les activités de dissémination : les productions tant de la communauté d’apprentissage que de la communauté de pratique/d’intérêt (formateurs, enseignants, chercheurs, etc.). La diffusion des pratiques est rendue plus facile par la constitution de réseaux avec des partenaires tels des universités, des écoles associées, etc. Certaines démarches aboutissent à une modélisation des facteurs affectant l’implantation et l’efficience des environnements (voir le point 3.5.).

Cette analyse de l’évaluation perçue au prisme des monographies appelle quelques commentaires et réflexions.