3. Quelle utilisation du logiciel Orthodidacte par les étudiants ?
3.2 Le test d’auto-évaluation : un outil efficace mais peu gratifiant
Le test d’auto-évaluation est composé de 200 questions16 sous la forme d’un questionnaire à choix multiple que l’usager doit terminer dans un temps imparti. Pour chaque question, une ou
16Chaque question dispose d’un temps limité de réponse, avec la possibilité de faire une pause entre deux questions « le temps total passé sur l’évaluation n’a pas d’importance. Ce n’est pas une course : le but est d’aller aussi loin que possible dans l’évaluation en utilisant le temps imparti pour chaque question. » (Orthodidacte.com, 2012).
NR Non
plusieurs réponses sont possibles. L’utilisateur a également la possibilité de cliquer sur ‘je ne sais pas’, ce qui lui permet de ne pas perdre de points en cas de mauvaise réponse.
A la fin de l’évaluation, le logiciel attribue un niveau (débutant, intermédiaire, avancé ou expert) et une note sur 20. Le score de chaque thématique est également commenté dans un rapport détaillé (cf. annexe 9), ce qui permet à l’utilisateur de bénéficier d’une vision précise de son évaluation.
Le niveau des étudiants de licence, selon le logiciel Orthodidacte
52 % des étudiants ont retenu le niveau que le logiciel leur avait attribué lors du premier test qu’ils ont effectué et ont pu le restituer dans notre enquête. Les réponses des étudiants montrent que les trois premiers niveaux sont représentés, avec néanmoins une majorité de débutants :
16- Niveau attribué lors du 1er test d’auto-évaluation
En revanche, 35% des étudiants n’ont pas retenu le niveau attribué par le logiciel, mais une note : - des notes sur 10 : 7 - 7,5
- des notes sur 20 : 6 - 7,5 – 8 - 11,43 – 13
Certains étudiants qui ne se souvenaient ni de leur note, ni de leur niveau, ont fait des commentaires du type : « mauvais », « le plus bas », « note inférieure à 10 ».
Niveau avancé 25% Niveau débutant 42% Niveau intermédiaire 33%
note dans un niveau débutant. Par ailleurs, certains étudiants ont réussi à décrocher un niveau avancé mais avec des notes parfois catastrophiques (3/20 par exemple), ce qui n’est pas stimulant.
Les réponses fournies par les étudiants sur la question du niveau attribué par le logiciel nous paraissent importantes car elles témoignent de deux éléments :
- Il semble exister chez les étudiants une confusion concernant le fonctionnement du système de notation du logiciel.
- Cette confusion focalise l’attention de certains étudiants sur leur note, ce qui n’est pédagogiquement pas acceptable, surtout chez un public en difficultés. La note renvoie au parcours scolaire de ces étudiants, qui dans le domaine de la langue, a été marqué par l’échec. Nous estimons davantage formateur de chercher à redonner confiance à ce public avant de le stigmatiser de nouveau avec de mauvais résultats.
L’impact du score attribué par le logiciel lors de la 1ère connexion
Pour comprendre pourquoi certains étudiants n’ont pas continué à utiliser le logiciel après avoir fait le test d’auto-évaluation, nous nous sommes demandé si le niveau ou le score attribué par le test d’auto-évaluation avait pu jouer un rôle :
L’impact de l’inéquation entre le résultat estimé et le résultat attribué par le logiciel
Dans un premier temps, nous sommes partis de l’hypothèse que les étudiants n’ont pas continué à utiliser le logiciel parce qu’ils avaient été déçus ou découragés lors de leur première connexion, par l’obtention d’un score plus faible au test d’évaluation que celui qu’ils s’imaginaient avoir. La question 4 du questionnaire17 nous a permis de savoir si les étudiants pensaient que leur score correspondait à leur niveau.
Nous avons donc testé la corrélation portant sur la présence ou non d’une adéquation entre le niveau que le logiciel leur a attribué et le niveau que les étudiants pensaient avoir (cf. annexe 10).
Hypothèse 1 : le fait que les étudiants aient obtenu au test d’auto-évaluation un score (niveau ou
note) inférieur au niveau qu’ils pensaient avoir, a eu une influence négative sur l’utilisation du logiciel.
17
Hypothèse nulle : il n’y a pas de lien entre l’utilisation du logiciel et le fait d’avoir obtenu un
score inférieur au niveau estimé.
Résultats
La corrélation est positive, ce qui signifie que les étudiants ont eu plutôt tendance à utiliser davantage le logiciel lorsque le score attribué lors du test d’auto-évaluation était en adéquation avec le niveau qu’ils pensaient avoir.
En revanche le test de Fisher montre que nous ne pouvons pas généraliser cette tendance car ce résultat n’est pas suffisamment significatif (p > 0,0001).
L’impact d’un faible résultat obtenu lors du test d’auto-évaluation caractérisé par une note en dessous de la moyenne
Nous avons vu qu’à la question 3 (niveau attribué par le logiciel lors du test d’auto- évaluation), les étudiants ont fourni trois types de réponses :
- un niveau : débutant, intermédiaire ou avancé - une note : sur 10 ou sur 20
- une appréciation personnelle
Nous avons alors cherché à savoir si ce n’était pas plutôt la nature du résultat obtenu qui avait eu un impact sur l’utilisation du logiciel (cf. annexe 11). Nous avons donc testé la corrélation entre l’utilisation du logiciel et l’obtention d’un faible score lors du 1er test d’auto-évaluation :
Hypothèse 2 : ce sont les étudiants qui ont obtenu les résultats les plus bas (note en dessous de la
moyenne ou appréciation personnelle du type « mauvais », « le plus bas ») lors du test d’auto- évaluation, même s’ils avaient conscience de leur niveau, qui n’ont pas continué à utiliser le logiciel.
Hypothèse nulle : il n’y a pas de lien entre l’utilisation du logiciel et le fait d’avoir obtenu un
mauvais résultat lors du test d’auto-évaluation.
Résultats
La corrélation est négative : plus les étudiants ont obtenu un score inférieur à la moyenne
Conclusion
L’échantillon des étudiants qui ont répondu à ces questions n’est pas suffisamment significatif pour pouvoir affirmer qu’il y a une corrélation entre le résultat obtenu lors du test d’auto-évaluation et l’utilisation du logiciel Orthodidacte. Nous n’avons pu observer que des tendances, la deuxième étant la plus marquée :
- Les étudiants ont eu tendance à utiliser davantage le logiciel lorsque le score attribué lors du test d’auto-évaluation était en adéquation avec le niveau qu’ils pensaient avoir.
- Les étudiants qui ont cessé d’utiliser le logiciel sont plutôt ceux qui ont obtenu un score inférieur à la moyenne ou qui ont eu le sentiment d’avoir échoué au test.
Les pourcentages confortent cette dernière tendance, puisque 67 % des étudiants qui ont fait des commentaires du type « mauvais », « le plus bas » ne sont pas allés au delà du test, tout comme 63 % des étudiants qui se souviennent avoir eu une note inférieure à la moyenne. En revanche tous les étudiants qui se souviennent avoir obtenu une note supérieure à la moyenne ont continué à s’entraîner régulièrement.
Ces résultats nous interpellent sur la nature du public auquel s’adresse ce type d’outil et sur le poids qu’une évaluation négative peut avoir. En effet, alors qu’ils s’étaient montrés volontaires dans cette activité optionnelle, les étudiants les plus en difficultés qui ont essayé le logiciel n’ont pas poursuivi son utilisation, sans doute découragés.
Le test : un outil d’auto-évaluation efficace
L’analyse des commentaires sur le test d’auto-évaluation recueillis dans l’enquête nous montre que ce n’est pas l’outil qui semble être à l’origine du découragement de certains étudiants, mais bien le résultat.
Seuls 42% des étudiants ont fait des commentaires sur le test d’auto-évaluation. Parmi eux : - 60% ont trouvé le test trop compliqué, trop long ou stressant à cause du chronomètre. - 40% l’ont estimé intéressant car il leur a permis de cibler leurs points faibles et
Ce dernier sentiment est partagé par la majorité des étudiants qui ont répondu à la question 518, puisque 71 % des étudiants interrogés ont trouvé que le test d’auto-évaluation avait bien mis en évidence les faiblesses en orthographe qui leur posent problème en général.
D’ailleurs, 45% des étudiants qui avaient passé un test d’auto-évaluation en ont repassé un autre après s’être entraînés, ce qui montre que le test est considéré comme un outil d’auto- évaluation relativement fiable par les étudiants.
17- Nombre de tests repassés en fonction du niveau d’origine
Lorsque l’on regarde le profil des étudiants qui en ont repassé un autre après s’être entraînés, nous observons qu’il s’agit majoritairement de ceux qui ne se souvenaient pas de leur niveau lors du 1er test.
Détail des progressions en fonction du niveau d’origine :
Parmi les étudiants qui se souvenaient du niveau attribué par le logiciel lors du 1er test, ce sont principalement ceux qui avaient obtenu un niveau intermédiaire qui se sont réévalués (75 % des niveaux intermédiaires ont repassé un test). Ce chiffre nous montre que ces derniers semblent plus particulièrement attachés à l’évaluation de leurs progrès.
18
Question 5 : « Dans le détails des résultats, le test révèle-t-il les points d’orthographe qui vous posent problème en général ? » 0 2 4 6 8 10 12 14 16 18
Débutants Intermédiaires Avancés Niveau non communiqué
2ème test 1er test
En revanche aucun n’a accédé à un niveau supérieur, tout comme les étudiants de niveau avancé qui ont refait un test. Les deux étudiants qui sont passés à un niveau supérieur sont ceux que le logiciel avait désignés comme débutants lors du premier test. Cette évolution nous semble normale, car le passage d’un niveau à un autre demande une grande progression individuelle. Cette information nous semble constituer un indicateur de fiabilité de ce test quant à l’attribution du niveau des utilisateurs.
Parmi les 11 étudiants qui ne se souvenaient pas du niveau attribué lors du premier test mais d’une note ou d’un sentiment d’échec, 4 étudiants ont répondu que le logiciel leur avait attribué un meilleur niveau lors du second test, parce que leur note était supérieure à la note précédente :
« 14/20 », « meilleur mais toujours inférieur à 10 », « 11/20 », « 8/10 » (Les 7 autres étudiants
n’ont pas répondu à la question). Nous pouvons noter que ces étudiants n’ont pas non plus communiqué leur niveau, mais une note. Pour certains étudiants, la note reste donc un important indicateur de réussite, ce qui montre que le formateur doit faire preuve d’une grande prudence s’il choisit d’adopter un système de notation pour évaluer les progrès des apprenants.