Résultats

Un ensemble de test composé de 100 paires différentes de (apprenant, tuteur) a été choisi au hasard. La MAE calcule, pour chaque paire, la moyenne d’erreur absolue entre les notes prédites et les notes enregistrées dans notre ensemble de données de départ. La moyenne des MAE sur les 100 différentes itérations a été utilisée pour comparer les trois versions implémentées de FC, STV1 et STV2.

La figure 13 met en évidence le meilleur cas, le pire cas et la moyenne sur les 100 itérations : MAE minimale (MAE MIN), MAE maximale (MAE MAX) et MAE moyenne (MAE MOY) respectivement.

Figure 14 – Résultat de comparaison de MAE

Comme illustré dans la figure 13, l'approche la moins performante est l'approche du filtrage collaboratif classique CF. Plus précisément, l’erreur est la plus élevée dans les 3 cas (meilleur, pire et moyenne). Une explication plausible à ces valeurs élevées est due au problème de la

0 0,2 0,4 0,6 0,8 1 1,2 1,4 1,6 S T V 1 S T V 2 C F M A E MAE MIN MAE MOY MAE MAX

72

rareté ou du manque des données. En effet, le calcul de voisinage se fait sur la base de tous les apprenants, ce qui produit une similarité entre un apprenant et son voisinage qui n’est pas suffisamment rapprochée. Cela affecte les prédictions et engendre une différence élevée entre les notes prédites et celles enregistrées. Cela souligne le rôle du filtrage basé sur le contenu dans le module de sélection des pairs. L’impact du filtrage basé sur le contenu peut être déduit des résultats de STV1 qui implémente en cascade un filtrage basé sur le contenu suivi d’un filtrage collaboratif. STV1 produit de meilleures performances par rapport à CF parce que le premier filtrage (basé sur le contenu) réduit l’espace de calcul de voisinage, ce qui diminue le problème de la similarité non rapprochée. Néanmoins, STV2 a de meilleures performances par rapport à STV1 parce que cette dernière considère uniquement le score de similarité pour le calcul de prédictions. En revanche, STV2 intègre le score de similarité ainsi que le score de confiance. La différence entre les deux versions est que les dégâts possibles causés par des apprenants frauduleux (qui tentent de pervertir le système en assignant des notes toujours faibles pour tous les feedbacks reçus) sont limités, vu que le score de confiance est évalué avant d’intégrer les évaluations de ces apprenants. En outre, STV2 permet de sélectionner des co-apprenants n’ayant pas nécessairement une grande similarité avec l’apprenant cible mais ils sont très crédibles et leurs évaluations pourraient être très utiles.

La conclusion est que la méthode hybride STV1 cause une légère baisse de précision par rapport à STV2 mais toutes les deux sont meilleures que le filtrage collaboratif classique CF. Par ailleurs, nous pouvons constater que STV2 a une MAE MAX élevée par rapport à l’échelle de notes que nous avons utilisée. Pour mieux interpréter les valeurs de MAE et comprendre les raisons derrière l’erreur plus au moins élevée, il est important de considérer l'échelle sur laquelle les évaluations ont été effectuées et les données utilisées pour les tests. En effet, un MAE de 1 signifie que les prédictions, en moyenne, différaient par 1 de la valeur réelle. Une telle différence a plus d’impact sur une échelle de 1 à 5 qu'une différence de 1 sur une échelle de 1 à 20. Autrement dit, nous comparons la MAE, à l'échelle pour évaluer son impact réel; c'est-à-dire un MAE de 1 sur une échelle de 5 représente 20% alors que sur une échelle de 20, ne représente que 5% et par conséquent un impact plus faible sur la précision. La figure 14 illustre la MAE MOY des approches évaluées sur une échelle de 5.

73

Figure 15 – Interprétation de MAE MOY

Bien que les résultats soient encourageants et la précision de STV2 est plus élevée par rapport aux deux autres approches testées, un MAE de 0,9 sur une échelle de 1 à 5 est à améliorer selon la littérature sur les systèmes de recommandation. Néanmoins, nous pensons que cette valeur de MAE est essentiellement due au fait que l'ensemble de données est généré aléatoirement. En effet, nous croyons que la valeur du MAE aurait été moins élevée si les tests avaient été faits sur un ensemble de données réelles.

4.7. Conclusion

Dans ce chapitre, nous avons présenté le premier module du notre gestionnaire de vie privée. Le module de sélection des pairs a pour rôle d’aider les apprenants à trouver des pairs tout en veillant à sélectionner les plus compétents et les plus crédibles pour fournir l’aide. L’avantage de la mise en œuvre d’un tel module dans les environnements d’apprentissage social informel est qu’il permet de réduire la charge cognitive de l’apprenant imposée par la recherche d’aide plutôt que par l’apprentissage en soi. Il permet aussi de préserver la vie privée de l’apprenant ayant besoin d’aide vu que le score de confiance des pairs est considéré dans le processus de sélection.

Selon les exigences énoncées au début du chapitre (voir section 4.3.1), le module proposé dans cette recherche offre un soutien synchrone aux apprenants tout en sélectionnant des pairs compétents et appropriés pour fournir l’aide et en équilibrant la charge cognitive entre ces derniers. Pour cela, nous avons défini un score d’aide dans la sélection permettant d’éviter que les mêmes pairs soient toujours sélectionnés pour répondre aux requêtes.

Les résultats du test sont encourageants et montrent le rôle de chaque sous-module dans la sélection. Toutefois, le processus de sélection des pairs peut être amélioré afin de diminuer

19,134

18,766

20,354

STV1 STV2 CF

74

l’erreur des prédictions. En effet, le contenu de la requête (c.à.d. le texte) peut être considéré dans le filtrage basé sur le contenu pour sélectionner uniquement les pairs capables d’y répondre en utilisant une technique d’analyse sémantique telle que LSA. De plus, un filtrage collaboratif basé sur l’item peut être implémenté pour extraire, de modèle de feedback, des feedbacks enregistrés qui ont été donnés en réponse à des requêtes similaires au lieu de solliciter à chaque fois de nouveaux pairs. Cela permet de réutiliser le contenu enregistré et de fournir à l’apprenant des feedbacks qui ont été déjà évalués et donc pertinents.

Notons que sélectionner les pairs appropriés n’est que la première étape de gestionnaire de vie privée. Il convient de s’assurer, dans la deuxième étape, que l’interaction avec les pairs sélectionnés, incluant souvent une divulgation des données personnelles ne pose pas des risques en matière de vie privée. Cela fera l’objet du chapitre suivant.

75