Les expériences en ligne ont leurs avantages et leurs inconvénients, ayant donné lieu à divers
11Ces derniers items avaient pour but de vérifier sur des mots de l’anglais existants mais n’ayant pas encore intégré le coréen à la fois si le sujet est cohérent dans son traitement des non-mots avec son traitement des emprunts, et si ces mots suivent les prédictions que faisait EN2KO. Cependant, pour des raisons techniques, ces données de la troisième partie n’ont pas été exploitées.
132
débats quant à l’opportunité de leur utilisation. Les avantages que comporte cette procédure sont résumés dans les tableaux suivants, adaptés de Reips (2000, 2002a) et mis en regard avec les avantages que cette procédure comportait pour ma recherche :
Avantages des expériences en ligne JAB2KO
(1.a) Facilité d’accès à un large
nombre de participants
démographiquement et culturellement variés… (Bohner et al. 2002)
✓ A effectivement permis l’accès à quelque 180 sujets, mais ces derniers viennent de régions variées de Corée où la variété de coréen n’est pas nécessairement la même.
(2.a) …ainsi qu’à des participants venant de populations rares et / ou spécifiques (Schmidt 1997)
✓ A effectivement permis l’accès à des sujets coréanophones n’habitant pas nécessairement à Paris. Mais a également provoqué une plus grande variation de l’échantillon quant aux lieux de vie passés et présents.
(3.a) Généralisation meilleure des résultats à une population générale (Horswill & Coster 2001)
✓ Permet effectivement des résultats généraux sur l’ensemble de la population, mais la variation induite par 1.a et 2.a peut aussi être problématique.
(4.a) Généralisations des résultats à plus de situations (parce que haute validité externe) (Laugwitz 2001)
✓ Le grand nombre de sujets et les profils variés permettent de supposer une haute validité externe. (5.a) Evitement des contraintes de
temps
✓ A permis de récupérer les réponses d’environ 180 sujets en seulement quelques semaines.
(6.a) Evitement des contraintes
organisationnelles comme les
difficultés d’emploi du temps, puisque des centaines de participants peuvent répondre en même temps.
✓ A permis aux expérimentateurs de se consacrer à d’autres points durant les passations.
(7.a) Participation hautement basée sur le volontariat.
✓ Les sujets ont effectivement mis beaucoup de bonne volonté, car l’expérience durait presque une heure. De plus, la phase d’entraînement était suffisamment longue pour que les sujets aient le temps d’abandonner avant le début du test. Cependant, cela signifie aussi que ce sont possiblement des locuteurs qui ont un intérêt pour leur langue (avec risque de présupposés normatifs forts), voire pour les langues en général (avec risque de trop haut taux de bilingues) ou même la linguistique (avec risque de compétences métalinguistiques qui biaisent la perception des sujets). Cet avantage est donc corrélé à l’inconvénient 3.b : le biais d’auto-sélection.
133
(8.a) Facilité d’acquisition du nombre optimal de participants pour atteindre un haut pouvoir statistique, tout en étant capable de tirer des conclusions sensées.
✓ Le nombre élevé de sujets a en effet été relativement facile à acquérir, mais a tout de même demandé un gros travail de communication et de médiatisation de l’expérience.
(9.a) Détectabilité de la confusion motivationnelle.
✓ Dans ce genre d’expérience, les sujets qui se rendent compte qu’ils ne sont pas intéressés peuvent ne pas finir l’expérience. Ils sont alors facilement repérables et leurs premières réponses supprimées de la base de données.
(10.a) Réduction du biais de l’expérimentateur.
✓ En l’absence de l’expérimentateur, les sujets, anonymes de surcroît, sont en effet moins biaisés soit par le besoin de reconnaissance (la pression à « bien faire ») soit par les réactions immédiates de l’expérimentateur à leurs réponses.
(11.a) Réduction des caractéristiques demandées.
✓ En présence d’un tel échantillon, les sujets peuvent avoir des caractéristiques plus variées sans qu’il en coûte aux généralisations qui vont en suivre.
(12.a) Coûts économisés sur l’espace en laboratoire, les heures du
personnel, l’équipement,
l’administration…
✓ Dans notre cas, seuls la chambre sourde et son équipement ont été utilisés pour enregistrer les items, une ingénieure informatique a conçu l’expérience, mais il n’y a eu pour ainsi dire aucun recours à des espaces de travail ni à de l’équipement supplémentaire, et pas du tout de recours à l’administration (car les sujets n’étaient pas rémunérés).
(13.a) Meilleur accès au processus (facilite la réplicabilité).
✓ En effet, le design et les items de l’expérience sont disponibles dans les annexes de cette thèse, et le script exact de l’expérience disponible auprès de l’ingénieure spécialisée.
(14.a) Accès au nombre de non-participants.
✓ Nous avons en théorie accès au nombre de personnes ayant commencé l’expérience sans la terminer, mais cette information est peu intéressante pour notre étude et ne sera donc pas exploitée.
(15.a) Facilité à comparer les résultats aux résultats d’un échantillon testé localement.
✓ Cette facilité de comparaison est en effet possible théoriquement, mais nous ne l’avons pas testée pour des raisons d’accès aux sujets. Il serait plus intéressant de comparer les résultats avec les réponses orales de coréanophones vivant dans une région spécifique de Corée depuis toujours.
134
(16.a) Meilleure validité externe grâce à une meilleure variance technique.
✓ La variabilité des ordinateurs et des logiciels (mais aussi du matériel utilisé, comme dans notre cas les écouteurs / le casque audio) permet de généraliser les résultats à un maximum de personnes indépendamment de leurs conditions de passation, voire d’abstraire ces résultats du seul cadre d’Internet et de les généraliser en-dehors du web.
(17.a) La validité « écologique » (Reips 1997), soit la facilité d’accès pour les participants et la familiarité avec le milieu lors de l’expérience (on amène l’expérience au sujet et non l’inverse).
✓ A permis l’accès rapide à 180 sujets, et surtout dans des conditions optimales étant donnée la longue durée de l’expérience.
(18.a) Contrôle public des standards éthiques.
✓ Tout un chacun pouvait faire une réclamation dans l’encadré final ou dénoncer les conditions de l’expérience étant donné son caractère intégralement public et libre d’accès.
Tab. 40 : Avantages des expériences en ligne et limites subséquentes de JAB2KO
Ces avantages ont donc effectivement un intérêt indéniable pour la force de nos résultats, mais ils ont aussi leur revers. Ainsi, la grande variété des sujets permet certes une généralisation plus facile (3.a, 4.a), mais une grande variété implique aussi une grande variabilité (1.a, 2.a, 8.a, 11.a, 16.a et 17.a). De plus, le taux élevé de volontariat, qui est en soi un avantage, peut aussi causer un biais d’auto-sélection : la participation des sujets, surtout sans rémunération, présuppose un intérêt pour le champ de recherche étudié, ce qui peut donc causer un biais dans la population qui s’implique dans l’expérience. En revanche, il est vrai que l’expérience en ligne a facilité le déroulement du test à la fois sur des critères pratiques (temps : 5.a, 6.a ; espace : 6.a, 12.a …), sur des critères humains (haut taux de volontariat : 7.a ; 9,a ; réduction des biais : 10.a ; …) et sur des critères méthodologiques (réplicabilité : 13.a, accès à toutes sortes de données extérieures : 14.a ; testabilité : 15.a ; éthique : 18.a).
Outre ces avantages qui peuvent occasionnellement eux-mêmes poser problème (1.a, 7.a), les expériences en ligne peuvent poser des soucis, que j’ai tenté de pallier. Ces derniers sont résumés dans ce deuxième tableau, synthétisant les désavantages des expériences en ligne et les solutions apportées, adapté de Reips (2000, 2002a) et mis en regard avec les réserves que nous pouvons émettre quant au choix de cette procédure :
135 Désavantages des expériences en ligne Solutions JAB2KO (1.b) Possibilité de soumissions multiples
Peut être évité ou contrôlé en collectant
les identifiants
personnels, en
vérifiant la cohérence interne ainsi que la cohérence temporelle des réponses (Schmidt 1997) et en utilisant des techniques comme
le
sous-échantillonnage, les
pools de participants ou l’assignation de mots de passe (Reips 1997, 1999, 2000).
A ce sujet, les soumissions multiples n’ont pas été contrôlées. Seule la cohérence interne des réponses a été vérifiée à l’œil nu par l’expérimentatrice. Néanmoins, ce phénomène reste rare (Reips 1997) et peu dangereux pour les
études en ligne (Reips 1997,
Krantz & Dalal 2000, Musch & Reips 2000)
(2.b) En général, le contrôle du cadre peut être un problème pour certains designs expérimentaux…
…mais est moins un problème quand on utilise un design inter-sujets avec distribution
randomisée des
participants parmi les conditions
expérimentales.
Malheureusement, nous n’avons pas randomisés les participants selon les conditions du test. En revanche, les stimuli étaient, eux, randomisés.
(3.b) Le biais
d’auto-sélection
(self-selection) …
…peut être évité en utilisant la technique
d’entrées multiples
(multiple site entry
technique, Reips 2000,
2002b, Hiskey &
Troop 2002).
Le biais d’auto-sélection a lieu lorsqu’un sujet choisit le groupe auquel il appartient. Nous n’avons pas utilisé la technique des entrées multiples, mais comme nous ne comparons pas deux échantillons, nous ne sommes pas concernés par ce biais. De plus, il est reconnu que les études en cognition ou en perception sont peu sujettes à ce biais (Reips 2002a).
136
(4.b) L’abandon de l’expérience peut être un problème…
…mais aussi un critère de détection de la confusion
motivationnelle. Peut aussi être réduite en
implémentant un nombre de mesures comme promettre un feedback immédiat, indemniser financièrement les sujets, ou personnaliser l’expérience (Frick et al. 2001).
L’abandon de l’expérience était un gros risque pour mon expérience, qui était
longue et relativement fastidieuse.
Cependant, j’ai tenté de limiter ce risque 1) en valorisant l’intérêt de cette recherche lors de la médiatisation de l’expérience, 2) en incluant un biais émotionnel lors du recrutement des sujets, 3) en personnalisant l’expérience lors du questionnaire initial (Frick et al.
2001, Musch & Reips 2000 vs
O’Neil & Penrod 2001), 4) en optant pour une mise en page colorée, attractive et une approche « one-item-one-screen » (Reips 2000, 2002b ; Wenzel 2001) et enfin 5) en leur demandant un feedback final. En revanche, je n’ai pas indemnisé les sujets. (5.b) L’interaction réduite voire inexistante entre l’expérimentateur et le participant peut poser problème, par
exemple si les
consignes ne sont pas comprises.
Les solutions possibles incluent le pré-test du matériel ou donner
l’opportunité aux
participants de donner un feedback.
En l’occurrence, nous avons réduit au maximum les effets de ce désavantage 1) en pré-testant le matériel plusieurs fois et 2) en demandant un feedback aux sujets.
(6.b) La base
comparative pour les expériences en ligne est assez basse.
Mais, de fait, avec le temps, ce phénomène
va diminuer puis
disparaître.
Pour l’instant, les données avec lesquelles nous voulons comparer nos résultats sont surtout les bases de données de Kang (2003b) et Baker (2009). L’absence de base comparative est donc problématique mais pas essentielle pour l’instant.
137
(7.b) La validité
externe des
expériences en ligne peut être limitée par leur dépendance aux ordinateurs et aux réseaux. De plus, de nombreuses
expériences ne
peuvent pas être faites en ligne.
Cependant, lorsqu’ils sont comparables, les résultats obtenus en ligne et ceux obtenus en laboratoire sont
souvent similaires
(Krantz & Dalal 2000).
En l’occurrence, l’expérience a été créée expressément pour le web. Mais il faut reconnaître que cela me limitait de fait à
des sujets peu intimidés par la
technologie en général. De plus, le matériel limitait les possibilités : je n’ai notamment aucune certitude que les sujets ont eu accès à la même qualité audio des stimuli, malgré une injonction
à utiliser un casque dans un
environnement calme (Krantz 2000, 2001).
Tab. 41 : Désavantages des expériences en ligne, solutions possibles et positionnement de JAB2KO
Ainsi, comme je l’ai évoqué (cf. § 10.2.3), les sujets n’ont pas été contrôlés en amont. Si aucune anomalie n’a été relevée dans les réponses, il n’est pas exclu que certains aient menti au questionnaire initial, ou aient refait l’expérience plusieurs fois. Si le premier problème n’est pas exclu non plus lors des passations en laboratoire, et le second peu probable (l’expérience dure une heure et n’est pas rémunérée), il ne faut pas négliger cette possibilité. Ceci étant, 1.b est peu probable.
En revanche, 2.b est un problème pour mon design, mais j’espère l’avoir contrebalancé avec la randomisation des items pour chaque participant.
Quant à 3.b, comme je l’ai dit, il est plus que probable dans mon cas. En effet, l’expérience était longue, moyennement attirante ou ludique et pas du tout rémunérée : elle reposait énormément sur le volontariat. Ce volontariat peut avoir été majoritairement motivé par un intérêt des sujets pour la recherche en général, pour la linguistique en particulier, ou encore pour la langue coréenne… Or ces motivations sont autant de critères qui peuvent me faire craindre un sévère biais d’sélection, c’est-à-dire redouter que les membres du groupe se soient auto-sélectionnés pour constituer un groupe relativement homogène quant à son rapport à la langue coréenne (voire à l’orthographe).
En revanche, en ce qui concerne 4.b, les résultats des personnes n’ayant pas terminé l’expérience ont été d’emblée supprimés de la base de données finales.
Enfin, comme je l’ai écrit dans le tableau, 5.b, 6.b et 7b ont été minimisés au maximum, même si des défauts subsistent, ils ne sont pas décisifs et n’empêchent pas la validité relativement solide de mes résultats.
Comme le note Reips (1997, 1999), l’expérience ainsi mise en place est aussi exécutable telle quelle en laboratoire mais rien n’est perdu à la faire passer plutôt en ligne. La seule différence
138
est qu’au lieu de demander aux sujets de répéter et d’enregistrer leurs productions orales, j’ai enregistré leurs productions écrites : comme je l’ai dit, ce fait était possible grâce aux caractéristiques uniques du hangeul, même si ce cadre était alors plus contraignant. En effet, il faut noter que les observations sur la perception ne seront alors que des extrapolations – prudentes, mais tout de même des extrapolations – de données de production, non de perception. Dans la mesure où les réponses sont en fait des productions écrites, il est possible que les locuteurs aient indiqué davantage la façon dont ils pensaient devoir orthographier l’item plutôt que ce qu’ils ont uniquement perçu. Cela suppose qu’ils ont fait appel à leur literacy (la compétence de la langue écrite) en sus de leur perception. Mes résultats ne sont donc pas uniquement révélateurs de la perception des items qu’ont eue les locuteurs – compétence uniquement phonologique –, mais aussi du traitement qu’ils en ont fait – faisant alors appel à une compétence phonologique mais aussi mnémonique et plus largement méta-linguistique, voire non-linguistique –, ce qui peut avoir flouté les résultats finaux.
Cependant, la mise en place d’une expérience en ligne, contrôlée pour éviter les biais, me donnait accès à tous les avantages d’une telle démarche (Reips 2002a) :
- nombre important de participants (non nécessaire, mais qui va pouvoir nous permettre des analyses plus solides et plus fines, notamment sur le rôle de la langue seconde), - des participants aux compétences spécifiques (en l’occurrence, locuteurs natifs du
coréen n’habitant pas nécessairement en dehors de la Corée),
- randomisation, possible calcul du temps de réponse et autres métadonnées,
- biais de l’expérimentateur limité (l’anonymat permis par Internet et l’absence physique de l’expérimentateur facilite la désinhibition dans les réponses),
- rapidité du processus et possibilité de faire passer le test à toute heure,
- et enfin, dernier mais non des moindres, un degré important d’automatisation qui suppose une maintenance peu assidue et donc un coût de mise en place plus que raisonnable.