Validités de l’évaluation en ingénierie des APS

Diverses méthodes sont employées pour contrôler la validité des démarches expérimentales.

Les plus évidemment généralisables sont celles concernant l'aménagement des plans expérimentaux.

4.5.1. Validité interne

La validité interne renvoie à la précision de l’expérience, à savoir l'ensemble des précautions portant sur la nature des variables, sur l'organisation des groupes, le choix des sujets et des mesures… C’est l’augmentation de la validité interne qui permet de s’assurer du lien causal entre une VI étudiée et un comportement (VD). Globalement, au plus la validité interne est importante au plus l’effet observé sur la VD peut être sûrement attribué aux facteurs expérimentaux manipulés. Le fait de bien contrôler les variables potentielles, de répartir aléatoirement nos sujets, d’éliminer les variables confondues sont autant de facteurs qui vont augmenter la validité interne.

Le contrôle de la validité interne est réalisée avant tout en tentant de rendre équivalents les groupes expérimentaux et contrôle. Ceci est fait le plus souvent en randomisant l'affectation des sujets à chaque groupe.

Souvent les protocoles proposent un prétest (avant traitement) et un postest (après traitement).

Certains artefacts risquent d'entacher cette procédure et de jeter le doute sur la validité des résultats obtenus:

L'histoire des sujets : en général le délai entre pré et postest dure de plusieurs jours à plusieurs mois. Il est difficile de contrôler l'ensemble des expérience qu'il vont avoir à l'extérieur durant cette période, qui peuvent être la cause des résultats observés.

- La maturation : Cet effet se fera surtout sentir dans les recherches développementales. Il s'agit d'un biais particulièrement présent dans les études portant sur le jeune enfant, au moment où le développement est le plus spectaculaire.

- La sensibilisation par le test (testing) : le simple fait de participer à l'expérimentation peut entraîner une modification du comportement indépendante du traitement subi (modification des attitudes, entraînement sauvage, recherche d'informations....).

- Fidélité de la mesure (measurement reliability) : Un des problèmes les plus fréquemment rencontrés en recherche expérimentale. Les instruments de mesure utilisés permettent-ils une mesure stable d'une observation à l'autre pour un même observateur, et de même entre deux observateurs différents. La fidélité ne concerne pas le fait que la mesure soit pertinente par rapport à ce qu'elle est sensée mesurer (measurement validity)

- La régression vers la moyenne : Ce problème apparaît lorsque l'on sélectionne des sujets en fonction de leurs scores particulièrement élevés ou faibles sur une échelle. Lors de la répétition des mesures, ces dernières tendent à se rapprocher de la moyenne, à être moins

extrêmes. Ceci vient du fait que la mesure est toujours entachée d'erreur, et que lors de la sélection on a pris de manière sélective ceux dont l'erreur était positive, ou à l'inverse négative.

- La mortalité expérimentale : C'est un problème primordial, dans la mesure ou rien ne prouve que les sujets disparus soient identiques aux sujets survivant. Autrement dit, rien ne prouve que l'on disparaisse par hasard...

- Le choix des sujets : De quelle population parente est représentative l'échantillon qui a été choisi? On sait par exemple que la plupart des travaux sur la personnalité sont basés sur les étudiants de première année de psychologie des universités nord-américaines. Dans quelle mesure peut-on généraliser un résultat donné à d'autres groupes?

- Le volontariat : Le volontariat est obligatoire et doit être attesté par la signature d'un formulaire ad hoc. Mais le fait de se porter volontaire ne masque-t-il pas des VI parasites insoupçonnées? Rosenthal et Rosnow (1976) montrent ainsi que le volontaire a un niveau supérieur d'éducation, un plus grand besoin d'approbation, des scores plus élevés aux tests d'intelligence, des scores moins élevés sur les échelles d'autoritarisme. En outre les volontaires tendent à aller dans le sens des hypothèses de recherche qu'ils prêtent aux auteurs des expériences auxquels ils acceptent de participer.

- Variables indépendantes confondues : On ne peut conclure sur l'effet d'une VI sur la VD que si cette variable indépendante est indépendante des autres VI. Deux VI sont confondues si les modalités de l'une sont systématiquement associées aux modalités de l'autre. Dans ce cas, il est impossible d'interpréter les résultats.

Par exemple, un chercheur décide de comparer trois méthodes d'enseignement. Il choisit trois enseignants volontaires (comment sont-ils choisis? Un enseignant volontaire est-il comparable aux "enseignants normaux"?). On attribue de manière aléatoire une méthode d'enseignement à chaque enseignant, qui reçoit une formation spécifique. En fin d'année, on fait un test sur les acquis des élèves. Cette expérience ne permet de toute évidence aucune conclusion, dans la mesure où tout porte à croire que la VI "méthode" va être confondue avec la VI

"caractéristiques personnelles des enseignants".

L'identification des VI confondues n'est pas aisée. De nombreuses controverses entre chercheurs naissent de discussion à partir de variables indépendantes confondues, latentes, qui pourrait mieux expliquer le résultat obtenu que la variable manipulée par l'auteur de la recherche. Le sexe notamment, fréquemment utilisé en tant que VI, est largement confondu avec l'estime de soi ou l'anxiété, si bien qu'un effet sexe relevé dans une expérience masque souvent un effet principal de l'estime de soi.

Il est donc nécessaire de veiller au contrôle des VI parasites. Les VI parasites les plus redoutables et les plus répandues sont d'une part le fait de participer à une expérience (c'est l'effet Hawthorne), et d'autre part la perception par les sujets des attentes de l'expérimentateur (c'est l'effet Pygmalion).

Randomisation

Lorsque le plan expérimental nécessite la constitution de plusieurs groupes de sujets (par exemple, correspondant aux différents niveaux d'une VI), il est nécessaire de procéder à une randomisation, c'est-à-dire à une répartition aléatoire des sujets dans les différents groupes.

Ceci permet d'éviter qu'une caractéristique des sujets ne soit systématiquement liée à un groupe expérimental.

La randomisation permet a priori de contrôler les biais liés à l'histoire des sujets (les événements sont distribués de manière équivalente). La randomisation permet également le contrôle des effets liés à la maturation, et à la régression statistique (cet effet n'apparaissant que si un groupe n'est pas constitué de manière aléatoire.

D'autres méthodes sont fréquemment utilisés, tels que l'équivalence par paire ou par groupe (on vérifie que les groupes ne diffèrent pas en moyenne sur une mesure a priori de la VD).

Cette démarche est souvent dénoncée dans le sens où les sujets ne peuvent être considérés comme équivalents sur d'autres variables non mesurées.

Dans les protocoles à mesures répétées, chaque sujet est à la fois expérimental et contrôle.

Dans ce type de protocole, l'ordre de passation doit nécessairement être contrebalancé. Toutes les combinaisons d'ordre doivent être identifiées, et les sujets répartis parmi elles de manière aléatoire.

On arrive vite, en fonction du nombre de conditions, à un nombre de combinaisons d'ordre important

2 conditions 2 combinaisons 3 conditions 6 combinaisons 4 conditions 24 combinaisons 5 conditions 120 combinaisons.

Au-delà de 3 conditions, l'expérimentateur a avantage à assigner à chaque sujet un ordre aléatoire, plutôt que de chercher à contrebalancer de manière systématique l'ordre de passation.

Fidélité de la mesure

Il s'agit d'un aspect important de la sauvegarde de la validité interne. Les mesures réalisées (physiologiques, comportementales, chronométriques, tests de personnalité, etc...) doivent être consistantes, c'est-à-dire être stables d'un testeur à l'autre, et d'une passation à l'autre.

La validité du test (le test mesure-il ce qu'il est sensé mesurer?) doit également être établie. Le rôle de la psychométrie est d'établir la fidélité et la validité des instruments de mesure.

Placebos et dispositifs aveugles

Un placebo est utilisé pour voir si un traitement a un effet réel, ou si cet effet constitue un artefact psychologique. Les sujets du groupe contrôle reçoivent donc les mêmes attentions de la part de l'expérimentateur, mais le traitement n'a a priori aucun effet potentiel sur la variable dépendante.

D'une manière générale dans une procédure dite aveugle, le sujet ne sait pas s'il va recevoir le traitement expérimental ou le traitement contrôle. Dans une procédure double aveugle, ni le sujet ni l'expérimentateur ne savent s'ils travaillent sur une situation expérimentale ou contrôle.

L'ensemble de ces techniques est destiné à lutter contre les effets psychologiques tels que l'effet Hawthorne, l'effet Pygmalion, les effets de hallo. On peut par exemple citer les travaux de Anderson, Humphreys et Revelle, sur les interactions entre personnalité et caféine.

Groupe contrôle

L'effet d'un traitement expérimental ne peut être mis en évidence qu'en comparant le comportement du groupe qui a subit ce traitement avec un groupe qui ne devra différer du premier que par le fait de ne pas avoir subit ce traitement.

Ce critère n'est pas toujours évident à satisfaire de manière complète. Par exemple dans une expérience sur l'apprentissage, le groupe contrôle ne doit en toute logique différer du groupe expérimental que par le fait de ne pas avoir subit de séances d'apprentissage. Cependant le délai entre pré et post test doit être équivalent dans les deux groupes, et on organise souvent pour le groupe contrôle des séances de durée identique aux sessions expérimentales, où on occupe les sujets à des activités neutres vis-à-vis du thème de l'expérience.

Il est parfois possible de se passer de groupe contrôle, si l'on considère que la performance dans cette condition est prévisible: par exemple si l'on estime qu'en l'absence traitement, les

sujets donneraient une réponse aléatoire, on peut utiliser la loi binomiale pour déterminer les probabilités d'obtenir telle ou telle réponse (Abdi, 1987).

4.5.2. Validité externe

La validité externe est généralement contrôlée en sélectionnant les sujets, les traitements, les situations expérimentales et les tests afin qu'ils soient représentatifs de populations plus larges. La randomisation peut notamment porter, au-delà des sujets, sur les niveaux d'une variable (parmi la population des niveaux possibles), ou sur les situations expérimentales.

D'une manière générale, la question à se poser est la suivante: la situation expérimentale comprend-elle suffisamment de caractéristiques habituelles pour le sujet pour que ce dernier y réponde comme il le ferait dans une situation naturelle?

Souci de généralisation. Une situation expérimentale est le résultat d'un ensemble de choix, qui sont guidés par des considérations de logique interne, par le souci d'obtenir des conclusions valides. Cependant, le problème se pose de savoir à quelles autres situations on peut transposer les conclusions.

C'est dans ce contexte qu'on oppose souvent à l'expérimentation l'objection suivante : Les situations construites et étudiées sont trop artificielles et ne nous disent par conséquent rien sur la vie réelle, sur les situations naturelles. Or, il s'agit souvent d'un faux problème. D'une part les réactions qu'ont les sujets face à un stimulus ou un ensemble de stimuli sont bien réelles et méritent d'être étudiées.

De plus, s’il est vrai que beaucoup de situations expérimentales sont très éloignée de ce que l'on trouve naturellement, ce n'est pas nécessairement un défaut, c'est même pour cela qu'on les crée. Si on pouvait les trouver ailleurs, on n'aurait pas besoin de les construire.

[Expl : Expé de Asch sur l'influence et le conformisme est exemplaire. Un groupe (n=12) sont réunies autour d'une table [11 compères – 1 vrai sujet]. On fait circuler une feuille sur laquelle sont tracés trois traits parallèles, l'un étant visiblement plus court que les deux autres. Les onze compères affirment l'un après l'autre que tous les traits sont égaux. Après quelques répétitions, le sujet cesse d'affirmer ce qu'il voit et tend à se conformer à l'opinion du groupe.

Cette situation expérimentale est caractéristique dans la mesure où si les compères n'étaient pas unanimes, si un seul d'entre eux soutient que les traits sont inégaux, l'influence du groupe ne s'exerce plus. Or, il est évident que cette situation a peu de chances de se produire

"naturellement" dans les groupes habituels. Cependant c'est le caractère artificiel c'est-à-dire inhabituel de la situation expérimentale qui permet la mise en évidence du phénomène. La pression du groupe vers la conformité. Il est clair que le mécanisme mis en jeu n'est pas le seul à intervenir, et une telle expérience ne nous dit rien sur les autres mécanismes et sur leurs interactions. Tout ce que nous savons maintenant c'est que la pression vers la conformité existe et que cela peut contribuer à expliquer certains changements d'opinion par exemple peu compréhensibles autrement. Par ailleurs d'autres expériences sont réalisées, d'autres mécanismes sont mis en évidence et c'est cet ensemble qui va peu à peu constituer une théorie et améliorer notre compréhension de ce qui se passe dans les situations naturelles

La validité externe peut d’un certain point de vue s’opposer à la validité interne de l’expérience. Ainsi, la clarté d’un effet s’oppose dans une certaine mesure à sa généralisation.

Quatre menaces peuvent peser sur la validité externe d'une recherche:

- Effets réactifs des tests : le prétest rend les sujets davantage conscients et/ou plus sensitifs au traitement qui va suivre. Dans ce cas, l'effet du traitement pourrait être absent s'il n'y a pas de pré-test.

- Interaction des biais de sélection et de traitement : quand un groupe est sélectionné sur une caractéristique donnée, le traitement peut n'agir que sur les groupes possédant cette caractéristique.

- Les effets de réaction aux dispositifs expérimentaux : les traitements peuvent être effectifs dans le cadre très spécifique du laboratoire, mais ne plus avoir aucun effet dans un cadre plus usuel.

- Interférence entre traitements : quand les sujets reçoivent plusieurs types de traitements, les effets des premiers peuvent influencer ceux des derniers.