L B
S , s
U j FACULTE DES SCIENCES DE L'EDUCATION
1921
(P3
88
THESE PRESENTEE
A L'ECOLE DES GRADUES DE L'UNIVERSITE LAVAL
POUR L'OBTENTION
DU GRADE DE MAITRE ES ARTS (M.A. ) PAR
MICHELLE PELLETIER
BACHELIERE EN ENSEIGNEMENT AU PRESCOLAIRE ET A L'ELEMENTAIRE
LA STABILITE DES COMPOSANTES DE LA VARIANCE DANS LE CAS D'UNE EPREUVE DIAGNOSTIQUE CONSTRUITE SELON DES FACETTES
Table des matières Page Résume ... vi Introduction ... viii I Position du problème ... 1 II Revue de la littérature ... 9
III Approche méthodologique... 16
IV Interprétation des résultats ... 25
V Conclusion et reconmandations ... 45
Bibliographie ... 51
Appendices A Epreuve sur l'addition et la soustraction des entiers relatifs ... 52
B Carrés moyens attendus pour le schême A x B x C x S avec S considérée carme aléatoire et A, B et C consi dérées c a m e fixées (dans ce schême, les sujets (S) et les trois facettes du test (A, B et C) sont ccrn- plètement croisés ... 58
C Estimés des composantes de la variance et de leur contribution relative en pourcentage pour les ré sultats obtenus dans l'échantillon 1 - au premier sous-ensemble de 16 itsns ... 61
- au deuxième sous-ensemble de 16 itans ... 62
ii
Page D Estimes des composantes de la variance et de leur
contribution relative en pourcentage pour les ré sultats obtenus dans l'échantillon 2
- au premier sous-ensemble de 16 items ... 65 - au deuxième sous-ensemble de 16 items ... 66 - au troisième sous-ensemble de 16 items ... 67 E Carrés moyens atterxlus pour le schême D: (A x B x C x S)
(D est le facteur de réplique avec 3 questions par com binaison (A x B x C x S) avec S et D considérées c a m e aléatoires et A, B et C considérées catme fixées (dans ce schême, les sujets (S) et les trois facettes du test
(A, B et C) sont complètement croisés ... 68 F Estimés des composantes de la variance et de leur
contribution relative en pourcentage pour les ré sultats obtenus
- dans l'échantillon 1 aux 48 items du t e s t ... 71 - dans l'échantillon 2 aux 48 items du t e s t ... 72 G Patrons de réponses des 48 questions qui composent
l'épreuve sur l'addition et la soustraction des entiers relatifs
- pour l'échantillon 1 ... 74 - pour l'échantillon 2 ... 77
Tableau Page 1 Epreuve diagnostique construite selon trois facettes:
les opérations, la combinaison de signes des nombres
et l'ordre de grandeur des nombres ... 21 2 Médiane, moyenne et écart-type des échantillons 1 et 2
aux 48 items du test ... 24 3 Pourcentages moyens de réussites pour l'étude du schême
expérimental avec trois observations oar cellule soit
48 itans administrés aux échantillons 1 et 2 ... 28 4 Estimés des composantes de la variance et de leur con
tribution relative en pourcentage pour l'étude des trois sous-ensembles de 16 items administrés à l'échan
tillon 1 ... 29 5 Estimés des composantes de la variance et de leur con
tribution relative en pourcentage pour l'étude des trois sous-ensembles de 16 items administrés à l'échan
tillon 2 ... 33 6 Estimés des composantes de la variance et de leur con
tribution relative en pourcentage pour l'étude du schême expérimental avec trois items par cellule soit 48 items
administrés aux échantillons 1 et 2 ... 36 7 Rangs attribués aux composantes de la variance à partir
des estimés des composantes de la variance rapportés
aux tableaux 4 et 5 ... 42 8 Rangs attribués aux composantes de la variance à partir
des estimés des composantes de la variance rapportés
iv
Liste des figures
Figure Page
1 Histogranme de la distribution de fréquences des
résultats des 122 élèves de l'échantillon 1 ... 23 2 Histogranme de la distribution de fréquences des
AVANT-PROPOS
L'auteur désire exprimer sa reconnaissance à son directeur de recherche, le Docteur Gérard Scallon, professeur titulaire à la Faculté des Sciences de l'Education de l'Université Laval, qui a su en tout temps par sa compétence, sa conscience professionnelle et ses encouragements diriger efficacement cette recherche.
Nos remerciements s'adressent également à la direction, aux enseignants(es) et aux étudiants(es) de deux écoles de la région de Québec qui ont accepté de collaborer à l'expérimentation.
vi
Résume
Depuis quelques années, on réalise de plus en plus que le rôle d'une épreuve de rendement scolaire ne doit pas uniquement se limiter à déterminer le niveau de compétence d'un étudiant. Elle de vrait de plus posséder un caractère diagnostique permettant de cir conscrire les difficultés rencontrées par cet étudiant en cours d'ap prentissage.
C'est avec l'intention de rendre accessibles des instruments de mesure pouvant livrer toutes les informations utiles au diagnostic pédagogique et de permettre de détecter des catégories diagnostiques que SealIon (1981) (1982) a proposé un modèle de recherche pédagogique. Ce modèle implique la construction d'une épreuve de rendement selon un schême à facettes multiples et l'analyse des canposantes de la variance comme procédé statistique servant à détecter les catégories diagnosti ques.
Le but de cette étude consistait donc à vérifier la fiabilité de ce modèle de recherche pédagogique en examinant la stabilité du pro
fil des canposantes de la variance pour différents échantillons de questions et pour différents échantillons de sujets.
L'épreuve de rendement utilisée aux fins de 1'expérimentation comportait 48 problèmes d'addition et de soustraction d'entiers relatifs; ces problèmes ont été formulés selon un schême à trois facettes croisées. L'épreuve était construite de façon à constituer trois sous-tests dis tincts de 16 problèmes chacun, ce qui a permis une analyse séparée de cha cun des sous-tests. De plias, la combinaison des trois sous-tests ensem ble pour obtenir un schême à plusieurs observations par cellule, a permis de dissocier l'erreur expérimentale de l'interaction du plus haut degré.
L'analyse des résultats nous a permis de constater que par l'utilisation d'un schême à une observation par cellule, les profils établis par les différentes facettes de l'épreuve et les catégories diagnostiques inférées sont relativement stables pour un même échantil
lon de sujets d'un sous-ensemble d'items à l'autre, et pour un même sous-ensemble d'items d'un échantillon de sujets à l'autre.
De plus, par l'utilisation d'un schême à trois observations par cellule, nous avons constaté d'une part que, les principales caté gories diagnostiques ainsi détectées étaient semblables dans les deux échantillons de sujets et que, d'autre part, elles étaient aussi sem blables comparativement à celles détectées en utilisant un schême à une observation par cellule. Cependant, la ccnparaison entre le schême â une seule observation par cellule et le schême à trois observations par cellule, dans le cas des entiers relatifs, a produit des résultats moins évidents quant à la stabilité de la contribution relative des com posantes de la variance que les résultats obtenus en comparant les échan tillons de questions ou les échantillons de sujets.
Jusqu'à récemment l'évaluation du rendement scolaire des étudiants ne jouait qu'un rôle de sanction à la fin d'un cours ou d'une étape et ne s'effectuait que par une mesure normative des con naissances et des habiletés.
Depuis quelques années, 1 ' avènement de la pédagogie de la maî trise, par l'utilisation accrue de critères explicites de rendement scolaire ou d'objectifs pédagogiques spécifiques, a fait naître un nou veau type d 'évaluation appelé l'évaluation formative.
"L'évaluation formative se caractérise par un processus continu d'évaluation de l'apprentis sage dont le rôle essentiel est de suivre et d'assurer le progrès continu de chaque élève"
(SealIon, 1981, p. 6)
A différents moments pendant le cheminement d'un étudiant, on intervient de façon à recueillir des informations concernant la qualité de son apprentissage. Le constat de la non-maîtrise d'un ob
jectif chez un élève doit déclencher une intervention pédagogique de nature corrective, ce qui a pour conséquence d 'interrompre momentané ment la progression de l'élève vers de nouveaux objectifs.
Pour parvenir à réaliser le plus adéquatement possible une évaluation formative dans un processus d'apprentissage et de bénéfi cier de tous les avantages proposés par ce type d'évaluation, il nous faut disposer d'une forme d'instruments de mesure mieux appropriés au contexte de l'enseignement.
Afin de répondre à des besoins bien spécifiques en ce do maine, la mesure critériée s'est implantée permettant une interpréta tion non-normative des résultats scolaires à partir d'un seuil de per formance pré-établi. Ce seuil de performance est déterminé soit pour
X
l'ensemble du test ou pour chacun des objectifs visés dans le test (Objectives-Based Test), s o i t pour un échantillon de questions pro venant d'un domaine et visant un ou plusieurs objectifs (Dcmain-Refe- renced Tests).
L'interprétation critériée des résultats de la mesure du rendement scolaire permet donc d'établir le niveau de compétence d'un étudiant concernant un objectif-cible clairement explicité.
Néanmoins, tout instrument de mesure utilisé dans un con texte d'évaluation formative devrait de plus, posséder ion caractère diagnostique afin de déterminer non seulement le niveau de compétence d'un étudiant mais aussi d'identifier les difficultés rencontrées par cet étudiant en cours d'apprentissage, de découvrir à quels moments de son cheminement elles se sont produites, et de déceler les raisons de ses difficultés afin de pouvoir y prescrire un enseignement correctif adéquat.
La présente recherche s'inscrit donc dans la méthodologie de l'évaluation formative et plus particulièrement au niveau du déve loppement de tests formatifs ayant une préoccupation diagnostique.
2
Le test centré sur un seul objectif, bien que composé exclu sivement de questions congruentes à un même objectif, ne permet pas de circonscrire les circonstances particulières de la non-maîtrise de cet objectif chez un élève ou un groupe d'élèves. Les résultats sont interprétés à partir d'un score global et ne servent qu'à déterminer uniquement le degré d'atteinte de cet objectif. La fonction diagnos tique et prescriptive de ce test est reléguée au second plan et le dia gnostic pédagogique en pareils cas ne peut être accompli que par l'ob servation directe des procédés utilisés par les élèves pour solution ner les problèmes ou par 1'emploi d'un procédé analytique de correction des réponses. Par contre, ces procédés, bien que très efficaces sem blent inaccessibles dans un contexte d'enseignement collectif surtout en songeant à la multiplicité des interventions à réaliser dans un pro cessus d'évaluation formative.
Par contre, le test relié à un domaine se rapportant à un seul objectif pédagogique, apparaît beaucoup plus susceptible de s'o rienter vers le diagnostic pédagogique, surtout en tenant compte de la façon de définir le domaine et des modalités de construction des questions reliées au domaine (Baker, 1974, p. 11).
La théorie des facettes proposée par Guttman (1954) serait, selon Millman (1974, p. 332), un exemple de modèle à utiliser pour structurer un domaine. Bien qu'originalement conçu pour s'appliquer à la mesure des attitudes, pour ensuite être appliqué à la mesure de l'intelligence et du rendement scolaire mais dans un esprit normatif, le "facet design" demeure une procédure systématique de définition d'un domaine, applicable à la construction d'un test diagnostique.
De l'application de cette théorie résulte un schême à fa cettes multiples pour la rédaction des questions qui est analogue aux schèmes d'analyse de la variance avec plan factoriel.
Les facettes constituent les dimensions et représentent les variations introduites dans les questions. Chaque dimension ou facette peut comprendre plusieurs niveaux appelés éléments. Les questions résul tent donc de la combinaison des différents éléments (un par facette), et chacune d'elles se situe dans un tableau de spécifications à deux ou plusieurs dimensions.
Un test construit selon la théorie des facettes permet, par la rigueur de l'échantillonnage de ses questions, une interprétation plus juste du score global d'un élève en vue d'estimer son degré de maîtrise de l'habileté mesurée. De plus, en cas de non-maîtrise de
l'objectif, les facettes introduites dans la rédaction des questions et représentant des difficultés possibles chez l'élève, permettent de dé terminer des profils décrivant les circonstances particulières pour les quelles l'élève éprouve des difficultés. Ces profils sont établis en divisant l'ensemble des questions du test en sous-tests, chacun corres pondant à une facette. Le score global de l'élève totalisant plusieurs sous-scores, pourrait donc être constitué en autant de profils qu'il y a de facettes, chaque profil possédant un caractère diagnostique.
On voit donc ici 1'importance d'introduire des facettes re présentant des variations réelles dans les difficultés des questions, ce qui souvent ne peut être établi que par une analyse psychopédagoqi- que de la matière. (Scallon, 1981, p. 24).
Quand une ou plusieurs facettes d'un test permettent d'éta blir des profils de la non-maîtrise d'un objectif pédagogique et ce chez plusieurs élèves, ces facettes peuvent être qualifiées de catégo ries diagnostiques. Par contre, la pertinence de ces facettes à cons tituer de véritables catégories diagnostiques, pour avoir une signifi cation, doit être établie statistiquement à partir des résultats obte nus dans un groupe d'élèves.
4
C'est avec la préoccupation de rendre accessible en milieu scolaire des instruments de mesure pouvant livrer toutes les informa tions utiles au diagnostic pédagogique et de permettre de détecter des catégories diagnostiques, par un procédé de correction abordable, que Scallon (1981, 1982) a proposé un modèle de reclierche pédagogique.
Ce modèle implique la construction d'une épreuve de rendement selon un scheme à facettes multiples et l'analyse des composantes de la variance carme procédé statistique servant à détecter les catégories diagnostiques.
L'analyse des composantes de la variance est une partie essen tielle de la théorie de la généralisabilité qui présente des éléments rationnels compatibles avec l'analyse statistique de questions d'examen rédigées selon des facettes. (Scallon, 1981, p. 2).
Le scheme à facettes multiples, défini par l'application de la théorie des facettes à la rédaction des questions, devient le scheme expérimental. Et, l'analyse des composantes de la variance a pour rôle de détecter les sources de variation contribuant à expliquer les diffé rences observées entre les résultats d'un dispositif expérimental.
Elle permet donc, dans un schême à facettes multiples, d'éta blir la contribution relative de chacune des facettes à la variance to tale des résultats observés et de détecter les facettes qui sont asso ciées à des variations importantes dans la difficulté des questions du test. De plus, d'autres sources de variation et leur contribution rela tive à la variance totale peuvent être identifiées au niveau des inter actions entre deux ou plusieurs facettes et au niveau des interactions entre une ou plusieurs facettes et les sujets.
Les estimés des composantes de la variance et leur contribu tion relative en pourcentage décrivent les effets des sources de va riation introduites dans les questions du test en établissant le degré
de différenciation en difficulté de chacune des facettes. D'après Scallon (1981) ces estimés devraient permettre de détecter les facet tes qui sont associées à des variations importantes dans la difficulté des questions et d'inférer ainsi l'existence de catégories diagnosti ques.
Il est à noter que dans le modèle proposé, les composantes de la variance associées aux diverses sources de variation ainsi que
leur contribution relative à la variance totale sont estimées en utilisant ion modèle expérimental complètement croisé oü toutes les facettes sont des dimensions fixées et où les élèves constituent une dimension aléatoire simple. Les conclusions sont donc formulées dans
la perspective de réutiliser la mène épreuve mais en généralisant les résultats à tous les élèves.
Scallon (1981) présente trois principaux éléments rationnels au modèle de recherche pédagogique servant à identifier différentes sortes de catégories diagnostiques ainsi que leurs débouchés possibles au niveau des correctifs.
La première catégorie diagnostique identifiée par le modèle, est détectée par une seule facette correspondant à des variations im portantes dans la difficulté des questions chez la majorité des sujets, peu importe sa combinaison avec les autres facettes.
La deuxième catégorie diagnostique identifiée par le modèle, est détectée par une facette produisant des différences non négligea bles dans la difficulté des questions mais seulement lorsqu'elle est combinée à une autre ou à d'autres facettes et ce, chez la majorité des
élèves.
Ces deux premières catégories diagnostiques représentent un problème collectif qui peut être associé à des facteurs d'ordre didac tique, ou psychopédagogique ou à la structure des programmes scolaires.
6
Les correctifs prescrits peuvent donc s'appliquer à tout le groupe d'élèves, c'est-â-dire collectivement.
La troisième catégorie diagnostique identifiée par le modèle, est détectée par une facette pouvant produire, seule ou combinée avec d'autres, des différences non-négligeables dans la difficulté des ques tions, mais pour quelques sujets seulement. Il y a interaction entre la ou les facettes et les sujets. La variation en difficulté, intro duite par ces facettes, n'est donc pas généralisable à tous les sujets. Il s'agirait alors, dans un tel cas, d'un problème individuel d'appren tissage qui pourrait trouver sa source au niveau des aptitudes spécifi ques des élèves, des styles d'apprentissage, de la motivation, de l'in telligence ou dans l'acquisition des prérequis reliés à l'objectif-cible. Les correctifs prescrits doivent être individuels.
Il est très intéressant, principalement dans un contexte d'é valuation formative, de posséder des instruments diagnostiques pouvant
détecter les difficultés d'apprentissage des élèves afin de pouvoir y remédier le plus adéquatement possible; une épreuve de rendement cons truite selon des facettes et associée â l'analyse des composantes de la variance devrait nous le procurer!
Jusqu'ici le modèle des facettes, associé à l'analyse des com
posantes d e l à variance, présente deux limites inportantes à souligner.
La première tient au fait que la construction d'un test selon des facet tes produit généralement une seule question (ou un seul item) par com binaison de facettes ce qui entraîne l'utilisation d'un schême a une
seule observation par cellule avec mesures répétées sur les sujets. Cette limite a pour conséquence de rendre impossible la séparation de l ' i n t e r a c t i o n d u p l u s h a u t d e g r é (sujets x f ace t t e s ) d u t e r me d ' e r r e u r . D e pl us, la r é d a c t i o n d'une seule question par com binaison de facettes nous amène à ne considérer qu'un seul échantillon de questions. La seconde limite a trait a l'utilisation d'un seul
géné-ralisabilité. Les questions soulevées dans cette thèse sont reliées aux difficultés méthodologiques qui viennent d'être citées. Les com posantes de la variance et leur contribution relative, estiræes à partir d'une épreuve construite selon des facettes présenteraient- elles des profils relativement comparables (1) en utilisant des échan tillons différents d'items (2) en administrant le test à plusieurs é- chantillons de sujets? Le but de cette recherche est de vérifier la fiabilité du modèle proposé, en vérifiant la stabilité des estimés des composantes de la variance (1) pour plusieurs échantillons d'items et (2) pour des échantillons différents de sujets.
Pour répondre à la première question, il faut avoir au moins deux échantillons de questions, distincts mais construits avec le mène schème à facettes multiples.
On comprendra que cette démarche expérimentale permet d'ana lyser les échantillons de questions séparément pour répondre à la pre mière question mais aussi de les grouper ensemble pour obtenir un schè me à plusieurs observations par cellule (plusieurs questions par combi naison de facettes) pour autant que les mêmes sujets répondent à tous les échantillons de questions.
Bien que chaque échantillon de questions puisse correspondre à une étude séparée, le fait de combiner dans une seule analyse tous les échantillons de questions produit un schème avec plusieurs observa tions par cellule. Il est donc possible avec ce schème de dissocier l'erreur expérimentale de l'interaction du plus haut degré. La question qui se pose alors est la suivante: Les catégories diagnostiques détec
tées avec un schème à une seule observation par cellule seraient-elles les mêmes que celles détectées avec un schème à plusieurs observations par cellule?
De plus, si on administrait le mène test à deux échantillons indépendants de sujets, les composantes de la variance seraient-elles
8
stables d'un échantillon de sujets à l'autre? Les catégories diagnos tiques inférées à partir des composantes de la variance sont-elles les mêmes dans des échantillons différents de sujets? L'intérêt de cette question réside principalement dans le fait que généralement, d'après le modèle de recherche pédagogique proposé, on a (ou on aura) recours à un échantillon unique de sujets et c'est à partir de cet échantillon que des conclusions sont (ou seront)tirées. Or, les composantes esti mées de la variance, carme tout paramètre estimé, sont sujettes à des
fluctuations d'échantillonnage. Pour l'instant, il ne semble pas exis ter de procédé mathématique pour apprécier l'étendue de ces fluctuations.
La recherche présentée ici devrait permettre d'examiner la fiabilité du modèle de recherche pédagogique proposé par Scallon (1981) comportant la construction d'un test selon des facettes et son analyse statistique au moyen des composantes de la variance, pour différents écliantilions de questions et pour différents échantillons de sujets. La fiabilité de ce modèle repose donc sur la stabilité du profil des composantes de la variance pour différents échantillons de questions et pour différents échantillons de sujets.
10
Il nous apparaît donc particulièrement intéressant, principa lement dans le domaine du diagnostic pédagogique, de vérifier empiri
quement 1'ampleur des fluctuations que peuvent subir les composantes estimées de la variance par des erreurs d'échantillonnage, échantillon nage d'items et. échantillonnage des sujets. Le même schèrme expérimental appliqué aux mânes sujets mais présentant des éléments nouveaux à l'in térieur des facettes (échantillons nouveaux d'items) et le même schème expérimental présentant les mânes éléments mais utilisé chez différents échantillons de sujets sont des stratégies qui méritent d'être explorées.
Les études traitant des fluctuations d'échantillonnage aux quelles sont s o u m i s les estimés des composantes de la variance sont très peu nombreuses. Les quelques recherches que nous avons pu locali ser sont celles de Leone et Nelson (1966), d'Endler et Hunt (1966),
Endler et Hunt (1969), Smith (1978) qui traitent toutes de l'application d'un même schème expérimental chez des échantillons distincts de sujets. Aucune étude empirique n'a été retracée concernant les fluctuations dues
a l'échantillonnage d'items (sauf Endler et Hunt, 1969 rapportée p. 17)
L'Etude de Leone et Nelson (1966)
L'étude de Leone et Nelson (1966) impliquait l'utilisation d'un scheme expérimental balancé, à quatre facettes nichées, dans le but d'en
estimer les composantes de la variance. Les auteurs, par des études sépa rées, ont évalué les fluctuations d'échantillonnage des estimés des compo santes de la variance comparant huit combinaisons différentes de sources de variation à partir d'un échantillon de 40 éléments (5 x 2 x 2 x 2) chez des populations parentes telles: une population présentant une distribution normale, une population présentant une distribution rectan gulaire et une population présentant une distribution exponentielle.
Selon les auteurs, les erreurs d'échantillonnage dues à la grandeur de l'échantillon seraient la cause, dans ion schême expérimental à facettes nichées, de variations substantielles dans les estimés des ccrçosantes de la variance. L'ampleur de ces erreurs d'échantillonnage pourrait, sleon Leone et Nelson (1966, p. 458) provenir d'une confusion entre les effets dus au nichage des facettes et contribuant à établir
des différences assez importantes dans les estimés des carposantes de la variance. Les erreurs affectant les estimés des ccrposantes de la va riance des facettes inférieures dans la hiérarchie viendraient progressi- vemntt altérer les estimés des carposantes de la variance associés aux facettes supérieures dans la hiérarchie. Ainsi, dans un plan expérimen tal à facettes corplêtement nichées, les estimés des carposantes de la variance des facettes supérieures dans la hiérarchie varient sensiblement, car ils sont confondus avec les effets des facettes inférieures.
L'étude d'Endler et Hunt (1966)
Dans leur étude, Endler et Hunt (1966) ont analysé les carpo santes de la variance des résultats obtenus par Endler, Hunt et Rosen- stein (1962) avec le "S-R Inventory of Anxiousness". Ce questionnaire a été construit selon deux facettes: les situations et les types de réaction. La facette "situation" est composée de onze situations anxio gènes auxquelles tout individu peut éventuellement être confronté. La facette "types de réaction" représente les réponses que peut manifester un individu face à une telle situation. Chacune des situations peut correspondre à quatorze modes de réponse se rapportant à une réaction et chaque individu doit prévoir l'intensité de sa réaction et l'indiquer au moyen de cinq niveaux de réponse possibles. Les onze situations et les quatorze modes de réaction combinées produisent un questionnaire de cent cinquante-quatre questions. Endler, Hunt et Rosenstein (1962) ont administré le mène questionnaire à deux échantillons distincts de 67 et 169 sujets et ont soumis ces résultats à une analyse de la variance à trois dimensions croisées.
12
Endler et Hunt (1966) ont soumis les mêmes résultats obtenus par Endler, Hunt et Rosenstein (1962) â une analyse des composantes de la variance en prenant soin d'y ajouter les résultats d'un nouvel échan tillon de 53 sujets dans le but d'établir une comparaison entre trois analyses d'un même phénomène chez trois échantillons différents de su jets.
Les composantes de la variance et leur contribution rela tive à la variance totale ont été identifiées par les différentes sources de variation retenues dans le schème expérimental: les sujets, les situations, les modes de réponse, toutes les interactions possibles ainsi que l'erreur expérimentale qui ne peut ici être dissociée de l'in teraction du plus haut degré par le fait que le questionnaire ne comprend qu'un seul item mesurant chaque sujet dans chaque situation et pour cha que mode de réponse. Le modèle, à partir duquel les composantes de la variance ont été estimées, était complètement aléatoire.
Les résultats de cette étude indiquent que pour chacun des trois échantillons, la contribution relative de chacune des principales sources de variation à la variance totale n'est que de 5%; 25% de ce 5% est établi par les modes de réponse. Par contre, près du tiers de la variance totale provient des interactions doubles et de plus, un autre tiers de la variance totale est tenue par l'interaction triple confondue avec l'erreur expérimentale.
D'après l'étude d'Endler et Hunt (1966), les composantes esti mées de la variance et leur contribution relative à la variance totale
sont relativement stables d'un échantillon de sujets à l'autre.
Sans vouloir élaborer sur les implications possibles d'une telle étude qui n'est pas située dans le cadre du diagnostic pédagogique il semble intéressant toutefois de résumer brièvement les conclusions qu'en ont tiré les auteurs. Les différences entre les personnes et les
différences entre les situations ne peuvent expliquer à elles seules les variations en niveaux d'anxiété. Donc, chaque personne devant chaque si tuation peut réagir différarment et à différents niveaux.
L'étude d'Endler et Hunt (1969)
Endler et Hunt (1969) ont repris la même étude qu'Endler et Hunt (1966) mais dans le but de vérifier s'il est possible de générali ser les résultats obtenus précédarment en ce qui a trait à la contribu tion relative de chacune des principales sources de variation et des interactions.
Pour ce faire, ils ont construit six formes différentes du "S-R Inventory of Anxiousness" en incluant différents échantillons de situations anxiogènes et de modes de réponse possibles. Les tests ont été administrés à 22 échantillons de sujets masculins et 21 échantil
lons de sujets féminins pour un total de 2873 sujets présentant des variations quant à l'âge, la classe sociale et la santé mentale.
Les résultats indiquent que, pour chacun des échantillons, la contribution relative des principales sources de variation n'est que de 4% ou 5% pour ce qui est des différences entre les individus, et n'est que de 4% pour ce qui est des différences entre les situations chez les haïmes (8% chez les farmes). Les modes de réponse contribuent à eux seuls au quart de la variance totale. Chacune des interactions doubles contribue a environ 10% de la variance totale et 1 ' interaction triple non dissociée de l'erreur expérimentale contribue au tiers de la variance totale. L'étendue simple de chaque type de composante estimée de la variance présente une stabilité relative de ces estimés et ce, d'un échantillon de sujets à l'autre.
L'âge des sujets et leur classe sociale ont établi des diffé rences relativanent petites dans la contribution des différentes sour ces de variation â la variance totale. De plus, le fait d'inclure dif
14
férents échantillons de situations a eu pour effet d'augmenter la con tribution des situations à la variance totale à 13.7% pour les hommes
et à 19.9% pour les fermes et d'augmenter la contribution de l'interac tion sujets X modes de réponse.
L'interprétation des résultats de cette étude s'inscrit donc dans le même sens que celle de l'étude d'Endler et Hunt (1966).
L'Etude de Smith (1978)
Smith (1978) a étudié, dans le cadre de la théorie de la géné- ralisabilité, la stabilité des estimés des composantes de la variance mais par des études de simulation, en attribuant différentes valeurs
imaginaires aux composantes de la variance.
A partir d'un scheme à deux facettes, l'auteur a vérifié dif férentes hypothèses en faisant varier le nombre d'éléments de chaque facette, le nanbre de sujets, la nature du modèle et la valeur supposée de chaque composante du modèle. Notons toutefois que dans cette étude de simulation, l'auteur a établi théoriquement les fluctuations d'échan tillonnage des composantes de la variance au moyen de la variance de l'estimé d'une composante: v(â2): variance théorique estimée à partir de composantes de la variance prises canne paramètres dans la population.
Plusieurs conclusions et suggestions ont été avancées par 3nith (1978) en vue d'en arriver à estimer le plus fidèlement possible les composantes de la variance. Les erreurs d'échantillonnage de ces composantes seraient, selon l'auteur, dépendantes pour la majeure partie de caractéristiques spécifiques au modèle. La taille de l'échantillon de sujets est considérée c a m e un facteur très important car plus le nombre de sujets est grand, plus il est facile d'établir la stabilité des composantes de la variance.
De plus, la complexité des expressions des carrés moyens attendus qui accompagnent le calcul des estimés des carposantes de la variance correspondrait à une augmentation des fluctuations d'échan tillonnage. Donc, lorsque l'expression des carrés moyens attendus en rapport avec les effets principaux c o m p o r t e plusieurs termes, les erreurs d'échantillonnage des estimés des canposantes associées à ces effets sont plus grandes. Carme le nanbre de termes apparaissant dans l'expression des carrés moyens est plus grand pour les effets princi paux que pour les interactions, les erreurs d'échantillonnage des esti més des carposantes de la variance seraient, selon Smith (1978), plus
grandes poor les effets principaux que pour les interactions.
L'auteur ajoute que la nature ou la configuration du scheme expérimental et 1 ' ampleur relative des valeurs des carposantes de la variance de la population seraient également des causes dont dépendent
les fluctuations d'échantillonnage.
Pour faire face à de tels problèmes, quelques solutions prati ques sont envisagées par s m i t h (1978) et S m i t h (1981) telles: l'emploi de plus grands échantillons de sujets, la réduction des facettes éliminées à tour de rôle dans des études séparées et une stratégie d'é tude canbinée de différents plans expérimentaux. Ces recommandations sont difficilement applicables à une épreuve diagnostique surtout en songeant au coût encouru par de tels procédés.
Néanmoins, les conclusions que l'on peut tirer au sujet des fluctuations d'échantillonnage dans l'estimation des carposantes de la variance, dans le cas d'une épreuve diagnostique construite selon des facettes, ne peuvent que nous inciter à vérifier de façon empirique, la stabilité de ces estimés. Les recherches portant sur la stabilité des carposantes de la variance ne senblent pas suffis arment nombreuses pour tirer des conclusions fermes.
Chapitre 3
Dans ce chapitre, nous allons décrire brièvement les différentes étapes franchies pour en arriver à la cueillette des données. Elles se présentent dans l'ordre suivant: 1) choix du contenu du danaine, 2) description du domaine, 3) construction de l'épreuve, 5) administration de l'épreuve, 6) traitement des données, 7) statistiques préliminaires des résultats obtenus à l'épreuve.
1) Choix du contenu du danaine
Le choix du contenu du danaine utilisé pour les fins de notre étude repose sur les opérations d'addition et de soustraction des nom bres entiers relatifs.
Ce choix peut être justifié à deux niveaux. Premièrement, des études d'ordre psychopédagogique (Benoît Côté, 1982; Birenbaum et Tatsuoka 1980); traitent des difficultés chez les élèves à maîtriser cette habile té qui est sans nul doute prérequise à tout l'apprentissage ultérieur à l'algèbre élémentaire. Deuxièmement, au niveau pratique, ce contenu per met de générer facilement un très grand nonbre d'items selon des facettes et d'obtenir plus d'une observation par combinaison de facettes. De plus, le teqps de résolution de ces opérations étant plutôt court, cela permet donc à tous les étudiants de répondre à tous les items du test.
Notons que des auteurs tels que Birenbaum et Tatsuoka (1980) ont utilisé 1'addition et la soustraction des entiers relatifs carme con tenu dans le cadre d'une étude concernant les erreurs caractéristiques produits par les élèves dans la résolution de ces opérations. Le test utilisé par ces chercheurs ne comportait pas de facettes corme telles mais les résultats de leur étude suggèrent à priori que des variations dans des problèmes d ' addition et de soustraction d ' entiers relatif s peuvent amener des variations dans la difficulté de ces problèmes. Il s'agit là
18
du seul emprunt que nous avons fait à cette recherche et le but poursuivi ici, dans la présente étude, n'est pas de pousser plus loin l'analyse psychopédagogique des opérations sur les entiers relatifs ou de comparer les résultats de notre recherche avec ceux d'autres recherches portant sur la mène habileté.
2) Description du domaine
Le modèle de recherche pédagogique tel que proposé par SealIon (1981) implique la construction d'une épreuve de rendement selon un schê- me à facettes multiples. Pour nous permettre de circonscrire le domaine des problèmes possibles d'addition et de soustraction des entiers rela tifs, nous avons utilisé la théorie des facettes.
Les trois sources de variation ou facettes retenues sont:
1) Les opérations: l'opération à effectuer sur les entiers relatifs est soit une addition ou une soustraction. Le domaine est limité à l'addition et à la soustraction de deux entiers relatifs;
2) La combinaison des signes: les deux nombres à additionner ou à soustraire l'un de l'autre sont présentés horizontalement: les quatre éléments de cette facette se présentent corme suit:
1 - les deux nombres sont positifs; 2 - les deux nombres sont négatifs;
3 - le premier nombre est positif et le deuxième, négatif; 4 - le premier ncmbre est négatif et le deuxième, positif; 3) L'ordre de grandeur des nombres constituant l'opération à effec tuer c'est-à-dire la place du plus grand ncmbre en valeur absolue dans le problème proposé; le plus grand ncmbre en valeur absolue est le premier ncmbre du problème ou est le deuxième nombre du problème; le domaine ex clut donc les problèmes où les deux nombres présentés sont de même gran deur en valeur absolue.
Iæ tableau de spécifications ainsi établi présente donc trois
facettes: (1) les opérations à effectuer (avec ses deux éléments: addi tion ou soustraction), (2) la combinaison des signes constituant le pro blème (avec ses quatre possibilités ou éléments) et (3) l'ordre de gran deur des nombres (avec ses deux éléments). Ces trois facettes étant croi sées on obtient seize situations-types représentées chacune par une cel lule eu_ case dans un tableau de spécifications à trois dimensions.
D'autres limites ont été imposées au domaine: aucun nombre
choisi pour constituer un problème ne dépasse 20 en valeur absolue; chaque problème est composé de seulement deux nombres; une seule opération est de mandée par problème.
3) Construction de l'épreuve
Corme la rédaction systématique d'une épreuve de rendement à partir d'un tableau de spécifications produit un item par cellule, le nom bre minimum d'itans pouvant constituer notre épreuve était de seize. Il nous a semblé réaliste de les tripler pour un total de quarante-huit items, soit trois itorts par cellule sans pour cela compromettre les possibilités d'administration de l'épreuve entière.
Les items constituant notre test ont été empruntés à l'étude de Birenbaum et Tatsuoka (1980) citée précédemment à l'exception de trois items que nous avons dû rédiger pour compléter le tableau de spécifica tions et trois autres items que nous avons dû enlever complètement car ils se répétaient à l'intérieur d'une mârve cellule. Les trois items par cellule que l'on retrouve dans notre tableau de spécifications correspon dent aux trois tests parallèles de l'étude de Birenbaum et Tatsuoka (1980). On comprendra que l'utilisation d'un schème à trois observations par com binaison de facettes nous permet au niveau de l'analyse, de dissocier l'in teraction du plus haut degré du terme d'erreur et nous permet de plus, de considérer trois échantillons distincts de questions.
20
Le tableau 1 présente la t a b l e de spécifications regroupant les quarante-huit items du test. Ces quarante-huit items ont été distri bués au hasard dans le test. De plus, pour éviter l'effet de séquence, nous avons élaboré deux formes du même test en inversant les numéros d'apparition des questions. L'épreuve est reproduite à l'appendice "A".
4) Administration de l'épreuve
L'épreuve a été administrée à 122 élèves d'une école secondaire du territoire de la Com is s i o n scolaire de Sainte-Foy et à 165 élèves d'une é c o l e s e c o n d a i r e de la C o m m i s s i o n s c o l a i r e r é g i o n a l e Jean-Talon^". Les 287 élèves formaient dix groupes de Secondaire II et aucune attention particulière n'a été portée à leur homogénéité. Au con traire, nos deux échantillons sont issus de milieux scolaires différents, l'un d'une école privée et l'autre d'une école publique et les quatre professeurs ont eu recours à leur propre méthode d'enseignement sans con trainte d'aucune sorte. L'épreuve a été administrée quelques mois après les séquences d'apprentissage concernant les opérations sur les nombres entiers relatifs.
Aucune limite de temps n'a été imposée aux élèves lors de la passation de l'épreuve. Néanmoins, le temps requis pour le compléter a varié entre quinze et cinquante-cinq minutes soit à l'intérieur d'une période de cours. La correction des réponses a été dichotomique
(succès « 1, échec - 0). 5) Traitement des données
Le traitement des données a été réalisé au Centre de Traitement de l'Information (CTI) à l'Université Laval; le logiciel "Biomédical Com puter Programs" (BMDP-10V) a été utilisé pour l'analyse et l'estimation des composantes de la variance.
1. Pour éviter toute comparaison indue entre les échantillons systéma tiques ainsi prélevés, l'identification des écoles a été omise.
Deux nombres positifs Deux nombres négatifs Un nombre positif suivi d'un nombre négatif Un nombre négatif suivi d'un nombre positif ADDITION Le plus grand nombre suivi du plus petit nombre (8) 6 + 4 (13) 1 0 + 8 (27) 9 + 5 (24)-14 + (-5) (26)-10 + (-1) (40) -7 + (-5) (30) 12 + (-3) (33) 7 + (-5) (16) 15 + (-6) (11) - 6 + 4 (25) - 5 + 3 (47) - 4 + 2 Le plus petit nombre suivi du plus grand nombre (37) 5 + 8 (1) 8 + 1 0 (29) 2 + 1 1 (44) -5 + (-7) (34) -6 + (-8) (20) -2 + (-11) (2) 3 + (-5) (45) 2 + (-11) (6) 6 + (-8) (23) -3 + 12 (5) -1 + 10 (10) -4 + 13 SOUSTRACTION Le plus grand nombre suivi du plus petit nombre (43) 8 - 6 (12) 7 - 5 (22) 4 - 2 (31)-16 - (-7) (48)-12 - (-10) (46)-11 - (-2) (3) 9 - (-7) (9) 6 - (-4) (17) 10 - (-1) (41) -12 - 3 (36) - 6 - 4 (28) -13 - 4 Le plus petit nombre suivi du plus grand nombre (42) 2 - 1 1 (7) 5 - 1 4 (4) 7 - 1 6 (21) -6 - (-8) (32) -1 - (-10) (19) -3 - (-5) (35) 1 - (-1) (39) 3 - (-12) (15) 5 - (-7) (18) - 7 - 9 (14) -2 - 11 (38) - 4 - 6 (1) Chaque chiffre entre parenthèses correspond à la séquence d'apparition des questions
22
6) Statistiques préliminaires des résultats obtenus à l'épreuve
Les figures 1 et 2 présentent les histogrammes des résultats obtenus auprès des deux échantillons distincts d'élèves. L'échantillon 1 présente un plus grand nombre d'élèves ayant réussi entièrement l'é preuve (soit 26,2%) que ne le fait l'échantillon 2 (12,1%). Néanmoins, le nombre d'élèves ayant échoué plusieurs problèmes croît beaucoup plus rapidement dans l'échantillon 1 que dans l'échantillon 2.
Dans la première partie du tableau 2, les valeurs des médianes et des moyennes rapportées pour les 2 échantillons de sujets complets nous indiquent que le rendement de l'échantillon 2 semble être légèrement supérieur à celui de l'échantillon 1. Toutefois, c'est pour l'échantillon
1 que la variabilité entre les résultats est la plus élevée soit 8,69 com paré à 7,63. De plus, la valeur du rapport "t", non significatif à ,05, nous indique que les deux échantillons peuvent être considérés comme pro venant d'une même population d'élèves. Cependant, il est important de spé cifier que seules les mauvaises réponses fournies par les étudiants consti tuent l'objet spécifique de la présente recherche. Nous avons donc éliminé de l'analyse de la variance tous les élèves ayant obtenu le maximum des points, car ils ne sont d'aucun intérêt en diagnostic pédagogique.
Dans la deuxième partie du tableau, les valeurs des médianes et des moyennes rapportées pour les 2 échantillons de sujets excluant les élèves ayant obtenu le score maximal, nous indiquent que le rendement de l'échantillon 2 demeure légèrement supérieur a celui de l'échantillon 1. Toutefois, la variabilité entre les résultats est plus élevée pour l'é chantillon 1 que pour l'échantillon 2 avec un écart-type de 8,22 comparé à 7,67. Cependant, tout en demeurant conscient que nous travaillons avec les échantillons de sujets qui excluent les élèves ayant obtenu les scores maximum, ce rapport "t", significatif à ,01, nous indique que les deux échantillons de sujets utilisés ne peuvent être considérés comme provenant d'une même population d'élèves.
M
w
n
z
w
c
o
w
ï
i
i
m
w
n
z
w
c
o
M
M
^
30-25 20 15 10 35 JZL J Z Ln
13 1‘4 l 5 l e l 7 1 8 B 2 D 21 2 2 2 3 2 < * 2 5 2 B 27 2B 29 30 31 32 33 3k 35 3 B 3 7 3 B 3 B m 4 1 ‘C < * 3 M * i (6 H 6 i >7 i «Figure 1. Histogramme de la distribution de fréquences des résultats des 122 élèves de l'échantillon 1
20
r
r
15 10 5 - * , n — c i i i □ _ l t i_L_L
. rrf~1 i 1 _ L --- * s c o re s 13 V» 15 16 17 18 K 20 21 22 23 2**25 26 27 28 29 30 31 3 2 3 3 3 k 3 5 3 6 3 7 3 B 3 B ' O M * e < 4 3 H 4 ‘4 5 i e « * 7 i «Figure 2. Histograrrme de la distribution de fréquences des résultats des 165 élèves de l'échantillon 2
24
Tableau 2
Médiane, étendue simple, moyenne et écart-type de chaque échantillon aux 48 items du test
Incluant l'échantillon au conplet
Médiane Etendue simple .. M°yenne _ Ecart-type Rapport "t"
Echantillon 1
n = 122 41,88 35 39,51 8,69
1,64 (ns)(1) Echantillon 2
n « 165 44,31 33 41,09 7,63
Excluant les élèves ayant obtenu le score maximal
Echantillon 2 n - 90 36,83 34 36,49 8,22 3,44 (s) (2) Echantillon 2 n - 145 43,54 32 40,13 7,67 (1) (ns) = non significatif à ,05 (2) (s) * significatif à ,01
N.B. Les réponses fournies par les 2 échantillons de sujets à chacune des 48 questions corposant l'épreuve sont reproduits a l'appen dice G.
26
Le but de la présente recherche est d 'étudier la fiabilité du modèle de recherche pédagogique proposé par Scallon (1981) colpor tant la construction d'un test selon des facettes et son analyse sta tistique au moyen des composantes de la variance, pour différents échantillons de questions et pour différents échantillons de sujets.
A cette fin, nous analyserons la stabilité du profil des carposantes de la variance pour trois échantillons différents d'items et pour deux échantillons différents de sujets.
Rappelons que l'épreuve de rendement utilisée à cet effet colportait 48 questions concernant l'addition et la soustraction d'en tiers relatifs rédigées selon un schême à trois facettes croisées. L'épreuve était construite de façon à constituer trois sous-tests dis tincts de seize items chacun permettant de les analyser chacun séparé ment mais aussi de les grouper ensanble pour obtenir un schême à plu
sieurs observations par cellule de façon à pouvoir dissocier l'erreur expérimentale de l'interaction du plus haut degré. Les trois sous- tests canbinés ont été administrés à deux échantillons différents de sujets pour un total de 287 élèves. Les résultats obtenus ont été cor rigés de façon dichotonique (succès: 1, échec: 0) et ont été soumis à un traitement informatisé pour l'estimation des carposantes de la variance.
Dans ce chapitre, nous rapporterons l'analyse et l'interpré tation des résultats obtenus. La première partie du chapitre sera con sacrée à une analyse sormaire des résultats obtenus au niveau des indi ces de difficulté des questions de l'épreuve reliées à chaque facette. La deuxième partie du chapitre sera consacrée à l'analyse et l'inter prétation des carposantes de la variance.
Analyse sarmaire des résultats de l'épreuve
La première façon d'apprécier le lien entre chaque facette et la difficulté des questions de l'épreuve est de calculer le pour centage moyen de réussites aux questions groupées sous chacune des facettes.
Le tableau 3 nous présente les pourcentages de réussites aux questions correspondant à chaque élément de chaque facette, pour les deux échantillons de sujets.
A première vue, la facette A (la combinaison des signes), la facette B (l'ordre de grandeur des nombres) et la facette C, (les opéra tions) semblent correspondre à des variations réelles dans la difficulté des questions sans pour autant qu'on puisse dire pour quelle facette la différence est la plus marquée, c'est-à-dire laquelle contribue le plias à cette différenciation en difficulté.
Analyse et interprétation des composantes de la variance
Le tableau 4 présente les estimés des carposantes de la va riance et leur contribution relative en pourcentage de la variance totale concernant les trois sous-ensembles d'items administrés à l'é chantillon 1. Les carrés moyens attendus en rapport avec le scheme A x B x C x S exprimés en termes de carposantes de la variance sont reproduits à l'appendice B. Les résultats des estimés des carposantes de la variance à partir des sonnes de carrés, des degrés de liberté et des carrés moyens, pour chacun des sous-tests administrés à l'échantil lon 1, sont reproduits à l'appendice C.
28
Tableau 3
Pourcentages moyens de réussites pour l'étude du schême expérimental avec trois observations par cellule soit
48 items administrés à tous les étudiants (échantillon 1 et 2 combinés)
Eléments
Nombre
Facette de Pourcentages moyens
facettes d'items de réussites
2 signes positifs 12 .95
2 signes négatifs 12 .70
A 1 signe positif suivi de 1 signe négatif 12 .82 1 signe négatif suivi de 1 signe positif 12 .77 Nombre supérieur suivi du nombre 24 • 00 CN inférieur1 B Nombre inférieur suivi du nombre 24 .79 supérieur Addition 24 .86 C Soustraction 24 .75
1. Pour cette facette, il s'agit du nombre supérieur et du nombre inférieur en valeur absolue
Source de 16 items de 16 items de 16 items
Ô2 % Ô2 % ô2 %
Sujets (S) 0,0303 7,53 0,0320 8,42 0,0337 8,94
Combinaison de signes (A) 0,0197 4,89 0,0177 4,64 0,0166 4,41
A x S 0,0506 12,59 0,0536 14,09 0,0486 12,91
Ordre de grandeur des
nombres (B) 0,0004 0,11 0,0005 0,13 0,0003 0,07 B x S 0,0102 2,53 0,0100 2,63 0,0092 2,45 Opérations (C) 0,0226 5,63 0,0229 6,02 0,0286 7,58 C x S 0,0241 5,99 0,0248 6,51 0,0281 7,47 A x B 0,0003 0,06 0,0014 0,36 0,0005 0,12 A x B x S 0,0412 10,24 0,0351 9,23 0,0337 8,94 A x C 0,0101 2,51 0,0065 1,72 0,0082 2,17 A x C x S 0,0925 23,01 0,0896 23,57 0,0815 21,65 B x C 0 --- 0,0006 0,16 0,0005 0,14 B x C x S 0,0240 5,96 0,0218 5,73 0,0170 4,52 A x B x C o (1) --- o (1) --- 0,0013 0,35 A x B x C x S, e 0,0761 18,94 0,0638 16,77 0,0688 18,28 Total: 0,4021 99,99 0,3803 99,98 0,3766 100,00
1. La valeur zéro a été substituée à une valeur négative
NOTE: composantes estimées à partir du mcdêle mixte: les sujets ont été considérés carme aléatoires et les dimensions A, B et C ccmme fixées
30
L'interprétation des estimes des composantes de la variance et de leur contribution relative à la variance totale en regard des di verses sources de variation apparaissant au tableau 4 révêle que, de toutes les sources identifiées, l'interaction triple A x C x S soit A: la combinaison des signes, C: les opérations et S: les sujets, apparaît canne étant la plus importante, et ce pour chacun des trois échantillons d'itens, avec 23,01% de contribution relative au premier sous-ensemble d'items, 23,57% au deuxième sous-ensemble d'items et 21,65% au troisième sous-ensemble d'items. C'est donc dire que la variation en difficulté, introduite dans les questions au moyen de la facette A (la combinaison des signes) apparaît la plus importante lorsque les éléments de la fa cette C (les opérations) sont considérés, mais cette variation n'a pas la même importance peur tous les sujets.
La deuxième source de variation identifiée canne relativement importante est celle qui est associée à l'interaction du plus haut degré confondue avec l'erreur qui est de l'ordre de 18,94% de contribution re lative pour le premier sous-ensemble d'items, de 16,77% pour le deuxième sous-ensenble d'items et de 18,28% pour le troisième sous-ensemble d'i tems. Cette contribution relative à la variance totale signifie que des sources de variation, non contrôlées, ont exercé une certaine influence sur le modèle expérimental.
La troisième source de variation identifiée canne importante et ce pour les trois échantillons d'itens, est l'interaction A x S soit la combinaison des signes et les sujets, avec 12,59% de contribution re lative au premier sous-ensenble d 'items, 14,09% au deuxième sous-ensenble d'itens et 12,91% au troisième sous-ensenble d'items. L'interaction A x B x S (A: la combinaison des signes, B: l'ordre de grandeur des nom bres et S: les sujets), suit en importance avec 10.24% de contribution relative à la variance totale pour le premier sous-ensemble d'items, 9,23% pour le deuxième sous-ensenble d'itens et 8.94% pour le troisième sous-ensemble d'itens.
Une étude plus approfondie du tableau 4 nous permet de consta ter que la facette A (la combinaison des signes) correspond à des varia tions importantes dans la difficulté des questions, principalement lors qu'elle est en présence de la facette C (les opérations) et également
lorsqu'elle est en présence de la facette B (l'ordre de grandeur des nom bres) . Mais, la facette A est toujours associée à des différences en difficulté qui ne sont pas dans le même sens ou qui n'ont pas la même importance pour tous les sujets puisque c'est seulement lorsqu'elle est en interaction avec les sujets qu'elle correspond à une contribution re lativement importante à la variance totale. La facette A, soit la com binaison des signes, constituerait donc une catégorie diagnostique non général! sable à tous les sujets.
Nous sommes alors en présence d'un symptôme de nature idio- syncratique qui pourrait s 'expliquer au niveau de facteurs individuels tels le niveau d'intelligence, d'aptitudes spécifiques, des styles d'ap prentissage, de la motivation ou de la maîtrise d'habiletés requises à
1'obj ectif-cible.
De plus, remarquons que la source de variation identifiée comme la plus faible contribution relative à la variance totale et ce pour les trois échantillons d'items, est l'interaction A x B (la combinaison des si gnes et l'ordre de grandeur des nombres), avec 0,06% de contribution re lative au premier sous-ensemble d'items, 0,36% au deuxième sous-ensemble d'items et 0,12% au troisième sous-ensemble d'items. La facette B (l'ordre de grandeur des nombres) présente aussi un très faible pourcentage de con tribution à la variance totale avec 0,11% de contribution relative au pre mier sous-ensemble d'items, 0,13% au deuxième sous-ensemble d'items et
0,07% au troisième sous-ensemble d'items.
C'est donc dire que la variation en difficulté des questions introduite par l'ordre de grandeur des nombres (facette B) serait né gligeable, à titre d'effet principal ou en interaction avec la facette A et ce, pour tous les sujets.
32
Un rapide coup d'oeil sur les résultats rapportés par les trois sous-ensombles d'items administrés à l'échantillon 1 nous permet d'obser ver une constante concernant les estimés des composantes de la variance et de leur contribution relative en pourcentage. En effet, pour chacun des sous-ensembles d'items, les profils établis par les différentes fa cettes et les catégories diagnostiques inférées sont semblables d'un sous- test à l'autre.
Le tableau 5 présente les estimés des composantes de la va riance et leur contribution relative en pourcentage de la variance totale concernant les trois sous-ensembles d'items administrés à l'échantillon 2. Les carrés moyens attendus en rapport avec le scheme A x B x C x S expri més en termes de composantes de la variance sont reproduits a l'appendice
B. Les résultats des estimés des composantes de la variance à partir des sonnes de carrés, des degrés de liberté et des carrés moyens, pour chacun des sous-tests administrés à l'échantillon 2, sont reproduits à l'appen
dice D.
De toutes les sources identifiées, sauf l'erreur expérimentale, l'interaction A x C x S apparaît une fois de plus canne étant la plus Im portante et ce pour chacun des sous-ensembles d'items avec 20,68% de con tribution relative à la variance totale pour le premier sous-ensemble
d'items, 21,70% pour le deuxième sous-ensemble d'itons et 19,19% pour le troisième sous-ensemble d'items.
Notons toutefois que l'interaction du plus haut degré qui sert de terme d'erreur dans ce modèle, a une contribution relative à la va riance totale de 25,67% pour le premier sous-ensemble d'items, 23,38% pour le second sous-ensemble d'items et de 26,70% pour le troisième sous- ensemble d'items. Ce pourcentage qui est le plus élevé de tous, et de façon constante pour les trois échantillons d'items, indique sans aucune ambiguïté que le dispositif expérimental utilisé a subi l'influence de sources de variation non identifiées. On note une augmentation de la
Source de 16 items de 16 items de 16 items
Ô 2 % d 2 % Ö 2 %
Sujets (S) 0,0302 9,52 0,0272 8,79 0,0268 8,89
Combinaisons de signes (A) 0,0073 2,29 0,0081 2,64 0,0074 2,45
A x S 0,0353 11,14 0,0386 12,50 0,0429 14,28
Ordre de grandeur des
nombres (B) 0,0002 0,06 0,0005 0,16 0,0001 0,03 B x S 0,0105 3,32 0,0126 4,08 0,0096 3,17 Opérations (C) 0,0026 0,81 0,0009 0,29 0,0010 0,32 C x S 0,0181 5,71 0,0206 6,67 0,0141 4,68 A x B 0,0002 0,06 0,0001 0,04 0,0007 0,23 A x B x S 0,0439 13,84 0,0385 12,45 0,0350 11,64 A x C 0,0021 0,65 0,0029 0,94 0,0019 0,62 A x C x S 0,0655 20,68 0,0670 21,70 0,0577 19,19 B x C o (1) --- 0,0008 0,25 0,0006 0,19 B x C x S 0,0194 6,12 0,0185 5,99 0,0209 6,94 A x B x C 0,0004 0,13 0,0004 0,11 0,0020 0,67 A x B x C x S , e 0,0813 25,67 0,0722 23,38 0,0803 26,70 Total: 0,3169 100,00 0,3088 99,99 0,3010 100,00
1. La valeur zéro a été substituée à une valeur négative
NOTE: composantes estimées à partir du modèle mixte: les sujets ont été considérés ccmme aléatoires et les dimensions A, B et C carme fixées
34
carposante d'erreur pour le deuxième échantillon de sujets et ce aux trois sous-ensemblesd'items par rapport au premier échantillon de sujets.
La troisième source de variation identifiée carrre relativement importante et ce, pour les trois échantillons d'items, semble être une fois de plus l'interaction A x S avec 11,14% de contribution relative à la variance totale au premier sous-ensemble d'items, 12,50% au deuxième sous-ensemble d'items et 14,28% au troisième sous-ensanble d'items. L'in teraction A x B x S suit en importance avec 13,84% de contribution relati ve à la variance totale pour le premier sous-ensemble d'items, 12,45% pour
le deuxième sous-ensemble d'items et 11,64% pour le troisième sous-ensem ble d'items.
De plus, on remarque que la source de variation identifiée carne apportant la plus faible contribution relative à la variance totale est la facette B (ordre de grandeur des ncmbres) avec 0,06% de contribution au premier sous-ensemble d'items, 0,16% au deuxième sous-ensemble d'items et 0,03% au troisième sous-ensemble d'items. L'interaction A x B présente aussi un très faible pourcentage de contribution relative à la variance totale avec 0,06% au premier sous-ensemble d'items, 0,04% au deuxième sous- ensemble d'items et 0,23% au troisième sous-ensemble d'items.
Les résultats obtenus pour les trois sous-ensembles d 1items administrés à 1 1 échantillon 2 nous permettent d 1 observer une fois de plus, une constante concernant les estimés des ccmposantes de la variance et de
leur contribution relative en pourcentage. En effet, les profils établis pour chacun des sous-ensembles d'items par les différentes facettes du test et les catégories diagnostiques inférées sont semblables d'un sous- test à 1'autre.
De plus, une comparaison des estimés des ccmposantes de la variance et de leur contribution relative en pourcentage, entre les deux échantillons de sujets pour un même sous-test, nous révèle une même
demi-nante quant à la contribution en difficulté de chacune des facettes du test. Pour ce qui est du dcxnaine des entiers relatifs, on peut donc sup poser qu'en utilisant un schême à une seule observation par cellule, les composantes de la variance totale et leur contribution relative présen tent des profils relativement comparables d'un échantillon d'items à l'autre et d'un échantillon de sujets à l'autre.
Le tableau 6 présente les estimés des composantes de la variance et leur contribution relative en pourcentage de la variance totale concer nant le schême expérimental avec trois observations par cellule, soit 48 items administrés à l'échantillon 1 et à l'échantillon 2.
Il est important de se rappeler que le fait d'avoir ion schême expérimental comportant trois observations par cellule ou par combinai
son de toutes les facettes permet l'identification d'une variation intra cellulaire (within-cell), ce qui implique que l'erreur expérimentale peut être directement estimée et dissociée de l'interaction du plus haut degré.
Les carrés moyens attendus en rapport avec le schême (D: A x B x C x S) exprimés en termes de composantes de la variance sont repro duits à l'appendice E. Les résultats des estimés des composantes de la variance à partir des sonnes de carrés, des degrés de liberté et des car rés moyens pour le test entier administré aux échantillons 1 et 2 sont reproduits à l'appendice F.
L'interprétation des estimés des composantes de la variance et de leur contribution relative à la variance totale, en regard des diverses sources de variation apparaissant au tableau 6, nous révêle que pour les deux échantillons de sujets, l'interaction triple A x C x S (A: la combi naison des signes, C: les opérations et S: les sujets) demeure, outre l'erreur expérimentale bien sûr, la source de variation la plus importante avec 22,72% de contribution relative à la variance totale pour le 1er échan tillon de sujets et 17,31% pour le 2iême échantillon de sujets.
Tableau 6: estimés des composantes de la variance et de leur contribution relative en % pour l'étude du schême expérimental avec trois
items par cellule soit 48 items administrés à l'échantillon 1 et 2
Source
Echantillon 1 Echantillon 2
e 2 % Ô 2 %
Sujets (S) 0,0282 10,01 0,0242 12,76
Combinaison de signes (A) 0,0180 6,36 0,0076 4,00 A x S
Ordre de grandeur des
0,0373 13,21 0,0233 12,32 nombres (B) 0,0005 0,16 0,0003 0,15 B x S 0,0019 0,68 0,0019 1,02 Opérations (C) 0,0247 8,74 0,0014 0,75 C x S 0,0193 6,85 0,0096 5,09 A x B 0,0001 0,04 0,0004 0,19 A x B x S 0,0076 2,70 0,0053 2,78 A x C 0,0083 2,94 0,0023 1,21 A x C x S 0,0641 22,72 0,0328 17,31 B x C 0,0005 0,17 0,0004 0,21 B x C x S 0,0044 1,56 0,0017 0,90 A x B x C 0,0003 0,10 0,0005 0,24 A x B x C x S 0,0108 3,83 0,0129 6,82 Erreur Intra 0,0563 19,94 0,0649 34,27 Total: 0,2823 100,01 0,1895 100,02
NOTE: composantes estimées à partir du modèle mixte: les sujets ont été con sidérés carme aléatoires et les dimensions A, B et C ccrtme fixées
La deuxième source de variation identifiée corme relativement importante est celle qui est associée à l'erreur expérimentale qui est de l'ordre de 19,94% de contribution relative pour le premier échantil lon de sujets, et de 34,27% pour le deuxième échantillon de sujets.
La troisième source de variation identifiée ccmme relativement importante demeure l'interaction A x S (la combinaison des signes et les sujets) avec 13,21% de contribution relative à la variance totale pour le premier échantillon de sujets et 12,32% pour le deuxième échantillon de sujets.
De plus, la source de variation identifiée corme apportant la plus faible contribution à la variance totale demeure l'interaction A x B (la combinaison des signes et l'ordre de grandeur des nombres) avec 0,04% de contribution relative au premier échantillon de sujets et 0,19% au deuxième échantillon de sujets.
Notons que l'interaction du plus haut degré (A x B x C x S) impliquant les sujets et toutes les facettes du test n'est pas élevée mais n'est pas nulle non plus (3,83 dans l'échantillon 1 et 6,82 dans
l'échantillon 2). Pour quelqu'un qui considère cette interaction canne non négligeable, il devient donc risqué d'utiliser le modèle additif cor respondant au schème ne comportant qu'une seule observation par cellule
(c.f. tableau 4 et 5) pour estimer l'erreur expérimentale.
Remarquons toutefois que les estimés des canposantes de la va riance et leur contribution relative à la variance totale présentent, pour le schème expérimental à plus d'une observation par cellule, cer taines fluctuations d'un échantillon de sujets à l'autre.
En effet, une comparaison des estimés des composantes de la va riance et de leur contribution relative en pourcentage chez les deux é- chantilions de sujets pour le même test, nous indique que la facette C
38
(les opérations) contribue à établir une différenciation en difficulté plus importante pour l'échantillon 1 que pour l'échantillon 2, avec
8,74% de contribution relative à la variance totale pour le premier échantillon de sujets et 0,75% pour le deuxième échantillon de sujets.
De plus, l'erreur expérimentale s'avère plus importante pour 1 'échantillon 2 que pour l'échantillon 1, avec 19,94% de contribution relative à la variance totale pour le premier échantillon de sujets et 34,27% pour le deuxième échantillon de sujets.
Une analyse plus détaillée du tableau 6 nous permet de cons tater pour l'échantillon 2, une baisse généralisée au niveau des effets simples, c'est-à-dire de la différenciation en difficulté introduite par les facettes, et aussi au niveau des interactions de premier ordre, ce qui a pour effet d'accroître l'importance relative de l'erreur expéri mentale qui d e v i e n t p l u s é l e v é e d a n s l ' é c h a n t i l l o n 2 q u e d a n s
l'échantillon 1. Cannent expliquer cette baisse de différenciation en difficulté au niveau des facettes en passant de l'échantillon 1 à l'échan tillon 2? Ce phénomène pourrait peut-être s'expliquer soit par une dif férence dans les procédés d'enseignement utilisés ou, par le temps écoulé entre la fin de 1 'apprentissage et le marient de passation de l'épreuve. Nous n'avons malheureusement pas de données qui permettraient de vérifier
cette hypothèse.
Toutefois, on peut déduire que les carposantes de la variance et leur contribution relative en pourcentage présentent des profils re lativement comparables d'un échantillon de sujets à 1'autre pour un même schême ou 1 1erreur expérimentale est dissociée de 1 1 interaction du plus haut degré. écarts les plus apparents, entre les deux profils, sont en regard de la facette C, et de 1'erreur expérimentale.
Après avoir comparé le schème expérimental à trois observations par cellule entre deux échantillons de sujets, nous allons maintenant
