Indices de concordance globale

La concordance globale peut être évaluée grâce à la corrélation linéaire de Pearson :

où S12 représente la covariance entre les mesures globales obtenues par l’observateur 1 et

celles obtenues par l’observateur 2 (par exemple, les taux d’une certaine unité de conduite obtenus par l’un et l’autre pour différents individus), et S1 et S2 les déviations type de ces

mesures selon l’un et l’autre des observateurs.

Si la corrélation est haute et positive (proche de 1) alors il existe une bonne concordance entre les mesures globales obtenues par les deux observateurs. Toutefois, il est nécessaire de déterminer si un des deux observateurs obtient des mesures systématiquement plus élevées que l’autre, car dans ce cas, le coefficient de corrélation peut également avoir une valeur proche de 1 en raison du décalage systématique entre les mesures obtenues par l’un et l’autre. A lui seul, le coefficient de corrélation de Pearson n’est pas un indicateur adéquat de la concordance, et on doit obtenir la droite de régression. La droite de régression de l’observateur 2 en fonction de l’observateur 1 est :

X2 = a + b.x1

où x1 et x2 représentent les mesures obtenues par les observateurs, a étant l’ordonnée à

l’origine et b la pente de la droite :

avec et les moyennes des mesures respectives. Si l’ordonnée à l’origine est nulle, alors aucun observateur « sur-enregistre » par rapport à l’autre. Si l’ordonnée à l’origine est supérieure à 0 et statistiquement significative, alors l’observateur 1 « sur-enregistre » par rapport à l’observateur 2 ; si elle est inférieure à 0 significativement, alors l’observateur 2 « sur-enregistre » par rapport à l’observateur 1.

Un procédé plus général existe pour évaluer la concordance globale : il s’agit du calcul du coefficient de corrélation intraclasse (Bakeman y Quera, 2011; Yoder et Symons, 2010) dont le plus utile est le coefficient de Berk (1979). Ce coefficient intraclasse permet de comparer deux observateurs ou plus simultanément. Il est sensible à l’absence de corrélation entre les mesures des observateurs et au décalage systématique entre certains observateurs.

En d’autres mots, le coefficient est égal à 1 seulement lorsqu’il existe une corrélation entre les mesures obtenues par les différents observateurs et qu’il n’y a pas de « sur-enregistrement ». Il est inférieur à 1 lorsque les mesures de certains observateurs ne concordent pas avec celles des autres, ou quand, bien qu’elles concordent, elles sont systématiquement décalées, ou bien les deux choses à la fois.

76

Le coefficient de corrélation de Berk est une proportion de variances (à la différence de la corrélation de Pearson, il ne peut prendre des valeurs comprises qu’entre 0 et 1) et se définit comme :

avec :

σs2 = la variance due à la variable « individus » : elle indique le degré de différences entre les

valeurs de la variable « individu », ou variabilité « vraie »

σo2 = la variance due aux observateurs : elle indique le degré d’incohérences entre

observateurs, c’est-à-dire les biais systématiques de l’observateur

σe2 = lavariabilité résiduelle ou d’erreur ; sa racine carrée est l’erreur type, ou erreur standard

de la mesure globale par rapport à celle de la concordance.

Tableau IX. Formules des variances utilisées pour le calcul du coefficient intraclasse de Berk.

Source de variation

Somme des

carrés Carrés moyens Variances Individus SCs = k ∑(Si - M)2 CMs = SCs/(n-1) σs = (CMs - CMe)/k Observateurs SCo = n ∑(Oj - M)2 CMo = SCo/(k-1) σo = (CMo - CMe)/n Erreur SCe = SCt - SCs - SCo CMe = SCe/[(n- 1)(k-1)] σe = CMe Total SCt = ∑(Xij - M)2

Avec k = nombre d’observateurs, n = nombre d’individus, Si = moyenne

des sujets,

Oj = moyenne de l’observateur, M = moyenne générale

Il existe une concordance globale quand la variance due aux individus (σs2) est élevée en

comparaison aux deux autres variances. Si la variance due aux observateurs (σo2) est élevée

par rapport aux deux autres, alors il existe un biais systématique entre les observateurs.

Par exemple, on suppose que quatre observateurs ont observé simultanément et indépendamment cinq individus, et ont obtenu les fréquences présentées dans le tableau X pour la conduite « agression » au cours de plusieurs sessions d’observation. Les résultats du calcul des variances sont détaillés dans le tableau XI.

77 Tableau X. Fréquences de la conduite « agression » obtenues par quatre observateurs

indépendants, en observant simultanément un groupe de cinq individus.

Observateur 1 Observateur 2 Observateur 3 Observateur 4 Moyennes Individu 1 5 6 3 5 4.75 Individu 2 9 10 7 7 8.25 Individu 3 6 10 3 7 6.5 Individu 4 1 2 0 1 1 Individu 5 4 5 2 5 4 Moyennes 5 6.6 3 5 4.9

Tableau XI. Calcul des variances pour le coefficient de Berk, appliqué aux données du tableau XI

Source de variation

Somme des

carrés Carrés moyens Variances

Individus 119.3 29.82 7.21

Observateurs 32.6 10.87 1.97

Erreur 11.9 0.99 0.99

Total 163.8 10.17

Si les observateurs avaient une concordance parfaite, alors dans le tableau (X) nous trouverions des fréquences identiques dans chacune des colonnes de la même ligne, et σo2

vaudrait 0. Dans la mesure où cela n’est pas le cas, cette variance est différente de 0. Si on lit n’importe quelle colonne du tableau (X) de haut en bas, on s’aperçoit qu’il existe une variabilité : chaque individu réalise la conduite « agression » avec une fréquence différente. Cette variabilité est « vraie » puisque c’est précisément celle que l’on souhaite détecter quand on observe les individus ; en d’autres termes, l’existence de variabilité due aux individus est attendue, et est de plus nécessaire pour évaluer la concordance entre observateurs.

Comme on peut le voir, le coefficient de Berk exprime la proportion de variabilité totale due aux différences entre individus (σe2 est généralement petite). Plus cette proportion est élevée,

plus la proportion de variabilité due aux discordances entre observateurs est faible, et donc plus les mesures obtenues par n’importe lequel d’entre eux peuvent être considérées comme fiables.

A partir des résultats des tableaux XI, on obtient ρc2 = 7.21/10.17 = 0.71, ce qui indique que la

fiabilité entre les quatre observateurs concernant la fréquence de la conduite « agression » n’est pas optimale (on considère 0.80 la valeur minimale acceptable). Attention, ce résultat ne veut pas dire que les observateurs ne sont pas fiables dans l’enregistrement d’autres conduites. Si on avait fait correspondre chaque ligne du tableau X avec une unité de conduite du catalogue, et que l’on avait indiqué dans chaque case les fréquences obtenues pour chaque observateur lors de l’observation de tous les individus simultanément, alors le coefficient de

78

Berk aurait indiqué la fiabilité des observateurs par rapport aux fréquences de toutes et chacune des conduites.