L’accord inter-juges

Un accord inter-juges a été calculé pour environ 20% des dossiers, c’est-à-dire pour 20 dossiers médicaux archivés et a été réalisé avec l’aide d’une étudiante au doctorat en psychologie qui travaillait au centre de recherche de l’IPPM. Puisque les premières sections de la collecte de données colligent des informations factuelles qui n’appellent pas d’interprétation, ces sections n’ont pas été soumises à l’accord inter-juges. Seules les sections relatives aux trois échelles du CBCL ont été soumises à cet exercice.

Tableau 12. Présentation des comportements ayant un Kappa de Cohen supérieur ou égal à 0,61 aux échelles anxio-dépressive, troubles attentionnels et comportements agressifs du CBCL.

Comportements Kappa de

Cohen

Nombre de désaccords entre les

juges (/20) ÉCHELLE 3 « ANXIO-DÉPRESSIVE »

Pleure beaucoup 0,61 2

A peur d’avoir des pensées/ comportements répréhensibles 0,77 1

Se sent inférieur ou dévalorisé 0,71 3

Est une personne nerveuse ou tendue 0,63 3

Se sent trop coupable 1 0

Est facilement gêné ou embarrassé 1 0

Est méfiant 0,74 2

ÉCHELLE 6 « TROUBLES ATTENTIONNELS »

A un comportement trop jeune pour son âge 0,71 3

Est incapable de se concentrer ou de porter son attention de

façon soutenue 0,83 1

A de la difficulté à demeurer tranquillement assis, est agité ou a

un comportement hyperactif 0,61 4

Est confus ou semble perdu dans la brume 0,69 2

Rêvasse ou est souvent dans la lune 0,73 2

Agit sans réfléchir ou impulsivement 0,63 3

Est une personne nerveuse ou tendue 0,77 2

A des gestes mal coordonnés ou est maladroit 0,86 1

A l’air hagard (le regard vide) 0,61 2

ÉCHELLE 9 « COMPORTEMENTS AGRESSIFS »

Est souvent en désaccord 0,86 1

Se vante 0,88 1

Exige beaucoup d’attention 0,66 3

Détruit des choses qui appartiennent à la famille ou aux autres 0,88 1

Est facilement en proie à la jalousie 1 0

Crie beaucoup 0,89 1

Essaie d’impressionner les gens, fait le « clown » 0,70 3

Est têtu, maussade ou irritable 0,89 1

Parle trop 0,77 2

Fait des crises de colère 0,69 3

Fait des menaces aux gens 0,69 3

Pour procéder à cet accord inter-juges, le coefficient retenu est le Kappa de Cohen et seuls les accords ayant obtenus un coefficient supérieur ou égal à 0,61, considérés comme « très bons » par Landis et Koch (1977), ont été mentionnés dans le tableau 12. Malgré que 20% des dossiers aient été inclus dans les accords inter-juges, le nombre de dossiers n’est pas très élevé ce qui fait qu’un seul désaccord entre les juges peut faire varier énormément les Kappas. Malgré cela, le seuil minimal de 0,61 a été maintenu.

Le tableau 12 présente une synthèse illustrant les seuils de signification des trois échelles du CBCL utilisées dans l’identification des types de TDC rencontrés chez les adolescents de l’échantillon. La cotation différente, partant d’une variable continue (0-1-2) à une variable dichotomique (0-1), permet d’avoir un portrait des comportements des adolescents selon leur présence ou leur absence. Pour établir le seuil de signification final, le nombre de comportements présents aux trois échelles du CBCL a été retenu. C’est ainsi qu’a été établi le nombre de comportements requis pour obtenir un point de coupurepour chacune des trois échelles à partir duquel on juge que le jeune présente ou non un trouble d’attention, un sentiment anxio-dépressif ou un comportement agressif. Ces nombres n’étant pas entiers, ils ont tous été arrondis au nombre entier supérieur. L’idée générale étant que, par exemple, si plus de deux comportements (2,45/9) sont requis pour que l’échelle des troubles d’attention atteigne un seuil significatif, on retient comme seuil significatif 3 comportements sur 9 possibles. Le seuil de signification est établi par la présence de 2 comportements sur 7 pour l’échelle « anxio-dépressive » et à 4 sur 12 dans le cas de l’échelle des « comportements agressifs ».

Tableau 13. Seuils significatifs finaux pour la cotation des trois échelles de

comportements du CBCL.

Seuil significatif des échelles du CBCL

Score T > 60 (Chen et al., 1994)

Nombre de comportements aux échelles avec Kappa de Cohen ≥ 0,61

Seuil significatif FINAL des échelles Nombre total de comportements Nombre de comportements requis : seuil significatif selon la cotation du rapport actuel Cotation

Échelles _(Achenbach) 0-1-2 _(actuel) 0-1

Anxio-dépressive 6/28 3/14 7 1,5/7 2/7

Troubles

attentionnels 6/22 3/11 9 2,45/9 3/9

Comportements

agressifs* 13/40 6,5/20 = 5,85/18 12 3,9/12 4/12 *échelle sur 18, en tenant compte des deux items retirés.

Pour terminer, en éliminant les comportements donnant lieu à un Kappa de Cohen inférieur à 0,61, des alphas de Cronbach ont été calculés afin d’établir la relation inter-item. Pour l’échelle anxio-dépressive, l’alpha passe de 0,69 à 0,42 (de quatorze à sept items); tandis que pour l’échelle des troubles attentionnels l’alpha a été assez stable passant de 0,61 à 0,59 (de onze à neuf items). Il en va de même pour l’alpha de l’échelle des comportements agressifs qui passe de 0,93 à 0,90 (de dix-huit à douze items).

On constate que les alphas de Cronbach ont diminués. La raison en est que les items conservés pour constituer ces échelles sont ceux qui obtenaient un kappa de Cohen supérieur ou égal à 0,61 et non ceux qui présentaient une forte corrélation avec l’échelle. Le principe derrière cette décision fût qu’Achenbach a déjà reconnu la fidélité, la fiabilité et la validité des échelles de comportements constituant le CBCL au moment de la validation de son instrument. Dans la recherche actuelle, en conservant seulement les variables donnant lieu à de « très bons » kappa de Cohen, nous nous assurons que les comportements retenus à chacune des échelles sont ceux qui font les moins l’objet de désaccord au moment de la cotation. Ainsi, les échelles, sont formés de comportements sur lesquels il paraît exister bien peu de doute quant à leur présence ou leur absence, qu’elle que soit celui qui en juge.