Les résultats de l’accord inter-juge

Tel que décrit précédemment au point 3.2.3, afin de réaliser la démarche d’accord inter-juge, trois trios d’évaluateurs ont été constitués. Chacun de ces trios devait remplir le questionnaire pour les dix mêmes jeunes.

Cependant, les résultats porteront uniquement sur deux des trois équipes de juges. Dans la troisième, seuls deux participants ont remis les questionnaires complétés, au nombre de huit. De plus, dans les 200 interactions (25 items par jeunes x 8 jeunes), un taux de concordance de

94

95 % est observé dans la cotation. Cela signifie que sur 200 cotes, 190 sont exactement les mêmes. Cette observation détonne de façon importante des résultats obtenus auprès des deux autres trios d’évaluateurs, laissant entrevoir que la première consigne de l’exercice, soit de ne pas discuter des réponses entre eux, n’ait pas été respectée. Afin de s’assurer de la bonne fidélité de l’instrument, ces deux juges ont donc été exclus. Les coefficients inter-classes, présentés dans le tableau 5, sont donc le résultat des accords réalisés entre deux trios de juges, qui ont colligé l’information pour dix jeunes chacun.

Le tableau 5 illustre que, pour cinq facteurs de risque, les accords se trouvent dans la zone «excellent», soit les antécédents de fugue (ICC=0,849, p<0,001), la rupture de la famille nucléaire (ICC=0,834, p<0,001), les comportements délinquants (ICC=0,822, p<0,001), la problématique suicidaire (ICC=0,787, p<0,001) et les relations d’attachement (ICC=0,779, p<0,001). De plus, sept facteurs ont fait l’objet d’un bon accord, soit la problématique de santé mentale (ICC=0,746, p<0,01), l’âge lors de la première fugue (ICC=0,731, p<0,01), la désaffiliation (ICC=0,724, p<0,001), l’alliance thérapeutique (ICC=0,684, p<0,01), les stratégies d’adaptation axées sur la fuite (ICC=0,666, p<0,001) et les relations conflictuelles avec les pairs (ICC=0,615, p<0,01). L’âge du jeune fait également l’objet d’un bon accord (ICC=0,731, p<0,01), ce qui apparaît étonnant. En effet, la grille de cotation précise exactement l’âge pour chacune des cotes et il s’agit d’une information facilement accessible dans le dossier électronique. Pour ces douze facteurs dont la valeur de l’ICC est bonne ou excellente, aucun changement n’a été apporté à la suite de la démarche d’accord inter-juge.

L’ICC de six facteurs est considéré comme étant passable, soit le temps depuis l’arrivée dans le milieu de vie (ICC=0,555, p<0,05), les difficultés scolaires (ICC=0,551, p<0,05), les relations conflictuelles avec les figures d’autorité (ICC=0,535, p<0,05), la gestion des émotions (ICC=0,529, p<0,01), la violence physique (ICC=0,513, p<0,05) et l’opinion face à la fugue (ICC=0,446, p<0,1). Les sept autres facteurs ont un accord jugé «faible». Il s’agit de l’absence de réseau prosocial (ICC=0,381, p<0,1), de l’abus sexuel (ICC=0,352, n.s.), du but de l’intervention (ICC=0,330, p<0,001), de l’absence de collaboration des parents (ICC=0,191, n.s.), de la consommation de drogues (ICC=0,132, n.s.) et du réseau social déviant (ICC=0,099, n.s.). Pour l’instabilité du lieu de résidence, la valeur négative de l’ICC

95

semble montrer qu’il y a un désaccord entre les juges (ICC=-0,121, n.s.). Il est à noter que pour certains de ces facteurs, l’intervalle de confiance est élevé.

Tableau 5 : Mesure de la fidélité des facteurs de risque à partir des Coefficients inter-classes

Facteurs de risque ICC Intervalle de confiance (95%)

Rupture de la famille nucléaire 0,834*** (0,653-0,929)

Instabilité du lieu de résidence -0,121 (-1,340-0,539)

Violence physique intrafamiliale 0,513* (-0,016-0,791)

Abus sexuel 0,352 (-0,351-0,722)

Relations d’attachement problématiques 0,799*** (0,539-0,905)

Antécédents de fugue 0,849*** (0,685-0,935)

Âge lors de la première fugue 0,615** (0,196-0,835)

Âge 0,731*** (0,438-0,885)

Temps depuis l’arrivée dans le milieu de vie actuel 0,555* (0,072-0,809)

Consommation d’alcool et de drogues 0,132 (-0,811-0,628)

Comportements délinquants 0,822*** (0,629-0,924)

Difficultés scolaires 0,551* (0,062-0,807)

Problématique suicidaire 0,787*** (0,556-0,909)

Problématique de santé mentale 0,666** (0,304-0,857)

Stratégies d’adaptation axées sur la fuite 0,746*** (-0,759-0,639)

Gestion des émotions 0,529* (0,018-0,798)

Désaffiliation 0,724*** (0,425-0,882)

Collaboration des parents au processus de réadaptation 0,191 (-1,004-0,606)

Réseau social déviant 0,099 (-0,880-0,614)

Absence de réseau prosocial 0,381+ (-0,290-0,725)

Relations conflictuelles avec les figures d’autorités 0,535* (0,030-0,801)

Relations conflictuelles avec les pairs 0,615** (0,071-0,780)

Alliance thérapeutique 0,684** (0,342-0,685)

But de l’intervention 0,330 (-0,398-0,713)

Opinion du jeune face à la fugue 0,446+ _{(-0,155-0,763)}

96

Toutefois, Koo et Li (2016) soutiennent qu’il n’y a pas de consensus afin de juger comme acceptable un ICC. Pour ces auteurs, un faible ICC peut également refléter un manque de variation dans les cotations ou être dû à un petit échantillon. Koo et Li (2016) avancent qu’un échantillon convenable comporte au moins 30 sujets, évalués par trois juges. Le devis de départ de la démarche d’accord inter-juges respectait ces critères. Or, comme le tiers n’a finalement pas été retenu pour réaliser les analyses, la taille de l’échantillon est faible. Ainsi, malgré les accords jugés passables ou modérés, les facteurs de risque n’ont pas été exclus des étapes suivantes de validation du Guide d’évaluation du risque de fugue.

De plus, la seconde consultation auprès des professionnels a mis en évidence que l’opérationnalisation de certains facteurs de risque est à clarifier, notamment la consommation de drogues et d’alcool, l’absence de collaboration des parents et la gestion des émotions. Les notions d’amis et de connaissances, qui distinguent les cotes 1 et 2 des facteurs «réseau social déviant» et «absence de réseau prosocial» est également complexe à faire selon les professionnels. Aussi, ils ont mentionné que l’information sur l’abus sexuel, l’instabilité du lieu de résidence et la violence physique sont difficiles à obtenir. Il est donc possible que les intervenants ne soient pas au courant de certaines de ces informations, le dossier n’en faisant pas mention et/ou le jeune ne s’étant pas ouvert sur ces sujets. Cela peut expliquer les ICC passables et faibles de ces facteurs.

Enfin, les professionnels pensent que tous les facteurs importants ont été pris en compte dans l’outil. Toutefois, dans leur perception, il y a peu de lien entre la fugue et les facteurs «abus sexuel» et «problématique suicidaire». Néanmoins, ceux-ci ont été conservés et la relation sera étudiée dans les analyses subséquentes.

À la suite de la démarche d’accord inter-juge et la seconde consultation auprès des professionnels, le guide de cotation a été revu afin de tenir compte des commentaires émis et préciser davantage certains critères. Il est à noter qu’aucun facteur de risque n’a été ajouté ou retiré.

97

Ainsi, une troisième version du Guide d’évaluation du risque de fugue (v3, 2017) a été élaborée. Cette version a été utilisée pour mesurer la validité prédictive de l’outil, dont les résultats sont présentés au chapitre 4.

En résumé, la démarche d’élaboration du Guide d’évaluation du risque de fugue se voulait rigoureuse. Toutefois, les difficultés rencontrées dans certains milieux dans la réalisation de la démarche d’accord inter-juge, notamment le non-respect des consignes par certains évaluateurs, peuvent introduire certains biais dans les étapes subséquentes. Il sera important d’en tenir compte dans l’analyse des résultats obtenus.

Néanmoins, l’outil plaît aux intervenants qui l’ont testé. Ces derniers rapportent que la démarche est intéressante et utile et qu’elle permet de bien identifier les besoins à cibler dans leur intervention. Le Guide d’évaluation du risque de fugue soutient donc une meilleure gestion du risque.

98