Entraînement préalable des juges

Sur la base des connaissances acquises dans le cours entretien

psychologique (cf. chapitre 4.3.3), les étudiantes ont été entraînées

à évaluer correctement les échanges thérapeutiques entre client et thérapeute, tirés des entretiens effectués dans cette recherche en utilisant l’échelle des modes de traitement pour le client et celle pour le thérapeute. Afin de potentialiser l’apprentissage des juges, l’entraînement a été réalisé sur les trois types d’interventions. Par la suite, par contre, chaque juge s’est spécialisée à évaluer une seule intervention à la fois. Cette décision permet d’une part d’améliorer les cotations individuelles pour chaque intervention, d’autre part cela a rendu possible aux juges d’entamer des analyses ultérieures pour une intervention donnée.

Deux entretiens ont été soumis à l’évaluation de l’accord inter juge calculé à l’aide des corrélations bivariées à travers les séquences d’énoncés. Une évaluation de l’accord inter juge a été réalisée après la phase d’entraînement, alors que le deuxième accord inter

juge a été effectué après l’évaluation de dix entretiens par les

Schéma 13: Déroulement de l’entraînement et de son évaluation

Matériel Phase Codage Phase

Evaluation

1er Entretien Bande utilisée Enoncé par énoncé Après

uniquement sur l’ensemble des l’entraînement

pour échanges thérapeutiques

l’entraînement client-thérapeute

_______________________________________________________

2ème Entretien Bande utilisée Enoncé par énoncé Après avoir

aussi pour sur l’ensemble des effectué le d’autres analyses échanges thérapeutiques codage de dix

client-thérapeute entretiens

séparément en fonction des trois types

d’interventions

Les corrélations des accords inter juges montrent tout d’abord des corrélations qui tiennent compte de l’ensemble des échanges thérapeutiques entre client et thérapeute. Alors que les corrélations qui suivent différencient les trois interventions séparément. Les juges inclus dans l’accord sont des évaluateurs ayant suivi l’entraînement et un juge expert.

L’analyse des deux accords inter juges montre les résultats suivants :

Tableau 2: Corrélations après l’entraînement entre les évaluations du niveau explicatif de l’ensemble des échanges client et thérapeute sur un entretien et sur le total des trois conditions expérimentales (N = 187 énoncés)

JUGE1- JUGE2 .72** JUGE1-JUGE3 .78** JUGE1-JUGE4 .81** JUGE2-JUGE3 .87** JUGE2-JUGE4 .80** JUGE3-JUGE4 .83** **. p<.001

JUGE1 = Expert; JUGE2 = Spécialisé pour le processus explicatif; JUGE3 = Spécialisé pour la flèche descendante; JUGE4 = Spécialisé pour l’intervention non spécifique.

L’accord inter juge montre que les évaluations des trois évaluateurs corrèlent significativement et fortement avec celles du juge expert. De même, l’accord inter juge des évaluateurs entre eux montre des corrélations significatives et encore plus fortes.

Tableau 3: Corrélations après l’entraînement entre les évaluations du niveau explicatif des échanges thérapeutiques client et thérapeute pour la condition processus explicatif sur un entretien (N = 41 énoncés)

JUGE1- JUGE2 .54** JUGE1-JUGE3 .50** JUGE1-JUGE4 .71** JUGE2-JUGE3 .78** JUGE2-JUGE4 .62** JUGE3-JUGE4 .59** **. p<.001

JUGE1 = Expert; JUGE2 = Spécialisé pour le processus explicatif; JUGE3 = Spécialisé pour la flèche descendante; JUGE4 = Spécialisé pour l’intervention non spécifique.

L’accord inter juge réalisé uniquement pour le processus explicatif

(Explizierung) met en évidence que les trois évaluateurs corrèlent

significativement avec le juge expert et entre eux.

A ce propos, on peut constater que le juge spécialiste de l’intervention non spécifique présente une corrélation plus forte que les deux autres juges avec le juge expert. La moyenne de ces corrélations inter juge s’élève à r = .62.

Tableau 4: Corrélations après l’entraînement entre les évaluations du niveau explicatif des échanges thérapeutiques client et thérapeute pour la condition flèche descendante sur un entretien (N = 63 énoncés)

JUGE1- JUGE2 .38** JUGE1-JUGE3 .55** JUGE1-JUGE4 .60** JUGE2-JUGE3 .54** JUGE2-JUGE4 .47** JUGE3-JUGE4 .46** **. p<.001

JUGE1 = Expert; JUGE2 = Spécialisé pour le processus explicatif; JUGE3 = Spécialisé pour la flèche descendante; JUGE4 = Spécialisé pour l’intervention non spécifique.

L’accord interjuge qui vise uniquement la flèche descendante (downward arrow technique), illustre que les trois évaluateurs corrèlent significativement avec le juge expert, mais les niveaux diffèrent entre eux et ne sont pas élevés. Le juge spécialisé pour la flèche descendante présente une corrélation moins forte que le juge expert pour l’intervention non spécifique. Le juge spécialisé dans le processus explicatif (Explizierung) montre une corrélation plus faible avec l’expert par rapport aux autres.

Tableau 5: Corrélations après l’entraînement entre les évaluations du niveau explicatif des échanges thérapeutiques client et thérapeute pour la condition intervention non spécifique sur un entretien (N = 83 énoncés)

JUGE1- JUGE2 .86** JUGE1-JUGE3 .73** JUGE1-JUGE4 .82** JUGE2-JUGE3 .72** JUGE2-JUGE4 .80** JUGE3-JUGE4 .74** **. p<.001

JUGE1 = Expert; JUGE2 = Spécialisé pour le processus explicatif.

L’accord inter juge qui tient compte uniquement de l’entretien non

spécifique illustre que les trois évaluateurs corrèlent significativement et fortement avec le juge expert et entre eux.

L’ensemble de ces résultats montre des corrélations nuancées. Même après l’entraînement les accords inter juges restent bas notamment ceux de la flèche descendante. Dans l’ensemble c’est acceptable. A ce sujet, les corrélations des interventions prises individuellement montrent des valeurs moins élevées, dû au nombre plus faible des énoncés, par rapport aux corrélations qui tiennent compte de l’ensemble des interventions. Toutefois, les corrélations correspondent au niveau restreint. En tenant compte qu’on compare des différences entre des combinaisons entre juges, certaines sont plus acceptables que d’autres. Il y a deux conditions où l’accord est bas. En effet, le meilleur juge s’est avéré être celui spécialisé pour l’intervention non spécifique. Toutefois, les corrélations des autres juges peuvent aussi être considérées comme

satisfaisantes. Les juges ont ensuite démarré avec les cotations de tous les entretiens effectués pour la recherche.

Après l’évaluation de dix entretiens en tout, les mêmes juges ont été soumis à un deuxième accord inter juge qui a permis de déterminer si l’apprentissage était définitivement acquis.

Cet accord inter juge a été calculé sur la base des corrélations

bivariées comme lors du premier calcul. Toutefois, dans ce cas, les corrélations ont été calculées seulement sur les échanges thérapeutiques réalisés séparément en fonction des trois interventions.

Voici les résultats des analyses:

Tableau 6: Corrélation après dix entretiens entre les évaluations du niveau explicatif des échanges thérapeutiques client et thérapeute pour la condition processus explicatif sur un entretien (N = 76 énoncés)

JUGE1- JUGE2 .62**

Kappa .29

Corrélations intra- class Single Average .61 .75 **. p<.001

JUGE1 = Expert; JUGE2 = Spécialisé pour le processus explicatif.

L’accord inter juge montre que l’évaluation de l’évaluateur corrèle significativement avec celle du juge expert, mais le niveau atteint n’est pas très élevé.

Tableau 7: Corrélation après dix entretiens entre les évaluations du niveau explicatif sur les échanges thérapeutiques client et thérapeute pour la condition flèche descendante d’un entretien (N = 30 énoncés)

JUGE1- JUGE3 .80**

Kappa .21

Corrélations intra- class Single Average .80 .89 **. p<.001

L’accord inter juge réalisé uniquement pour la flèche descendante (downward arrow technique), met en évidence que l’évaluation de l’évaluateur corrèle significativement et fortement avec celle du juge expert.

Tableau 8: Corrélation après dix entretiens entre les évaluations du niveau explicatif sur les échanges thérapeutiques client et thérapeute pour la condition intervention non spécifique sur un entretien (N = 58 énoncés)

JUGE1- JUGE4 .83**

Kappa .21

Corrélations intra- class Single Average .83 .91 **. p<.001

JUGE1 = Expert; JUGE4 = Spécialisé pour l’intervention non spécifique.

L’accord inter juge effectué seulement pour l’intervention non spécifique illustre que l’évaluateur corrèle significativement et fortement avec le juge expert.

L’ensemble de ces résultats présente des corrélations qui se situent à un niveau acceptable. On peut constater une amélioration par rapport au premier accord inter juge, et cela surtout pour la flèche

descendante (downward arrow technique). La spécialisation

particulière des juges pour les diverses interventions s’est améliorée, mais le niveau le plus bas se retrouve pour le processus

explicatif (Explizierung).

La phase d’entraînement peut être considérée comme acceptable. On note une différence assez marquée entre les valeurs des juges entre eux. Il paraît que la cotation du processus explicatif semble apporter plus de difficultés au juge en question. Cela pourrait s’expliquer par le fait que le processus explicatif par sa structure engendre chez le client des réponses plus variées et profondes. Ainsi, il en résulte que le juge doit faire face à des énoncés plus différenciés ce qui rend son travail de cotation plus difficile. A part ces remarques, les autres indices calculés s’avère être satisfaisants. C’est aussi la raison pour laquelle les juges ont toute de suite commencé à évaluer les entretiens suivants. A ce sujet, la décision prise s’est avérée pertinente, car les accords inter juges entrepris

après l’évaluation de dix entretiens ont mis en évidence des corrélations plus satisfaisantes et plus fortes, surtout si on considère la spécialisation attribuée à chaque juge.

5.1.2 Évaluation des thérapeutes en fonction des conditions