Pour vérifier l'accord entre les juges au sujet de la pertinence des items, l'index de validité de contenu (IVC; Martuza, 1977) a été calculé. L'IVC est la proportion d'items cotés par les experts comme étant un bon ou un très bon indicateur de la valeur de travail mesurée. De plus, l'IVC peut aussi être calculé pour des regroupements d'items. Ainsi, cet index a aussi été calculé pour chacune des valeurs de travail et pour l'ensemble des items qui ont été créés, ce qui permettra d'identifier les items à améliorer. Afin d'éviter la confusion, le calcul du IVC pour chaque item est nommé « index de validité de contenu de l'item » (IVC-I), tandis que le calcul pour chaque valeur de travail et pour l'ensemble des items sont nommés « index de validité de contenu de l'échelle » (IVC-É), tel que proposé par Polit et Beck (2006).
Lors du calcul de l'IVC, les résultats à l'échelle à quatre entrées sont regroupés en deux catégories. Les deux premières entrées « n'est pas du tout un bon indicateur de cette valeur de travail » et « n'est pas un bon indicateur de cette valeur de travail » de chacune des échelles sont regroupées pour former l'entrée de « non-validité », tandis que les deux autres entrées « est un bon indicateur de cette valeur de travail » et « est un très bon indicateur de cette valeur de travail » sont regroupées pour former le groupement « validité ». En d'autres termes, les échelles en quatre entrées sont modifiées en échelles dichotomiques (Wynd, Schmidt et Schaefer, 2003).
Polit et Beck (2006) indiquent qu'il existe plusieurs barèmes statistiques pour juger de la validité d'un outil à partir de l'IVC-I et l'IVC-É. Ces auteures proposent donc de respecter les critères les plus stricts identifiés dans la littérature. Ainsi, pour ce mémoire, un IVC-I doit être égal ou supérieur à 0,78 pour être considéré comme étant un bon indicateur de la valeur de travail à laquelle il est associé, tel que proposé par Lynn (1986). Les items ayant un IVC-I inférieurs à 0,78 sont donc considérés comme des items n'ayant pas un niveau de pertinence suffisant. En ce qui a trait à l'IVC-É, celui-ci doit être égal ou supérieur à 0,90 pour confirmer la pertinence des items d'une valeur de travail dans son ensemble (Waltz, Strickland et Lenz, 2005).
Un des principaux inconvénients de l'IVC-I et de l'IVC-É est qu'ils ne prennent pas en compte l'effet du hasard dans l'accord entre les juges (Polit et Beck, 2006). Pour pallier à cette lacune, le Free marginal multirater Kappa (κfree) de Randolph (2005) a été calculé sur chacune des valeurs de travail. La valeur de κfree peut varier entre 1 et -1. Lorsque la valeur de κfree est égale à 1, cela signifie qu'il y a un accord parfait entre les juges, tandis qu'une valeur de -1 signifie un désaccord parfait entre les juges. Une valeur de 0 indique que « les accords ne dépassent pas ceux qui étaient attendus du fait de la chance » (Laveault et Grégoire, 2014, p. 178). Afin de s'assurer que les résultats obtenus sont significativement différents de zéro, le seuil de signification (p) a été calculé pour chaque κfree. L'utilisation du κfree de Randolph est justifiée par le fait qu'il n'est pas influencé par la prévalence de chacune des catégories et qu'il prend en considération que l'accord puisse être dû au hasard. Ainsi, afin d'augmenter le niveau de confiance de l'évaluation de la pertinence des items, il est proposé d'utiliser les indices IVC ainsi qu'un coefficient prenant en compte que l'accord des juges soit dû au hasard (Brennan et Hays, 1992), tel que le
κfree de Randolph (2005).
Il est important d'apporter la nuance suivante pour bien comprendre ce que mesure le κfree. Si la grande majorité des experts évaluent les items d'une valeur comme étant non-pertinents, le κfree serait tout de même élevé, étant donné qu'il n'est
pas influencé par la prévalence des catégories. Dans ce cas hypothétique, les experts seraient en accord au sujet du manque de clarté des items. Afin de contextualiser le résultat du κfree, l'utilisation de l'IVC-É permettra d'identifier sur quoi les experts s'entendent. Un κfree élevé et un IVC-É élevé à une valeur de travail indiquent que les experts s'entendent sur la qualité des items au niveau de leur pertinence. À l'inverse, un κfree élevé et un IVC-É faible à une valeur de travail indiquent que les experts s'entendent sur la faible niveau de qualité des items quant à leur pertinence.
Plusieurs barèmes statistiques sont offerts pour interpréter les coefficients kappa. La classification la plus populaire est celle de Landis et Koch (1977), présentée au tableau 9 et qui sera utilisée dans le cadre de ce mémoire.
Tout comme l'IVC, le PA de chacune des valeurs de travail a aussi été calculé, qui se trouve à être la moyenne du PA des items de la valeur de travail. Pour bien distinguer chacun de ces calculs, la même nomenclature sera utilisée que celle de l'IVC, soit le pourcentage d'accord au niveau des items (PA-I) et le pourcentage d'accord au niveau des échelles (PA-É). Les PA-I permettront d'identifier les items à reformuler ultérieurement afin d'améliorer leur clarté.
Tableau 9
Barèmes statistiques suggérés par Landis et Koch (1977) pour interpréter le kappa
Kappa Interprétation Inférieur à 0,00 Mauvais 0,00-0,20 Faible 0,21-0,40 Passable 0,41-0,60 Modéré 0,61-0,80 Substantiel 0,81-1,00 Presque parfait
Dans la littérature scientifique, il ne semble pas avoir de barème statistique clair pour identifier un pourcentage d'accord minimum pour pouvoir statuer sur la clarté de l'item ou de l'échelle. Krippendorff (2004) suggère que le PA doit être supérieur ou égal à 80 % dans le cadre de recherches scientifiques pour pouvoir considérer que le niveau d'accord entre les experts est suffisamment élevé. Étant un des seuls barèmes statistiques identifiés dans la littérature, celui-ci sera utilisé dans ce mémoire.
Les calculs de l'IVC-I, de l'IVC-É, du PA-I et du PA-É ont été réalisés avec le logiciel IBM SPSS Statistics 21 (2012), tandis que le calcul du κ de Randolph a été calculé à partir de la version 3.7. du logiciel Statistics 101 (2015), programme pour lequel Randolph a fourni un macro pour calculer le κfree ainsi que son seuil de
signification.