Chapitre 4. Indicateurs de qualité
4.4. Évaluation des propriétés psychométriques
Pour optimiser l’utilisation des indicateurs de qualité dans des stratégies d’amélioration de la qualité, certaines propriétés psychométriques doivent être évaluées. Une analyse psychométrique complète vise à évaluer plusieurs propriétés telles que l’acceptabilité, la faisabilité, la fiabilité, la validité et la capacité de détecter des changements dans le temps. L’acceptabilité fait référence au caractère « acceptable » d’un indicateur de qualité. La mesure dans laquelle un indicateur est acceptable dépend à la fois des évaluateurs et de ceux qui sont évalués. (171) La faisabilité, quant à elle, est associée à la mesurabilité d’un indicateur ainsi qu’à la disponibilité et l’accessibilité des données utilisées pour documenter un indicateur. En effet, les indicateurs doivent être évaluables à partir de sources de données accessibles telles que des dossiers médicaux, des questionnaires, des enquêtes et des bases de données administratives. Ils doivent également être applicables à suffisamment de patients pour permettre de comparer les données entre les groupes. (171)
4.4.1. Fiabilité
La fiabilité est la capacité de mesurer un concept de façon reproductible et logique. Plus un indicateur de qualité est précis ou fiable, plus il produit des résultats similaires lorsque les mesures sont répétées chez les mêmes sujets dans des conditions similaires. La fiabilité est particulièrement importante lorsque les indicateurs sont utilisés pour faire des comparaisons entre ou à l’intérieur des groupes. Il existe trois types de fiabilité, soit la cohérence inter-items, la fiabilité du test–retest et la fiabilité inter-évaluateurs.
48
La cohérence inter-items fait référence à l’homogénéité des éléments ou le degré de corrélation entre les différents éléments qui constituent un instrument. (178) Pour évaluer ce type de fiabilité, un instrument de mesure (ex : ensemble d’indicateurs) doit nécessairement être formé de plusieurs éléments (ex : indicateurs) qui mesurent le même concept (ex : la prévention des MCV). La fiabilité du test–retest représente l’habileté d’un instrument de mesure à reproduire les mêmes résultats lorsque réutilisé par le même évaluateur, chez les mêmes sujets, dans des conditions similaires. Pour évaluer ce type de fiabilité, il est important de considérer l’intervalle de temps entre le test et le retest ainsi que les conditions dans lesquelles l’instrument a été utilisé. En effet, l’intervalle de temps entre le test et le retest doit être suffisamment long pour éviter un biais de mémoire et suffisamment court pour éviter des changements réels dans ce qui est mesuré. (178) La fiabilité inter-évaluateurs représente l’habileté d’un instrument de mesure à reproduire les mêmes résultats lorsque réutilisé par différents évaluateurs, chez les mêmes sujets, dans des conditions similaires. Les résultats de la fiabilité inter-évaluateurs sont généralement plus faibles que les résultats de la fiabilité du test-retest puisque qu’une source de variance supplémentaire, celle entre les évaluateurs, entre en ligne de compte.
4.4.2. Validité
L’évaluation de la fiabilité est essentielle mais non suffisante; la validité d’un instrument de mesure doit également être évaluée. La validité est la capacité d’un instrument de mesurer ce qu’il est censé mesuré. En d’autres mots, la validité indique dans quelle mesure les résultats d’un instrument sont exacts et correspondent à l'état réel du phénomène mesuré. La validation d’un instrument de mesure est un processus long et complexe qui implique l’évaluation de plusieurs types de validité.
La validité apparente fait référence à la valeur apparente des éléments d’un instrument de mesure. Ce type de validité porte sur ce que l’instrument « semble » mesuré et non sur ce qu’il mesure réellement. Contrairement à l’évaluation de la validité de contenu, l’évaluation de la validité apparente repose sur le jugement d’individus qui ne sont pas considéré comme étant des experts dans le domaine. L’évaluation de la validité apparente est donc la procédure de validation la moins vigoureuse. (178) La validité de contenu, quant à elle, concerne le contenu
49
d’un instrument de mesure. L’évaluation de ce type de validité consiste à déterminer si les éléments d’un instrument de mesure sont formulés correctement et si tous les aspects importants d’un domaine sont mesurés à l’aide de l’instrument. Il s’agit d’un processus subjectif qui est habituellement basé sur le jugement d’experts dans le domaine. (178)
La validité de critère, aussi connue sous le nom de validité critériée ou validité pragmatique, est la capacité d’un instrument de mesure à prédire les résultats d’un outil de référence au même moment (validité concourante) ou plus tard dans le temps (validité prédictive). L’évaluation de ce type de validité permet d’estimer l’efficacité d’un instrument de mesure, c’est-à-dire sa capacité à prédire les résultats d’un test étalon ou de données objectives (ex : mortalité). Certaines études ont démontré que les indicateurs développés à partir de méthodes systématiques basés sur la méthode de détermination de la pertinence RAND ont une bonne validité prédictive. (179-181) La validité conceptuelle est l’habileté d’un instrument à mesurer le concept qu’il est censé mesurer. Pour établir la validité conceptuelle d’un instrument de mesure, il est important de constater la présence de convergence entre deux instruments mesurant des concepts similaires (validité convergente) et l’absence de convergence entre deux instruments mesurant des concepts différents (validité discriminante). Les résultats obtenus à partir de l’instrument de mesure doivent également produire des résultats intuitivement raisonnables.
4.4.3. Capacité de détecter des changements dans le temps
La capacité de détecter des changements (responsiveness) dans le temps est une dimension importante qui est souvent négligé dans le processus de validation. Les indicateurs de qualité doivent être en mesure de détecter des changements dans le temps, et ce, même si ces changements sont de faible amplitude. Sans cette habilité, les indicateurs ne peuvent pas être utilisés dans des stratégies d’amélioration de la qualité. L’évaluation de cette propriété psychométrique se fait habituellement dans le cadre d’une étude prospective qui mesure l’évolution d’un concept (ex : qualité de vie) durant une période de changement (ex : après un AVC) ou dans deux groupes différents (ex : groupe avec traitement versus groupe placebo).
50