Validité

Un outil de mesure valide est un outil qui mesure ce qui est souhaité de mesurer. Plusieurs types de validité doivent être recherchés :

5.3.2.3.1.1. Validité de contenu

Est-ce que tout ce qui a été fait a été fait dans les règles et suivant une méthodologie valide selon les experts du domaine?

C’est l’avis des experts et leur approbation qui sont attendus pour considérer que le questionnaire FaCE a une validité de contenu. C’est en examinant l’existence de biais ou d’irrégularité de méthodologie que ce type de validité est explorée.

5.3.2.3.1.2. Validité prédictive

Est-ce que les sujets sont classés dans l’échelle de mesure en concordance avec d’autres facteurs propres qui prédisent cette position?

Ceci consiste à examiner si les sujets les plus malades, selon des critères médicaux et cliniques, sont ceux qui ont les scores le moins bons. Autrement dit, il suffit d’évaluer si les sujets sont classés suivant une logique basés sur leur condition globale.

5.3.2.3.1.3. Validité conceptuelle/théorique

Est-ce que les scores du questionnaire FaCE peuvent à eux seuls être interprétés pour évaluer la capacité cognitive des sujets?

Il s’agit de juger si les objectifs principaux du projet d’étude sont restés les mêmes et que les analyses effectuées étaient bien celles qui permettent de tester l’hypothèse de recherche fixée lors de l’élaboration du projet. L’un des objectifs principaux était d’améliorer les propriétés psychométriques du questionnaire FaCE afin qu’il permette une évaluation fiable et précise du statut cognitif des sujets atteints d’un cancer en s’assurant que ce questionnaire permette à lui seul d’évaluer les fonctions cognitives (non pas d’autres traits latents) des sujets avec un cancer (pas d’une autre population). Afin de satisfaire ce type de validité, le questionnaire FaCE devait être suffisant et démontrer une concordance entre la théorie et l’utilité pratique.

5.3.2.3.1.4. Validité apparente

Est-il facile d’administrer le questionnaire, et est-il déplaisant ou pénible de s’y soumettre?

C’est par l’appréciation des intervenants ayant administré le FaCE aux participants et par l’appréciation des participants eux-mêmes qu’il était possible d’explorer ce type de validité. C’est une appréciation très subjective qui s’est faite lors du prétest d’un projet d’étude en collectant les commentaires et suggestions des personnes en lien avec le questionnaire.

Deux types d’erreurs peuvent affecter une mesure, quelle qu’elle soit. Les erreurs aléatoires et les erreurs systématiques. Les premières affectent le score de tous les sujets d’une façon différente à chaque fois. Les deuxièmes, affectent de la même façon le score de tous les sujets. C’est l’évaluation de l’existence des biais liés au questionnaire, liés à la sélection de la population ou encore liés à un facteur méthodologique qui influencerait la mesure (ex. : condition d’administration du FaCE) qu’il est possible d’identifier ces types d’erreurs et de les classer.

5.3.2.3.2.

Quelle est la quantité d’erreurs de mesure associée au score de l’échelle de mesure? Quelle est la vraie valeur des scores obtenus et à quel point varie-t-elle?

C’est l’analyse de la variance des scores observés qui indique quels sont les scores réels, les erreurs de mesure et leur distribution. Elle est calculée en fonction de la variance des scores observés et la variance des erreurs de mesure. Afin d’estimer la proportion de cette variance qui est attribuable à la mesure réelle, le coefficient de fiabilité qui est le rapport entre la variance des scores réels et la variance des scores observés a été interprété. Sa valeur s’étend de zéro (0) à un (1). Plus l’indice de fiabilité s’approche du 1, plus la mesure est considérée fiable, car la proportion de la variance d’erreur

de mesure qui compose la variance des scores observés est petite. Un test est considéré fiable au- delà d’une valeur du coefficient de fiabilité de 0,8576, 80_.

5.3.2.3.2.1. Fiabilité de reproductibilité

Le test statistique de corrélation de Pearson a permis d’explorer si le questionnaire FaCE pouvait être reproductible au même sujet plusieurs fois par le même examinateur. Toutefois, certaines conditions s’imposent. Il faut un intervalle de temps entre deux temps de mesure suffisamment long pour éviter la fatigue ou l’effet d’apprentissage, mais suffisamment court pour que la capacité cognitive n’ait pas changé significativement pour changer le score. Les mêmes tests statistiques de corrélation ont été utilisés pour évaluer si des examinateurs différents peuvent administrer le questionnaire FaCE au même sujet sans altérer la fiabilité de la mesure. Elle est estimée par l’indice de fiabilité des personnes de la première administration du questionnaire.

5.3.2.3.2.2. Indice de séparation des personnes (« person- séparation-index ») indice de fiabilité des personnes (Person- reliability index (IFP))

L’indice de séparation des personnes (ISP) indique le nombre de «niveaux» de capacités différentes qui sont distingués au sein de la population à l’étude. C’est le rapport entre la déviation standard des scores réels et la déviation standard due aux erreurs de mesure56_{. Le nombre de niveaux différents}

qui compose l’échelle de mesure est (4*ISP +1)/381_{. Un ISP inférieur à 2 signifie que le test ne}

distingue pas d’une façon assez discriminante entre les sujets avec une faible capacité et les sujets avec une haute capacité, des items supplémentaires devraient être ajoutés. Un indice de fiabilité des personnes égal à 0.9 signifie que la capacité déterminée évaluée par un questionnaire comporte au moins 3 niveaux, s’il est égal à 0,8, il détecte 2 à 3 niveaux et s’il est égal à 0,5 cela signifierait que le questionnaire n’est pas assez discriminatif entre les sujets, car il ne comporterait que 1 à 2 niveaux. Dans, ce dernier cas, il est nécessaire d’ajouter des items. L’ISP a été utilisé pour évaluer la capacité discriminante du FaCE.

5.3.2.3.2.3. Indice de séparation des items (« person- séparation-item »)

L’indice de séparation des items indique si le nombre de sujets sélectionnés est suffisant pour confirmer la hiérarchisation des items en fonction de leur difficulté. Il est composé de l’indice de difficulté de l’item qui doit être supérieur à 3 et de la fiabilité de l’item supérieure à 0,960, 80_{. Si ces}

chiffres sont atteints pour les deux paramètres qui composent cet indice, alors, il est possible de conclure que la population est suffisamment importante pour respecter la hiérarchisation des items. Cet indice a été utilisé pour déterminer si la population était suffisamment importante.