Ch III –5 : Fidélité des instruments
2 Validité de construit
2.1 Validité concurrentielle entre la grille de l’INAMI et les autres instruments de l’étude.
(1) La corrélation entre l’échelle de l’INAMI et la grille AGGIR est élevée. Les
coefficients de Kendall tau-b, γ de Kruskall et Wallis et le coefficient de corrélation de
Spearman sont élevés dans toutes les études. Ceci est comparable à d’autres études réalisées
en Belgique ( Falez F, Gillain D, Gillet P, Swine C, LucasP, 2003)15; (Buntinx, F., De
Lepeleire, J, Fontaine, O., & Ylieff, M , 2002) 56 ; (Buntinx F, Falez F, Swine C, Ylieff M,
Closon M, De Lepeleire J :2003) 57 (De Lepeleire J, Falez F, Swine C, Ylieff M, Pepersack
T, Buntinx F , 2005) 58.
Ces résultats montrent que les deux instruments évaluent la dépendance dans le même sens.
Le coefficient de corrélation entre les scores RIDIT de l'échelle de Katz et le GIR pondéré
moyen des institutions est très proche de 1 et la corrélation est quasi parfaite. Les données
agrégées par cette méthode montrent que les deux instruments identifient la dépendance de la
même manière.
Par contre, le coefficient κ de Cohen entre les deux instruments montre une concordance
médiocre. Un résultat comparable a été obtenu dans une autre étude en Belgique (Falez F,
Gillain D, Gillet P, Swine C, Lucas P 2003) 15. Ceci tend à montrer que les catégories
obtenues sont différentes.
L'échelle de l'INAMI montre une très bonne corrélation avec l'échelle de la prévoyance
sociale: le coefficient Kendall tau-b, le coefficient γ et le coefficient de Spearman sont au
moins supérieurs à 0,7; la corrélation semble un peu moins élevée qu'avec la grille AGGIR.
2.2 Validité concomitante.
Les coefficients de corrélations obtenus par régressions catégorielles entre les catégories de
l'échelle de l'INAMI et les temps de soins souhaités par les personnels dans la première étude
montre que plus de 60% de la variance constatée est liée à la dépendance décrite par l'échelle.
Lorsqu'on ajoute comme variable indépendante l'identification de l'institution, on explique
plus de 70% de la variance, ce qui montre une variabilité liée aux institutions elles-mêmes.
Les coefficients de corrélation obtenus par régressions catégorielles entre les catégories de
l'échelle de l'INAMI et les temps de soins standardisés requis calculés à l'aide de l'indicateur
de soins gériatriques sont élevés (R²> 0,8) et confirment une bonne validité concomitante de
l'échelle en regard des soins donnés.
Les coefficients de régression linéaires obtenus par régression entre les temps de soins
souhaités lors de la première étude et les différents paramètres de comparaison utilisés
montrent une bonne corrélation entre le score RIDIT des institutions et la charge en soins, le
score moyen au MMSE et le score analogique de charge en soins. Le score RIDIT des
institutions se révèle ainsi une méthode valide pour refléter les charges en soins induits par la
dépendance des personnes.
2.3 Capacité de distinguer les types de patientèle.
L'échelle de l'INAMI permet de distinguer les MRS des MRPA, le test du χ² est significatif. Il
faut cependant signaler que ce test statistique est tautologique puisqu'on définit une MRS
comme une institution n'hébergeant que des patients B, Bd, C ou Cd.
2.4 Capacité discriminante des catégories
L’échelle de l’INAMI donne des catégories basées sur l’algèbre booléenne, avec pour
conséquence des problèmes de classification lorsque le caractère hiérarchique de la
classification n’est pas rencontré. Les résultats des études sont mitigés.
En institution, la catégorie Cd et la catégorie C ne présentent pas de différences
statistiquement significatives. Or le financement de la catégorie Cd est supérieur à celui de la
catégorie C dans les MRS. Les catégories Bd et B ne sont pas différentes sur le plan
statistique sauf dans le deuxième temps de la première mesure. Dans toutes les autres
mesures, elles ne présentent pas de différence significative. Dans les mesures de l'auteur de la
présente dissertation, la catégorie Bd semble en outre une catégorie hybride qui ne se
distingue pas des autres catégories. Les catégories Ad et A ne présentent pas non plus de
différences statistiquement significatives sauf dans le deuxième temps de la première mesure.
Il faut noter qu'on ne retrouve aucune catégorie Ad lors de la quatrième étude. L'auteur de la
présente dissertation n'a jamais rencontré cette catégorie. On peut se demander si une
personne qui présente un score 3 pour les items de dépendance « psychique » peut garder une
autonomie pour se laver et s'habiller. Cette incohérence clinique ne fait pas partie de notre
expérience.
En conclusion, le caractère discriminant des catégories de l'échelle de l'INAMI semble
imparfait dans les institutions. Il est possible que ceci soit lié à l'introduction de variables
« psychiques » qui ne semblent pas apporter d'information complémentaire sur la dépendance
des personnes.
A domicile, les différentes catégories de l’échelle de l’INAMI couvrent des situations
différentes de charge en soins et ce de manière statistiquement significative.
La grille de lecture à domicile semble donc plus pertinente qu'en institution.
2.5 Fidélité de l'échelle de l'INAMI
Consistance interne
Toutes les mesures effectuées montrent un coefficient α supérieur à 0,9 et confirment une
bonne consistance interne. Ces mesures sont reproductibles.
Fidélité interne (intrajuges)
Elle n'a été testée que dans une étude car ce type de test prend du temps aux personnels
soignants volontaires pour nos travaux et il ne nous a pas été possible de le répéter. Dans
notre test, la fidélité intrajuges de l'instrument est élevée. Ce test devrait être répété pour
confirmer ce résultat.
Fidélité externe.
Le test de fidélité externe entre l'auteur de la dissertation et les prestataires à domicile donne
des résultats médiocres. Si la fidélité des items montre un coefficient κ compris entre 0,4 et
0,6, par contre les prestataires et l'auteur de l'étude n'obtiennent qu'un κ = 0,36 pour les
catégories de l’échelle. Ceci est conforme aux observations des infirmiers conseils lors de
leurs contrôles de terrain: le coefficient κ entre les infirmiers conseils de l'UNMS et les
prestataires à domicile est de 0,39 en 2005. L'utilisation de l'échelle de l'INAMI à domicile se
révèle un réel problème. Ceci n'est cependant pas confirmé dans une autre étude (Falez F.,
Gillain D, Gillet P, Swine C, Lucas P, 2003) 15. Lors de cette étude, les examinateurs étaient
des étudiants en médecine formés à l’échelle de l’INAMI. Ils avaient en quelque sorte une
certaine « neutralité » par rapport aux aspects de répercussions financières liées à l’évaluation
des personnes.
La fidélité externe entre l'auteur de la dissertation et les infirmiers conseils montre une fidélité
modérée pour tous les items sauf l'item se laver où elle est bonne. Il faut noter que la
concordance est la plus faible pour les items « manger », « désorientation dans le temps » et
« désorientation dans l'espace ». La concordance entre catégories de l'échelle est bonne à très
bonne. Ceci correspond à d'autres études (Buntinx F, De Lepeleire J, Fontaine O, Ylieff
M 2002)56. C'est aussi ce que l'on observe avec les contrôles des collèges locaux du CNMC,
instaurés depuis 2004. Le coefficient de Cohen pour l'ensemble des institutions contrôlées en
2004 était de 0,63 Cependant, la fidélité item par item reste modérée dans ces contrôles, les
coefficients κ étant tous situées entre 0,4 et 0,5 pour les items de dépendance physique et
entre 0,36 et 0,38 pour les items de dépendance psychique.
2.6 Conclusions.
L'échelle de l'INAMI est un instrument d'inspiration et de conception relativement anciennes.
Elle ne répond plus aux modes de pensée moderne concernant l'évaluation des performances
des personnes en lieu et place de l'évaluation des besoins. La validité faciale n'a pas été
évaluée dans ce travail. Elle l'a été dans d'autres études auxquelles nous avons participé
(Buntinx F, Falez F, Swine C, Ylieff M, Closon M, De Lepeleire J , 2003) 57 ; De Lepeleire J,
Falez F, Swine C, Ylieff M, Pepersack T, Buntinx F , 2005) 58. Les résultats obtenus diffèrent
au Nord et au Sud du pays. Il faut signaler que l'échelle de l'INAMI est largement utilisée
dans les autres législations communautaires en région flamande. Pour les personnels
francophones, l'échelle de l'INAMI ne présente pas une bonne validité faciale, ce qui n'est pas
l'estime de leurs collègues néerlandophones.
En matière de validité concomitante, l'utilisation de l'agrégation des données par la méthode
RIDIT semble une alternative intéressante à l'utilisation des catégories de l'échelle, du moins
en institution. La grille de lecture en institution dégage des catégories dont la capacité
discriminante des charges en soins n'est pas suffisamment établie, contrairement au domicile.
La fidélité de l'instrument est bonne en général, sauf dans le test à domicile.
Malgré ses défauts, l'échelle de l'INAMI est utilisable pour évaluer la charge en soins de
populations si l'on utilise le case mix basé sur la méthode RIDIT. Les problèmes de fidélité
modérée des items en fait un instrument moins pertinent pour l'éligibilité à un droit.
Dans le document
Contribution à la validation d’instruments de mesure de la dépendance des personnes âgées.
(Page 114-119)