• Aucun résultat trouvé

Ch III –5 : Fidélité des instruments

2 Validité de construit

2.1 Validité concurrentielle entre la grille de l’INAMI et les autres instruments de l’étude.

(1) La corrélation entre l’échelle de l’INAMI et la grille AGGIR est élevée. Les

coefficients de Kendall tau-b, γ de Kruskall et Wallis et le coefficient de corrélation de

Spearman sont élevés dans toutes les études. Ceci est comparable à d’autres études réalisées

en Belgique ( Falez F, Gillain D, Gillet P, Swine C, LucasP, 2003)15; (Buntinx, F., De

Lepeleire, J, Fontaine, O., & Ylieff, M , 2002) 56 ; (Buntinx F, Falez F, Swine C, Ylieff M,

Closon M, De Lepeleire J :2003) 57 (De Lepeleire J, Falez F, Swine C, Ylieff M, Pepersack

T, Buntinx F , 2005) 58.

Ces résultats montrent que les deux instruments évaluent la dépendance dans le même sens.

Le coefficient de corrélation entre les scores RIDIT de l'échelle de Katz et le GIR pondéré

moyen des institutions est très proche de 1 et la corrélation est quasi parfaite. Les données

agrégées par cette méthode montrent que les deux instruments identifient la dépendance de la

même manière.

Par contre, le coefficient κ de Cohen entre les deux instruments montre une concordance

médiocre. Un résultat comparable a été obtenu dans une autre étude en Belgique (Falez F,

Gillain D, Gillet P, Swine C, Lucas P 2003) 15. Ceci tend à montrer que les catégories

obtenues sont différentes.

L'échelle de l'INAMI montre une très bonne corrélation avec l'échelle de la prévoyance

sociale: le coefficient Kendall tau-b, le coefficient γ et le coefficient de Spearman sont au

moins supérieurs à 0,7; la corrélation semble un peu moins élevée qu'avec la grille AGGIR.

2.2 Validité concomitante.

Les coefficients de corrélations obtenus par régressions catégorielles entre les catégories de

l'échelle de l'INAMI et les temps de soins souhaités par les personnels dans la première étude

montre que plus de 60% de la variance constatée est liée à la dépendance décrite par l'échelle.

Lorsqu'on ajoute comme variable indépendante l'identification de l'institution, on explique

plus de 70% de la variance, ce qui montre une variabilité liée aux institutions elles-mêmes.

Les coefficients de corrélation obtenus par régressions catégorielles entre les catégories de

l'échelle de l'INAMI et les temps de soins standardisés requis calculés à l'aide de l'indicateur

de soins gériatriques sont élevés (R²> 0,8) et confirment une bonne validité concomitante de

l'échelle en regard des soins donnés.

Les coefficients de régression linéaires obtenus par régression entre les temps de soins

souhaités lors de la première étude et les différents paramètres de comparaison utilisés

montrent une bonne corrélation entre le score RIDIT des institutions et la charge en soins, le

score moyen au MMSE et le score analogique de charge en soins. Le score RIDIT des

institutions se révèle ainsi une méthode valide pour refléter les charges en soins induits par la

dépendance des personnes.

2.3 Capacité de distinguer les types de patientèle.

L'échelle de l'INAMI permet de distinguer les MRS des MRPA, le test du χ² est significatif. Il

faut cependant signaler que ce test statistique est tautologique puisqu'on définit une MRS

comme une institution n'hébergeant que des patients B, Bd, C ou Cd.

2.4 Capacité discriminante des catégories

L’échelle de l’INAMI donne des catégories basées sur l’algèbre booléenne, avec pour

conséquence des problèmes de classification lorsque le caractère hiérarchique de la

classification n’est pas rencontré. Les résultats des études sont mitigés.

En institution, la catégorie Cd et la catégorie C ne présentent pas de différences

statistiquement significatives. Or le financement de la catégorie Cd est supérieur à celui de la

catégorie C dans les MRS. Les catégories Bd et B ne sont pas différentes sur le plan

statistique sauf dans le deuxième temps de la première mesure. Dans toutes les autres

mesures, elles ne présentent pas de différence significative. Dans les mesures de l'auteur de la

présente dissertation, la catégorie Bd semble en outre une catégorie hybride qui ne se

distingue pas des autres catégories. Les catégories Ad et A ne présentent pas non plus de

différences statistiquement significatives sauf dans le deuxième temps de la première mesure.

Il faut noter qu'on ne retrouve aucune catégorie Ad lors de la quatrième étude. L'auteur de la

présente dissertation n'a jamais rencontré cette catégorie. On peut se demander si une

personne qui présente un score 3 pour les items de dépendance « psychique » peut garder une

autonomie pour se laver et s'habiller. Cette incohérence clinique ne fait pas partie de notre

expérience.

En conclusion, le caractère discriminant des catégories de l'échelle de l'INAMI semble

imparfait dans les institutions. Il est possible que ceci soit lié à l'introduction de variables

« psychiques » qui ne semblent pas apporter d'information complémentaire sur la dépendance

des personnes.

A domicile, les différentes catégories de l’échelle de l’INAMI couvrent des situations

différentes de charge en soins et ce de manière statistiquement significative.

La grille de lecture à domicile semble donc plus pertinente qu'en institution.

2.5 Fidélité de l'échelle de l'INAMI

Consistance interne

Toutes les mesures effectuées montrent un coefficient α supérieur à 0,9 et confirment une

bonne consistance interne. Ces mesures sont reproductibles.

Fidélité interne (intrajuges)

Elle n'a été testée que dans une étude car ce type de test prend du temps aux personnels

soignants volontaires pour nos travaux et il ne nous a pas été possible de le répéter. Dans

notre test, la fidélité intrajuges de l'instrument est élevée. Ce test devrait être répété pour

confirmer ce résultat.

Fidélité externe.

Le test de fidélité externe entre l'auteur de la dissertation et les prestataires à domicile donne

des résultats médiocres. Si la fidélité des items montre un coefficient κ compris entre 0,4 et

0,6, par contre les prestataires et l'auteur de l'étude n'obtiennent qu'un κ = 0,36 pour les

catégories de l’échelle. Ceci est conforme aux observations des infirmiers conseils lors de

leurs contrôles de terrain: le coefficient κ entre les infirmiers conseils de l'UNMS et les

prestataires à domicile est de 0,39 en 2005. L'utilisation de l'échelle de l'INAMI à domicile se

révèle un réel problème. Ceci n'est cependant pas confirmé dans une autre étude (Falez F.,

Gillain D, Gillet P, Swine C, Lucas P, 2003) 15. Lors de cette étude, les examinateurs étaient

des étudiants en médecine formés à l’échelle de l’INAMI. Ils avaient en quelque sorte une

certaine « neutralité » par rapport aux aspects de répercussions financières liées à l’évaluation

des personnes.

La fidélité externe entre l'auteur de la dissertation et les infirmiers conseils montre une fidélité

modérée pour tous les items sauf l'item se laver où elle est bonne. Il faut noter que la

concordance est la plus faible pour les items « manger », « désorientation dans le temps » et

« désorientation dans l'espace ». La concordance entre catégories de l'échelle est bonne à très

bonne. Ceci correspond à d'autres études (Buntinx F, De Lepeleire J, Fontaine O, Ylieff

M 2002)56. C'est aussi ce que l'on observe avec les contrôles des collèges locaux du CNMC,

instaurés depuis 2004. Le coefficient de Cohen pour l'ensemble des institutions contrôlées en

2004 était de 0,63 Cependant, la fidélité item par item reste modérée dans ces contrôles, les

coefficients κ étant tous situées entre 0,4 et 0,5 pour les items de dépendance physique et

entre 0,36 et 0,38 pour les items de dépendance psychique.

2.6 Conclusions.

L'échelle de l'INAMI est un instrument d'inspiration et de conception relativement anciennes.

Elle ne répond plus aux modes de pensée moderne concernant l'évaluation des performances

des personnes en lieu et place de l'évaluation des besoins. La validité faciale n'a pas été

évaluée dans ce travail. Elle l'a été dans d'autres études auxquelles nous avons participé

(Buntinx F, Falez F, Swine C, Ylieff M, Closon M, De Lepeleire J , 2003) 57 ; De Lepeleire J,

Falez F, Swine C, Ylieff M, Pepersack T, Buntinx F , 2005) 58. Les résultats obtenus diffèrent

au Nord et au Sud du pays. Il faut signaler que l'échelle de l'INAMI est largement utilisée

dans les autres législations communautaires en région flamande. Pour les personnels

francophones, l'échelle de l'INAMI ne présente pas une bonne validité faciale, ce qui n'est pas

l'estime de leurs collègues néerlandophones.

En matière de validité concomitante, l'utilisation de l'agrégation des données par la méthode

RIDIT semble une alternative intéressante à l'utilisation des catégories de l'échelle, du moins

en institution. La grille de lecture en institution dégage des catégories dont la capacité

discriminante des charges en soins n'est pas suffisamment établie, contrairement au domicile.

La fidélité de l'instrument est bonne en général, sauf dans le test à domicile.

Malgré ses défauts, l'échelle de l'INAMI est utilisable pour évaluer la charge en soins de

populations si l'on utilise le case mix basé sur la méthode RIDIT. Les problèmes de fidélité

modérée des items en fait un instrument moins pertinent pour l'éligibilité à un droit.