Forces et limites de l’étude

Limites. Cette recherche présente certaines limites, à commencer par la faible taille de l’échantillon. Rappelons qu’un nombre de 40 participants avait initialement été ciblé pour

97 cette étude pilote. Toutefois, les taux élevés de refus (44%) et les difficultés de recrutement expliquent pourquoi ce nombre n’a pas pu être atteint dans les délais de temps alloués pour la complétion de l’étude. Un nombre total de 22 participants a donc été obtenu, ce qui s’avère insuffisant pour atteindre une puissance statistique acceptable, exposant ainsi à un risque accru de commettre l’erreur de type II. Par exemple, les tests-t ont produit des puissances statistiques variant entre 66% et 75%, ce qui est en-deçà de la puissance minimale recherchée de 80% (Fortin, 2010). Dans ce contexte, il est possible que certains des scores obtenus aux PASS/SMAF ne soient pas apparus comme de bons prédicteurs d’événements indésirables alors qu’ils auraient pu l’être si la puissance statistique avait été augmentée.

Cependant, cette taille d’échantillon apparaît convenable pour une étude pilote, d’après le nombre de participants recrutés dans le cadre d’autres études ayant poursuivi des objectifs comparables. Par exemple, l’étude de Mendelsohn et coll. (2003) ayant vérifié l’association entre les scores obtenus à des outils d’évaluation de la mobilité fonctionnelle et le statut fonctionnel global, a été conduite auprès de 20 personnes âgées hospitalisées à la suite d’une fracture de la hanche. De plus, celle de Medley et coll. (2006) a recruté un nombre de 26 personnes âgées ayant subi une lésion cérébrale afin de tenter de prédire le risque de chutes à domicile. Finalement, l’étude pilote de Davis et coll. (2005) qui a cherché à comparer la performance dans les activités quotidiennes en fonction de différents milieux d’évaluation (ex. hôpital versus domicile) n’avait été conduite qu’auprès de 12 personnes âgées. Malgré leur petite taille d’échantillon, ces études pilotes ont été en mesure d’obtenir des résultats statistiquement significatifs (p < 0,05).

Dans cette étude, certains résultats dont les valeurs p excédaient le seuil conventionnel de 0,05, mais qui étaient inférieures à 0,10, ont été considérés et qualifiés de « tendances vers la signification statistique ». Il faut reconnaître que cette démarche expose à un risque de commettre l’erreur de type I. Ceci est particulièrement vrai pour l’association entre la survenue de blessures et les niveaux globaux d’efficacité au PASS, laquelle ne s’appuie que sur des tendances découlant des analyses ROC. La prudence est donc de mise quant à l’interprétation de tels résultats. Toutefois, il semble tout de même pertinent de relever ces tendances dans le contexte où elles pourraient être potentiellement pertinentes et bénéfiques

98 pour l’amélioration des pratiques cliniques. De plus, il semble approprié de discuter de telles tendances dans le contexte où il s’agit d’une étude pilote (Lee et coll., 2014) conduite auprès d’un petit échantillon (Thiese et coll., 2016).

D’ailleurs, l’un des objectifs justifiant la réalisation d’études pilotes consiste à déterminer le nombre de personnes à recruter dans le cadre d’une étude à plus grande échelle (Brooks et Stratford, 2009) et ainsi amoindrir les risques de commettre des erreurs de type I et II. En admettant que le taux de réadmission qui serait observé dans le cadre d’une étude à grande échelle soit le même que celui observé dans notre étude pilote (41%), une taille d’échantillon de 66 participants permettrait de générer des courbes ROC dont l’AUC est « acceptable » (>0,70) et dont le seuil de signification est inférieur 0,05, avec une puissance de 80%. Un nombre de 86 participants serait nécessaire pour élever cette puissance statistique à 90% (calculé à l’aide du logiciel MedCalc Statistical Software version 19.2.1, selon la méthode proposée par Hanley et McNeil (1982)). En considérant plutôt l’incidence des blessures dans cet échantillon (50%), une taille de 62 et de 82 participants serait adéquate pour obtenir des puissances de 80% et de 90%, respectivement, en ayant recours à des analyses ROC. Pour ce qui est des tests-t, ceux qui se sont avérés significatifs ou pour lesquels une tendance a été observée ont produit des tailles d’effet « large » (0,80 < d de Cohen > 1,19). Ainsi, en assumant qu’une taille d’effet de >0,80 serait reproduite lors d’une étude à grande échelle, il apparaît qu’un nombre de 52 participants permettrait d’atteindre une puissance statistique de 80%, avec un seuil de signification inférieur à 0,05. Un nombre de 68 participants permettrait d’optimiser davantage la puissance, élevant sa valeur à 90% (calculé à l’aide du logiciel G*Power version 3.1.9.2 (Faul et coll., 2009)).

Deuxièmement, les résultats de cette étude peuvent être limités par la possibilité que certains événements indésirables vécus par les participants n’aient pas été documentés. Ceci est particulièrement probable pour les blessures causées par des incidents, puisque leur recension dépendait largement des informations dévoilées par les participants. Il est donc possible que certaines blessures n’aient pas été rapportées lors des entrevues téléphoniques ou par la complétion du journal de bord, car elles auraient été jugées trop banales pour mériter d’être mentionnées. Par exemple, il serait possible que certaines personnes n’aient pas pensé à

99 rapporter des incidents qui seraient considérés « normaux » et susceptibles de se produire chez la plupart des gens, comme une coupure, un bri matériel ou une chute sans conséquence. De plus, il est possible que ces incidents aient ainsi été oubliés en raison de l’absence de conséquence notable aux yeux des participants. Par ailleurs, certaines blessures ou incidents ont possiblement été omis volontairement par peur de projeter l’image d’être à risque, c’est- à-dire pour éviter d’être jugé par l’évaluateur ou par peur de décevoir (biais de désirabilité sociale). Ces limites sont toutefois atténuées par différentes stratégies préalablement mises en place pour les pallier. D’abord, étant donné que c’est l’ergothérapeute rencontrée à l’hôpital qui s’est chargée des entretiens téléphoniques bimensuels, un lien de confiance a pu être établi entre les participants et la thérapeute en charge de colliger les événements indésirables. Des techniques d’entrevue ont aussi été mises de l’avant afin d’aider à ce que les participants soient enclin à révéler ces événements (ex. adopter une attitude de non- jugement, établir un climat de confiance, débuter l’entretien par des discussions informelles pour éviter d’aborder la survenue d’incidents en premier lieu). De plus, les données relatives aux événements indésirables ont été colligées à partir de trois sources (entrevues téléphoniques auprès des participants, journaux de bord hebdomadaires et consultation des dossiers médicaux), permettant de trianguler les informations auto-rapportées avec des informations objectives contenues dans la base de données informatisée du CHUS.

En effet, la stratégie de consultation des dossiers médicaux a permis de vérifier les réadmissions à l’hôpital et à l’urgence, surtout pour la période des trois à six mois post congé, les entrevues téléphoniques n’ayant pas été poursuivies au-delà des trois premiers mois suivant le départ de l’hôpital. Cependant, il est possible que certaines réadmissions à l’hôpital et à l’urgence n’aient pas été documentées dans les cas où les participants auraient consulté ailleurs qu’au CHUS. En effet, parmi les participants recrutés, certains demeurent à l’extérieur de la ville de Sherbrooke et à proximité d’autres centres hospitaliers dotés d’installations pour le traitement des urgences mineures (ex. villes d’Asbestos, de Magog et de Windsor). Or, ces visites dans les installations autres que le CHUS ne sont pas consignées dans les dossiers informatisés consultés. Dans le cas où un participant y aurait été réadmis, cette visite n’aurait été documentée que conditionnellement à ce qu’elle soit auto-rapportée lors des entrevues téléphoniques. Or, si elle avait eu lieu durant la période des trois et six

100 mois post congé, il serait alors impossible d’en prendre connaissance. Mentionnons toutefois que le risque d’avoir manqué des hospitalisations et/ou des consultations à l’urgence est faible, puisque seulement six participants demeurent dans des villes disposant d’un centre hospitalier autre que le CHUS. De plus, de ces six personnes, il est connu que quatre ont été réadmises (donc classées dans le groupe ayant été réadmis au moins une fois à la suite du congé). Ainsi, la possibilité qu’il y ait des données manquantes au sujet des réadmissions dans les trois à six mois post congé ne touche que deux participants, ne représentant ainsi que 9% de l’échantillon.

Troisièmement, la divergence des motifs d’admission de cet échantillon constitue aussi une limite à la généralisation des résultats. En effet, on remarque qu’une majorité des participants a été recrutée à l’unité de chirurgie (15 participants) alors qu’une faible proportion a été recrutée à l’unité de médecine générale (7 participants). Parmi les participants recrutés en chirurgie, dix avaient été admis pour une chirurgie élective d’arthroplastie de la hanche ou du genou. On remarque donc que certaines personnes ont été admises de façon planifiée, alors que d’autres ont plutôt été admises de façon non planifiée. Or, les profils des personnes constituant ces deux groupes (admission planifiée/non planifiée) diffèrent passablement. Par exemple, les personnes hospitalisées à l’unité de médecine générale sont habituellement admises dans un contexte imprévu, pour une détérioration aigüe de leur état de santé. Ces personnes sont généralement plus fragiles et plus malades que les personnes admises en contexte de chirurgie planifiée. Ceci explique d’ailleurs le faible taux de recrutement à l’unité de médecine générale; en effet, ces patients se sont montrés moins enclins à accepter de prendre part à un projet de recherche dans un contexte où ils étaient passablement affaiblis par leur condition de santé, fatigués et moins disposés à entreprendre une collecte de données supplémentaire aux examens et aux autres soins déjà requis pour les soigner (Arslanian- Engoren et coll., 2016).

En plus des différences observées à l’admission, l’évolution post hospitalisation s’est déroulée différemment chez les participants de ces deux groupes. Par exemple, une évolution globalement favorable de la condition de santé ainsi qu’un réengagement graduel dans les occupations a pu être constaté chez les participants initialement admis pour une arthroplastie.

101 Visiblement, ces personnes ont été à moins grand risque de réadmission : parmi les neuf personnes réadmises, une seule personne avait été initialement admise pour une arthroplastie. Inversement, chez les personnes admises en médecine générale ou en chirurgie, mais pour d’autres motifs que l’arthroplastie (ex. chirurgie en contexte de cancer), l’évolution post hospitalisation s’est avérée plus variable. Certains ont connu une détérioration de leur santé ayant nécessité une consultation accrue des services de santé et entraînant des difficultés à reprendre le cours du quotidien. En d’autres termes, des tendances de récupération différentes ont été observées au sein de l’échantillon, selon le motif d’admission initial. Ce biais est toutefois amoindri par le fait que l’échantillon soit composé d’un nombre quasiment équivalent de personnes pour qui l’admission initiale était planifiée et de personnes admises de façon non planifiée. Notons également que, bien que les personnes admises pour une chirurgie élective aient globalement été moins réadmises que les autres, il n’en demeure pas moins qu’elles se sont avérées à risque de blessures dans les six mois suivant le congé. En effet, parmi les 11 participants ayant subi des blessures, quatre avaient initialement été admis pour une arthroplastie. Ainsi, malgré l’évolution favorable de leur condition de santé, il demeure pertinent d’examiner à quels risques d’événements indésirables particuliers ces personnes sont exposées.

Quatrièmement, le temps constitue une variable confondante inhérente à cette étude qui n’a pas pu être contrôlée statistiquement. Par exemple, en considérant cette tendance d’amélioration rapide observée chez les personnes admises pour une arthroplastie, il est possible que le délai séparant la première évaluation de la seconde (une à deux semaines) ait engendré un biais de maturation expliquant une partie de l’amélioration observée entre la performance en clinique et celle à domicile.

Dans une certaine mesure, cette amélioration pourrait aussi être expliquée par l’ordonnancement des évaluations. En effet, les deux versions du PASS (clinique et domicile) impliquent que l’évaluateur utilise les mêmes mises en situations et les mêmes consignes standardisées. Ainsi, le court délai entre la première évaluation, à l’hôpital, et la deuxième, à domicile, a pu favoriser l’apprentissage des tâches chez certains participants, influençant ainsi la performance. Notons toutefois que ce biais est amoindri par le fait que les tâches

102 sélectionnées s’inscrivent parmi les activités régulièrement pratiquées au quotidien et donc peu sujettes à être influencées par un contexte standardisé. De plus, ce biais semble être faible selon les résultats obtenus dans l’étude de Raina et coll. (2009). Ces chercheurs ayant administré le PASS-C, puis le PASS-D afin de comparer la performance dans le milieu clinique et domiciliaire ont observé que certaines tâches quotidiennes étaient moins bien réussies dans le milieu domiciliaire et ce, malgré l’ordre de passation et malgré le très court délai de trois jours séparant les deux évaluations.

Par ailleurs, le temps peut aussi expliquer en partie pourquoi la deuxième évaluation soit plus prédictive que la première. En effet, une association plus forte était attendue entre l’évaluation à domicile et les variables prédites (événements indésirables) en raison du plus court laps de temps les séparant, par rapport à l’évaluation à l’hôpital. Cependant, en choisissant de colliger les événements indésirables sur une période de temps suffisamment longue (six mois), l’impact du délai d’une à deux semaines séparant les deux évaluations s’en trouve amoindri. Rappelons finalement que, malgré les limites engendrées par le passage du temps, l’ordre des évaluations préconisé dans notre étude correspond à la trajectoire habituelle de soins offerte aux personnes hospitalisées qui sont orientées vers leur domicile à la suite du congé. En effet, l’évaluation en milieu hospitalier précède toujours l’évaluation à domicile, ce qui renforce la pertinence clinique de ce choix méthodologique.

Forces. Cette étude présente plusieurs forces qui méritent d’être soulignées, notamment du point de vue de la méthodologie. D’abord, la collecte de données a été réalisée par deux ergothérapeutes œuvrant respectivement dans le milieu hospitalier et le milieu domiciliaire, auprès de la clientèle gériatrique. Ainsi, ces professionnelles détenaient une bonne connaissance des contextes de pratique et de la clientèle ciblés pour cette étude. Ceci a probablement contribué à établir un lien de confiance suffisamment fort avec les participants pour favoriser leur rétention dans l’étude (taux de rétention de 100%). De plus, les deux ergothérapeutes avaient préalablement été formées aux outils d’évaluation (PASS, SMAF). En outre, cette formation incluait que les deux ergothérapeutes administrent le PASS ensemble à une patiente âgée « test », afin d’assurer que la cotation soit la plus fidèle possible. À cet effet, les outils d’évaluation sélectionnés pour cette étude présentent de

103 bonnes fidélités interjuges, limitant ainsi la possibilité que les différences de scores entre les deux milieux d’évaluation soient attribuables à des divergences d’administration des outils de la part des deux évaluatrices. Finalement, l’ergothérapeute du milieu domiciliaire était aveugle aux résultats d’évaluation de l’ergothérapeute du milieu hospitalier, ce qui a permis d’éviter que les scores obtenus lors de la première évaluation n’influencent ceux de la seconde évaluation.

Ensuite, le fait que la collecte de données se soit échelonnée durant six mois post hospitalisation constitue aussi une force. Ceci a permis d’éviter que les événements indésirables vécus par les participants ne soient dus qu’à des raisons circonstancielles, par exemple en lien avec les saisons (chute sur la glace l’hiver ou réadmission due à la grippe saisonnière). En outre, ceci a permis de documenter un nombre d’événements indésirables suffisant pour voir apparaître des relations significatives lors des analyses statistiques. D’ailleurs, la triangulation des données via trois sources d’informations différentes (entrevues téléphoniques, journaux de bord et consultation des dossiers médicaux) a aussi contribué à documenter un bon nombre d’événements indésirables, ce qui constitue aussi une force de cette étude.

Soulignons enfin l’aspect novateur de cette recherche. Alors que plusieurs études ont cherché à prédire le statut fonctionnel à la suite du congé des personnes âgées (Hoogerduijn et coll., 2012; Sager et coll., 1996; Van Blijswijk et coll., 2018), peu ont cherché à prédire les événements indésirables tels que les réadmissions à l’hôpital et à l’urgence à partir d’outils d’évaluation standardisés fondés sur l’observation de la performance dans les activités quotidiennes. De plus, à notre connaissance, il s’agit de la première étude à s’être penchée sur l’impact du milieu d’évaluation sur la prédiction des événements indésirables.