Validité, fiabilité et généralisation de la recherche

Les résultats de la thèse seront discutés au chapitre 7. Pour nous assurer de la validité et de la fiabilité de la recherche, nous avons suivi des pistes et des procédures développées par Huberman et Miles (1991). Selon ces auteurs, « une analyse qualitative peut être évocatrice, lumineuse, magistrale… et totalement fausse » (p. 414) et les projets de recherche s’attardent beaucoup sur le « quoi » (résultats, descriptions) et se font discrets sur le « comment ». Pour contrer certaines de ces limites, les auteurs suggèrent une série de pistes de vérification ou de confirmation des résultats qui sont présentées au tableau 2.7. Sept types de pistes pour limiter certains problèmes ou biais dans la recherche y sont reportés : 1) contrôler la représentativité; 2) contrôler les effets du chercheur; 3) trianguler; 4) contrôler la qualité des données; 5) établir des contrastes et des comparaisons; 6) rechercher des preuves contraires ou explications rivales; et 7) documenter les procédures de recherche. Pour chaque piste, les exemples concrets pour y remédier dans la thèse sont présentés.

Tableau 2.7. Pistes de vérification ou de confirmation des résultats

Piste Problèmes, bais Façon d’y remédier

Contrôler la représentativité  Informateurs non représentatifs

 Recrutement de personnes plus accessibles

 Personnes isolées qui ne connaissent pas les services sont sous-représentées dans l’échantillon  Nombre limité de participants  Présence intermittente (7 jours de relevés de déplacements, 1-2 heures d’entrevue par participant)  Biais holistique : importance

accordée à la plausibilité

 De nombreuses discussions informelles sur le terrain pendant la période de recrutement  Plusieurs rencontres par participant pendant la collecte de données (3-4 fois)

 Inclusion de personnes plus isolées dans l’échantillon en passant par les popotes roulantes (livraison de repas à domicile)

 Monitoring des participants à l’aide du questionnaire sur le profil des participants et la réalisation de fiches synthèse pour chaque participant pour pouvoir les

classer/catégoriser (par ex., selon la fréquence des déplacements, modes de transport, problèmes de mobilité)

Contrôler les effets du

chercheur (a) Effets du chercheur sur le site

Susciter des comportements sociaux différents de ce qui ne se serait manifesté en temps normal (par ex., sortir plus souvent durant la semaine de relevés des déplacements ou minimiser les difficultés de déplacement pour « bien paraître » ou, au contraire, exagérer les obstacles pour attirer l’attention)

(b) Effets du site sur le

chercheur

Le chercheur s’assimile aux évènements locaux et adopte le point de vue des acteurs sur le terrain

 Relecture fréquente des verbatims pour vérifier la cohérence des propos : par ex., un participant qui dit qu’il est en parfaite santé, mais qui affirme plus tard durant l’entrevue que les escaliers constituent un problème majeur

 (Ré)explication des objectifs du projet de recherche aux participants à chaque étape de la recherche et précision qu’il n’y a pas de « bonnes » ou « mauvaises » réponses ou comportements

 Éclaircissements sur la confidentialité des informations

 Réalisation des entrevues dans un environnement agréable et privé, loin des regards d’autres personnes

 Toujours repenser en termes conceptuels, relance de réflexions théoriques à l’aide du retour intensif vers la littérature scientifique (voir le point (b) « Vers un nouvel

assemblage et l’agrégation de données », discuté précédemment)

 Période de recul avant la rédaction des résultats de l’analyse de données (environ 9 mois se sont écoulés entre le codage initial et la rédaction des chapitres de résultats)

Tableau 2.7 Pistes de vérification ou de confirmation des résultats (suite)

Tactique Problèmes, bais Façon d’y remédier

Trianguler (valider les résultats)

Données manquantes  Utilisation de plusieurs outils méthodologiques (relevés GPS, entrevues, questionnaires, carnets de déplacements) pour collecter les informations les plus complètes possible  Nombre de participants (N=21) le plus élevé possible

 Triangulation avec les résultats d’autres recherches empiriques sur la mobilité des aînés Contrôler la qualité des

données Certaines données sont plus sûres, d’autres plus incertaines

 Données tenues de première main (collecte, traitement et analyse de données par l’auteure elle-même)

 Établissement d’un climat de confiance entre l’auteure et les participants (3-4 rencontres formelles et informelles, le participant est rencontré sans la présence d’autres personnes qui pourraient le juger)

 Collecte de données « objectives » (suivi des déplacements « réels ») grâce aux GPS, questionnaires et carnets de déplacements

 Récapituler les propos des participants durant l’entrevue et leur demander leur avis pour s’assurer d’avoir bien saisi la situation

 Observations « au vol » sur la qualité des données : noter des remarques dans un journal de bord et dans la fonction « annotations » du logiciel NVivo durant la phase de collecte et d’analyse de données

 Transcription quasi intégrale des données d’entrevue (peu de perte d’information)  Établir les limites de l’étude pour garder « tout autre élément constant » : personnes

vivant seules, milieu urbain Établir des contrastes et des

comparaisons Analyses « trop » plausibles  Comparer/contraster les pratiques de mobilité entre les participants (fréquences, distances) à l’aide des données GPS  Comparer/contraster les réponses des participants sur une même question d’entrevue  Comparer/contraster les pratiques des répondants selon le lieu de résidence, l’utilisation

ou non d’aides à la mobilité, la possession d’une voiture, etc. Rechercher des preuves

contraires ou explications rivales

Tendance naturelle du chercheur de démontrer que son interprétation « tient debout » plutôt que de s’attacher aux éléments qui ne « collent pas »

 Présentation des résultats préliminaires de l’étude dans le cadre de colloques ou ateliers  Retour fréquent vers les verbatims pour vérifier les interprétations

Documenter les procédures de recherche

Outil de vérification dont le lecteur peut se servir pour reconstituer les procédures et expliciter les règles de décision

 Précision des procédures de l’échantillonnage, méthodes de collecte et d’analyse de données et outils joints en annexe de la thèse

 Commentaires critiques sur la qualité du déroulement des entrevues et des données recueillies

 Mentionner les exceptions à la règle

Pour, finalement, jauger de la validité, fiabilité et reproductibilité de la présente recherche, nous nous référons à Bryman (2008, 30-33) qui établit une série de critères présentés au tableau 2.8.

Tableau 2.8. Critères et appréciation de la validité de la recherche

Critères de la validité de la recherche Appréciation de la validité de la recherche

« Les pratiques et expériences de mobilité des personnes âgées dans l’arrondissement

Rosemont–La Petite-Patrie »

Fiabilité

Les données, les résultats sont-ils stables dans le temps?

Moyenne

 Relevés GPS : variabilité de la météo, aperçu des déplacements durant sept jours (sur 365 dans une année)

 Collecte de données supplémentaires sur les pratiques ou expériences de mobilité en dehors de la semaine de relevés (par ex., lieux, activités ou moyens de transport abandonnés en

vieillissant, autres sorties réalisées durant l’année) grâce aux entrevues semi-dirigées

Validité de construction

Raisonnement théorique et opérationnalisation des concepts

Élevée

 Approche très holistique de la mobilité et plusieurs types de « mesures » pour l’appréhender :

 la mobilité comme déplacement réalisé  l’expérience de mobilité (agréable,

douloureuse, pénible…)

 déplacements désirés ou contraints  la prise en compte des conditions

nécessaires à la réalisation des mobilités  moments d’arrêt et d’attente durant le

déplacement

 immobilité, absence ou abandon du déplacement

Validité interne/crédibilité

Les résultats peuvent-ils être crus, dépendent-ils des conditions de l’enquête ou du chercheur?

Moyenne

 Certains groupes de personnes sont sous- représentés dans l’échantillon (hommes, personnes qui vivent dans un logement de type « plex » sans ascenseur, personnes isolées qui connaissent peu les services)

 Absence de groupe de contrôle

 Triangulation de données (voir tableau 2.7)  Tactiques de vérification de la qualité des

Tableau 2.8. Critères et appréciation de la validité de la recherche (suite)

Critères de la validité de la recherche Appréciation de la validité de la recherche

Validité externe/transférabilité

… à d’autres contextes

Moyenne

 Les pratiques concrètes sont influencées par l’individu et son contexte social et

environnemental et peuvent varier d’un milieu ou d’un voisinage à un autre (milieu urbain,

suburbain ou rural), selon la densité et la mixité des fonctions

 Compte-rendu très riche du contexte de l’étude (par ex., utilisation d’une aide à la mobilité, présence d’enfants dans l’entourage pour un soutien potentiel, localisation exacte des destinations fréquentées et les trajets parcourus)

 Validité limitée au plan statistique (parce qu'il s'agit d'un cas spécifique)

Validité « écologique »/authenticité

Investigue-t-on les acteurs sociaux dans leur milieu « naturel », leurs pratiques quotidiennes…?

Élevée

 Entrevues semi-dirigées permettant aux participants de s’exprimer assez ouvertement sur le sujet

 Les participants ne sont pas observés par l’auteure pendant qu’ils se déplacent et peuvent vaquer à leurs occupations habituelles

 La collecte de données sur les déplacements est peu intrusive (collecte automatique par GPS)

Reproductibilité

Fidélité des résultats

Moyenne

 Design transversal de l’étude (peu de données longitudinales sur les pratiques de mobilité, absence de comparaison avec un autre milieu urbain)

 Documentation très détaillée des procédures de recherche

Source : critères d’appréciation de recherche de Bryman (2008, 30-33) et le cours EUR9131 (INRS-

UCS), automne 2011, professeur M. Trépanier, modifié par l’auteure.

Le tableau précédent indique la portée et les limites de la thèse. Les points forts de cette recherche concernent surtout la construction du cadre théorique, le croisement de perspectives disciplinaires et l’approche holistique pour aborder la mobilité. La validité dite « écologique » est également élevée. Celle-ci concerne la collecte de données sur la mobilité des aînés dans leur milieu « naturel » qui permet de contrôler les effets du chercheur sur leurs comportements. Dans les entrevues, les participants peuvent s’exprimer assez librement sur le sujet. La fiabilité, la validité interne et externe et la reproductibilité de la recherche sont variables et plusieurs pistes (qui sont détaillées au tableau 2.6 et au tableau 2.7) permettant de contrôler certains biais ont été mises en place.