Fiabilité et validité de la recherche : description de la démarche et des outils pour limiter les biais de la recherche

La recherche qualitative doit permettre de répondre à une question de recherche en attestant d’une certaine validité et fiabilité du processus de recherche et des résultats. La validité et la fiabilité doivent pouvoir être démontrées pour la définition de l’objet de recherche, la définition des concepts et du cadre d’analyse, la méthode de collecte, de codage et d’analyse des données, ainsi que du choix des outils utilisés à ces différentes étapes. L’encadré 6 ci-dessous permet de définir les différents niveaux de validité et de fiabilité auxquels la méthode de recherche choisie

doit permettre de répondre pour traiter la question de recherche identifiée. Comme le précise Thiétart (2007), la validité totale n’existe pas, mais le chercheur se doit d’adopter une attitude critique vis-à-vis de ces différents éléments, et d’expliciter la manière dont ces biais potentiels ont été pris en compte.

Encadré 6 : Critères de validité et de fiabilité de la recherche

(1) Validité du construit : le chercheur doit permettre d’accéder à une compréhension commune des concepts qu’il utilise dans sa recherche. Le concept opérationnalisé choisi reflète bien le concept théorique. Le degré de validité du concept rassemble trois types de validité portant sur des objets différents : validité de critère (degré auquel le concept opérationnalisé est corrélé au concept qui constitue le critère), de contenu (degré auquel une opérationnalisation représente le concept sous tous ses aspects) et de construit (degré auquel une opérationnalisation permet de mesurer le concept qu’elle est supposée représenter). Miles et Huberman (2003) proposent des méthodes pour améliorer la validité de construit dans une recherche qualitative : utiliser plusieurs sources de données différentes, établir une chaîne d’évidences pour permettre à une personne extérieure de comprendre la démarche de la formulation de la question de recherche à l’énoncé des conclusions et faire valider le cas par des acteurs clés.

(2) Fiabilité de l’instrument de mesure : en recherche qualitative ou les instruments de mesure ne sont pas des instruments partagés (logiciels, instruments physiques) les compétences du chercheur sont clés, mais il faut pouvoir prouver une certaine stabilité et « reproductibilité » de la mesure, du codage (fiabilité inter codeurs).

(3) La validité interne de la recherche : le chercheur doit s’assurer de la pertinence et de la cohérence interne des résultats générés par l’étude : dans quelle mesure l’inférence est exacte s’il n’existe pas d’explications rivales. Pour éliminer les explications rivales, dans beaucoup de cas les capacités de discernement du chercheur et sa connaissance du contexte sont essentielles. Rechercher une saturation du terrain, contraster ou comparer deux ensembles d’éléments pour tester une conclusion, vérifier la signification de cas atypiques, peut également aider à atteindre une plus grande validité interne. Pour apprécier la validité interne, le chercheur peut identifier les biais pour les contrôler : biais relatifs au contexte de la recherche (effet d’histoire, de maturation), au recueil des données (effet de test, effet d’instrumentation), à l’échantillon (effet de sélection, effet de mortalité expérimentale, effet de contamination). En recherche qualitative, le contrôle de ces effets repose principalement sur le chercheur.

4) La fiabilité de la recherche : il s’agit d’établir et de vérifier que les différentes opérations d’une recherche pourront être répétées avec le même résultat par des chercheurs différents et/ou à des moments différents. Le chercheur doit pouvoir aussi fidèlement que possible transmettre sa manière de conduire la recherche. Cela concerne toutes les phases de la recherche. L’intuition et l’imagination du chercheur ne sont pas forcément transmissibles, mais la démarche de questionnement qui a été suivie doit l’être. La fiabilité de la recherche qualitative repose principalement sur l’honnêteté du chercheur à décrire très concrètement le processus entier de sa recherche, et les outils choisis, en particulier les phases relatives à la condensation et à l’analyse des données collectées (Miles et al., 2003).

Source : (Miles et al., 2003 ; Thiétart, 2007).

Dans les paragraphes suivants, nous présentons les choix méthodologiques réalisés au fur et à mesure de notre travail concernant l’échantillonnage, la collecte et l’analyse des données.

4.2.2. Échantillonnage

4.2.2.1. L’échantillon de départ

La théorie enracinée (Glaser et al., 1995) recommande de procéder à un échantillonnage théorique⁸⁹ dans lequel l’échantillon n’est pas préétabli. L’échantillon est construit au fur et à mesure de la recherche, en fonction de la découverte et de l’identification des concepts et catégories de concepts pertinents pour répondre à la question de recherche. Procéder de cette manière garantit la pertinence de l’échantillon pour traiter des relations entre les différents concepts, et permet d’adapter l’échantillon aux besoins de la recherche au fur et à mesure du travail. Cela requiert en outre une certaine créativité pour accéder progressivement au construit et au sens donné par les acteurs à certaines situations et actions. Dans notre cas, l’analyse du processus de « changement » de la vision et des actions stratégiques par le CEF implique d’analyser la situation des producteurs préalablement au CEF (avant), pour ensuite comparer leur situation de départ avec leur situation plus tard (après), et détecter dans cette comparaison l’évolution de leur proactivité. Un raisonnement de la construction de l’échantillon dès le départ était donc nécessaire, même si certains éléments ont été adaptés au fur et à mesure.

89 « C’est l’analyse des nouvelles catégories découvertes, ou le besoin de saturer des catégories déjà proposées, qui indique quel type de données il faut collecter par la suite. Le chercheur visera ainsi à récolter des données qui lui permettent de montrer la capacité descriptive ou explicative du construit théorique. Il visera aussi à montrer les cas où le construit théorique est invalidé. Certaines données lui permettront donc de définir les conditions de validité du modèle. Cet échantillonnage théorique doit être conscient et le chercheur devra indiquer les raisons qui l’ont conduit à recueillir telles données à des moments particuliers de la recherche » (Garreau et al., 2010).

(5) La validité externe de la recherche : la validité externe examine les possibilités et les conditions de généralisation et de réappropriation des résultats d’une recherche, à la fois sur la « population mère » de la recherche, mais également à d’autres terrains (univers parents). Les deux objectifs sont donc la généralisation et la transférabilité des résultats de recherche. Cela dépend largement de la démarche de recherche et de la validité externe de l’instrument de mesure. Le chercheur doit remettre en question son mode de travail, en portant une attention particulière à examiner la relation entre l’objet de recherche et le contexte historique et social plus large dans lequel l’objet prend place, la relation entre l’observateur, l’observé et le lieu d’observation, et l’interprétation et le point de vue du terrain par l’observateur.

Tout d’abord, pour des raisons logistiques, les activités du PADYP ont commencé dans deux zones du Sud-Bénin (Mono-Couffo et Ouémé-Plateau), un an avant que le reste du projet ne s’étende à l’ensemble du territoire béninois. Nous avons donc ciblé ces deux régions⁹⁰ et cherché dans ces régions à diversifier l’échantillon d’étude. Ensuite, la caractérisation du processus de l’évolution de la proactivité sur un temps court rendait important de pouvoir rencontrer les producteurs avant toute participation à des réunions de sensibilisation du CEF (année 0 ou enquêtes « avant »), pour caractériser leur profil de proactivité, leur système d’activités et leurs pratiques de gestion. Nous les avons ensuite rencontrés durant une deuxième période de terrain, pour aborder les mêmes thématiques (année 1 ou enquêtes « après »). Dans cette démarche de comparaison avant-après, nous étions toutefois dans l’impossibilité de prédire le taux d’attrition⁹¹ de l’échantillon, pour savoir quels producteurs allaient poursuivre les activités de CEF après un an. Enfin, pour les producteurs présents avant et après la première année de CEF, nous devions être sûrs de leur assiduité au CEF, pour analyser l’évolution de leur proactivité par rapport à une intensité de conseil comparable (nous avons pour cela vérifié auprès des conseillers que les producteurs avaient participé à au moins 75% des formations dispensées dans leur groupe). Ces différentes conditions ont rendu difficile l’adaptation d’un échantillon au fur et à mesure du travail de recherche. Nous avons raisonné cet échantillon avec les conseillers, récemment installés dans les chefs-lieux des communes dans lesquels ils allaient travailler. Les conseillers nous ont orientés vers des villages dans lesquels ils étaient certains d’intervenir, vers des producteurs s’engageant à participer au CEF, même si les activités de sensibilisation au CEF par les conseillers n’avaient pas encore commencé. Cette « sélection » était indispensable pour rencontrer des producteurs susceptibles d’adhérer et de suivre régulièrement les séances de CEF, et susceptibles d’être présents au deuxième passage. Dans certains groupes, les conseillers ont présélectionné les producteurs, et nous avons validé leur « profil » au fur et à mesure des enquêtes. Dans d’autres villages, les conseillers nous ont orientés vers un producteur du village, qui nous a orientés vers d’autres producteurs. Nous sommes conscients que ces choix constituent une source potentielle de biais de sélection de notre étude. En effet, les producteurs rencontrés avant le premier passage disposent potentiellement d’un réseau important, leur ayant permis d’être en relation (directe ou indirecte) avec les conseillers. Ces producteurs avaient une probabilité plus forte de faire partie de notre échantillon que des producteurs très isolés, ayant peu de liens avec les UCP⁹² de leur commune, qui peuvent avoir rejoint les groupes de CEF plus tard.

Pour nous assurer de pouvoir adapter l’échantillon à une évolution de la question de recherche – tout en étant dans l’impossibilité d’ajouter de nouveaux producteurs à l’échantillon après le

90 La zone cotonnière au Nord-Bénin, initialement ciblée comme zone d’étude, a été exclue du travail de recherche car le PADYP avait pris un retard conséquent dans le déploiement de ses activités dans cette zone, incompatible avec le calendrier de terrain défini pour la thèse.

91 Taux d’attrition : perte de clientèle ou d’abonnés dans le secteur commercial. Cet indicateur est utilisé dans les études quantitatives pour mesurer la perte des individus de l’échantillon lors de comparaisons avant-après.

premier passage – nous avons choisi de constituer au départ un échantillon varié et large. Durant la sélection et les premières rencontres avec les producteurs indiqués par les conseillers, afin de garantir une diversité des situations, nous avons choisi de privilégier la diversité des variables « sensibles » identifiées dans notre cadre d’analyse (SONT, ONT, FONT), permettant de comparer les producteurs de notre zone entre eux et pouvoir dégager des similitudes dans l’évolution de leur proactivité à travers le CEF. Nous avons également cherché à accroître la diversité des situations des producteurs de l’échantillon sur un certain nombre de facteurs importants dans les dynamiques rurales au Sud-Bénin, potentiellement explicatifs des processus que nous cherchions à caractériser :

- Les zones d’études (à la fois dans l’Ouémé-Plateau et dans le Mono-Couffo, pour avoir des situations agricoles différentes) ;

- Les responsabilités familiales (hommes et femmes idéalement chefs d’exploitation agricole ou de leur activité de transformation) ;

- Le genre (les dynamiques particulières des femmes dans les ménages et des femmes chefs d’exploitation agricole) ;

- L’âge ;

- Le niveau d’éducation et le niveau d’alphabétisation ;

- La participation préalable à des projets de développement ou des formations pour adultes ;

- L’orientation du système d’activités (diversification, présence de cultures pérennes en propriété, tenure de la terre et moyens à disposition du « capital circulant »). Nous avons fait le choix dans notre échantillon de travailler avec des chefs d’exploitation agricole (ou étant déclarés comme tels lors du premier entretien). Le CEF étant basé sur la participation individuelle, il paraissait important d’identifier les changements de proactivité chez des individus en position de prise de décision et d’orientation stratégique des activités dans l’exploitation agricole. Enfin, nous avons choisi des producteurs n’ayant pas participé à un cycle de CEF précédent dans un autre projet, afin d’identifier les changements induits par la participation au PADYP uniquement.

Dans les groupes identifiés pour notre travail, parmi les producteurs identifiés, nous n’étions pas en mesure au premier passage de savoir si des producteurs de notre échantillon allaient être choisis par les conseillers pour être animateurs-relais⁹³. En effet, les animateurs-relais sont désignés par les conseillers six mois après le début des activités de sensibilisation au CEF. Nous

93 Rappel du chapitre 2 sur les animateurs-relais : les animateurs-relais ou paysans animateurs sont des producteurs participant au CEF. Ils sont identifiés par les conseillers après six mois de CEF (souvent parmi les anciens adhérents du CEF et/ou les maîtres alphabétiseurs des villages). Le conseiller choisit un animateur-relais par groupe, lui confiant certaines tâches de formation ou de suivi des autres producteurs.

n’avons donc pas pu raisonner leur intégration dans notre échantillon. Nous avons finalement deux animateurs-relais dans notre échantillon. Leur présence nous donne une vision originale de ce que le CEF permet de faire évoluer pour eux. En revanche, nous ne pouvons pas comparer la situation des différents animateurs-relais dans les groupes étudiés, les autres n’ayant pas fait partie des producteurs enquêtés au départ. Au niveau du dispositif de CEF, même si nous considérons que les activités mises en œuvre la première année sont relativement standards dans les différents groupes de CEF, nous avons choisi des groupes travaillant avec des conseillers ayant des trajectoires différentes, permettant d’avoir des situations diverses. Nous avons choisi de travailler avec quatre conseillers, deux d’entre eux étant considérés comme « novices » en CEF (ayant une expérience d’animation en zone rurale mais pas d’expérience en CEF) et deux autres conseillers considérés comme « expérimentés » (ayant participé au PADSE, voire au projet précédant le PADSE pour l’un d’entre eux). En choisissant de nous baser sur le profil des conseillers, nous n’avons pas pu choisir au départ le type de groupe⁹⁴ que les producteurs allaient intégrer. En effet, après la première séance de sensibilisation par un conseiller dans un village, le choix du type de groupe est dépendant de la demande de la majorité des producteurs présents dans le village et souhaitant s’engager dans le CEF, les groupes se construisant donc au fur et à mesure des séances de sensibilisation. Dans certains cas, un producteur alphabétisé peut choisir d’intégrer un groupe d’alphabétisation fonctionnelle ou un groupe sans enregistrement, tout comme certains producteurs non alphabétisés peuvent choisir d’assister aux réunions de producteurs alphabétisés ayant constitué un groupe dans leur village.

Finalement, chacun des conseillers novices nous a indiqué sept producteurs, participant au même groupe, dans un même village, et chacun des conseillers expérimentés nous a indiqué sept producteurs dans deux de leurs groupes, chacun dans un village différent. Sans atteindre forcément la saturation de l’échantillon sur l’évolution des profils de proactivité (qu’il était difficile de prouver avant la fin de l’étude) nous pensons par cet échantillon accéder à une diversité de situations de producteurs, de systèmes d’activités et de pratiques de gestion, permettant d’étudier les processus d’apprentissage dans le CEF à travers l’évolution de la proactivité. Nous avons donc obtenu l’échantillon de départ présenté dans le tableau 14 suivant, constitué de quarante-deux producteurs, répartis dans six groupes, avec des profils de conseillers

94 Rappel du chapitre 2 : les différents « régimes » de CEF mis en œuvre dans le PADYP :

- les groupes AL sont des groupes dans lesquels l’« alphabétisation fonctionnelle » est couplée à du conseil de gestion ;

- les groupes SE ou « sans enregistrement » sont destinés aux producteurs non alphabétisés, qui ne souhaitent pas entrer dans une démarche d’alphabétisation ;

- les groupes OG ou « outils de gestion » sont destinés aux producteurs déjà alphabétisés (au moins en langue locale) qui peuvent utiliser des outils de suivi basés sur l’écrit, et commencer une réflexion sur la gestion dès le début des formations ;

- les groupes RC ou « recyclage » sont destinés aux producteurs ayant déjà participé à des formations de CEF dans des projets précédents, et n’ayant besoin que d’un recyclage ou d’un complément par rapport aux formations de gestion.

différents, veillant à avoir la plus grande variabilité possible des profils de producteurs, de leurs pratiques et de leur situation.

Tableau 14 : Échantillon d’étude sélectionné au début de la recherche pour caractériser l’évolution de la proactivité à travers le CEF

Région Commune Expérience du

conseiller Groupes CEF (constitués après la première enquête) Nombre de producteurs au début de l’étude

Mono-Couffo ^{Houeyogbé Expérimenté en CEF}

AL 7

SE 7

Lalo Novice AL 7

Ouémé-Plateau

Adjohoun Expérimenté en CEF ^{AL 7}

AL 7

Akpro-Missérété ^{Novice OG 7}

Total 42

Après les premières enquêtes, les groupes constitués dans les villages ont été principalement des groupes AL, très peu de groupes RC (recyclage) ayant été mis en place dans ces deux régions, les conseillers ayant décidé d’intégrer les anciens adhérents du PADSE aux groupes OG, pour que les producteurs expérimentés appuient les producteurs novices. L’échantillon est constitué d’un groupe OG, composé de producteurs alphabétisés (ayant des niveaux d’alphabétisation très variables) suivi directement par le conseiller, un groupe SE et quatre groupes AL suivis par le conseiller, avec la mise en place d’un animateur-relais six mois après la création du groupe. L’analyse de l’évolution de la proactivité des producteurs étant basée sur la caractérisation des producteurs avant le CEF et leur évolution progressive, la constitution de cet échantillon était donc une étape cruciale pour la suite du travail.

4.2.2.2. Évolution de l’échantillon durant le travail de recherche

Dès la première année, entre les différentes enquêtes du premier passage, mais aussi entre le premier et le deuxième passage, certains producteurs et groupes ont abandonné les activités de CEF. Lors du deuxième passage, après un an de participation au CEF, nous n’avons retrouvé que dix-neuf producteurs ayant participé de manière régulière au CEF durant la première année (au moins 75% des séances de CEF). Le tableau 15 ci-dessous présente l’évolution de l’échantillon durant le travail de recherche.

Tableau 15 : Structure de l’échantillon d’étude et évolution durant le temps du travail de thèse (avant-après)

Région Commune Expérience du conseiller Groupes CEF Nombre producteurs année 0 (début de l’étude) Nombre producteurs année 0 (fin du 1er passage) Nombre de producteurs année 1 (2e passage) Mono-Couffo Houeyogbé Exp. ^{AL 7 7 3} SE 7 7 0 Lalo Novice AL 7 6 4 Ouémé-Plateau Adjohoun Exp. ^{AL 7 7 7} AL 7 0 0 Akpro-Missérété ^{Novice OG 7 7 5} Total 42 34 19

Ces taux d’abandons représentent une dynamique normale d’évolution des groupes de CEF. D’après les professionnels du CEF rencontrés, le taux d’abandon dans les six premiers mois de CEF peut atteindre 40% des producteurs s’étant engagés au départ. Cette évolution pose cependant la question du biais de sélection qui peut exister dans l’échantillon. Il est important de comprendre qui sont les producteurs de l’échantillon final, et si cette « sélection » affecte la validité des résultats de l’étude des processus d’apprentissage. Nous aborderons cette question dans le paragraphe de résultats relatif aux causes d’abandon durant cette première année.

4.2.2.3. La question de l’utilisation d’un groupe-témoin ou contrefactuel

Une des questions récurrentes durant la constitution de l’échantillon a porté sur l’intérêt d’un échantillon « contrefactuel » (ou groupe-témoin) permettant d’attribuer l’évolution de la proactivité de manière certaine au CEF, en comparant le groupe choisi avec un groupe ayant des caractéristiques proches, mais ne participant pas au CEF. Nous n’avons pas choisi cette option d’échantillonnage : notre posture interprétativiste postule que le discours des producteurs de notre échantillon fait sens pour eux, et traduit leur perception de leur situation. Nous basons donc notre travail et la validité de ce travail sur la perception que les producteurs ont des changements, l’apprentissage étant in fine une évolution de représentation. C’est bien cette attribution de sens,