3.1 GÉNÉRALITÉS SUR L ’O R IEN TA TIO N M ÉTH O D O LO G IQ U E
À notre connaissance, il n’existe que deux guides méthodologiques sur l’évaluation des programmes visant spécifiquement une problématique de malnutrition. Le premier a été produit en 2006 par l’ONG Save The Children et porte sur l’évaluation nutritionnelle en situation d’urgence (Save The Children, 2006). Le second guide, produit en 2009 par la Banque mondiale, traite de la façon d ’évaluer l’efficacité des interventions nutritionnelles à large portée (Banque mondiale, 2009). Si ces guides méthodologiques ont en partie inspiré la méthodologie de la présente étude, différents écrits portant sur l'évaluation des programmes en santé et sur la recherche qualitative ont aussi été consultés. Plusieurs exemples d ’études ayant évalué spécifiquement des programmes nutritionnels ont également été révisés. A la lumière de ces lectures, nous avons conclu en la pertinence d'utiliser un cadre général d'évaluation normative qui emprunte certains principes à l’analyse d ’implantation, à la recherche ethnographique et à l’approche participative. Après avoir fait un survol de ces différentes orientations méthodologiques, ce chapitre présente l’ensemble des variables, des sources de données ainsi que des méthodes de collecte et d’analyse des données pour chaque objectif spécifique. Un tableau qui résume tous ces éléments est présenté à la fin du chapitre.
3.1.1 L’évaluation normative
L’évaluation normative peut être définie comme une documentation systématique des aspects essentiels de la performance d ’un programme, indiquant si celui-ci répond à certaines normes (Champagne et al., 2009c). L'évaluation normative documente classiquement la structure, le processus et les résultats selon des critères de couverture, de ressources, de fidélité des activités et d'atteinte des objectifs (Champagne et al., 2009c). À noter que dans la nomenclature évaluative, le terme « résultat » diffère du concept d ' « efficacité ». En effet, contrairement à l’évaluation des effets, l'évaluation normative ne vise pas à poser un jugement sur la causalité entre un programme et ses impacts; la mesure des résultats consiste plutôt en une observation qui ne contrôle pas les différents biais et qui peut donc se mesurer uniquement chez les participants (Champagne et al., 2009c). Néanmoins, l’évaluation normative est une étape essentielle à faire avant toute évaluation des effets, et ce, parce qu’il est possible de conclure à tort
à l’inefficacité d ’un programme si celui-ci n’est pas adéquatement implanté, ce qui constituerait alors une erreur de 3e espèce (Dobson et Cook, 1990).
3.1.2 Analyse de Vimplantation
L’analyse de l’implantation vise à mettre en évidence les facteurs du contexte pouvant influencer la mise en œuvre d’une intervention (Champagne et al., 2009d). Ainsi, le degré d’implantation des activités d ’un programme est mis en relation avec les résultats observés localement. Pour ce faire, des données qualitatives sont le plus souvent utilisées (Patton, 2008). De plus, l’analyse d’implantation permet habituellement une meilleure utilisation des résultats de l’évaluation parce qu’elle se base sur des interactions régulières entre les évaluateurs et les intervenants, ce qui permet d ’élaborer des recommandations appropriées aux réalités du contexte (Denis et Champagne, 1990; Patton, 2008).
3.1.3 L *orientation ethnographique
L’ethnographie est un type de recherche qualitative qui étudie un groupe culturel dans son milieu naturel, permettant d’en cerner les valeurs, les croyances, les modes de vie et les pratiques (Creswell, 2007; Leininger, 1985). Cette approche est intéressante d’un point de vue de santé publique, parce que la culture est reconnue comme un des déterminants majeurs des comportements et un modificateur important de perceptions (Swartz et Jordan, 1980). Les sources de données utilisées en recherche ethnographique doivent permettre de bien saisir le point de vue des membres du groupe culturel et de le mettre en contexte (Fetterman et Wandersman, 2005). Elles incluent le plus souvent les entrevues individuelles, l’observation participante sur le terrain et le journal de bord (Wolf, 2007). Pour la présente étude, l’utilisation de quelques éléments méthodologiques de l’ethnographie semble justifiée pour mieux cerner certains aspects qualitatifs, principalement en ce qui concerne l’évaluation des activités du programme. Par exemple, les entrevues semi-dirigées permettent d’explorer certaines connaissances, perceptions, croyances et attitudes de la population, mais aussi de différents acteurs en malnutrition dans l’aire de Ségué. L’entité culturelle pourrait alors s’exprimer en fonction de la culture ethnique, mais également de la culture professionnelle et plus globalement de la culture rurale du Mali.
3.1.4 L ’approche participative
L’approche participative en évaluation de programme est une démarche préconisant l’utilisation des résultats (Patton, 2008). Ce type d ’approche est donc centré sur les besoins ressentis des parties prenantes, qui s’impliquent à chaque étape du processus d ’évaluation (Patton, 2008). La participation des acteurs concernés par l’évaluation est à privilégier non seulement pour apporter des solutions concrètes aux problèmes perçus, mais également pour développer la compréhension de la problématique par les acteurs eux-mêmes (Bourgault et al., 2010). L’approche participative est d’ailleurs une stratégie qui a fait ses preuves dans plusieurs pays d’Afrique de l’Ouest, où les intervenants et les communautés se sont réellement impliqués pour améliorer la couverture de certains programmes de lutte contre la malaria (CDI Study Group, 2010). Dans la présente étude, cette démarche nous apparaît des plus intéressantes pour bien prendre en considération les besoins ressentis par nos partenaires maliens, pour renforcer leurs capacités en évaluation et pour encourager l’utilisation des résultats du projet.
3.2 DEVIS DE RECH ERCH E
La méthodologie employée pour la présente étude repose sur un devis descriptif mixte (tableau 7). De façon générale, la terminologie utilisée est celle de l’évaluation normative, telle que conceptualisée par Champagne et Brousselle (Champagne et al., 2009c). Ce type d’évaluation nous semble ici pertinent pour décrire les différentes composantes du programme de prise en charge de la MA tel qu’il est implanté dans l’aire de Ségué, afin de vérifier s’il répond aux normes nationales. À l’aide de données quantitatives et qualitatives, les activités du programme (obj. 1.1), sa couverture des activités curatives (obj. 1.2) et les résultats chez les participants (obj. 1.3) sont décrits puis comparés à ce qui est prévu dans la version 2007 du PNPEC (MSM, 2007). À noter que les différentes ressources humaines et matérielles nécessaires au programme ne sont pas évaluées de façon distincte, mais sont plutôt abordées en lien avec chacune des activités.
L’objectif spécifique qui vise à décrire les résultats de ce programme sur une échelle populationnelle (obj. 1.4) s’articule autour d ’un devis d ’enquêtes transversales
répétées (annexe III). Le devis d ’enquêtes transversales répétées, qu’on appelle aussi parfois étude de tendance, est constitué de plusieurs enquêtes de prévalence qui se répètent dans le temps (Yee et Niemeier, 1996). Le devis de l’objectif 1.4 inclut donc trois enquêtes transversales consistant chacune en un dépistage de la MA dans les villages de la région, respectivement en 2006, 2008 et 2011. Afin de bien évaluer le PNPEC dans le contexte local de Ségué, il nous semblait essentiel de documenter l’état nutritionnel de tous les enfants de 6 à 59 mois de cette aire de santé. En effet, le PNPEC recommande plusieurs activités nutritionnelles à visée préventive, applicables à l’ensemble de la population, et dont les retombées pourraient influencer la prévalence de la MA dans l’aire de santé de Ségué. Par ailleurs, en utilisant une autre terminologie méthodologique, le devis de l’objectif 1.4 aurait pu être défini comme un « devis pré- post intervention » (Bamberger et al., 2004; Purdon et al., 2001). En effet, il est constitué d’une mesure de la prévalence de la MA précédant l’implantation du PNPEC en 2006 (pré-intervention), et de deux mesures prises après sa mise en œuvre en 2008 et en 2011 (post-intervention). Toutefois, le terme « étude de tendance » sera utilisé tout au long de ce mémoire parce qu’il est plus concis que les termes « enquêtes transversales répétées » ou « devis pré-post intervention ».
Même si le devis de cette étude s’inspire principalement d’un cadre de référence d’évaluation normative, quelques éléments de l’analyse de l’implantation décrite par Denis et Champagne (1990) sont également utilisés. En effet, les résultats quantitatifs de l’étude de tendance (obj. 1.4) sont en partie analysés en relation avec les données qualitatives de la mise en œuvre des activités (obj. 1.1), afin d ’expliquer l’influence des facteurs contextuels sur les variations entre les villages et sur la tendance de la MA dans l’aire de Ségué. À noter cependant que la présente étude reste descriptive et ne consiste en soi ni en une évaluation d’efficacité ni en une analyse de l’implantation, qui relèvent toutes deux d’une perspective de recherche évaluative (Champagne et al., 2009d). Ainsi, même si les résultats et la discussion de la présente étude soulèvent de nombreuses hypothèses sur l’influence de certains facteurs contextuels dans l’aire de Ségué, aucune conclusion ne peut formellement être tirée quant à l’impact réel du programme dans la région, notamment parce que le devis de l’étude n ’inclut pas de groupe contrôle et que les potentielles variables confondantes ne sont pas investiguées en profondeur (Bamberger et al., 2004; Purdon et al., 2001). Enfin, même si quelques éléments méthodologiques sont empruntés à la recherche ethnographique, l’objectif 1 de la
présente étude ne constitue pas non plus en soi une recherche qualitative. Nous faisons plutôt l’utilisation de données qualitatives dans un devis descriptif d ’évaluation normative. Le tableau 7 résume les particularités du devis de cette étude en fonction de chacun des objectifs spécifiques.
Tableau 7. Devis descriptif mixte, avec types de données et particularités par o b jectif spécifique
O bjectifs spécifiques Types d e données Particularités du devis
1.1 Implantation des activités Q ualitatives
• Évaluation norm ative selon le PNPEC • Élém ents d ’analyse de l ’im plantation • Élém ents de recherche qualitative
ethnographique
1.2 Couverture du program m e Q uantitatives • Évaluation norm ative selon le PNPEC
1.3 Résultats chez les
participants Q uantitatives
• Évaluation norm ative selon le PNPEC