Les enquêtes CAP constituent souvent une partie importante des évaluations et il faut pouvoir en extrapoler (généraliser) les résultats sur la population entière qui sera couverte par l’action de communication en procédant au sondage d’un échantillon. Des techniques ont été mises au point afin de pouvoir réduire la taille de l’échantillon et par conséquent le coût de la collecte de données quantitatives.
Les sondages d’agrégats (qui exigent des compétences analytiques et de formation que des agences des Nations unies telles que l’OMS et UNICEF pourront peut-être offrir) dégagent des résultats susceptibles d’une généralisation en sélectionnant des sites représentatifs pour les enquêtes. Il est nécessaire de sonder un minimum de 300 personnes pour obtenir des résultats fiables applicables à la population entière. Cependant de telles données n’éclairent en général pas les raisons pour lesquelles les gens changent au niveau de leurs connaissances, de leurs attitudes ou de leurs comportements. Du fait que les questionnaires font appel à des questions de type oui/non ou limitant le choix des réponses, il ne peuvent mettre en lumière ou sonder les résultats inattendus.
Les évaluations tournantes se font à des intervalles prévus. Ainsi, un échantillon du public pourrait remplir un questionnaire ou prendre part à une interview structurée s’inspirant des informations et messages qu’il est prévu de diffuser au cours des trois prochains mois. Un échantillon semblable (mais réunissant d’autres personnes) complétera le même questionnaire à l’issue des émissions pour montrer ce qu’il en aura tiré.
REPÉRER DES INDICATEURS D’ÉVALUATION
Au Kenya, l’émission de jeunes Youth Variety Show (YVS), une ligne ouverte centrée sur les questions sexuelles, fut orientée par des recherches très poussées dans lesquelles on a procédé à une enquête nationale de jeunes et de parents sous le titre de l’Evaluation des besoins de la jeunesse kenyane. On procéda à 6300 interviews ainsi qu’à des discussions en groupe test mettant 350 adolescents et parents à contribution dans cinq districts, à des interviews approfondies parmi des personnalités influentes. S’y ajouta un passage en revue de la législation, des institutions politiques et du contenu des journaux pour tout ce qui concernait la jeunesse. Le jour où l’émission fut lancée, on s’employa également à analyser les lettres de jeunes auditeurs. Pendant les émissions, le suivi fut assuré sous la forme d’un panel de jeunes gens et d’un panel distinct de parents. Leur critiques furent mises à profit pour améliorer le contenu de l’émission suivante. L’évaluation fut engagée par une enquête des ménages parmi des adultes et des adolescents pour établir le taux d’exposition du public à l’émission. Pour cette enquête, on fit appel à Research International, société d’étude de marché
spécialisée dans les enquêtes omnibus pour le secteur commercial. Johns Hopkins University/Population Communication Services y introduisit un certain nombre de questions. Les résultats devaient montrer que 38% des sondés écoutaient le programme YWS et que ce taux montait à 53 % pour le groupe d’âge de 15 à 24 ans. Les enquêtes auprès d’hôpitaux indiquaient qu’un nombre croissant des jeunes qui s’y rendaient le faisaient après avoir entendu YVS, cette émission étant la première, aux côtés de leurs amis, à les aiguiller vers les services médicaux. L’analyse du contenu des lettres d’auditeurs ainsi que le panel d’auditeurs devaient corroborer ces conclusions.
Un montant de $ 37 330 fut consacré à des activités d’enquête et d’évaluation, représentant près de 40 % d’un budget d’émission total de $ 97 170. Les obstacles rencontrés avaient trait au caractère rudimentaire de la gestion des données cliniques, au coût et au travail intensif impliqué dans la collecte de données, au désir des fournisseurs de services de présenter de bons résultats, le caractère délicat des questions sexuelles, et au fait que l’opération était parfois jugée comme une intrusion dans la vie personnelle.
Toujours est-il que le recours à ces méthodes diverses, notamment pendant les enquêtes préalables et la pratique du prétest et du suivi ont sans doute jeté de solides bases pour apprécier l’impact de l’émission.
Roberts (1996) Au Mali, on a retenu comme indicateur officieux du succès de deux cassettes à messages médicaux, portant en particulier sur le sida et enregistrés sous la forme de chansons traditionnelles interprétées par des chanteurs folkloriques, le nombre de copies piratées qu’on estimait avoir été produites et vendues par des individus. Le personnel de Radio Douentza, qui diffusa ces chansons régulièrement, estime qu’un volume important de cassettes, représentant plus de la moitié des 3500 qui avaient été officiellement distribuées, fut piraté.
Le succès de l’émission de jeunes Radio Gune Yi, au Sénégal, n’a pas seulement suscité les éloges de la presse ainsi que d’innombrables lettres et appels de lecteurs, mais a également amené d’autres stations de radio africaines à vouloir acheter et diffuser l’émission.
Mary Myers (1997)
DIFFÉRENTES FORMES D’ÉVALUATION
Les évaluations du feuilleton New Home, New Life à destination de l’Afghanistan ont pris des formes diverses au cours de la vie de cette émission et offrent tout ensemble un tableau beaucoup plus complet de son impact que ce qu’on aurait pu obtenir par une méthode unique.
Par exemple, les indices anecdotiques qui se dégagent des interviews montrent les sentiments personnels qui
entourent l’émission. 'Je ne peux me coucher sans avoir entendu New Home, New Life' disent des sondés. Des enquêtes
quantitatives sur le public auditeur (10 000 interviews) ont montré que les auditeurs réguliers risquaient deux fois moins que les non auditeurs d’être blessés ou tués par des mines, étant plus conscients du danger. Un concours fut organisé pour inviter les
auditeurs à envoyer leurs réponses à dix questions de type éducatif qui avaient figuré dans le feuilleton, par exemple: 'Quelle fut la cause principale de la propagation du choléra dans le Village d’en-bas ?' Plus de 2000 auditeurs envoyèrent leurs réponse et 90 % d’entre eux répondirent correctement à huit questions sur dix ou plus.
Une enquête faite avant et après l’émission auprès de 300 familles dans trois provinces de l’Afghanistan fit appel à des techniques d’échantillonnage par agrégat consistant à poser 12 questions clés sur des messages importants devant figurer dans les émissions au cours des trois mois suivants. A l’issue de ces émissions, les mêmes questions furent posées à des auditeurs de même milieu dans des régions semblables. Le nombre de réponses correctes données après les émissions fut en forte progression : 80 % contre 45 % auparavant.
Deux exemples: 'A quel âge un enfant a-t-il besoin de nourriture supplémentaire, en plus du lait maternel ?' Avant les émissions, le tiers des auditeurs environ, aussi bien hommes que femmes, donnaient la réponse correcte alors que ce taux devait passer aux deux-tiers après la fin de l’émission. 'Que faut-il faire avec le colostrum de la vache ?' En Afghanistan, la tradition veut que les paysans boivent le colostrum au lieu de le donner à des veaux nouveau-nés, ce qui entraîne une forte mortalité parmi ces derniers.
Cependant, à la suite des émissions, le nombre des réponses correctes s’était multiplié par cinq pour les hommes et par quatre pour les femmes. Or c’est à la radio qu’on droit attribuer ce résultat car il était vraiment peu probable que les auditeurs aient pu recevoir cette information à partir d’autres sources pendant la durée des émissions.
Gordon Adam (1995)
Méthodes qualitatives
Interview en profondeur
Un petit nombre de personnes bien choisies pourra fournir une information tout aussi valable qu’un échantillon à population statistique, surtout si vous avez établi que vos taux d’écoute sont acceptables, réguliers ou en hausse. Pour guider les interviews, on fera utilement appel à des check-lists de sujets et on cherchera à dégager les causes des impacts négatifs ou inattendus se seraient produits.
Les pharmaciens et que PSI en Côte d’Ivoire et Ghana Social Marketing Foundation au Ghana ont la possibilité d’évaluer leurs ventes de préservatifs et de repérer les zones du territoire où la demande progresse et d’établir le taux de progression.
Les agendas d’auditeurs
On peut également songer à distribuer des agendas à des membres représentatifs du public cible et combler ainsi certaines des lacunes inhérentes à d’autres formes d’évaluation, par exemple celles qui impliquent le recueil d’information auprès des femmes ou des habitants de régions reculées. On demande alors à l’auditeur de noter ses réactions aux émissions en indiquant les informations qui lui paraissaient le plus ou le moins utiles et en précisant s’il a mis en pratique les conseils entendus. Comme la tenue de ce journal peut exiger un certain temps, il convient d’offrir une petite incitation à l’auditeur. Il est indispensable que celui-ci soit alphabétisé et, de toute façon, il sera nécessaire de rencontrer des auditeurs qui ne lisent pas. Il s’agit donc d’adopter une approche globalisante dès que l’on utilise diverses méthodes de recueil de données et de faire le point de la situation à mesure que l’on acquiert de l’expérience.
Savoir si l’acquisition de nouvelles connaissances se traduit par des changements pratiques est toujours malaisé. Néanmoins, cela peut se mesurer par des statistiques sur l’usage de services (présences aux hôpitaux), l’achat de produits (préservatifs), réduction du nombre de cas de maladies particulières, témoignant de la volonté d’adopter un comportement favorable à un bon état de santé. Des indices indirects d’intérêt, soit, toutes indications que les auditeurs demandent à obtenir davantage de renseignements en écrivant à la station ou en appelant ses émissions - permettront également de parvenir à certaines conclusions. Il arrive que la popularité d’une émission se manifeste de façon tout à fait inattendue.