Les charmes trompeurs des expériences randomisées

Une méthodologie en particulier est devenue incontournable en économie du développement pour ce qui est de la mesure d’impact : l’évaluation par assignation aléatoire (Duflo 2005). Basé sur le modèle des essais cliniques, ce type d’évaluation repose sur la comparaison de deux groupes : un groupe de traitement (qui fait l’objet de

144

l’intervention à évaluer) et un groupe de contrôle. Ce qui doit constituer la force de cette technique est que l’appartenance des individus au groupe de traitement ou au groupe de contrôle est déterminée de façon aléatoire : les individus font – ou non – l’objet du programme sur une base stochastique, de façon à ce que les deux groupes soient statistiquement identiques, ce qui permet leur comparaison toutes choses égales par ailleurs. Les différences constatées entre les deux groupes au terme d’une intervention sont donc interprétées comme reflétant l’effet causal de celle-ci, puisque toutes les autres sources de variation ont été neutralisées par la randomisation.

Importées depuis la médecine vers l’économie autour de 2000, les méthodes expérimentales ont depuis lors connu un essor important, à tel point qu’elles auraient aujourd’hui acquis le statut de « gold standard » méthodologique du fait de leur supériorité revendiquée par rapport aux autres méthodes. En effet, « les données non expérimentales, à quelques exceptions près, ne fournissent pas de résultats suffisamment rigoureux » (Banerjee et Duflo 2009, p. 694). Les méthodes expérimentales permettraient quant à elles l’avènement d’une science économique basée sur la preuve, qui éviterait la mise en œuvre de mesures justifiées par des théories hors sol ou motivées par des considérations politiques. À ce titre, les chercheurs qui développent et mettent en œuvre ces méthodes (notamment réunis au sein du J-PAL145), apparaissent bien plus proches du terrain que ne l’étaient leurs prédécesseurs.

Cette proximité au terrain et cet empirisme revendiqué sont néanmoins à nuancer. D’abord car le rapport au terrain n’est ici pas seulement placé au cœur de la démarche, mais en constitue l’ensemble. Les auteurs en faveur de ces méthodes semblent en effet aller jusqu’à remettre en cause le statut du savoir, qu’il soit scientifique ou vulgaire, puisque selon eux les expérimentations « font clairement apparaître que notre intuition (ou la théorie économique en tant que telle) est un bien mauvais guide du choix entre des programmes concurrents qui visent le même objectif » (Ibid., p. 693). Dans ce cadre, le processus scientifique ne relève plus d’une démarche cumulative, et l’expérimentation fait table rase de la théorie. Le savoir se résume alors à l’accumulation des résultats de ces expériences :

145 Le Abdul Latif Jameel Poverty Action Lab, fondé en 2003 au Massachusetts Institute of Technology (MIT) et dirigé par Esther Duflo fédère 161 chercheurs à travers le monde.

145

« ‐n principe, si nous étions prêts à mener suffisamment d’expérimentations, dans des lieux suffisamment variés, nous pourrions apprendre tout ce que nous souhaiterions savoir » (Ibid., p. 705).

Au-delà des questions épistémologiques qu’elles soulèvent donc, les méthodes expérimentales souffrent de limites qui en compromettent la validité interne. Malgré tous les raffinements techniques, elles ne sont notamment pas en mesure de contrôler l’ensemble des paramètres, et donc l’ensemble des biais potentiels inhérents à cette technique146. Elles peuvent avoir une validité de court terme, mais elles ne sont pas en capacité de rendre compte des impacts de plus long terme d’une intervention, qui vont se développer bien au-delà de la temporalité de l’évaluation. Plus fondamentalement, les résultats expérimentaux nous renseignent sur l’effet moyen d’une intervention, mais pas sur les mécanismes causaux sous-jacents à cet effet. Ces méthodes prouvent mais n’expliquent pas : elles permettent de savoir ce qui fonctionne, mais pas de savoir pourquoi et comment cela fonctionne. Au-delà des valeurs moyennes, l’impact peut se matérialiser de façon hétérogène au sein des populations : il faudrait pouvoir expliquer les situations particulières, potentiellement révélatrices de faits saillants porteurs d’un intérêt particulier pour la théorisation. Des facteurs socio-économiques ou institutionnels conditionnent nécessairement les effets observés, alors que ces facteurs sont justement ceux que la randomisation cherche à faire disparaître.

Les variations des facteurs contextuels lors de la réplication des interventions sape aussi la validité externe des résultats produits par ces méthodes. Leur multiplication pose problème puisqu’une collection de résultats micro quant à une intervention ne peut justifier son application au niveau macro. La généralisation d’une mesure peut en effet avoir des effets différents que ceux constatés à un niveau inférieur (Deaton et Cartwright 2016). Bien que la démarche expérimentale devrait – selon ses tenants – être appliquée à toutes les actions de développement, son champ réel d’application apparaît plus réduit que ce qui est mis en avant : ces méthodes sont adaptées à l’évaluation d’interventions simples, localisées et aux effets immédiats, pour lesquelles un lien direct et mécanique de cause à effet existe. Si ces évaluations peuvent être pertinentes pour des mesures sectorielles de lutte contre la pauvreté, elles seront donc bien moins appropriées aux

146 Certains vont jusqu’à voir dans les techniques économétriques une « escroquerie » [« con art »] : « La contribution des économètres a été de fournir des outils qui permettent à n'importe qui de prouver n’importe quoi, ce qui peut être plutôt "pratique", en particulier pour ceux motivés par des motifs idéologiques. » [« The contribution of econometricians is that they have provided tools that allow anyone to prove anything, which can be rather “handy”, particularly for those motivated by ideology. »] (Moosa 2017).

146

problématiques de développement. En effet, « un développement réussi dépend d’institutions et de politiques, sujets sur lesquels les évaluations randomisées ont peu à dire. »147 (Ibid.). Ainsi :

« Ces traitements ponctuels ne sauraient remplacer une mésoéconomie et une économie politique du développement. Ils en sont un complément des plus utiles, mais non un substitut en forme de panacée. Loin d’être un protocole universel, pertinent pour toutes les questions de développement, les expérimentations ne s’appliquent qu’à un ensemble circonscrit de situations et laissent dans l’ombre des phénomènes fondamentaux. » (Labrousse 2010)

La révolution souhaitée par les randomistas reste donc encore largement à réaliser – si tant est qu’elle soit réalisable – dans la mesure où les résultats qu’ils produisent sont trop éclatés pour pouvoir constituer la base de recommandations politiques opérationnelles (J Favereau 2014)148.

La mise en œuvre des méthodes d’évaluation par assignation aléatoire peut enfin se heurter aux contraintes pratiques du terrain, qui peuvent faire s’éloigner la mise en œuvre concrète de la méthode de son modèle théorique idéal, réduisant d’autant sa validité. Dans certains cas, les projets de développement sont eux-mêmes amenés à être adaptés pour être randomisables, l’objectif de mesure pouvant alors entrer en conflit avec l’objectif initial du projet (Quentin et Guérin 2013). Ces méthodes soulèvent donc un certain nombre de problèmes éthiques (Barrett et Carter 2010), par exemple lorsque des expérimentations sont menées dans le but de prouver qu’une mesure a un effet négatif sur ceux qui en sont l’objet, ou lorsque les sujets d’une expérimentation ne sont pas conscients d’être dans cette situation. Par ailleurs, l’impossibilité d’administrer un traitement placebo au groupe de contrôle implique de fait une différence entre les deux groupes, qui est perçue comme telle par les personnes et qui peut les amener à adopter des comportements stratégiques allant à l’encontre de la randomisation. Lorsqu’elles se contentent de confirmer des informations que d’autres méthodes avaient déjà documentées ou qui étaient déjà connues des acteurs locaux, le recours à ces techniques constitue un gâchis de ressources, compte tenu de leur coût particulièrement élevé. Mais

147 « successful development depends on institutions and on politics, matters on which RCTs have little to say. »

148 Voir la tribune signée par 15 économistes sous le titre « Buzzwords and tortuous impact studies won't fix a broken aid system » (The Guardian 2018).

147

dans bien des cas, les faits ne semblent pouvoir acquérir leur validé qu’après l’application d’un tel protocole.

Deaton (2009) est amené à conclure que « les expérimentations n'ont pas de capacité particulière à produire des connaissances plus crédibles que d'autres méthodes »149. Leurs limites, ainsi que leur applicabilité limitée et leur faible contribution au savoir doivent amener à en relativiser la portée. L’attractivité théorique de la méthode disparaît souvent en pratique, l’importance qui leur est donnée devrait donc être tempérée. La monopolisation des études sur le développement par une méthode unique et hégémonique n’est dans tous les cas pas souhaitable (Ravallion 2009), quelle que soit la force – réelle ou revendiquée – de cette méthode.

Pour faire progresser les savoirs sur le développement, il est notamment nécessaire de comprendre la diversité des comportements des personnes, et donc la multiplicité des logiques qui peuvent leur être sous-jacentes. Voyons alors comment l’approche comportementale traite des pratiques monétaires et financières.

1.1.2. L’économie comportementale inapte à la