Evaluation d’impact - Papiers de référence et nouveautés à débattre

Notamment en ce qui concerne la réduction du rôle du politique à la seule mise en place de projets présentés par ceux qui les évaluent eux-mêmes ce qui une atteinte à la souveraineté des Etats.

Louis-Marie, je ne crois pas qu'évaluer des projets, est une atteinte à la souveraineté de l'État. L'objet du politique est de décider, de faire les choix. Au contraire, l'objet de l'évaluation est d'éclairer les choix du politique, de donner les outils de compréhension des actions. Ce dernier reste totalement maître de sa décision.

Par ailleurs, l'évaluation d'impact se fait encore largement dans le cadre de projets de développement menés par des institutions ou des ONG, mais gagne le domaine des actions publiques de pays développés. A titre d'exemple, d'évaluations qui donnent des outils au décideur, le placement des chômeur en France :

• Article du monde.fr avant résultats
  
• Article du monde.fr après résultats
  
• Rapport des résultats, présentant notamment la méthode

J'admets que débat de l'évaluation d'impact peut être porté sur les méthodes ou sur la représentativité des résultats, mais encore une fois, conseiller et éclairer n'est pas décider.

Le débat sur la randomisation me laisse perplexe. Je ne suis pas un expert de cette question, et Fred pourra sans doute m'en apprendre davantage, mais je pense que cette technique (parmi d'autres pour évaluer l'impact d'un projet) est l'illustration de la primauté de l'efficience sur l'équité dans le paradigme actuel en économie. La mise en place de ce genre d'évaluation n'a pas pour but d'assurer une quelconque équité dans le résultat (bien qu'elle est présente dans la probabilité d'être traité) mais de parvenir à la meilleure efficacité du programme. La recherche de l'efficacité est légitimé par le manque de ressources (surtout dans les PED).

Faut-il, pour autant, voir dans cette technique des déviances morales (de ne pas traiter les non traités) ou bien l'asservissement des politiques domestiques à des principes d'économistes ("de Washington" ou plutôt de Cambridge ), je ne pense pas.

Je m'égare peut être mais le plus important c'est que la John Bates Clark Medal récompense des jeunes économistes qui ont œuvré à faire avancer la science économique. Sans aucun doute, Esther Duflo y a contribué. Pour autant, il ne faut pas tomber dans l'excès et ne pas oublier que l'approche macro est tout autant indispensable.

Bref, il y aura toujours des micro et des macro économistes.

ah ah, quel débat intéressant! merci Fred

Avant de donner les quelques commentaires qui me sont venus à l'esprit en lisant le débat, je voudrais faire une remarque à l'attention de Louis-Marie: il me semble que tu as employé l'expression "économie expérimentale" à la place de "expérimentations". Sans doute était-ce un raccourci ou une faute de frappe mais il est impératif de ne pas confondre les deux: éco exp= expérience en laboratoires (pour évaluer des consentements à payer par exemple) alors que "expérience" désigne l'assignation aléatoire. Il y a certes des groupes témoins et des groupes traités dans les deux cas mais dans le second, nous ne sommes pas en laboratoire...

Ensuite...

- premièrement, je suis devenue fan de l'insulte (si c'en est bien une) "randomista!!" Non pas que je sois contre les randomisations (pas du tout même), mais je crois vraiment qu'il est possible d'évaluer l'impact avec d'autres méthodes (en même temps, si je dis l'inverse je flingue ma thèse!). ce qui est rassurant car il y a probablement un biais de sélection dans les études randomisées!! En effet, le fait que le programme ait "pensé" à prévoir la randomisation est sans doute corrélée avec des variables omises liées avec le succès du programme...etc.

- je suis d'accord avec Fred à propos de la nécessité d'évaluer et avec le fait que l'assignation aléatoire ne "prive" pas les individus d'un traitement. Généralement, l'évaluateur convainc les responsables politiques d'effectuer une sélection aléatoire des participants à budget donné. Autrement dit, l'évaluateur n'intervient pas sur le nombre de participants ni sur les ressources disponibles pour le programme mais sur la façon dont les participants sont choisis. Il y a sans doute des dérives mais ça, ça existe partout et pas plus chez les randomisateurs que chez les autres! Par ailleurs, je trouve que dans certains contextes de ressources limitées, tirer au hasard les participants peut être plus équitable que d'autres critères (genre le village du président est sélectionné). Ceci dit, il y a peut-être trop de ressources allouées aux évaluations d'impact. Par exemple, certains programme sont "nouveaux" mais reposent finalement sur des mécanismes éco très bien connus et dont on sait comment ils vont modifier les incitations. Genre: aller dépenser moult aide au développement pour montrer que le commerce équitable (=hausse du prix de la culture d'exportation) a un effet revenu est probablement superflu. cette remarque est lié à la suivante:

- mon plus gros problème avec l'impact est le manque de réflexion/modélisation théorique. La plupart du temps, la question est juste de savoir si ça marche ou pas alors que le plus intéressant est sans doute "pourquoi ça marche ou pas"??? comment le programme a-t-il modifié les incitations? Quel est le modèle micro derrière tout ça? Ceci dit, il me semble que de plus en plus de papiers réfléchissent, sinon à un modèle théorique, du moins à un cadre conceptuel.

- donc finalement, il reste à mon avis le problème de la validité externe...qui pourrait être sans doute en partie réduit avec une bonne modélisation théorique.

Bref, vous aurez compris que mes papiers d'impact préférés sont ceux qui, avant d'arriver avec l'artillerie empirique, opèrent un petit retour à ce qui fait de nous des économistes: la théorie des incitations!

Sinon, ce n'est pas un papier que je conseille, mais la thèse de Sylvain Chabé Ferret qui nous amène aussi à réfléchir à la pertinence éthique des estimateurs utilisés pour apprécier un impact.

@ Gaëlle
As-tu un exemple en tête pour ton biais de sélection car j'avoue que l'argument m'échappe un peu ?

- mon plus gros problème avec l'impact est le manque de réflexion/modélisation théorique. La plupart du temps, la question est juste de savoir si ça marche ou pas alors que le plus intéressant est sans doute "pourquoi ça marche ou pas"??? comment le programme a-t-il modifié les incitations? Quel est le modèle micro derrière tout ça? Ceci dit, il me semble que de plus en plus de papiers réfléchissent, sinon à un modèle théorique, du moins à un cadre conceptuel.

Je suis assez d'accord avec cette remarque. Cependant, la base de donnée d'une évaluation d'impact donne souvent naissance à des papiers annexes qui tentent de mettre en avant les relations micro qui découlent de la mise en place du programme.

il y a probablement un biais de sélection dans les études randomisées!!

Comme Florent, je suis pas sur de te suivre là. L'évaluation aléatoire à laquelle j'ai participé devait faire face à un biais de sélection potentiel qui était du indirectement à l'allocation aléatoire du programme. Je m'explique. Il s'agissait d'évaluer un programme de cantines scolaires. Afin d'obtenir des groupes d'écoles traitées et non traitées identiques, nous avons choisi les écoles traitées aléatoirement. La randomisation s'est effectuée au niveau des écoles et pas au niveau du district. Dès lors, deux écoles voisines pouvaient avoir un statut différent et les parents se seraient retrouvées face à un choix: envoyer les enfants là où il y a une cantine ou non (i.e. s'auto-sélectionner) . Si les écoles traitées attirent des enfants supplémentaires qui ne seraient pas venus le cas échéant, on se retrouve avec un biais de sélection. La solution a été de sélectionner les enfants avant l'annonce de la mise en place du programme.

Spoiler:

Pour continuer sur les "randomistas", voici une vidéo d'Esther Duflo qui explique l'intérêt de l'évaluation d'impact avec randomisation. C'est vulgarisé mais c'est quand même sympa. Je crois que cette vidéo est du mois de Février donc avant l'obtention de sa John Bates Clark Medal.

Merci Seb pour la vidéo. Ca décomplexe de mon accent anglais... Le papier à propos des courbes de demandes de moustiquaires imprégnées au Kenya est de Pascalines Dupat et Jessica Cohen et on peut le trouver ici. Il y a d'autres vidéos de Duflo et de ses collègues sur ce sujet du forum.

Spoiler:

Spoiler:

Fred: excellent tes requêtes google!!

Sinon j'approuve entièrement les propos de Fred et MarieCh, je n'ai rien à ajouter! Hormis pour l'article cité par Louis Marie, le journaliste n'a très certainement pas lu le papier de Kremer & Miguel, puisque ses arguments sont simplement faux, en particulier cette phrase:

cette expérience a exclu des soins la moitié des enfants concernés

qui m'a fait bondir de 3 mètres de mon siège! C'est complètement incorrect puisqu'ils ont utilisé un "randomized order of phase-in" qui a justement pour but de toucher, à la fin, l'ensemble des personnes des groupes sélectionnés!

Il me semble que l'évaluation d'impact avec assignation aléatoire souffre d'un certain nombre de préjugés, véhiculés par des chercheurs peut être un peu aigris d'avoir "loupé le train" de cette nouvelle méthode d'évaluation. La randomisation a ses défauts, mais dans l'ensemble ils peuvent être anticipés ou contrés, hormis le manque de réflexion sur le "pourquoi" de l'impact qui est encore (mais pour peu de temps) une critique légitime.

Spoiler:

Avis à tous les amateurs d’évaluation d’impact.

Je vous donne la référence d’un très bon article que je viens de lire: The Impact of Improving Nutrition During Early Childhood on Education among Guatemalan Adults. Il s’agit d’un papier écrit à douze mains (Maluccio, Hoddinott, Behrman, Martorell, Quisumbing et Stein) qui cherche à évaluer l’impact d’un programme d’apport nutritionnel lors de la petite enfance sur le niveau d’éducation. La grosse originalité du papier vient de la durée de la période entre les enquêtes de références et les enquêtes de suivi : les enfants traités entre 1969 et 1977 ont été enquêtés une fois adultes entre 2002 et 2004. Vingt-cinq ans plus tard, les auteurs décèlent encore un impact positif du programme, particulièrement sur les filles.

A noter qu'en 1969, ils se prenaient déjà pour des randomistas, même si seulement quatre villages ont été enquêtés.