Evaluation d’impact - Papiers de référence et nouveautés à débattre

Aller en bas

Evaluation d’impact - Papiers de référence et nouveautés à débattre

Message  Fred le Dim 22 Nov - 19:28

Depuis quelques années, l’évaluation d’impact est à la mode. Les organisations internationales ont compris l’intérêt d’évaluer leurs politiques* et les économistes s’en donnent à cœur joie pour que l’argent investit dans les enquêtes servent à éclairer certaines questions ancestrales de la science économique.

La littérature est florissante et ce sujet a pour but pour but de recenser les papiers incontournables ainsi que de débattre des papiers récents et des nouvelles techniques.

J’entame les hostilités avec LE classique de ces dernières années : Worms : Identifying Impacts On Education And Health In The Presence Of Treatment Externalities par Ed Miguel et Mickael Kremer. Il s’agit d’une évaluation d’impact d’un programme de déparasitage dans les écoles Kenyanes. Le papier s’inscrit dans le courant prônant l’assignation aléatoire du traitement (afin que le groupe des traités et le groupe de contrôle soient comparables et donc similaires en moyenne en matière de variables observables et surtout inobservables).

Le grand débat de fond de l’évaluation d’impact tourne autour de l’utilité de l’assignation aléatoire (ou randomization). Certains la considèrent comme une condition indispensable à la crédibilité d’une étude, d’autres pointent la difficulté politique, voir éthique, d’imposer cette condition lors de la mise en place d’un programme. Pour alimenter ce débat, je vous conseille la lecture d’une charge de Martin Ravaillon contre ceux qu’il appelle les « Randomistas » (Should the Randomistas rule?) et une mise au point d’Angus Deaton sur la randomization (Randomization in the tropics, and the search for the elusive keys to economic development).

Bonne lecture. Pensez à faire part des papiers d’évaluation qui vous semblent intéressants.

* Ce qui, en soit, est une petite révolution au même titre que Dylan jouant de la guitare électrique au festival folk de Newport de 1965.
avatar
Fred
Admin

Messages : 370
Date d'inscription : 17/11/2009
Age : 34
Localisation : Doctorant

Voir le profil de l'utilisateur http://themanwhobloggedtheworld.blogspot.com/

Revenir en haut Aller en bas

Re: Evaluation d’impact - Papiers de référence et nouveautés à débattre

Message  Marie-Ch le Mar 27 Avr - 13:31

Notamment en ce qui concerne la réduction du rôle du politique à la seule mise en place de projets présentés par ceux qui les évaluent eux-mêmes ce qui une atteinte à la souveraineté des Etats.

Louis-Marie, je ne crois pas qu'évaluer des projets, est une atteinte à la souveraineté de l'État. L'objet du politique est de décider, de faire les choix. Au contraire, l'objet de l'évaluation est d'éclairer les choix du politique, de donner les outils de compréhension des actions. Ce dernier reste totalement maître de sa décision.

Par ailleurs, l'évaluation d'impact se fait encore largement dans le cadre de projets de développement menés par des institutions ou des ONG, mais gagne le domaine des actions publiques de pays développés. A titre d'exemple, d'évaluations qui donnent des outils au décideur, le placement des chômeur en France :
  • Article du monde.fr avant résultats
  • Article du monde.fr après résultats
  • Rapport des résultats, présentant notamment la méthode


J'admets que débat de l'évaluation d'impact peut être porté sur les méthodes ou sur la représentativité des résultats, mais encore une fois, conseiller et éclairer n'est pas décider.

Marie-Ch

Messages : 77
Date d'inscription : 09/11/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Evaluation d’impact - Papiers de référence et nouveautés à débattre

Message  Fred le Mar 27 Avr - 15:42

Je cite ici un message de Louis-Marie à propos de l’évaluation d’impact et de la randomisation. Le message fait suite à une discution à propos d'Esther Duflo qui se trouve ici.

Non pas que je cherche à limiter votre enthousiasme mais il me semble qu'on doit replacer le travail de Duflo dans le contexte de l'économie expérimentale

et des limites qu'elle présente. Notamment en ce qui concerne la réduction du rôle du politique à la seule mise en place de projets présentés par ceux qui

les évaluent eux-mêmes ce qui une atteinte à la souveraineté des Etats.

http://www.alternatives-economiques.fr/blogs-eco---debats-sur-l-experimentation_fr_art_831_42663.html

Je suis pas d’accord avec le lien que tu fais entre évaluation d’impact et souveraineté d’un état. Premièrement, tu donnes l’impression de partir du constat que l’évaluation d’impact est imposée par une entité extérieure aux Etats. Il est vrai que la Banque Mondiale demande de plus en plus aux Etats d’évaluer leurs politiques, mais les Ministères de ces Etats sont aussi demandeurs comme en témoigne la formation de leurs statisticiens en évaluation d’impact.
Deuxièmement, ne soyons pas naïf, beaucoup de programmes mis en place par les gouvernements des pays du sud sont financés par les bailleurs. La décision de la création ou la poursuite d’un programme est la conséquence d’une discussion entre l’Etat et ses partenaires. Que la discussion soit alimentée par des résultats chiffrés et établis de manière scientifique me semble quasiment indispensable au regard du coût de certains projets.

L’article que tu cites a de jolies références mais il tombe malheureusement dans la critique facile. Il est faux d’affirmer que l’allocation aléatoire d’un programme revient à priver une partie de la population d’un programme (le fameux groupe témoin). La plupart des programmes qui sont évalués avec la méthode de l’assignement aléatoire ne sont pas des programmes généralisés à l’ensemble d’une population. Les programmes évalués sont souvent ciblés sur une population (aide alimentaire dans les zones arides d’un pays par exemple) et nous savons que les ressources sont limitées dans les PVD. Tous les gouvernements sont confrontés à la décision du ciblage d’un programme. Il y a mille et une façons de choisir : se concentrer sur les plus pauvres, sur ceux qui sont le moins éloigné des institutions de l’état, sur ceux pour qui l’effet marginal sera le plus important, sur ceux qui pourraient voter dans le bon sens aux prochaines élections. L’assignation aléatoire n’applique qu’une règle : l’égalité de chance d’être traité.

La critique à propos des résultats qui ne sont pas généralisables est souvent mise en avant aussi. Elle repose sur une vérité : chaque évaluation correspond à un programme dans un contexte donné. Cependant, il ne faut pas négliger toutes les avancées que permettent ces analyses sur des questions fondamentales (Quelle est la nature du lien entre nutrition en bas âge et résultats scolaires ? Quelle est la forme d’une courbe de demande de moustiquaires imprégnées ? etc.).

La critique la plus intéressante à mon sens est celle de Deaton (qui me semble mal interprétée dans l’article d’Alter Eco) à propos de la doctrine de la randomisation qui voudrait s’imposer face à toutes les autres méthodes d’évaluation. Dans la pratique, certains types de programmes ne se prêtent pas à l’assignation aléatoire et il est toutefois possible d’estimer un impact.
avatar
Fred
Admin

Messages : 370
Date d'inscription : 17/11/2009
Age : 34
Localisation : Doctorant

Voir le profil de l'utilisateur http://themanwhobloggedtheworld.blogspot.com/

Revenir en haut Aller en bas

Re: Evaluation d’impact - Papiers de référence et nouveautés à débattre

Message  Sébastien le Mer 28 Avr - 13:52

Le débat sur la randomisation me laisse perplexe. Je ne suis pas un expert de cette question, et Fred pourra sans doute m'en apprendre davantage, mais je pense que cette technique (parmi d'autres pour évaluer l'impact d'un projet) est l'illustration de la primauté de l'efficience sur l'équité dans le paradigme actuel en économie. La mise en place de ce genre d'évaluation n'a pas pour but d'assurer une quelconque équité dans le résultat (bien qu'elle est présente dans la probabilité d'être traité) mais de parvenir à la meilleure efficacité du programme. La recherche de l'efficacité est légitimé par le manque de ressources (surtout dans les PED).

Faut-il, pour autant, voir dans cette technique des déviances morales (de ne pas traiter les non traités) ou bien l'asservissement des politiques domestiques à des principes d'économistes ("de Washington" ou plutôt de Cambridge Smile), je ne pense pas.

Je m'égare peut être mais le plus important c'est que la John Bates Clark Medal récompense des jeunes économistes qui ont œuvré à faire avancer la science économique. Sans aucun doute, Esther Duflo y a contribué. Pour autant, il ne faut pas tomber dans l'excès et ne pas oublier que l'approche macro est tout autant indispensable.

Bref, il y aura toujours des micro et des macro économistes. Smile
avatar
Sébastien

Messages : 13
Date d'inscription : 16/12/2009
Age : 33

Voir le profil de l'utilisateur http://sebmarchand.blog.lemonde.fr

Revenir en haut Aller en bas

Re: Evaluation d’impact - Papiers de référence et nouveautés à débattre

Message  gaelleb le Lun 3 Mai - 15:37

ah ah, quel débat intéressant! merci Fred

Avant de donner les quelques commentaires qui me sont venus à l'esprit en lisant le débat, je voudrais faire une remarque à l'attention de Louis-Marie: il me semble que tu as employé l'expression "économie expérimentale" à la place de "expérimentations". Sans doute était-ce un raccourci ou une faute de frappe mais il est impératif de ne pas confondre les deux: éco exp= expérience en laboratoires (pour évaluer des consentements à payer par exemple) alors que "expérience" désigne l'assignation aléatoire. Il y a certes des groupes témoins et des groupes traités dans les deux cas mais dans le second, nous ne sommes pas en laboratoire...

Ensuite...

- premièrement, je suis devenue fan de l'insulte (si c'en est bien une) "randomista!!" Non pas que je sois contre les randomisations (pas du tout même), mais je crois vraiment qu'il est possible d'évaluer l'impact avec d'autres méthodes (en même temps, si je dis l'inverse je flingue ma thèse!). ce qui est rassurant car il y a probablement un biais de sélection dans les études randomisées!! En effet, le fait que le programme ait "pensé" à prévoir la randomisation est sans doute corrélée avec des variables omises liées avec le succès du programme...etc.

- je suis d'accord avec Fred à propos de la nécessité d'évaluer et avec le fait que l'assignation aléatoire ne "prive" pas les individus d'un traitement. Généralement, l'évaluateur convainc les responsables politiques d'effectuer une sélection aléatoire des participants à budget donné. Autrement dit, l'évaluateur n'intervient pas sur le nombre de participants ni sur les ressources disponibles pour le programme mais sur la façon dont les participants sont choisis. Il y a sans doute des dérives mais ça, ça existe partout et pas plus chez les randomisateurs que chez les autres! Par ailleurs, je trouve que dans certains contextes de ressources limitées, tirer au hasard les participants peut être plus équitable que d'autres critères (genre le village du président est sélectionné). Ceci dit, il y a peut-être trop de ressources allouées aux évaluations d'impact. Par exemple, certains programme sont "nouveaux" mais reposent finalement sur des mécanismes éco très bien connus et dont on sait comment ils vont modifier les incitations. Genre: aller dépenser moult aide au développement pour montrer que le commerce équitable (=hausse du prix de la culture d'exportation) a un effet revenu est probablement superflu. cette remarque est lié à la suivante:

- mon plus gros problème avec l'impact est le manque de réflexion/modélisation théorique. La plupart du temps, la question est juste de savoir si ça marche ou pas alors que le plus intéressant est sans doute "pourquoi ça marche ou pas"??? comment le programme a-t-il modifié les incitations? Quel est le modèle micro derrière tout ça? Ceci dit, il me semble que de plus en plus de papiers réfléchissent, sinon à un modèle théorique, du moins à un cadre conceptuel.

- donc finalement, il reste à mon avis le problème de la validité externe...qui pourrait être sans doute en partie réduit avec une bonne modélisation théorique.

Bref, vous aurez compris que mes papiers d'impact préférés sont ceux qui, avant d'arriver avec l'artillerie empirique, opèrent un petit retour à ce qui fait de nous des économistes: la théorie des incitations!

gaelleb

Messages : 11
Date d'inscription : 23/11/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Evaluation d’impact - Papiers de référence et nouveautés à débattre

Message  flbresson le Mar 4 Mai - 1:43

Sinon, ce n'est pas un papier que je conseille, mais la thèse de Sylvain Chabé Ferret qui nous amène aussi à réfléchir à la pertinence éthique des estimateurs utilisés pour apprécier un impact.

@ Gaëlle
As-tu un exemple en tête pour ton biais de sélection car j'avoue que l'argument m'échappe un peu ?
avatar
flbresson

Messages : 360
Date d'inscription : 19/11/2009
Age : 38
Localisation : Clermont-Ferrand

Voir le profil de l'utilisateur http://sites.google.com/site/flbresson2/

Revenir en haut Aller en bas

Re: Evaluation d’impact - Papiers de référence et nouveautés à débattre

Message  Fred le Mer 5 Mai - 15:21

- mon plus gros problème avec l'impact est le manque de réflexion/modélisation théorique. La plupart du temps, la question est juste de savoir si ça marche ou pas alors que le plus intéressant est sans doute "pourquoi ça marche ou pas"??? comment le programme a-t-il modifié les incitations? Quel est le modèle micro derrière tout ça? Ceci dit, il me semble que de plus en plus de papiers réfléchissent, sinon à un modèle théorique, du moins à un cadre conceptuel.

Je suis assez d'accord avec cette remarque. Cependant, la base de donnée d'une évaluation d'impact donne souvent naissance à des papiers annexes qui tentent de mettre en avant les relations micro qui découlent de la mise en place du programme.

il y a probablement un biais de sélection dans les études randomisées!!

Comme Florent, je suis pas sur de te suivre là. L'évaluation aléatoire à laquelle j'ai participé devait faire face à un biais de sélection potentiel qui était du indirectement à l'allocation aléatoire du programme. Je m'explique. Il s'agissait d'évaluer un programme de cantines scolaires. Afin d'obtenir des groupes d'écoles traitées et non traitées identiques, nous avons choisi les écoles traitées aléatoirement. La randomisation s'est effectuée au niveau des écoles et pas au niveau du district. Dès lors, deux écoles voisines pouvaient avoir un statut différent et les parents se seraient retrouvées face à un choix: envoyer les enfants là où il y a une cantine ou non (i.e. s'auto-sélectionner) . Si les écoles traitées attirent des enfants supplémentaires qui ne seraient pas venus le cas échéant, on se retrouve avec un biais de sélection. La solution a été de sélectionner les enfants avant l'annonce de la mise en place du programme.


Spoiler:
Randomistas n'est pas une insulte mais un cri de ralliement!
avatar
Fred
Admin

Messages : 370
Date d'inscription : 17/11/2009
Age : 34
Localisation : Doctorant

Voir le profil de l'utilisateur http://themanwhobloggedtheworld.blogspot.com/

Revenir en haut Aller en bas

Re: Evaluation d’impact - Papiers de référence et nouveautés à débattre

Message  Sébastien le Lun 10 Mai - 11:51

Pour continuer sur les "randomistas", voici une vidéo d'Esther Duflo qui explique l'intérêt de l'évaluation d'impact avec randomisation. C'est vulgarisé mais c'est quand même sympa. Je crois que cette vidéo est du mois de Février donc avant l'obtention de sa John Bates Clark Medal.
avatar
Sébastien

Messages : 13
Date d'inscription : 16/12/2009
Age : 33

Voir le profil de l'utilisateur http://sebmarchand.blog.lemonde.fr

Revenir en haut Aller en bas

Re: Evaluation d’impact - Papiers de référence et nouveautés à débattre

Message  Fred le Lun 10 Mai - 12:20

Merci Seb pour la vidéo. Ca décomplexe de mon accent anglais... Le papier à propos des courbes de demandes de moustiquaires imprégnées au Kenya est de Pascalines Dupat et Jessica Cohen et on peut le trouver ici. Il y a d'autres vidéos de Duflo et de ses collègues sur ce sujet du forum.

Spoiler:
En tapant Esther Duflo et CERDI, on tombe ici. afro

Spoiler:
En tapant Esther Duflo et Fred aussi. afro afro
avatar
Fred
Admin

Messages : 370
Date d'inscription : 17/11/2009
Age : 34
Localisation : Doctorant

Voir le profil de l'utilisateur http://themanwhobloggedtheworld.blogspot.com/

Revenir en haut Aller en bas

Re: Evaluation d’impact - Papiers de référence et nouveautés à débattre

Message  Emmanuel le Jeu 13 Mai - 20:24

Fred: excellent tes requêtes google!!

Sinon j'approuve entièrement les propos de Fred et MarieCh, je n'ai rien à ajouter! Hormis pour l'article cité par Louis Marie, le journaliste n'a très certainement pas lu le papier de Kremer & Miguel, puisque ses arguments sont simplement faux, en particulier cette phrase:
cette expérience a exclu des soins la moitié des enfants concernés
qui m'a fait bondir de 3 mètres de mon siège! C'est complètement incorrect puisqu'ils ont utilisé un "randomized order of phase-in" qui a justement pour but de toucher, à la fin, l'ensemble des personnes des groupes sélectionnés!

Il me semble que l'évaluation d'impact avec assignation aléatoire souffre d'un certain nombre de préjugés, véhiculés par des chercheurs peut être un peu aigris d'avoir "loupé le train" de cette nouvelle méthode d'évaluation. La randomisation a ses défauts, mais dans l'ensemble ils peuvent être anticipés ou contrés, hormis le manque de réflexion sur le "pourquoi" de l'impact qui est encore (mais pour peu de temps) une critique légitime.



Spoiler:
Randomistaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaas!!

Emmanuel

Messages : 38
Date d'inscription : 18/11/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Evaluation d’impact - Papiers de référence et nouveautés à débattre

Message  Fred le Mar 6 Juil - 15:44

Avis à tous les amateurs d’évaluation d’impact.

Je vous donne la référence d’un très bon article que je viens de lire: The Impact of Improving Nutrition During Early Childhood on Education among Guatemalan Adults. Il s’agit d’un papier écrit à douze mains (Maluccio, Hoddinott, Behrman, Martorell, Quisumbing et Stein) qui cherche à évaluer l’impact d’un programme d’apport nutritionnel lors de la petite enfance sur le niveau d’éducation. La grosse originalité du papier vient de la durée de la période entre les enquêtes de références et les enquêtes de suivi : les enfants traités entre 1969 et 1977 ont été enquêtés une fois adultes entre 2002 et 2004. Vingt-cinq ans plus tard, les auteurs décèlent encore un impact positif du programme, particulièrement sur les filles.

A noter qu'en 1969, ils se prenaient déjà pour des randomistas, même si seulement quatre villages ont été enquêtés.
avatar
Fred
Admin

Messages : 370
Date d'inscription : 17/11/2009
Age : 34
Localisation : Doctorant

Voir le profil de l'utilisateur http://themanwhobloggedtheworld.blogspot.com/

Revenir en haut Aller en bas

Re: Evaluation d’impact - Papiers de référence et nouveautés à débattre

Message  Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum