B. UN DISPOSITIF D'ÉVALUATION À AMÉLIORER
Selon le rapport de l'OCDE de la dernière « revue des pairs » de l'APD française : « La France devrait développer et intégrer la gestion axée sur les résultats dans l'ensemble de ses programmes de coopération au développement, afin que les résultats obtenus (du niveau projet au niveau central) servent à améliorer la redevabilité, le pilotage, la communication et l'apprentissage. » L'OCDE dessine ainsi un programme de réforme de l'évaluation de l'APD française qui, s'il était suivi, permettrait une meilleure information des parlementaires et des citoyens sur les résultats que l'aide permet d'atteindre dans les pays qui en bénéficient. Une telle évolution donnerait ainsi davantage de sens à la politique de développement menée par notre pays et permettrait de disposer d'éléments de nature à éclairer des débats trop souvent focalisés sur des éléments purement financiers.
1. Une évaluation interne utile mais éclatée
Actuellement, l'évaluation interne des projets d'aide publique au développement est assurée en France par trois pôles distincts :
- l'unité d'évaluation des activités de développement (UEAD) du ministère de l'Économie et des Finances (quatre à cinq évaluation par an) ;
- le pôle de l'évaluation et de la performance du ministère de l'Europe et des Affaires étrangères (quatre à cinq évaluations par an également) ;
- le département de l'évaluation et de l'apprentissage (EVA) de l'Agence française de développement, qui réalise environ 35 évaluations par an.
Ces trois entités rendent compte à leurs directions générales respectives et au Parlement et pilotent des évaluations soit individuellement, soit conjointement.
Concrètement, les évaluations pilotées par ces services sont en général réalisées par des cabinets de conseil sélectionnés sur appels d'offres, sous la direction d'une équipe de responsables administratifs des ministères concernés et de l'AFD. Les évaluations sont encadrées par un groupe de référence garantissant une pluralité de points de vue (parlementaires, représentants de la société civiles, du monde de recherche, autres administrations..) et elles font l'objet d'une restitution publique. Elles sont effectuées avec sérieux et compétence et peuvent permettre aux services d'améliorer leurs pratiques, mais elles présentent aussi de nombreuses limites et aboutissent souvent à des conclusions un peu stéréotypées, mettant l'accent sur la réussite globale du projet ou programme concerné mais relevant des marges de progression comme la nécessité de meilleurs effets d'apprentissage, une meilleure coordination, etc.
|
Les évaluations réalisées par l'AFD Le dispositif d'évaluation de l'AFD comprend trois niveaux : le premier, impliquant des évaluateurs externes, concerne les projets conduits par les agences. Le second niveau, qui comprend des évaluations plus approfondies, concerne un ensemble de programmes dans la durée, comme l'aide au développement de la France au Vietnam. Des cabinets de conseil y sont associés. Enfin, l'AFD conduit des évaluations scientifiques d'impact, conduits avec des centres de recherche comme l'Institut de recherche pour le développement (IRD) ou le Centre de coopération internationale en recherche agronomique pour le développement (CIRAD), comme au Congo, où les critères de biodiversité et de développement durable sont pris en compte. Des évaluations plus partenariales, comme avec la Kreditanstalt für Wiederaufbau (KFW), et, au sein du réseau International Development Finance Club (IDFC), entre organismes bancaires, sont également réalisées. Nous allons changer ainsi nos méthodes. L'AFD a également récemment publié un rapport d'ensemble sur ses évaluations, avec un focus sur la biodiversité. |
2. Une évaluation externe encore insuffisante
Le suivi externe de la politique d'aide au développement est réalisé par plusieurs acteurs :
- comme pour l'ensemble des politiques de l'Etat, la Cour des comptes peut contrôler tel ou tel aspect ou acteur de la politique d'aide publique au développement ;
- L'Assemblée nationale ainsi que le Sénat produisent des rapports de contrôle de la politique du gouvernement en matière d'aide publique au développement ;
- l'OCDE ( Comité d'aide au développement) organise un contrôle par les pairs des dispositifs nationaux d'aide au développement ;
- les ONG effectuent également un suivi régulier et interviennent publiquement sur la politique d'aide au développement : la coordination française « Coordination SUD » intervient ainsi dans le débat sur l'APD en y apportant ses analyses sur les stratégies, les programmes ainsi que les aspects budgétaires.
Toutefois, la France est en retard en ce qui concerne la transparence de l'aide et malgré d'importants efforts de l'AFD, qui a rendu disponible une brève description de l'ensemble de ses projets sur son site Internet, l'ONG Publish What You Fund ne classait en 2018 la France au 32ème rang sur 45 en matière de transparence de l'aide.
Par ailleurs, l'évaluation reproduit elle-même l'éclatement du pilotage de la politique d'aie publique au développement française entre deux ministères et un établissement public, ce qui rend plus difficile des appréhensions transversales ou globales de cette politique.
En outre, comme l'a souligné le rapport d'Hervé
Berville en 2018, c'est la nature même de l'évaluation
réalisée qui apparaît insatisfaisante :
«
le suivi de la politique d'aide publique au
développement constitue rarement une évaluation à
proprement parler. Une évaluation est une analyse ayant pour objet
d'apprécier l'efficacité d'une politique en comparant ses
résultats aux objectifs assignés et aux moyens mis en oeuvre. Or,
les différentes instances françaises mentionnées
précédemment concentrent leur analyse sur les processus de
gestion, l'organisation institutionnelle et les enjeux financiers et
budgétaires (...) les différentes évaluations
menées abordent peu la cohérence externe, l'efficacité,
l'efficience, l'impact et la durabilité des interventions
françaises et ne suivent pas systématiquement le cadre de la
chaîne d'évaluation
».
Si la loi du 7 juillet 2014 a prévu la mise en place d'un observatoire de la politique de développement et de solidarité internationale afin de permettre une évaluation plus indépendante, cette instance s'est peu réunie et ne dispose pas de l'expertise et des moyens nécessaires.
3. Le dispositif britannique d'évaluation, un exemple pour la France ?
En 2015, le Royaume-Uni a adopté une loi fixant à 0,7% la part du RNB consacrée à l'aide publique au développement, conformément aux recommandations des organisations internationales. Parallèlement, elle a créé un dispositif d'évaluation original de cette politique, en créant un organisme dédié, l'Independant committee on aid impact (ICAI). Vos rapporteurs se sont rendus à Londres en juillet 2019 afin de prendre connaissance des caractéristiques de ce dispositif en rencontrant notamment Mme Tamsyn Barton, directrice de l'ICAI, des parlementaires de la commission de l'aide au développement de la chambre des communes et des représentants du ministère du développement international (DFID).
L'ICAI a été explicitement créée comme une sorte de contrepartie à la fixation de l'objectif des 0,7% du RNB dans la loi , celui-ci impliquant une forte hausse des moyens consacrés à l'aide publique au développement. Il s'agissait ainsi de donner des gages au public et aux opposants politiques de cette hausse de crédits, leur garantissant que chaque livre investie le serait sous le regard d'un organisme indépendant à même d'en vérifier le bon usage et l'efficacité.
L'ICAI est ainsi conçu comme un organisme indépendant du Gouvernement et dont la mission est de rendre des comptes au Parlement, plus précisément à la Commission parlementaire chargée du développement (International Development select Committee, IDSC).
L'ICAI est dirigée par trois commissaires, dispose d'un secrétariat de dix membres et fait appel à des consultants externes pour conduire les évaluations sous la direction des commissaires. Les consultants co-contractants sont au nombre de quatre, et les contrats sont signés pour quatre ans. Le secrétariat de l'ICAI travaille sur une base quotidienne avec ces co-contractants.
Les Commissaires de l'ICAI ont en principe une compétence en matière d'APD. Ils sont nommés par le ministre du développement international, représenté en réalité par un directeur général du ministère, assisté par la commission parlementaire chargée du développement. A titre d'exemple, l'un des commissaires était auparavant auditeur à la Banque africaine de développement, le second avait été parlementaire pendant 14 ans au sein de la commission parlementaire du développement international, tandis que la commissaire en chef avait travaillé dans le secteur de l'APD : ONG, Gouvernement, BERD, etc.
Aspect important, les sujets de contrôle de l'ICAI sont choisis par elle-même, mais avec l'accord de la Commission parlementaire . L'ICAI a produit 28 rapports au cours du dernier exercice, dont les deux tiers ont été estampillés « vert » (satisfaisant) ou orange (assez satisfaisant) et un tiers rouge (moins que satisfaisant). Les résultats pressentis sont mis en commun avec le DFID, avec lequel il peut y avoir également quelques réunions complémentaires. Les rapports sont présentés devant la Commission parlementaire chargée du développement, qui auditionne simultanément l'ICAI et le ministre environ une fois par mois. Les recommandations des rapports doivent donner lieu à une réponse du ministère détaillant les mesures prises et l'ICAI peut exiger de nouvelles réponses tant qu'elle n'est pas satisfaite (droit de suivi). La Commission parlementaire ne peut pas changer la note attribuée à un projet, les rapports étant rendus publics. Pour ses études, l'ICAI ne passe pas seulement en revue le DFID, mais les 18 départements ministériels différents pouvant mener des actions en matière de développement international.
Selon les parlementaires membres de la Sous-commission de l'ICAI au sein de la Commission du développement international, l'ICAI constitue « une ressource extraordinaire » pour les parlementaires. En particulier, la discussion entre l'ICAI et le DFID devant la Commission permet d'aller beaucoup plus loin dans le contrôle du DFID que les parlementaires ne pourraient le faire par l'exercice ordinaire de leur contrôle.
Afin de mener ses évaluations, L'ICAI mobilise notamment les critères établis par l'OCDE. En général, les meilleures notes sont obtenues sur la pertinence et l'efficacité, les moins bonnes sur le « learning » (les effets d'apprentissage).
Selon la commissaire en chef de l'ICAI, celle-ci considère les objectifs des programmes d'aide au développement comme des postulats, évalue l'atteinte des résultats que les ministères se sont fixés et ne prétend pas dire précisément comment faire pour atteindre ces résultats. Toutefois, la distinction entre évaluation de la mise en oeuvre d'une politique et évaluation de cette politique elle-même n'est pas aussi tranchée dans la réalité.
Plusieurs des personnes rencontrées lors du déplacement à Londres ont indiqué qu'actuellement, une partie de la droite britannique conteste en la nécessité d'une APD à 0,7% du RNB. Les rapports de l'ICAI peuvent être mobilisés à l'appui de ces critiques.
En revanche, selon ses représentants, l'ICAI n'est pas encore assez connue du public. Elle essaie de communiquer de manière plus proactive avec les médias.
L'ICAI n'est cependant pas exempte de critiques :
- le budget de l'ICAI est de 15,07 millions de livres sur 4 ans, dont 9 millions pour les co-contractants, est contrôlé par le DFID, de même que ses membres sont nommés par celui-ci. Dès lors, des Think Tanks comme le Center for global developpement, dont vos rapporteurs ont rencontré des représentants, estiment que le DFID exerce en réalité une « influence politique subtile » sur l'ICAI, notamment pour le choix des sujets d'évaluation.
- il existe un débat sur la nature souhaitable de la mission de l'ICAI : doit-elle se cantonner à des réflexions très techniques, ou bien doit-elle au contraire avoir une vision stratégique ? Récemment, le DFID a élaboré une stratégie relative à la croissance des pays en développement que l'ICAI a évaluée. Selon le CGD, il faut toutefois éviter que l'organe de contrôle devienne un organe stratégique ;
- le DFID considère que la multiplication des évaluations accaparent le DFID au détriment de son action propre, d'autant qu'il arrive souvent que les recommandations soient trop vagues ou insuffisamment réalistes pour être réellement applicables.
|
Le DFID et la politique britannique d'aide au développement Le DFID, ministère du développement international, a été détaché du ministère des affaires étrangères et érigé en ministère indépendant en 1997, afin de manifester l'autonomie des objectifs de la politique de développement (essentiellement la lutte contre la pauvreté) par rapport à ceux de la politique étrangère britannique. Le principal objectif assigné à ce nouveau ministère est la réduction de la pauvreté. Un ministre du développement est également nommé. En 2002, une loi sur le développement international entérine l'objectif de réduction de la pauvreté et promeut la totale déliaison de l'aide. Puis, en 2015 est adoptée une loi qui fixe la part (dépense d'APD)/RNB à 0,7%. L'APD britannique représente 14,4 millions de livres dont le DFID gère 75 % environ. Cette part est en diminution constante au cours des dernières années, les autres ministères étant parvenus à capter une partie des abondants crédits de l'aide au développement en présentant des projets pouvant être considérés comme se rattachant cette politique. Environ 2/3 de ces montants sont de l'aide bilatérale, environ 1/3 de l'aide de l'aide multilatérale. L'essentiel de l'aide est composée de dons. Des interrogations existent sur la possibilité de faire davantage de prêts souverains. L'aide du DFID doit concerner pour 50% les États fragiles ou affaiblis par des conflits. Elle doit se conformer aux « 5P » : planet, people, peace, prosperity, partnerships. |
Au total, le dispositif d'évaluation britannique, dont l'ICAI constitue la pièce maîtresse, constitue selon vos rapporteurs une référence valable pour penser un nouveau dispositif d'évaluation qui aurait vocation à être inscrit au sein de la future loi d'orientation relative à la politique de solidarité internationale.
Selon les informations recueillies par la commission, le projet actuel du Gouvernement, qui devrait être intégré à la révision de la loi d'orientation sur la solidarité internationale, prévoira un « droit de tirage » des administrations sera prévu pour leur permettre de faire réaliser les évaluations dont elles auraient besoin. Il est nécessaire que le Parlement dispose lui aussi au minimum d'un tel « droit de tirage » afin de pouvoir mieux exercer le contrôle de la politique d'aide au développement.
4. Le coût budgétaire actuel de l'évaluation
Les crédits actuellement consacrés à l'évaluation de l'APD restent modestes. Le programme 110 comporte une ligne « Évaluation des opérations relevant de l'aide au développement » de 0,57 millions d'euros en 2020, contre 0,53 M€ en en 2019, et 0,48 M€ en 2018. Les crédits du MEAE disponibles au sein du programme 185 pour l'évaluation, qui peuvent également bénéficier aux actions menées dans le cadre du programme 209 de la mission « Aide publique au développement », se montent à 0,47 millions d'euros en 2020 contre 0,54 en 2019 et 0,46 en 2017.
En revanche, les crédits consacrés à l'évaluation par l'AFD augmentent régulièrement : Progression des crédits et des crédits de projets couverts (voir question 67 en 2020 et 66 en 2019).
La commission observe toutefois qu'aucune enveloppe spécifique n'est prévue au sein du budget 2020 pour le fonctionnement de la nouvelle commission d'évaluation qui pourrait être créée par la future loi d'orientation au début de 2020, et qui aura besoin de crédits de fonctionnement pour passer les marchés d'étude nécessaires à ses évaluations.