II. UN TAUX DE SÉLECTION DEVENU BEAUCOUP TROP BAS, AU RISQUE DE FRAGILISER DURABLEMENT LE FINANCEMENT DE LA RECHERCHE SUR PROJETS EN FRANCE
A. DES APPELS À PROJETS COMPÉTITIFS RIGOUREUX QUI FONT APPEL À DE TRÈS NOMBREUX EXPERTS
Afin de mener à bien les appels à projets compétitifs qui constituent la principale mission que lui a confiée l'État, l'Agence nationale de la recherche (ANR) a mis en place un processus d'évaluation et de sélection des projets exigeant , qui s'inspire de ceux utilisés dans les autres grands pays industrialisés.
Ce processus d'évaluation et de sélection, pour lequel l'ANR a obtenu une certification ISO9001 qui atteste de sa qualité , est régi par un certain nombre de grands principes destinés à garantir son équité et sa rigueur : excellence scientifique, application de critères techniques aussi objectifs que possible, liberté d'accès pour tous les chercheurs, égalité de traitement entre les déposants, transparence, confidentialité, respect de la déontologie et de l'intégrité scientifique, etc.
Ces critères prennent également en compte le potentiel de diffusion des connaissances et de valorisation économique des résultats de la recherche .
1. La mise en place en 2014 d'un processus de sélection en deux phases a permis un réel allègement de la charge administrative qui pèse sur les chercheurs
Tous les appels à projets compétitifs de l'ANR débutent par la publication d'un texte de présentation de l'appel à projets sur le site internet de l'établissement, qui précise les lignes directrices que devront respecter les dossiers de demande de financement que présenteront les chercheurs ainsi que les critères d'éligibilité dont le non-respect entraînerait automatiquement le rejet du dossier.
Les chercheurs disposent ensuite d'un laps de temps suffisamment long pour pouvoir préparer et déposer leurs projets auprès de l'ANR. Les critères d'évaluation des projets sont systématiquement rendus publics .
Après vérification de l'éligibilité des dossiers proposés à l'ANR, débute la phase d'évaluation des projets , systématiquement menée par des scientifiques, selon la logique de l'évaluation par les pairs , pratiquée dans le monde entier.
Cette évaluation est conduite par un comité d'évaluation scientifique (voir infra ) ainsi que par des experts extérieurs . Au terme de celle-ci, le comité d'évaluation se réunit et propose à l'ANR une liste de projets à financer . L'ANR publie alors les listes de projets sélectionnés , ainsi que les listes des membres des comités .
Elle conclut ensuite des contrats relatifs aux projets qu'elle va financer avec les établissements scientifiques qui hébergent les équipes de chercheurs lauréates de ses appels à projets.
Jusqu'en 2014, la sélection des projets financés par l'ANR s'effectuait en une seule phase , ce qui signifie que les chercheurs désireux d'obtenir un financement devaient soumettre à l'ANR des dossiers très complets présentant leurs projets de recherche .
Cette procédure était unanimement dénoncée comme trop lourde et chronophage .
Lors des Assises de la recherche de 2012, la communauté scientifique française a réclamé la mise en place d'un processus de sélection plus léger et moins consommateur de temps pour les chercheurs.
Le ministère chargé de la recherche a donc demandé à l'ANR d'organiser son appel à projets générique - qui représente 80 % de son offre de financement à destination des chercheurs - en deux phases .
Cette nouvelle procédure de sélection, qui a débuté en octobre 2013 avec la soumission des projets de recherche de l'année 2014, a entraîné un allégement très substantiel de la charge administrative des chercheurs .
Depuis cette date, en effet, les porteurs de projets soumettent à l'ANR, sur le site internet prévu à cet effet, une simple pré-proposition de cinq pages , limitée à trois pages à compter de l'exercice 2017 . Ils disposent pour ce faire de huit semaines (hors périodes de vacances) à compter de la date de publication de l'appel à projets.
Ces pré-propositions font l'objet d'une première évaluation par des experts, à l'issue de laquelle seuls 30 à 40 % des projets sont invités à soumettre une proposition détaillée (ce taux varie en fonction des années de programmation et de l'instrument de financement).
Ce n'est donc que dans un second temps que les chercheurs dont les pré-propositions ont été retenues par les évaluateurs déposent sur le site internet dédié une proposition détaillée de trente pages de leur projet de recherche , limitée à vingt pages à compter de l'exercice 2017 . Comme lors de la première phase, ils disposent de huit semaines (hors périodes de vacances) pour déposer ce document.
Ces propositions sont à nouveau évaluées par des experts , puis discutées et classées par les comités d'évaluation scientifiques de l'ANR . Les projets retenus sont alors publiés sur le site internet de l'ANR et deviennent éligibles aux financements qu'ils ont remportés .
2. Un recours massif à l'expertise, interne comme externe
Pour mener à bien ses appels à projets compétitifs et procéder à la sévère sélection des projets retenus in fine , l'Agence nationale de la recherche a bâti un édifice administratif complexe et s'est entourée d'un vivier considérable d'experts scientifiques .
Les acteurs clefs de cette procédure d'évaluation et de sélection sont sans conteste les comités d'évaluation scientifique (CES) de l'ANR.
Ces instances sont composées de personnalités qualifiées , françaises ou étrangères , spécialistes des disciplines dont relèvent les projets qu'elles sont appelées à examiner . En 2015, l'ANR comptait 41 comités d'évaluation scientifique 4 ( * ) regroupant 904 membres . Leurs présidents sont nommés par l'ANR après un appel à candidature public puis sont formés sur l'ensemble du processus d'évaluation et de sélection , ce qui permet de renforcer la transparence et la bonne circulation des règles au sein des comités.
De 2004 à 2016, ces comités étaient chargés d'évaluer uniquement les propositions détaillées présentées par les chercheurs dont les projets avaient été retenus à l'issue de la première phase de sélection . Pour mener à bien cette tâche, les CES pouvaient avoir recours à des expertises externes réalisées par des scientifiques issus des disciplines concernées par les projets. Ces experts extérieurs étaient sollicités en amont des réunions plénières du comité et ne participaient pas à celles-ci.
La pré-sélection des projets , pour sa part, était effectuée uniquement par des experts extérieurs , au nombre de 1 619 en 2015, réunis au sein d'un comité d'évaluation des pré-propositions (CEP). A ce stade, environ 30 000 expertises sont réalisées pour évaluer entre 6 000 et 8 000 pré-propositions (moyenne de 3,9 évaluations en 2014 et de 4,6 évaluations en 2016 par projet).
À compter de 2017, les comités d'évaluation scientifique gèrent également cette phase de pré-sélection des projets , afin d'assurer une continuité du processus de sélection et de conserver la mémoire des évaluations réalisées lors de la première phase . Ce sont ainsi leurs experts qui ont réalisé 40 % des évaluations de première phase en 2016, les 60 % restant étant réalisés par des experts extérieurs.
Le fait que les évaluations soient réalisées par des équipes complètement différentes en première et en deuxième phase , ce qui conduisait parfois à des appréciations radicalement différentes entre ces deux phases, suscitait en effet l'incompréhension des chercheurs qui voyaient leurs projets ne pas être retenus au terme du processus alors qu'ils pouvaient avoir reçu une évaluation très positive en première phase.
La seconde phase , pour sa part, demeure inchangée . Ce sont toujours les comités d'évaluation scientifique, assistés par des experts extérieurs, qui procèdent à l'évaluation et à la sélection des projets. À ce stade, pas moins de 10 175 expertises ont été réalisées en 2016 (moyenne de 2,9 évaluations en 2014 et de 3,5 évaluations en 2016 par projet).
Nombre d'experts et d'expertises nécessaires
à l'évaluation des projets
soumis à l'Agence nationale
de la recherche
|
Étape 1 - Sélection des pré-propositions |
|||
|
2014 |
2015 |
2016 |
|
|
Nombre total d'évaluateurs impliqués |
1 379 |
1 624 |
2 414 |
|
Nombre d'experts extérieurs |
1 379 |
1 624 |
1 644 |
|
Nombre de membres de comités d'évaluation scientifique |
0 |
0 |
770 |
|
Nombre total d'expertises réalisées |
32 915 |
28 186 |
30 750 |
|
Nombre moyen de projets évalués par évaluateur |
23,9 |
17,4 |
12,7 |
|
Nombre moyen d'expertises réalisées par projets |
3,9 |
4,0 |
4,6 |
|
Étape 2 - Sélection des propositions détaillées |
|||
|
2014 |
2015 |
2016 |
|
|
Nombre de comités d'évaluation scientifique (CES) |
33 |
40 |
41 |
|
Nombre de membres de CES |
754 |
904 |
875 |
|
Nombre total d'expertises réalisées |
7 711 |
10 513 |
10 175 |
|
Nombre moyen de projets par membre de comité |
3,6 |
3,9 |
3,3 |
|
Nombre moyen d'expertises réalisées par projets |
2,9 |
3,0 |
3,5 |
Source : Agence nationale de la recherche
Le nombre d'experts mobilisés a augmenté entre 2014 et 2016, mais cela a permis en parallèle de réduire significativement le portefeuille de projets par évaluateur (de 23,9 à 12,7) et de diminuer ainsi leur charge de travail .
Conformément aux standards internationaux d'évaluation par les pairs, l'ANR mobilise un grand nombre de scientifiques étrangers pour la constitution de ses comités (de 20 à 60 % selon les comités) et pour la réalisation des expertises.
3. La lutte contre les conflits d'intérêts, une exigence vitale pour l'Agence nationale de la recherche
L'ensemble du processus des appels à projets compétitifs en matière de recherche repose sur l'évaluation par les pairs . L'absence de conflits d'intérêts et la probité des très nombreux experts qu'elle sollicite représentent donc un enjeu crucial pour l'Agence nationale de la recherche .
Les conflits d'intérêts sont ainsi systématiquement examinés par les équipes de l'ANR lors des phases de sollicitation des experts extérieurs , lors de la désignation des membres des comités d'évaluation scientifique et lors de la tenue de ces comités .
Par ailleurs, l'ensemble des membres et des experts signent la charte de déontologie de l'agence , qui les oblige à déclarer tout conflit potentiel non détecté en amont par l'ANR.
* 4 Le nombre de comités est passé de 33 en 2014 à 41 en 2106. Cette augmentation s'explique notamment par la création de comités inter-défis pour évaluer les projets interdisciplinaires.