C. UNE ÉVOLUTION DES MÉTHODES D'ÉVALUATION DE LA RECHERCHE ET DE L'INNOVATION
M. Jean-François Dhainaut, ancien président de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES) a été auditionné le 9 mars 2011 par l'Office parlementaire.
Il a à cette occasion résumé les quatre premières années d'existence de l'AERES, après avoir rappelé l'originalité de l'Agence qui évalue tant la recherche que l'enseignement supérieur, ce qui est unique en Europe.
Reprenons ses propos :
« L'Agence est aujourd'hui reconnue au niveau national, tant par les anciens organismes évaluateurs que par les entités évaluées. Les 84 universités existantes ont été évaluées, ainsi que 86 écoles et 13 organismes de recherche. Le CNRS et l'ANR seront évalués cette année. Enfin, nous avons évalué l'ensemble des unités de recherche (4 000) et l'ensemble des formations LMD (10 000 diplômes).
Quel est notre impact sur les universités, les organismes de recherche et les unités de recherche ?
Notre impact sur les universités a été important :
- leur gestion de la politique qualité s'est améliorée ;
- l'auto-évaluation a progressé : les équipes de direction constituent aujourd'hui de véritables plans stratégiques ;
- l'évaluation des enseignements par les étudiants s'est développée : il s'agit d'une évaluation de la forme et non du fond des enseignements, conformément aux recommandations européennes ;
- le suivi des étudiants s'est beaucoup amélioré ;
- les universités ont progressé dans leurs stratégies de recherche, en concertation avec les établissements publics à caractère scientifique et technologique (EPST).
Dans les universités que nous avons évaluées deux fois, nous avons observé que nos recommandations avaient été suivies d'effet. Leurs performances se sont améliorées, notamment dans le domaine de la gestion des ressources humaines.
Notre impact est également important à l'échelle des organismes de recherche. Par exemple, notre évaluation de l'Institut national de la santé et de la recherche médicale (INSERM) a abouti à la constitution de l'Alliance des sciences des vivants, car six ou sept organismes travaillent dans ce domaine. Ces Alliances se sont ensuite multipliées.
Notre impact sur les unités de recherche est de plusieurs ordres :
- les unités de recherche ont toutes été examinées au regard des mêmes critères, ce qui constitue un progrès important. Auparavant, seules les unités dépendant des organismes de recherche étaient évaluées.
- nous avons mis en place une notation afin d'être en mesure d'établir des comparaisons et, finalement, une cartographie des unités de recherche.
- la méthodologie, concertée avec les universités et organismes de recherche, a été adaptée à chaque spécialité. Par exemple, la bibliométrie joue un rôle important dans le domaine des sciences du vivant, mais un rôle faible en archéologie, en mathématiques et en ingénierie. Nous avons promu autant que possible le critère de la valorisation de la recherche, qui était peu pris en compte auparavant.
Enfin, nous avons participé au financement à la performance par l'Etat, puisque ce financement dépend aujourd'hui, entre autres critères, de nos notations des unités de recherche et du nombre de personnes qui y travaillent.
Nous avons établi environ 10 000 rapports d'évaluation ainsi que des synthèses, notamment régionales. Les étudiants sont très intéressés par ces analyses régionales. Nous avons également publié de nombreuses informations sur notre site internet.
Par ailleurs, nous avons constitué un vivier d'environ 10 000 experts dont 20 % d'étrangers.
A l'issue de nos quatre premières années d'existence, nous bénéficions d'une reconnaissance nationale, puisque plusieurs ministères nous demandent des évaluations pour leurs formations.
Comment envisager l'AERES « deuxième génération » ?
En premier lieu, je pense qu'il faut évaluer « moins » pour évaluer « mieux ». Il faut simplifier les procédures et renforcer le rôle de l'auto-évaluation. Les experts effectueraient alors des audits sur des points de dysfonctionnement, ou sur des thèmes tirés au sort. Des tableaux de bord issus de l'auto-évaluation permettraient de suivre, par ailleurs, l'évolution des différents indicateurs. Nous aurons, fin avril, le résultat d'une étude de l'impact de l'Agence sur la gouvernance des universités.
En deuxième lieu, il faut renforcer le caractère discriminant de nos évaluations. Nous travaillons avec l'Observatoire des sciences et technologies (OST) pour affiner les indicateurs, notamment dans le domaine de la valorisation. Nous travaillons également à l'établissement d'indicateurs communs avec nos homologues anglais et allemands. Nous souhaiterions que ces indicateurs permettent de suivre des évolutions au cours d'une année. Beaucoup d'indicateurs, notamment ceux utilisés dans les classements d'universités, sont beaucoup trop stables pour permettre d'identifier des changements sur une période courte.
En troisième lieu, nous allons multiplier les analyses de portée générale sur des spécialités, dans une perspective de comparaisons internationales. Nous souhaiterions travailler sur des activités sociétales ou transversales comme les sciences de l'éducation, le sport, la santé publique, l'épidémiologie, l'écologie, l'énergie, pour faire progresser la recherche dans ces domaines ».
Le débat qui a suivi cet exposé a permis d'apporter plusieurs réponses aux questions des parlementaires :
« Les conseils scientifiques des universités sont montés en puissance, ce qui a rendu possible une vraie concertation. Les relations entre organismes et universités s'améliorent incontestablement. Le grand emprunt a favorisé l'élaboration de projets communs.
La lisibilité des structures de recherche est effectivement problématique. Les Pôles de recherche et d'enseignement supérieur (PRES) n'ont pas vocation à persister : ils doivent être conçus comme des lieux de dialogue pour aller plus loin. Aujourd'hui, les PRES « pré-fusionnels » jouent un rôle très important, mais les autres PRES ont un rôle plus difficile à établir.
Les Réseaux thématiques de recherche avancée (RTRA) sont à revoir en fonction du grand emprunt et des initiatives d'excellence. Il faut faire le bilan de ces nouvelles structures, clarifier leur gouvernance et améliorer la coordination. Les universités doivent être le point de ralliement de l'ensemble, avec une gouvernance centrale.
Les Alliances ne sont que des instances de consultation et de concertation. Pour les questions de fond, les organismes demeurent seuls interlocuteurs.
Les questions de l'inter et de la pluridisciplinarité sont actuellement examinées par une commission au sein de l'AERES, afin d'en améliorer l'évaluation.
L'évaluation des sciences humaines sociales (SHS) est plus difficile que celle des autres disciplines. Des progrès considérables ont toutefois été réalisés en quatre ans. L'évaluation devient monnaie courante, y compris dans le domaine des SHS.
L'évaluation des UMR est phasée avec celle des universités dont elles dépendent en premier, c'est-à-dire leur porteur principal, ce qui permet de ne pas prendre en compte leurs résultats plusieurs fois ;
L'homogénéisation des notations fait partie de nos préoccupations majeures. Prenons un exemple : en immunologie, 15 évaluations ont été réalisées au cours d'une même vague. En fin de processus, nous avons réuni les 15 présidents pour interclasser les unités et définir les niveaux d'échelle.
Pour la définition des niveaux d'échelle, nous tenons compte de ce qui existe sur l'ensemble du territoire français. Il se peut, par exemple, qu'aucune note A+ ne soit attribuée au cours d'une vague d'évaluations. Par ailleurs, les experts qui réalisent les évaluations des universités parisiennes sont provinciaux ou étrangers : on ne peut pas les soupçonner de favoriser les universités de la capitale. Les experts n'évaluent jamais des entités de leur région.
Certaines universités de province sont jugées très performantes : à Grenoble en sciences et technologies ou à Toulouse en économie, par exemple. Il est vrai que les universités parisiennes demeurent en tête dans le domaine des SHS. 7 500 chercheurs A+, c'est-à-dire exerçant leur activité au sein d'unités notées A+, sont localisés en région parisienne, 4 000 en Rhône-Alpes et 1 700 à Toulouse. La performance des chercheurs franciliens s'explique aussi par un effet « volume », car le nombre de chercheurs y est très important.
Concernant les recours possibles, il faut souligner, d'une part, qu'à l'issue d'une évaluation, le directeur de l'entité évaluée nous fait parvenir ses observations qui sont intégrées au rapport. D'autre part, il existe une commission des conflits, issue du conseil de l'AERES, qui examine les plaintes formulées. Sur un total de 33 plaintes, 3 évaluations ont été refaites soit en raison d'un conflit d'intérêts, soit, dans un cas, parce qu'un expert avait présenté un faux curriculum vitae.
Concernant la langue employée au cours de l'évaluation, presque la moitié de notre vivier d'experts étrangers est francophone. Très peu d'experts anglophones sont sollicités dans le domaine des SHS. C'est essentiellement dans le domaine des sciences de la vie, où les chercheurs sont habitués à s'exprimer en anglais, que nous employons des experts anglophones. Dans le cas d'une évaluation en anglais, l'avis du directeur est toujours sollicité et suivi par l'AERES. Quant aux établissements, ils sont presque toujours évalués en français. L'évaluation peut être mixte, en anglais et français, par exemple dans le cas de l'INSERM. Dans tous les cas, nous essayons autant que possible de trouver des experts étrangers francophones ».
Les critères d'évaluation traditionnels des Unités de recherche et des chercheurs par l'AERES doivent mieux prendre en compte les relations partenariales avec les entreprises.
Sur cette thématique, il est ainsi proposé deux orientations :
- la définition d'indicateurs pertinents de recherche partenariale pour l'évaluation, comme le chiffre d'affaires réalisé ou les emplois générés par les entreprises partenaires.
- la mise en place, par les établissements publics, des possibilités d'intéressement des chercheurs découlant du décret du 7 juin 2010.
Le financement des unités de recherche pourrait, de plus, se faire pour partie sur les travaux de maturation de projets et d'élaboration des preuves de concept, relatifs à des technologies transférables vers le monde socio-économique ».
Cet exposé appelle plusieurs remarques.
L'évaluation constitue un progrès mais la communauté scientifique ne peut pas consacrer le quart de son temps à des tâches d'évaluation non reconnues. Jules Hoffman, prix Nobel de médecine, déclarait récemment qu'il ne connaissait plus les évaluateurs du laboratoire de recherches dans lequel il travaille.
Est-ce à dire que les meilleurs éléments de la communauté scientifique rechigneraient à passer trop de temps à une activité non reconnue dans les carrières ? Il faut de plus déconnecter l'évaluation des financements et faire que le système serve à progresser et à évoluer et non seulement à sanctionner. Pour l'OPECST, l'évaluation doit être transparente, collective et contradictoire. La dimension collective de la recherche et son caractère souvent interdisciplinaire doivent être mieux prise en compte dans le processus d'évaluation.
Enfin le système d'évaluation est trop disparate, trop hexagonal pour les organismes, pas assez représentatif des communautés scientifiques pour les équipes et les personnels. Toutes les activités (recherche mais aussi formation, relations industrielles, rayonnement international, diffusion de la culture scientifique et technologique, administration, gestion, médiation scientifique) doivent être évaluées et donc prises en compte dans les carrières .