Enseignement supérieur : le défi des classements

Rapport d'information n° 442 (2007-2008) de M. Joël BOURDIN , fait au nom de la délégation du Sénat pour la planification, déposé le 2 juillet 2008

Synthèse du rapport (412 Koctets)

Disponible au format Acrobat (519 Koctets)

N° 442

SÉNAT

SESSION EXTRAORDINAIRE DE 2007-2008

Annexe au procès-verbal de la séance du 2 juillet 2008

RAPPORT D'INFORMATION

FAIT

au nom de la délégation du Sénat pour la Planification (1) sur le défi des classements dans l' enseignement supérieur ,

Par M. Joël BOURDIN,

Sénateur.

(1) Cette délégation est composée de : M. Joël Bourdin, président ; M. Pierre André, Mme Évelyne Didier, MM. Joseph Kergueris, Jean-Pierre Plancade, vice-présidents ; MM. Yvon Collin, Claude Saunier, secrétaires ; MM. Bernard Angels, Gérard Bailly, Yves Fréville, Yves Krattinger, Philippe Leroy, Jean-Luc Miraux, Daniel Soulage .

AVANT-PROPOS

La nécessité d'une évaluation de l'enseignement supérieur et de la recherche est apparue depuis moins de vingt ans , à la suite du rapport de Michel Crozier sur « L'évaluation des performances pédagogiques des universités » (1990). Ce rapport fut le premier d'une longue série ^{1 ( * )} , avant que le processus de Bologne , visant à mettre en place un espace européen de l'enseignement supérieur d'ici 2010, ne vienne élever l'évaluation au rang des priorités, aboutissant à la création en France, en 2006, de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES) .

Dans un domaine où évaluation, notation et classement font partie du quotidien, il est étonnant de constater que l'évaluation de l'évaluateur, c'est-à-dire de l'établissement, est une problématique récente , commençant tout juste à entrer dans les moeurs. Tout se passe comme si l'on craignait que l'évaluation ne désacralise l'enseignement, ne le fasse chuter de son piédestal, alors que c'est, au contraire dans la confrontation avec les attentes individuelles et sociales que l'enseignement est susceptible d'évoluer positivement .

Il est vrai toutefois qu'évaluer l'enseignement est une tâche complexe , car cette activité répond à des objectifs multiples qui ne sont pas tous directement et immédiatement mesurables. Dans un domaine aussi difficilement quantifiable, les indicateurs risquent de ne constituer qu'un pâle reflet de la réalité ou, pis encore, de susciter des effets pervers : n'avoir plus d'yeux que pour quelques indicateurs partiels par leur objet et imparfaits dans leur mesure risquerait d'appauvrir la qualité des enseignements dispensés.

L'absence logique de référence nationale homogène sur ce que devraient être le contenu et les objectifs de l'enseignement supérieur constitue un obstacle supplémentaire. Pour l'enseignement secondaire, le ministère de l'Education nationale publie chaque année des indicateurs de réussite par lycée en se fondant sur les résultats à un examen national, le baccalauréat ^{2 ( * )} , considéré comme l'objectif ultime de ce niveau d'enseignement. Une telle approche n'est pas possible pour les formations supérieures. Si les taux de réussite ne sont pas sans intérêt, notamment pour l'étudiant en quête d'orientation, ils ne sauraient toutefois constituer un outil d'évaluation . De fait, les indicateurs existants sont multiples. Mais ils sont tous insuffisants à eux seuls. Regroupés, ils forment simplement un « faisceau d'indices » . C'est pourquoi il est important d'une part, que les indicateurs publiés soient totalement transparents, et, d'autre part, que leur signification exacte ne soit pas déformée par un effet de loupe médiatique, comme il s'est produit dans le cas du classement de Shanghai.

S'agissant de l'enseignement supérieur et de la recherche, il faut, à titre préalable, distinguer plusieurs niveaux d'évaluation :

- au niveau macro-économique , on peut évaluer la performance globale d'un système national d'enseignement supérieur et de recherche (nombre de diplômés, nombre de brevets déposés, nombre de publications internationalement reconnues, nombre de citations etc.) ;

- à l'échelle du budget de l'État , présenté selon le cadre prévu par la loi organique du 1 ^er août 2001 relative aux lois de finances, des indicateurs de performance sont calculés pour chaque programme de la mission Recherche et Enseignement supérieur, ce qui conduit à distinguer les performances des formations supérieures de celles des organismes de recherche, eux-mêmes répartis par domaines de recherche ;

- au niveau de chaque établissement , l'évaluation portera sur la stratégie définie et les moyens mis en oeuvre au service de cette stratégie ;

- à l'intérieur de chaque établissement , une évaluation plus fine pourra porter sur : les formations (c'est-à-dire l'ensemble d'un cursus aboutissant à la délivrance d'un diplôme) ou sur les enseignements considérés individuellement.

Votre rapporteur souhaite examiner comment s'insèrent les classements nationaux et internationaux d'établissements d'enseignement supérieur dans cette problématique, s'ils sont légitimes et quelle place ils doivent occuper dans le paysage de l'évaluation universitaire. Cette pratique (appelée, en anglais, « ranking ») est apparue aux États-Unis il y a vingt-cinq ans. Elle s'est considérablement développée ces dernières années, avec l'apparition des classements internationaux, beaucoup plus difficiles à réaliser en raison de l'hétérogénéité des systèmes d'enseignement supérieur nationaux.

Les classements rencontrent un succès considérable et des études diverses, menées à l'étranger, montrent qu'ils ont une influence sur les comportements des acteurs concernés. En France, le président de la République a énoncé l'objectif d'avoir deux établissements classés dans les 20 premiers mondiaux et 10 parmi les 100 premiers ^{3 ( * )} , témoignant ainsi de la légitimité accordée, y compris au plus haut niveau, aux classements internationaux .

Dans le cadre de la présente étude, votre rapporteur a mené une enquête auprès de l'ensemble des universités françaises, ainsi que d'un certain nombre de « grandes écoles ». Cette enquête a notamment confirmé l'influence du classement de Shanghai, puisque celui-ci est considéré par 71 % des établissements comme un outil d'évaluation utile.

Bien que ces classements soulèvent des problèmes de méthode, on ne peut donc pas simplement les balayer du revers de la main, d'autant que leur caractère comparatif est un facteur de transparence. Il convient, par conséquent, de comprendre la signification des classements , c'est-à-dire d'analyser, pour chacun, et notamment pour le mieux connu d'entre eux, celui de Shanghai :

- l'organisme producteur du classement et ses motivations ;

- le public visé ;

- l'unité de comparaison (classement des établissements, classement par discipline ou interdisciplinaire, classement des diplômes, des unités de recherche, éventuellement classement des pays...) ;

- les indicateurs employés et leur mode d'élaboration ;

- les pondérations retenues ;

- la signification des écarts entre établissements et entre pays.

Votre rapporteur souhaite examiner le classement de Shanghai à l'aune de cette grille de lecture. Il souhaite, plus généralement, identifier les « bonnes pratiques », c'est-à-dire fixer un cadre de référence , en apportant des réponses à des questions telles que :

- quel est l'objectif des classements ? A quel public s'adressent-ils ?

- qui devrait les produire et en fixer les principes ?

- quelle doit être l'unité de comparaison ?

- quelle serait la moins mauvaise méthode d'élaboration d'un classement ?

Votre rapporteur estime que l'intérêt du classement de Shanghai tient davantage à son effet mobilisateur qu'à sa valeur intrinsèque , qui est très discutable. En raison de ses faiblesses, il n'est pas souhaitable d'en faire la référence absolue des politiques publiques et des stratégies d'établissement.

Néanmoins, il doit constituer une incitation à évaluer les performances des établissements d'enseignement supérieur de façon publique et transparente, mais selon une méthode plus légitime, dont le présent rapport vise à dessiner les contours .

ENSEIGNEMENT SUPÉRIEUR, ENSEIGNEMENT TERTIAIRE : DÉFINITIONS ET CLASSIFICATIONS

Le terme d'enseignement « tertiaire » est utilisé conjointement à celui d'enseignement « supérieur » par les instances internationales : l'OCDE préfère le premier, tandis que l'Union européenne et l'UNESCO privilégient plutôt le second.

Le terme d'enseignement « tertiaire » (ou postsecondaire) est utilisé dans le but de tenir compte de la diversité des programmes et institutions disponibles après l'achèvement d'un niveau d'éducation secondaire. D'après les conventions statistiques internationales, l'éducation tertiaire correspond aux niveaux 5A, 5B et 6 de la classification internationale type de l'éducation (CITE).

L'UNESCO a créé la première CITE au cours des années 1970. L'actuelle version révisée, appelée CITE 97 (pour la distinguer de la version originale), a été formellement adoptée en novembre 1997. Elle constitue « un instrument de classement permettant de rassembler, de compiler et de mettre en forme les statistiques éducatives tant dans les différents pays que sur le plan international ». La CITE distingue les niveaux d'éducation suivants :

0 : éducation préprimaire

1 : enseignement primaire ou premier cycle de l'enseignement de base

2 : Premier cycle de l'enseignement secondaire ou deuxième cycle de l'éducation de base

3 : Deuxième cycle de l'enseignement secondaire

4 : Enseignement postsecondaire non tertiaire

5B : Enseignement tertiaire axé sur l'acquisition de qualifications pratiques, techniques et professionnelles en vue d'une entrée directe sur le marché du travail

5 A: Enseignement tertiaire permettant d'acquérir les compétences suffisantes pour accéder à des programmes de recherche de haut niveau

6 : Deuxième cycle de l'enseignement supérieur, conduisant à un titre de chercheur de haut niveau.

Dans le présent rapport, les termes d' « enseignement supérieur » et d' « enseignement tertiaire » seront utilisés indifféremment pour désigner tous les niveaux d'études postsecondaires, soit, en France, post-baccalauréat.

I. LA QUALITÉ DE L'ENSEIGNEMENT SUPÉRIEUR : UN DÉFI ÉCONOMIQUE, UNE DEMANDE SOCIALE

Le succès récent des classements dans le domaine de l'enseignement supérieur découle de l'attention croissante accordée à ce niveau d'éducation ^{4 ( * )} , dans un contexte de mondialisation engendrant une concurrence accrue, entre pays mais aussi entre établissements d'enseignement.

Ces phénomènes ont suscité un engouement pour les classements nationaux et internationaux, qui sont apparus comme une forme d'évaluation transparente susceptible de répondre aux attentes du grand public.

A. ENSEIGNEMENT SUPÉRIEUR : UN ESSOR SANS PRÉCÉDENT

L'enseignement supérieur joue un rôle crucial en faveur du développement économique.

Perçu comme un droit, il s'est, par ailleurs, considérablement démocratisé au cours du dernier demi-siècle.

Il suscite pour cette raison une attention croissante de la population et des pouvoirs publics.

1. Le rôle économique de l'enseignement supérieur

Devenu l'une des clefs de la compétitivité, l'enseignement supérieur ne saurait éluder une réflexion sur sa qualité.

a) L'éducation au coeur du « capitalisme cognitif »

L'apparition des classements internationaux d'universités et leur extraordinaire succès médiatique sont le symptôme de la concurrence croissante que se livrent les systèmes et établissements d'enseignement supérieur et de recherche . Le titre d'un ouvrage récent - « Les universités sont-elles solubles dans la mondialisation ? » ^{5 ( * )} - témoigne de la prise de conscience de l'inscription des systèmes éducatifs dans un cadre mondial et des inquiétudes que cette évolution suscite.

La mondialisation de l'éducation n'est pas un phénomène annexe ou résiduel par rapport à la mondialisation des économies ; elle joue au contraire un rôle central . Dans un contexte où les économies avancées n'ont plus d'autre choix pour demeurer compétitives que de bâtir une « économie de la connaissance », selon les termes de la stratégie de Lisbonne, la qualité des systèmes d'enseignement supérieur et de recherche devient un facteur majeur de différenciation : soit un moteur ayant pour effet de créer des avantages comparatifs propulsant l'économie nationale ; soit au contraire un frein, si les performances ne sont pas au niveau attendu.

Bâtir une économie de la connaissance est un impératif pour un pays soucieux d'évoluer à la « frontière technologique » constituée par les États-Unis. En effet, si la consolidation des enseignements primaire et secondaire est nécessaire en phase de rattrapage, par imitation, pour les pays en voie de développement, l'enseignement supérieur est un facteur important de compétitivité économique pour les pays les plus avancés, qui doivent orienter leur effort vers l'innovation ^{6 ( * )} .

CROISSANCE ÉCONOMIQUE, DISTANCE À LA FRONTIÈRE TECHNOLOGIQUE ET CAPITAL HUMAIN

Plusieurs études récentes ^{7 ( * )} soulignent que le cadre institutionnel (éducation, politique industrielle, politique de la concurrence...) le plus favorable à la croissance économique diffère en fonction du degré de développement d'un pays , c'est-à-dire en fonction de sa distance à la frontière technologique . Cette distance est mesurée par le rapport entre la productivité globale des facteurs (PGF) dans ce pays et aux États-Unis.

A distance de cette frontière, un pays a plutôt intérêt à adopter une stratégie d'imitation, fondée sur l'investissement dans les technologies existantes, le financement de l'innovation se révélant trop coûteux et d'une rentabilité comparativement faible. En raison des imperfections du marché du crédit, les entreprises déjà en place ont, à ce stade, davantage de moyens pour entreprendre ces investissements. Une intervention de l'État en leur faveur, par des subventions, ou par une limitation de la concurrence, se justifie car elle permet aux entreprises de rentabiliser leurs investissements, et à l'économie de croître davantage. Cette protection ne se justifie plus lorsqu'elle aboutit à créer une rente en faveur des entreprises en place et qu'elle empêche de nouvelles firmes, plus efficientes, d'entrer sur le marché. La stratégie fondée sur l'investissement dans les technologies existantes est une stratégie de rattrapage qui ne saurait être poursuivie trop longtemps sans nuire à la croissance, car elle n'est pas adaptée à l'innovation.

Il existe un seuil de développement à partir duquel il devient souhaitable d'adopter une nouvelle stratégie fondée sur l'innovation . A défaut, le pays risque d'être piégé dans une « trappe » de non convergence et d'être dépassé par des pays qui, éventuellement, ont décollé plus tardivement, mais qui ont ensuite suivi une stratégie plus appropriée. Ce type de trajectoire pourrait jouer, par exemple, dans le cas d'un certain nombre de pays d'Amérique latine (Brésil, Mexique, Pérou) dont la croissance a été rapide jusqu'au milieu des années 1970, mais qui ont ensuite été dépassés par des économies plus concurrentielles telles que Hong-Kong ou Singapour. De la même façon, la croissance économique de la Corée et du Japon fut obérée, à partir de la fin des années 1980, par un cadre institutionnel devenu inadapté, marqué par des liens trop étroits entre le monde politique et les grands conglomérats.

La recherche et l'innovation sont d'autant plus cruciales pour une économie qu'elle approche de la frontière technologique mondiale , représentée par les États-Unis. A ce stade, l'absence de sélection entre entreprises est plus coûteuse que précédemment. Il devient souhaitable de favoriser l'émergence d'entreprises jeunes, disposant d'une main d'oeuvre hautement qualifiée. La composition du capital humain devient l'une des clefs de la croissance . Un accroissement du stock de travail qualifié a un impact d'autant plus positif sur celle-ci que l'économie est proche de la frontière technologique.

En conséquence, il existe un seuil de développement au-delà duquel, pour stimuler la croissance, il convient d'accentuer les investissements dans l'enseignement tertiaire. Ce seuil est évalué à 24 % sous la frontière technologique, soit environ le niveau où se situe aujourd'hui la France.

L'enseignement supérieur permet non seulement de former les individus et d'accroître ainsi le niveau des qualifications, mais il favorise également, par la recherche, l'accumulation et la diffusion des connaissances. Il permet, ainsi, non seulement l'acquisition de nouvelles technologies, mais aussi leur diffusion sociale. Ce niveau d'enseignement assure donc plusieurs fonctions économiques :

- il forme les agents économiques, ce qui accroît le niveau du « capital humain » ;

- il contribue à développer une recherche innovante ;

- il assure la diffusion et la mise en valeur des connaissances.

Cette énumération des fonctions économiques de l'enseignement supérieur suggère un lien entre croissance économique et augmentation de la part de la population titulaire d'un diplôme .

Ce lien est confirmé par le récent rapport du Conseil d'Analyse économique consacré aux leviers de la croissance française ^{8 ( * )} , d'après lequel :

- une augmentation d'un point du pourcentage de diplômés du supérieur dans la population d'âge actif augmenterait d'environ 0,09 point par an la croissance de la productivité globale des facteurs ^{9 ( * )} des pays proches de la frontière technologique ^{10 ( * )} ;

- en France , une augmentation des dépenses d'enseignement supérieur de 0,7 point de PIB (passant de 1,3 % à 2 % du PIB) serait susceptible d'augmenter la croissance potentielle de 0,2 point au bout de dix ans et de 0,4 point au bout de 15 ans, à condition d'être accompagnée de réformes structurelles adaptées .

Les effets positifs d'une augmentation des moyens de l'enseignement supérieur sont en effet conditionnés par l'existence d'une gouvernance susceptible de garantir son efficacité .

b) L'accent mis sur la qualité

Ce constat a incité de nombreux pays à s'interroger sur les performances de leurs systèmes d'enseignement supérieur, conduisant certains à juger que la question des universités était désormais considérée comme « trop importante pour être laissée aux seuls universitaires ^{11 ( * )} »...

La « qualité » de l'enseignement supérieur est désormais considérée comme un défi majeur.

ENSEIGNEMENT SUPÉRIEUR ET CROISSANCE : UN LIEN DÉBATTU

Les « nouvelles théories de la croissance » suggèrent un lien étroit entre éducation et croissance économique, par le biais d'un accroissement du capital humain produisant des rendements croissants et des externalités positives. La vérification empirique de ces théories est toutefois controversée. S'agissant plus précisément du lien entre enseignement supérieur et croissance, les phénomènes suivants doivent être pris en compte, même si leur quantification est incertaine :

- d'une part, si l'éducation accroît la productivité, elle agit également comme un « signal » pour identifier les individus les plus doués ou les plus aptes au travail, indépendamment du contenu de l'enseignement et des qualifications acquises. Ce phénomène, identifié par Spence en 1974, contribue à orienter les étudiants vers des filières de prestige, avec à la clef des qualifications dont l'intérêt direct, en termes de productivité, pour les employeurs et pour l'économie, est incertaine ;

- d'autre part, le lien de causalité entre éducation et croissance est aussi inverse . Plus le niveau général des qualifications s'accroît, plus il devient risqué de ne pas accéder à l'enseignement supérieur. Des emplois auparavant ouverts aux non diplômés requièrent désormais un diplôme, alors même que leur nature n'a pas fondamentalement changé, conduisant à un phénomène de surqualification de la main d'oeuvre, sans effet positif direct sur la croissance ;

- enfin, l'augmentation du nombre d'étudiants entraîne une augmentation du nombre d'enseignants, s'accompagnant en général d'une détérioration de leurs conditions de travail et de leurs salaires , au risque de rendre cette profession moins attractive et de diminuer la qualité de l'enseignement.

D'après Wolff, A. (2004), il existe un paradoxe à se fonder sur des indicateurs purement quantitatifs tels que la durée des études, pour évaluer le niveau des qualifications, alors que la plupart des activités économiques s'évaluent selon leur capacité à atteindre rapidement un résultat donné, non à l'aune de la durée du processus mis en oeuvre pour aboutir à ce résultat. Des objectifs en termes de taux d'accès à l'enseignement supérieur ont pourtant été retenus en Allemagne (40 %), en Suède (50 %), au Royaume-Uni (50 %) ainsi qu'en France (50 % d'une classe d'âge d'ici 2012). Or mettre l'accent sur le pourcentage de la population accédant à un diplôme de l'enseignement supérieur ou sur le nombre d'années d'études risque de conduire à des politiques publiques inadaptées . L'auteur précité identifie néanmoins une relation positive entre éducation et croissance, sous trois aspects :

- d'une part, le développement de l'enseignement accroît dans certains cas la productivité, mais dans des situations différentes selon les pays et selon les époques, en sorte que l'on ne peut en déduire de règle générale ;

- d'autre part, plusieurs travaux montrent que le développement des études scientifiques , notamment mathématiques, serait un atout dans les pays développés, dans le contexte d'essor des technologies de l'information et de la communication ;

- enfin, l'existence d'une recherche innovante en coopération avec les entreprises est un facteur favorable à la croissance.

En outre, plusieurs études procédant au moyen de techniques d'évaluation concluent à l'existence d'une rentabilité macroéconomique propre des études supérieures (Maurin, McNally, Mincer).

L'enseignement supérieur constitue donc un levier de croissance , à actionner de manière approprié en fonction d'objectifs qualitatifs prédéfinis.

Sources :«Tertiary education for the knowledge society», OECD thematic review of tertiary education (2008) ; Wolf, A (2004), «Education and economic performance : simplistic theories and their policy consequences » in Oxford Review of Economic policy, vol. 20, n° 2.

L'accent ainsi mis sur la qualité justifie des démarches d' évaluation .

L'évaluation constitue, comme l'éducation sur laquelle elle doit avoir un effet bénéfique, un bien producteur d'externalités , c'est-à-dire d'effets positifs pour l'ensemble des agents économiques, mais non pris en charge par le marché et ne faisant donc pas l'objet d'une évaluation monétaire. L'évaluation possède l'un des attributs des biens publics, à savoir la non-rivalité , dans la mesure où sa consommation par un agent n'exclut pas sa consommation par un autre agent pour un coût marginal nul.

L 'évaluation, aussi dénommée « assurance qualité », est susceptible d'améliorer l'allocation des ressources financières et de procurer aux étudiants et enseignants l'information nécessaire à la réalisation des choix les mieux adaptés à leurs objectifs. Le risque est qu'il soit privatisé et produit de façon insatisfaisante par le marché.

Si le rôle économique de l'enseignement supérieur justifie des démarches d'évaluation, il ne suffit pas à en expliquer le succès auprès des médias et du public.

2. Le rôle social de l'enseignement supérieur

Le rôle moteur de l'enseignement supérieur pour l'économie s'accompagne d'une forte attractivité de ce niveau d'éducation, entraînant une demande accrue .

a) De fortes incitations individuelles à étudier

Selon la théorie du capital humain , la décision de poursuivre des études est le résultat d'un comportement d'optimisation économique : un individu étudiera une année supplémentaire jusqu'au moment où le gain financier escompté de cette année d'études deviendra égal à son coût.

D'après les études réalisées par l'OCDE ^{12 ( * )} , les avantages de rémunération associés à un niveau de formation supérieur n'ont pas diminué sous l'effet de l'accroissement du nombre d'étudiants. L'avantage salarial moyen que procure ce niveau par rapport à un niveau de formation égal au deuxième cycle est supérieur à 25 % dans tous les pays de l'OCDE en 2005 . Il varie de 26 % au Danemark à 115 % en Hongrie. En France, ce gain est estimé à 44 % et, aux États-Unis, à 75 %.

Les taux d'emploi sont par ailleurs nettement plus élevés chez les titulaires d'un diplôme de l'enseignement supérieur, l'écart avec les diplômés du secondaire s'établissant à 9 points de pourcentage en moyenne dans l'OCDE (2005). En France, le pourcentage d'actifs occupés dans la population âgée de 25 à 64 ans est de :

- 58 % pour les individus dont le niveau de formation est inférieur au 2 ^ème cycle du secondaire ;

- 75 % pour les titulaires d'un diplôme du 2 ^ème cycle du secondaire ;

- 82 % pour les titulaires d'un diplôme de l'enseignement tertiaire.

Ces taux sont très semblables aux taux moyens observables dans l'OCDE (respectivement 56 %, 75 %, et 84 %).

Les taux de chômage sont également corrélés au niveau de formation. En France, le pourcentage de chômeurs dans la population active âgée de 25 à 64 ans est de :

- 12,4 % pour les individus dont le niveau de formation est inférieur au 2 ^ème cycle du secondaire (ce chiffre est de 11 % en moyenne dans l'OCDE) ;

- 7,3 % pour les titulaires d'un diplôme du 2 ^ème cycle du secondaire (6 % dans l'ODCE) ;

- 6 % pour les titulaires d'un diplôme de l'enseignement tertiaire (4 % dans l'OCDE).

Une façon synthétique de présenter ces gains consiste à calculer le taux de rendement interne de l'investissement dans l'éducation ^{13 ( * )} . Le taux de rendement interne d'une année supplémentaire d'études au-delà du second degré est estimé sur la base de l'augmentation des revenus professionnels après impôts sous l'effet de l'élévation du niveau de formation, déduction faite des coûts privés que ces études ont occasionnés (dépenses personnelles et manque à gagner). En 2001, ce taux est en moyenne de 8,5 % dans 21 pays de l'OCDE. Il varie de 5 % (Italie) à près de 14 % (Irlande).

Ce taux de rendement dépend principalement de l'avantage que procure une année d'études supplémentaire sur le marché du travail, à savoir :

- un salaire après impôts plus élevé ;

- une plus grande probabilité d'être employé tout au long de sa vie.

Dans une moindre mesure, le taux de rendement est affecté par les coûts de l'enseignement supérieur, à savoir :

- un coût direct (frais d'inscription) ;

- un coût d'opportunité (renonciation à un salaire immédiat).

TAUX DE RENDEMENT INTERNE DE L'ENSEIGNEMENT SUPÉRIEUR (2001)

Source : Boarini et Strauss (2007)

Il existe trois groupes de pays :

- des rendements relativement faibles sont observés en Autriche, Belgique, Allemagne, Grèce, Italie, Pays-Bas, Suède ;

- des niveaux modérés sont observés au Canada, au Danemark, en Finlande, en France (9 %), en Pologne et aux États-Unis ;

- enfin, l'enseignement a un taux de rendement supérieur à 10 % en Australie, Irlande, au Luxembourg, au Portugal, en Suisse et au Royaume-Uni.

Dans certains pays, il existe un écart significatif des taux de rendement en fonction des sexes.

Il faut compléter cette approche microéconomique par la mention des avantages non pécuniaires retirés de l'enseignement supérieur , notamment en termes de prestige social ou de santé. Des études ^{14 ( * )} ont recensé les bénéfices divers d'un niveau d'éducation supérieur, tels qu'une amélioration de la santé individuelle et familiale, un rendement plus élevé des actifs financiers, de meilleures conditions de travail, un cadre de vie plus agréable ...

Dans la mesure où toutes sortes d'avantages sont attendus de l'enseignement supérieur, celui-ci tend à être considéré comme un droit auquel une partie toujours plus grande de la population aspire.

De fait, en 2003, en moyenne dans les pays de l'OCDE, plus de la moitié des élèves (57 %) espéraient obtenir un diplôme tertiaire ^{15 ( * )} .

b) Un nombre croissant d'étudiants

En 2004, le nombre d'étudiants inscrits dans les pays de l'OCDE était de 132 millions , contre 68 millions en 1991, ce qui correspond à une croissance annuelle moyenne des inscriptions de 5,1 % ^{16 ( * )} . Entre 1995 et 2004, le nombre d'étudiants a augmenté dans tous les pays de l'OCDE à l'exception de l'Espagne.

Le taux d'obtention d'un diplôme de fin d'études tertiaires a fortement augmenté dans la plupart des pays de l'OCDE, entre la génération des 55-64 ans et celle des 25-34 ans. En moyenne, dans l'ensemble des pays de l'OCDE, 32 % des 25-34 ans sont titulaires d'un tel diplôme, contre 26 % des 25-64 ans. Ces chiffres sont respectivement de 30 % et 24 % dans l'UE-19.

Dans certains pays, l'augmentation a été spectaculaire, par exemple en Irlande où les titulaires d'un diplôme de fin d'études tertiaires représentent 41 % de leur classe d'âge chez les 25-34 ans, contre 29 % en moyenne chez les 25-64 ans. En France , l'évolution est du même ordre, avec des proportions de respectivement 39 % et 25 % de chaque classe d'âge .

La tendance n'est toutefois pas identique dans tous les pays. Aux États-Unis , le taux de diplômés de l'enseignement supérieur est très élevé et stable en fonction des tranches d'âge (39 % des 25-64 ans). En Allemagne au contraire, cette proportion est inférieure à la moyenne quel que soit l'âge considéré (22 % des 25-34 ans contre 25 % des 25-64 ans, soit une baisse atypique de l'accès à l'enseignement supérieur).

PROPORTION DE TITULAIRES D'UN DIPLÔME DE NIVEAU TERTIAIRE
DANS LA POPULATION (2005)

En pourcentage, par groupe d'âge

Cette croissance des effectifs de l'enseignement tertiaire s'est accompagnée d'une augmentation des dépenses publiques et privées associées. Celles-ci sont en effet passées en moyenne d'1,2 % du PIB en 1995, à en moyenne 1,4 % du PIB en 2004, dans les 20 pays de l'OCDE pour lesquels ces chiffres sont disponibles ^{17 ( * )} .

c) Une mobilité internationale accrue

La mobilité internationale des étudiants crée les conditions d'une concurrence entre établissements.

Au cours des trente dernières années, cette mobilité a fortement augmenté. Le nombre d'étudiants scolarisés dans un pays dont ils ne sont pas ressortissants est passé de 0.61 million en 1975 à 1,8 million en 2000 et à plus de 2,7 millions en 2005, soit une augmentation de 5 % (127.000 individus) par rapport à 2004.

Depuis 2000, le nombre d'étudiants étrangers dans le monde a donc augmenté de 50 %.

ÉTUDIANTS ÉTRANGERS SCOLARISÉS DANS LE MONDE

Sources : OCDE, UNESCO

L'Allemagne, les États-Unis, la France et le Royaume-Uni accueillent plus de 50 % de tous les étudiants étrangers. 9 % d'entre eux choisissent la France, dont la « part de marché » a augmenté d'un point depuis 2000.

Cet accroissement de la mobilité internationale des étudiants a été favorisé par les pouvoirs publics , pour promouvoir les liens entre pays, notamment dans le contexte de la construction européenne. Les politiques d'incitation à la mobilité, telles que le programme européen ERASMUS, ont été relayées par un contexte économique de plus en plus favorable : démocratisation des prix du transport, apparition de moyens de communication favorisant l'acquisition d'information à un coût très faible (Internet).

L'internationalisation est un phénomène qui est aussi observable sur le marché du travail, pour les emplois hautement qualifiés, ce qui incite les individus à acquérir une expérience internationale au cours de leurs études.

Enfin, en plus des recettes que sont susceptibles de générer les étudiants en mobilité, les établissements voient dans ce recrutement un moyen d'améliorer ou de préserver leur réputation.

Pour les étudiants concernés, les principaux facteurs intervenant dans le choix du pays d'accueil sont :

- la langue d'enseignement ;

- le montant des droits de scolarité ;

- le coût de la vie dans le pays d'accueil.

La France figure au nombre des pays les plus attractifs , même si elle est devancée par les pays de langue anglaise (États-Unis, Royaume-Uni) et par l'Allemagne.

RÉPARTITION DES ÉTUDIANTS ÉTRANGERS SELON LE PAYS D'ACCUEIL - 2005

Pourcentage d'étudiants étrangers de l'enseignement tertiaire par pays de destination

Source : Regards sur l'éducation. (OCDE 2007)

Ce schéma illustre la concurrence à laquelle se livrent non seulement les établissements, mais aussi les pays. Dans ce contexte, la France fait preuve d'une attractivité certaine , supérieure à celle de ses partenaires européens de langue latine (Espagne, Italie) et même à celle de grands pays de langue anglaise (Australie, Canada).

L'essor sans précédent de l'enseignement tertiaire et son inscription dans un contexte mondial ont suscité des réflexions convergentes sur la qualité de ce niveau d'enseignement.

B. UNE DEMANDE CROISSANTE D'ÉVALUATION

Les classements nationaux et internationaux d'universités constituent des tentatives d'évaluation ciblée, n'appréhendant pas de façon exhaustive l'ensemble des enjeux auxquels l'enseignement supérieur est confronté.

Avant d'en aborder l'examen, il convient de présenter de façon plus générale la problématique de l'évaluation universitaire , qui s'est considérablement développée au cours des dernières années, traduisant la volonté, de la part des pouvoirs publics, de réguler de façon croissante la sphère universitaire.

1. Un mouvement international

Depuis une dizaine d'années, la qualité de l'enseignement supérieur est devenue une préoccupation constante des pouvoirs publics dans de nombreux pays. En Europe, cette préoccupation s'est inscrite dans le cadre du processus de Bologne.

a) Qu'est-ce que la qualité dans l'enseignement supérieur ?

L'objectif de qualité, en apparence consensuel, pose en réalité de nombreuses questions théoriques et pratiques :

- des questions théoriques, pour définir le contenu de la notion de « qualité » ;

- des questions pratiques, pour « quantifier » la qualité par des indicateurs, compte tenu des limites inhérentes à ce type d'exercice.

Les difficultés tiennent notamment à la multiplicité des objectifs de l'enseignement supérieur et au dilemme déjà évoqué entre « élargissement » (à de nouveaux publics) et « approfondissement » (dans l'optique d'améliorer la compétitivité de l'économie). Les contradictions de l'enseignement supérieur peuvent être résumées de la façon suivante :

« La perception de ce qu'est un enseignement ou une recherche de qualité varie en fonction des groupes concernés. Les besoins des étudiants peuvent être partiellement en contradiction avec les priorités des enseignants, qui elles-mêmes ne recouvrent pas nécessairement les besoins de l'institution ou des milieux professionnels. » ^{18 ( * )}

Dans ces conditions, d'après Dejean, J. (2007), il existe deux grands types d'approches de la qualité :

- une conception centrée sur les ressources et les processus de réalisation de l'enseignement, dans l'esprit des normes ISO 9000 qui ne sont pas des normes de produits mais de processus et établissent donc des obligations de moyens plutôt que de résultats ;

- une conception centrée sur les résultats , se référant soit à la satisfaction des « clients », soit à l'efficacité et à l'efficience économique, soit enfin à l'équité.

b) La promotion internationale de l'évaluation

Au plan international, plusieurs initiatives tendent à promouvoir l' « assurance qualité » dans le but de favoriser une harmonisation des pratiques entre les pays.

Des réseaux régionaux et un réseau international (l'INQAAH ^{19 ( * )} ) réunissent les agences nationales chargées d'évaluer la qualité de l'enseignement supérieur, afin de faciliter le partage d'expériences et la reconnaissance mutuelle des pratiques. L'enjeu est de favoriser l'évaluation des évaluateurs , c'est-à-dire l'assurance qualité des agences d'évaluation de la qualité. Le réseau INQAAH, établi en 1991, réunit environ 180 agences, dans 100 pays. Il a publié un « guide de bonnes pratiques » de l'assurance qualité externe (2003).

L'UNESCO soutient le développement de l'assurance qualité au travers de son « forum mondial sur l'assurance qualité, l'accréditation et la reconnaissance des qualifications au plan international». Suite à une résolution adoptée par la Conférence générale de l'UNESCO (2003), des « Lignes directrices destinées à garantir la qualité dans l'enseignement supérieur transfrontalier » ont été élaborées en collaboration avec l'OCDE, en réponse à la progression marquée de la mobilité des étudiants, du personnel enseignant et à l'internationalisation des programmes. Ces lignes directrices visent notamment à faire entrer l'enseignement transfrontalier dans les dispositifs nationaux d'assurance qualité, afin de protéger les étudiants contre d'éventuels prestataires non scrupuleux.

En partenariat avec l'UNESCO, la Banque Mondiale a récemment lancé une initiative ^{20 ( * )} tendant à promouvoir l'assurance qualité dans les pays en voie de développement. Considérant que la qualité de tous les niveaux d'éducation était l'une des clefs pour réduire la pauvreté et accélérer la croissance économique, ce programme vise à soutenir la mise en place de dispositifs nationaux et régionaux d'évaluation.

Par ailleurs, l'OCDE, forte de l'expérience de son programme PISA ^{21 ( * )} mène actuellement une réflexion sur les moyens d'évaluer et de comparer les acquis des étudiants ^{22 ( * )} . Ce projet, qui se déroule dans le cadre de l'IMHE (« Institutional management in higher education »), est ciblé sur les résultats de l'enseignement et non sur ses procédures. Il fait actuellement l'objet d'une étude de faisabilité destinée à déterminer dans quelle mesure il serait possible de comparer les acquis des étudiants, malgré l'hétérogénéité des institutions et des programmes de l'enseignement supérieur. Ce projet se fonde sur le constat de l'absence d'indicateurs de résultat de l'enseignement. Les indicateurs existants sont en effet :

- soit relatifs à la recherche (indicateurs bibliométriques) ;

- soit des indicateurs de moyens (« inputs ») et non de résultats.

Ce projet se heurte toutefois aux obstacles suivants :

- la diversité des institutions (« universités de classe mondiale » ou institutions au rayonnement local, établissements sélectifs ou non...) ;

- les disparités des systèmes nationaux d'enseignement supérieur (différences dans les durées et les contenus des programmes) ;

- la diversité culturelle et linguistique ;

- la nécessité de rendre compte de la « valeur ajoutée » des établissements (en fonction des caractéristiques de leurs étudiants).

En pratique, il s'agirait de soumettre des étudiants de niveau « Licence » à des tests écrits, c'est-à-dire de mettre en place une enquête de type PISA pour l'enseignement supérieur .

Enfin, s'agissant des classements internationaux d'universités , dont il sera plus amplement question ci-après, ils sont examinés périodiquement par un groupe d'experts (IREG ^{23 ( * )} ), mis en place, notamment par l'UNESCO, dans le but d'en améliorer la qualité scientifique.

c) Le processus de Bologne

A l'échelle européenne, la promotion de l'assurance-qualité est l'un des aspects majeurs du processus de Bologne qui a démarré en 1999 et dont l'objectif est la création d'un espace européen intégré de l'enseignement supérieur d'ici 2010.

Ce processus fut initié à l'occasion du 800ème anniversaire de l'Université de Paris, avec l'adoption par les ministres en charge de l'enseignement supérieur en Allemagne, en France, en Italie et au Royaume-Uni de la déclaration de La Sorbonne le 25 mai 1998. Il fut concrétisé par la déclaration de Bologne, en date du 19 juin 1999 , signée par 29 pays européens, dont les 15 États membres de l'Union européenne de l'époque.

Le processus de Bologne a un caractère inhabituel, en ce qu'il est peu structuré et dirigé par 46 pays en coopération avec des organisations internationales (Conseil de l'Europe, Commission européenne, EUA ^{24 ( * )} , ESU ^{25 ( * )} , EURASHE ^{26 ( * )} , UNESCO-CEPES ^{27 ( * )} , ENQA ^{28 ( * )} , EI ^{29 ( * )} , UNICE ^{30 ( * )} ). Il ne repose pas sur un traité mais sur une coopération libre entre États, sur la base d'une conférence ministérielle qui se tient tous les deux ans ^{31 ( * )} et du travail d'un Groupe de suivi.

LES OBJECTIFS DU PROCESSUS DE BOLOGNE

La déclaration de Bologne du 19 juin 1999 énonce les objectifs suivants :

- l'adoption d'un système de diplômes aisément lisibles et comparables ;

- l'adoption d'un système fondé essentiellement sur deux cycles principaux, avant et après la licence ;

- la mise en place d'un système de crédits de type ECTS ^{32 ( * )} ;

- la promotion de la mobilité en surmontant les obstacles à la libre circulation des étudiants, des enseignants, des chercheurs et des personnels administratifs ;

- la promotion de la coopération européenne en matière d'évaluation de la qualité dans la perspective de l'élaboration de critères et de méthodologies comparables ;

- la promotion de la nécessaire dimension européenne dans l'enseignement supérieur.

Lors de la réunion ministérielle de Prague (2001), la promotion d'une coopération européenne en matière d'assurance qualité a été réaffirmée comme un objectif majeur :

« Les ministres ont reconnu le rôle vital que jouent les systèmes d'évaluation de la qualité dans la mesure où ils permettent de garantir des références de haut niveau et facilitent la comparabilité des diplômes en Europe. Ils ont également souhaité encourager une coopération plus étroite entre les dispositifs de reconnaissance et d'évaluation de la qualité. Cette coopération repose sur la confiance mutuelle et la reconnaissance des divers systèmes d'évaluation. Ils ont en outre encouragé les universités ainsi que les autres établissements d'enseignement supérieur à diffuser leurs exemples de bonnes pratiques et à envisager les solutions permettant d'instaurer des mécanismes d'évaluation et d'habilitation mutuellement acceptés. Ils en ont donc appelé aux universités et aux autres établissements d'enseignement supérieur, aux instances nationales et au Réseau européen d'évaluation de la qualité (ENQA) ou, pour les pays qui n'en font pas partie, aux mécanismes correspondants, pour mettre au point un cadre de références et pour diffuser leurs bonnes pratiques. »

Le pivot du dispositif européen d'assurance qualité est l'ENQA ^, créée en 2000, dont l'action se fonde sur la recommandation n° 98/561/CE du Conseil du 24 septembre 1998 relative à la coopération européenne visant à la garantie de la qualité dans l'enseignement supérieur, et qui s'est inscrite ensuite dans le cadre du processus de Bologne.

L'ENQA se fonde sur les « références et lignes directrices pour le management de la qualité dans l'espace européen de l'enseignement supérieur » adoptées par les ministres européens de l'enseignement supérieur à Bergen en mai 2005. Ces références fixent des procédures et un cadre général pour la mise en oeuvre de l'assurance qualité tant par les établissements eux-mêmes que par des agences ad hoc .

RÉFÉRENCES ET LIGNES DIRECTRICES EUROPÉENNES POUR L'ASSURANCE QUALITÉ

Les références et lignes directrices pour le management de la qualité dans l'espace européen de l'enseignement supérieur, adoptées lors de la conférence de Bergen (mai 2005) concernent d'une part l'évaluation interne par les établissements de leurs propres pratiques et, d'autre part, l'évaluation externe des établissements par les agences spécialisées. Enfin, elles fixent un cadre pour une évaluation des évaluateurs.

1°/ Références pour l'assurance qualité interne (par les établissements) :

Existence d'une politique et de procédures pour le management de la qualité ;

Approbation, examen et révision périodique des programmes et des diplômes ;

Évaluation des étudiants ;

Management de la qualité du corps enseignant ;

Outils pédagogiques et soutien des étudiants ;

Systèmes d'information ;

Information du public ;

2°/ Références pour l'assurance qualité externe de l'enseignement (par les agences ad hoc) :

Prise en compte de l'efficacité du management interne de la qualité ;

Mise en oeuvre des démarches de management externe de la qualité (publication des objectifs et des procédures) ;

Critères de décision explicites et publics ;

Processus adaptés aux objectifs de l'évaluation ;

Communication des résultats ;

Procédures de suivi ;

Évaluations périodiques ;

Existence d'analyses de portée générale des travaux de l'agence.

3°/ Références pour l'assurance qualité externe des agences

Prise en compte des procédures d'assurance qualité externe ;

Reconnaissance officielle des agences par des autorités publiques ;

Caractère régulier de l'activité ;

Ressources humaines et financières adaptées ;

Définition et publication des objectifs poursuivis ;

Indépendance ;

Critères et méthodes prédéfinis et rendus publics ;

Procédures pour rendre compte de l'exercice de leur mission par les agences.

Source : « Références et lignes directrices pour le management de la qualité dans l'espace européen de l'enseignement supérieur », Comité national d'évaluation (janvier 2006)

L'harmonisation internationale de l'assurance qualité dans l'enseignement supérieur a accompagné et encouragé l'amélioration des dispositifs existants aux plans nationaux.

2. Des répercussions nationales

a) En France : la création de l'AERES

La loi de programme pour la recherche du 18 avril 2006 ^{33 ( * )} a apporté d'importantes modifications aux dispositifs d'évaluation des activités de recherche et d'enseignement supérieur.

En premier lieu, la création de l' ANR (Agence nationale de la recherche) marque un tournant majeur, puisqu'elle établit le principe d'une évaluation, comme préalable au financement de la recherche.

En second lieu, le chapitre III de la loi de programme précitée créé l' AERES (Agence d'évaluation de la recherche et de l'enseignement supérieur). Cette agence, conçue comme un outil universel d'évaluation , est destinée à combler les lacunes du dispositif antérieur tout en l'intégrant en son sein, s'agissant notamment de l'ancien comité national d'évaluation (CNE).

Elle s'inscrit bien évidemment dans le cadre européen défini par l'ENQA.

LA CRÉATION DE L'AERES PAR LA LOI DE PROGRAMME POUR LA RECHERCHE

Le chapitre III de la loi de programme n° 2006-450 du 18 avril 2006 pour la recherche créé l'Agence d'évaluation de la recherche et de l'enseignement supérieur. Cette agence, qualifiée d'autorité administrative indépendante, est chargée (article L. 114-3-1 du code de la recherche) :

« 1°/ D'évaluer les établissements et organismes de recherche, les établissements d'enseignement supérieur et de recherche, les établissements et les fondations de coopération scientifique ainsi que l'Agence nationale de la recherche, en tenant compte de l'ensemble de leurs missions et de leurs activités ;

2°/ D'évaluer les activités de recherche conduites par les unités de recherche des établissements et organismes mentionnés au 1° ; elle conduit ces évaluations soit directement, soit en s'appuyant sur les établissements et organismes selon des procédures qu'elle a validées ;

3°/ D'évaluer les formations et les diplômes des établissements d'enseignement supérieur ;

4°/ De valider les procédures d'évaluation des personnels des établissements et organismes mentionnés au 1° et de donner son avis sur les conditions dans lesquelles elles sont mises en oeuvre. »

L'AERES a publié des « Repères pour l'évaluation des établissements d'enseignement supérieur » , soulignant la nécessité d'une évaluation qui tienne compte de la diversité des établissements d'enseignement supérieur. L'instauration d'une évaluation périodique en phase avec le calendrier contractuel des établissements doit encourager à l'adoption de procédures pertinentes d'évaluation interne par les établissements.

L'évaluation repose sur l'analyse des stratégies mises en oeuvre par les établissements pour atteindre leurs objectifs. Sont notamment évaluées les stratégies en matière de recherche, de formation, de valorisation, de relations avec l'environnement local, national et international, la politique étudiante et, enfin, le gouvernement et la gestion de l'établissement.

Dans un souci de transparence, un guide de l'évaluation externe des établissements recense les indicateurs pris en compte pour l'analyse de chacune des politiques précitées, et précise leurs règles d'interprétation. De la même façon, sont publiés les critères et indicateurs pour l'évaluation des unités de recherche et des écoles doctorales. Ces critères seront précisés par l'agence préalablement à chaque vague d'évaluation.

La crédibilité et la visibilité de l'AERES au plan international sont les gages de l'influence de la France sur les normes d'évaluation , en sorte que celles-ci ne soient pas structurellement défavorables à la recherche et à l'enseignement supérieur français.

En outre, la loi du 10 août 2007 a rénové la gouvernance des universités ^{34 ( * )} dans le sens de davantage d'autonomie et de responsabilité. Au nombre des nouvelles responsabilités conférées aux établissements d'enseignement supérieur figure une obligation d'information des étudiants et candidats :

« Les établissements dispensant des formations sanctionnées par un diplôme d'études supérieures rendent publiques des statistiques comportant des indicateurs de réussite aux examens et aux diplômes, de poursuite d'études et d'insertion professionnelle des étudiants. » ^{35 ( * )}

Cette disposition tend à promouvoir l'information comme un droit , accréditant l'idée que l'évaluation ne serait plus seulement un acte de bonne gestion administrative, mais qu'elle améliorerait aussi, plus généralement, la transparence du système éducatif à l'égard du grand public.

b) A l'étranger : des réformes qui convergent vers un modèle commun

De nombreuses réformes ont été engagées à l'étranger, dans l'objectif d'améliorer l'attractivité de l'enseignement supérieur et la compétitivité de la recherche. Afin notamment ^{36 ( * )} de faire le point sur ces réformes, votre rapporteur a adressé à plusieurs ambassades de France un questionnaire portant sur l'évaluation et les classements . Les réponses qui lui ont été apportées ont mis en évidence de nombreuses convergences s'agissant de l'amélioration de la gouvernance, du financement et de l'évaluation des universités. Dans certains pays, ces réformes s'efforcent explicitement de mettre en place des pôles d'excellence universitaire .

- Les États-Unis constituent un cas un peu particulier, dans la mesure où l'évaluation des établissements d'enseignement supérieur y est réalisée dans le cadre des procédures d'accréditation.

LES PROCÉDURES D'ACCRÉDITATION AUX ÉTATS-UNIS

L'évaluation des établissements supérieurs aux États-Unis est réalisée dans le cadre de la procédure d'accréditation. Les agences d'accréditation sont en charge de l'évaluation des établissements d'enseignement supérieur et sont seules habilitées à évaluer la qualité des formations universitaires dans un pays où il n'existe quasiment aucune habilitation par l'État (exception : professions de santé).

Cette évaluation est volontaire et non gouvernementale. Il existe trois types d'agences d'accréditation : agences régionales (réparties sur six zones quadrillant le territoire), onze agences nationales et 66 agences spécialisées. Ces agences sont reconnues et accréditées par le Department of Education (DOE) et / ou le Council of Higher Education Accreditation (CHEA), qui regroupe des professionnels de l'enseignement supérieur et dont le rôle est d'assurer une coordination nationale.

Les agences d'accréditation ne définissent pas elles-mêmes les critères d'évaluation. Ces derniers varient selon que les agences sont affiliées au DOE ou au CHEA. Celles qui sont accréditées par le Department of Education se prononcent sur l'adéquation entre la réussite scolaire de l'étudiant et la mission fondatrice de l'établissement, ainsi que l'insertion professionnelle des sortants ; la qualité du cursus (évaluation, durée) ; la qualité et le professionnalisme du corps enseignant ; les équipements et installations sur le campus ; la gestion fiscale et comptable de l'institution ; le service de soutien et l'accompagnement de l'étudiant ; les pratiques et les méthodes de recrutement ; la liste et la nature des réclamations déposées par les étudiants.

Les agences accréditées par le Council of Higher Education Accreditation fondent leur évaluation sur l'amélioration de la qualité des enseignements proposés ; la justification des choix pédagogiques ; l'encouragement aux changements créatifs et l'amélioration du service proposé aux étudiants ; l'utilisation d'une méthode équilibrée entre la prise de décision administrative et les enjeux pédagogiques ; la révision régulière des pratiques.

Source : Ambassade de France aux États-Unis

- Le Royaume-Uni pratique depuis plus de deux décennies (1986) des évaluations générales et périodiques de la recherche universitaire, au travers des « Research Assessment Exercises » (RAE), dont dépend une subvention de base attribuée dans chaque région ^{37 ( * )} par les « Higher Education Funding Councils » (HEFC). Il existe par ailleurs des évaluations plus spécifiquement ciblées sur l'enseignement, effectuées par une agence dédiée, la « Quality Assurance Agency for Higher Education » (QAA), créée en 1997. Cette agence définit des standards académiques afin d'harmoniser les acquis des étudiants, en s'assurant du caractère effectif et approprié de l'enseignement, des supports d'apprentissage et de l'évaluation. Les équipes conduisant les audits sont formées de pairs (enseignants) et, minoritairement, de professionnels. Les évaluations effectuées par la QAA n'ont pas de conséquence directe en termes de financement, mais elles incitent fortement les établissements à orienter leurs fonds vers les cours ou départements les plus attractifs. De nombreux départements de langue, de chimie ou de physique ont ainsi été fermés au cours des dernières années, souvent aussi par manque d'étudiants.

- En Allemagne , la gouvernance et le financement des universités ont été modifiés dans le cadre de l' « Initiative Excellence », avec également pour objectif de consacrer des « pôles d'excellence ». L' « Initiative Excellence » assure un surcroît de financement de 1 ,9 milliard d'euros à 37 établissements, dont 9 « Universités d'élite », d'ici à 2011. Ce dispositif devrait notamment permettre de financer 4 à 5000 postes de chercheurs à temps plein et 3 à 5000 assistants scientifiques étudiants. Il complète, dans le domaine de la recherche universitaire, les instruments mis en oeuvre par l'État fédéral et les Länder pour réformer le système d'enseignement supérieur (pacte pour l'enseignement supérieur 2020 garantissant 90.000 places étudiantes supplémentaires à l'université). S'agissant de l'évaluation proprement dite, elle fait l'objet de mécanismes différenciés en fonction des Länder. En raison du fédéralisme, les recommandations du ministère ou des organismes centraux (tels que la Conférence des ministres des Länder ou la Conférence des présidents des universités) ont valeur plus indicative qu'impérative.

L'ÉVALUATION DE L'ENSEIGNEMENT SUPÉRIEUR EN ALLEMAGNE

L'évaluation de l'enseignement supérieur est effectuée par des agences régionales ou spécialisées accréditées par le Conseil fédéral de l'évaluation (AR, Akkreditierungsrat ), dépendant de la Conférence des ministres de l'éducation des Länder (KMK, Kulturministerkonferenz ). En dehors des agences accréditées par l'AR, le marché de l'évaluation est régi par les lois en vigueur dans chaque Land. L'évaluation de la recherche est effectuée par les organismes qui la financent ( Max Planck Gesellschaft , Deutsche Forschungsgemeinschaft ), selon des procédures propres à ces derniers, transparentes, identiques sur tout le territoire fédéral, d'après critères déterminés.

Le principe de l'évaluation des établissements et des enseignements est accepté à la quasi unanimité des acteurs de l'enseignement supérieur allemand. Toutefois les disparités régionales et les différences de culture disciplinaires (sciences dures/sciences humaines) impliquent de nombreuses remises en cause des modalités de l'évaluation.

Les indicateurs prennent en compte l'assiduité des étudiants, leur réussite aux examens ainsi que la durée de leurs cursus et le taux de poursuite des études dans le même établissement.

L'université est évaluée sur la mise en oeuvre de son projet pédagogique et la réalisation des contrats d'objectifs passés avec le Land ou le ministère fédéral de l'éducation et de la recherche (BMBF, Bundesministerium für Bildung und Forschung ). L'organisation, l'offre et la cohérence des enseignements sont également soumises à évaluation, comme le sont les méthodes de notation et l'organisation des examens.

Un soin tout particulier est apporté à l'appréciation de l'encadrement : par encadrement, on désigne en Allemagne, les dispositifs de tutorat et de conseil aux étudiants. Ceux-ci impliquent :

- l'obligation de recourir à un conseiller à certaines étapes du cursus ;

- une offre d'information par Internet ;

- une orientation universitaire et professionnelle jusqu'à la fin de la première année d'études ;

- pour les professeurs, une charge de cours, d'orientation et de tutorat ;

- une disponibilité optimale des enseignants aux entretiens d'orientation et de conseil.

Les mécanismes de contrôle financier et comptable des performances des établissements diffèrent selon les Länder et selon le statut public, semi-public ou privé de chaque établissement. L'internationalisation est mesurée par chaque université ou école, par l'Office allemand des échanges universitaires (DAAD, Deutscher Akademischer Austausch Dienst ) ou par les organismes d'évaluation ( Akkreditierungsrat, agences accréditées). Les stratégies de partenariat avec les entreprises sont également prises en compte : elles sont présentées à l'AR, chargé par ailleurs d'accréditer dans le cadre du LMD les cursus en veillant à ce qu'ils ne soient pas identiques à d'anciennes filières sous une autre appellation. Il est à noter que la KMK préconise à chaque établissement la combinaison de l'évaluation interne et externe. L'évaluation interne implique de mener des enquêtes auprès des étudiants, dans lesquels ils ont la possibilité de faire part de leurs critiques qualitatives, et auprès des diplômés entrant sur le marché du travail. L'évaluation externe implique, quant à elle, systématiquement, au plan scientifique et institutionnel, les membres de la communauté universitaire issus d'autres établissements (évaluation par les « pairs »).

De tels dispositifs doivent inciter les établissements à tirer les enseignements de chaque évaluation afin de parvenir à remplir les contrats d'objectifs. La KMK encourage par ailleurs à la publication des résultats des différentes évaluations.

Source : Ambassade de France en Allemagne

- En Italie , la création d'une Agence nationale d'évaluation du système universitaire et de la recherche (ANVUR ^{38 ( * )} ) va de pair avec une prise en compte de l'évaluation pour l'attribution des financements :

« Il faut déplacer le centre de gravité du contrôle des procédures à la vérification des résultats. Et naturellement, la vérification des résultats doit porter à conséquences, y compris sous l'aspect des financements » ^{39 ( * )}

LA RÉFORME DE L'ÉVALUATION UNIVERSITAIRE EN ITALIE

La création de l'ANVUR

Le Conseil des ministres du 5 avril 2007 a approuvé la création et les règles régissant l'Agence Nationale d'Évaluation du Système Universitaire et de la Recherche (ANVUR). Conformément à ce que préconisait la Loi de Finance de 2007, l'ANVUR se substitue aux deux comités existants : le CIVR (Comité d'orientation pour l'évaluation de la recherche) et le CNVSU (Comité national pour l'évaluation du système universitaire).

L'Agence, qui aura son siège à Rome, aura un comité directeur composé de 7 personnes : 2 membres choisis parmi des candidats d'organismes européens et 5 parmi les personnes désignées par un comité d'experts italiens.

La finalité de cette nouvelle structure est de promouvoir la qualité des universités et des instituts de recherche par une activité d'évaluation, la récolte et l'analyse de données, la formation et la promotion culturelle.

L'Agence propose, chaque année, les critères pour la répartition des fonds de financement des universités et des instituts publics de recherche liés à la qualité des résultats des activités menées.

Comme déjà le CNVSU et le CIVR, l'agence rendra publiques les résultats de ses analyses et de ses évaluations. Les établissements peuvent éventuellement déposer une demande motivée pour réexamen des rapports approuvés par l'Agence.

L'Agence évalue la qualité, l'efficacité et la gestion des universités et des instituts de recherche, ainsi que la coordination entre activités didactiques et de recherche au sein des universités. Pour ce qui est de l'évaluation des cours, y compris les masters universitaires et les doctorats de recherche, l'Agence utilise les critères, les méthodes et les indicateurs les plus appropriés pour chaque champ disciplinaire, en tenant compte des expériences développées et partagées au niveau national et international par les communautés scientifiques de cette discipline.

En particulier, elle utilise les analyses et les comparaisons d'indicateurs qualitatifs et quantitatifs, provenant des résultats des procédures d'autoévaluation et des rapports d'évaluation externe, en tenant compte également des résultats vérifiés sur place.

L'Agence détermine les besoins quantitatifs et qualitatifs en termes de ressources humaines, de moyens en infrastructures et budgétaires, établit l'adéquation des programmes d'enseignement et des capacités de recherche qui sont les éléments fondamentaux pris en compte pour la création de nouvelles universités et/ ou de nouveaux sièges détachés des universités existantes.

L'impact de l'évaluation sur le financement

Les dispositions inscrites à l'article 3 du règlement de l'ANVUR permettront à l'agence d'indiquer la répartition des fonds de financement qui sera effectuée par l'État aux universités et instituts de recherche.

L'Agence devra établir un classement, dans l'absolu, sur la qualité et en tenant compte des améliorations enregistrées pour déterminer la répartition des ressources, qui seront modulables sur la base des résultats obtenus.

Chaque année, l'Agence proposera au ministre les critères de répartition des fonds pour le financement des universités et des instituts publics de recherche liés à la qualité des résultats des activités menées.

L'Agence signalera également au ministre les cas particuliers qui pourront conduire, en raison du niveau de qualité atteint ou en raison d'un accroissement rapide de la qualité didactique et de recherche, à l'attribution de quotes-parts additionnelles en tant que primes annuelles sur les fonds de financement des universités et des instituts de recherche.

En ce qui concerne les chercheurs employés par l'université sur la base d'un concours sur appel d'offres, après trois ans leur activité est soumise à une évaluation par l'ANVUR.

En cas d'évaluation négative, le Ministère de l'Université et de la recherche, en charge de la répartition des fonds pour le financement ordinaire des universités, soustraira de la part due à l'université, « l'équivalent chercheur » en terme budgétaire.

L'évaluation est renouvelée tous les trois ans.

Bien que ne fonctionnant pas encore, puisque cette procédure d'évaluation est en train de se mettre en place, elle suscite déjà de nombreuses critiques notamment de la part des organisations d'enseignants universitaires qui voient dans ces mesures une manoeuvre allant à l'encontre de l'article 33 de la Constitution, qui garantit l'autonomie des universités en ce qui concerne le recrutement, la carrière et le contrôle des enseignants.

Par ailleurs, la critique tient également au fait que par cette procédure la défaillance d'un enseignant-chercheur compromet l'université qui se voit privée d'une partie de ses financements. La position du ministère est que l'université a intérêt à être vigilante et ferme dans ses évaluations, et ne pas s'abandonner au narcissisme de l'autoévaluation. Il est vrai qu'un marché des évaluateurs et des « certificateurs » se crée, visible même sur le site officiel de la Conférence des recteurs des Universités (CRUI).

Source : Ambassade de France en Italie

- En Espagne , à la suite d'une expérimentation menée de 1992 à 1994, un plan national d'évaluation des universités a été lancé en 1995. La première vague de ce plan a concerné 46 universités publiques et privées. En application de la loi organique sur les universités (LOU) du 21 décembre 2001 (réformée le 12 avril 2007), une agence nationale de l'évaluation de la qualité et de l'accréditation (ANECA ^{40 ( * )} ) a été mise en place en 2002. L'Agence nationale de l'évaluation de la qualité et des accréditations (ANECA) évalue, certifie et accrédite ; les organes régionaux d'évaluation, crées par la loi des communautés autonomes, collaborent au moyen de mécanismes établis en accord avec l'ANECA. Enfin, les résultats des évaluations des professeurs, des chercheurs et des élèves des universités sont publics sans que les intéressés n'aient à donner leur consentement.

- En Belgique , tandis qu'un système d'assurance qualité a été introduit en Communauté flamande en 1991, une agence pour l'évaluation de la qualité de l'enseignement supérieur a été créée dans la Communauté française, par un décret du 14 novembre 2002.

- En Chine , la réforme de l'enseignement supérieur s'est traduite par le lancement en 1995 du « programme 211 » (voir encadré). Cette initiative centralisée s'est accompagnée du développement d'évaluations à caractère « privé », prenant la forme de classements consultables sur Internet :

- le classement international que publie tous les ans, depuis 2003, l'Université Jiatong de Shanghai ;

- le classement national de l'Académie des sciences administratives de Chine, qui existe depuis 1987 ;

- le classement de l'association Concordia University Alumni Association, publié depuis 2002.

LA RÉFORME DE L'ENSEIGNEMENT SUPÉRIEUR CHINOIS

Pour les pouvoirs publics chinois, l'évaluation des universités est un levier puissant en vue de créer un réseau d'établissements d'excellence (Projet 211) et de développer des disciplines-clés à l'échelle nationale (Projet 985).

Le Projet 211

Lancé en 1995, le projet 211 vise à transformer une centaine d'universités réparties sur l'ensemble du territoire chinois, c'est-à-dire moins de 10 % des universités chinoises, en établissements d'excellence dans le domaine de la formation et de la recherche. Les établissements présélectionnés par le Ministère chinois de l'éducation dès 1995, ont été évalués par la Commission au plan avant d'intégrer ce programme. Ces évaluations qui se sont échelonnées sur plusieurs années ont permis d'identifier 602 thèmes prioritaires d'enseignement et de recherche couvrant tous les domaines. Des regroupements d'établissements ont été effectués dans de nombreuses villes afin que les universités atteignent une taille suffisante pour rationaliser la gestion des établissements, les politiques de formation et de recherche. Cette vague de fusion est désormais, pour l'essentiel, achevée. En 2007, 95 universités « 211 » figuraient sur le site Internet du MoE.

Le projet 211 a permis de dresser une carte universitaire des disciplines clés enseignées, de rénover et agrandir de nombreux campus, de développer un réseau informatique universitaire haut débit et une bibliothèque numérique nationale.

Les universités 211 bénéficient d'un financement privilégié : durant le neuvième plan quinquennal (1996-2000), 10.8 milliards de yuan (1,3 milliard USD) ont été investis dans le projet 211 dont 2,75 milliards de yuan (333 millions USD) du gouvernement central, 3,17 milliards de yuan du Ministère de l'Education, 2,48 milliards de yuan par les gouvernements provinciaux et les municipalités et 2,36 milliards par les établissements eux-mêmes.

Le Projet 985

Le programme 985 vise à favoriser le développement de disciplines clés dans les universités en les subventionnant conjointement avec les gouvernements provinciaux. Il découle de la volonté du gouvernement central « d'assurer la réalisation de la modernité du pays et de construire des universités de premier rang » (discours prononcé par le Président Jiang Zemin, le 4 mai 1998 lors de la célébration du centenaire de l'Université de Pékin).

Ce projet a accéléré la fusion des universités, le recrutement de professeurs de haut niveau ou d'experts étrangers renommés. Il a permis la réforme du système du personnel enseignant, le renforcement de la recherche, l'association entre universités, centres d'études et entreprises et le renforcement de la coopération internationale. Une trentaine d'universités ont été sélectionnées pour ce programme qui n'est pas largement diffusé ni porté à la connaissance du grand public.

Source : Ambassade de France en Chine

- Enfin, au Japon , une réforme des universités est entrée en vigueur en 2004. Dans l'objectif de rendre les établissements d'enseignement supérieur plus réactifs et plus compétitifs, cette réforme a accru leur autonomie financière et administrative et institué le principe d'une évaluation par des organismes indépendants. Ce dispositif d'évaluation est actuellement en cours de mise en place.

LA RÉFORME DE L'ÉVALUATION AU JAPON

Toutes les universités japonaises, quel que soit leur type (nationale, municipale, préfectorale ou privée) sont soumises à une évaluation régulière.

Pour les universités nationales en particulier, trois évaluations sont mises en place :

tous les ans : une évaluation par une commission du MEXT ^{41 ( * )} de l'administration de l'université ;

tous les six ans, au terme de la contractualisation, une évaluation de l'enseignement et de la recherche par le NIAD-UE ^{42 ( * )} ;

tous les sept ans : une évaluation des programmes pédagogiques de l'université par le NIAD-UE (accréditation).

Pour les autres universités, préfectorales, municipales ou privées, les programmes pédagogiques doivent être évalués tous les sept ans par une des trois agences accréditées par le MEXT. Il s'agit d'une évaluation de type accréditation, identique à celle imposée aux universités nationales.

Source : Ambassade de France au Japon

De multiples convergences ressortent de cet aperçu des réformes menées dans plusieurs pays. Le modèle dominant, également à l'oeuvre dans d'autres secteurs économiques, sociaux et culturels, est celui d'une régulation par des agences indépendantes.

Dans ce contexte, la légitimité des classements d'universités est problématique. Au contraire des démarches d'évaluation stratégique, établissement par établissement, ils procèdent d'une volonté de quantifier la qualité, pour permettre des comparaisons. Une telle rationalisation est le gage d'une lisibilité forte , mais au prix de simplifications qu'il convient de mettre en lumière.

II. LES CLASSEMENTS D'UNIVERSITÉS : PEUT-ON CLASSER LES CLASSEMENTS ?

La pratique du classement - qui comporte une forte connotation sportive ^{43 ( * )} - suppose la présence d'objets comparables , de nature homogène. Plus un classement est vaste dans son champ, plus il court le risque de comparer des objets hétérogènes et d'être perturbé par des causalités extérieures.

Pour cette raison, les classements les plus transversaux sont les plus critiquables.

A. UNE MULTITUDE DE CLASSEMENTS AUX MÉTHODES VARIÉES

Le « classement de Shanghai » est le plus connu d'une multitude de classements, généraux ou thématiques, nationaux ou internationaux, qui sont apparus au cours des vingt dernières années.

Ce type d'approche, qui paraît nouveau en France, était déjà bien connu dans d'autres pays. Les pays les plus accoutumés à la pratique des classements d'universités sont d'ailleurs ceux où le classement de Shanghai a eu le moins de répercussions médiatiques et politiques.

1. Un constat : la disparité des méthodes de classement

Les classements les plus connus sont le résultat de combinaisons subjectives d'indicateurs. Loin d'être scientifiquement « neutres », ils résultent de choix de méthode reflétant des orientations de fond . Le choix des indicateurs emporte en effet un jugement normatif sur ce que devraient être un enseignement et une recherche de qualité.

De façon assez étonnante, l es principaux classements internationaux ont peu de points communs entre eux. Ils ont chacun leur propre système d'indicateurs et de pondérations. L'origine de ces différences de méthode n'est pas claire : reflètent-elles des choix légitimes, et distincts selon les pays, sur ce que devraient être les priorités de l'enseignement supérieur, ou traduisent-elles seulement l'existence de préférences propres à leurs auteurs (médias, institutions publiques ou privées...) ?

La disponibilité, variable selon les pays, des indicateurs, pourrait également expliquer pour partie les écarts de méthode constatés . S'agissant des classements internationaux, cette question de la disponibilité d'indicateurs homogènes pour chaque pays est d'une acuité particulière.

TYPOLOGIE DES INDICATEURS UTILISÉS POUR LE CLASSEMENT DES UNIVERSITÉS

Type d'indicateurs	Exemples de classements les utilisant
Acquis des étudiants à leur arrivée dans l'université considérée	Maclean's (Canada), US World and News Report (États-Unis), La Republicca (Italie)
Moyens mis en oeuvre par les universités (« learning inputs ») : moyens matériels, financiers et humains à disposition des étudiants	TH-QS (international), US World and News Report, Excelencia (Espagne), La Repubblica, Maclean's
Résultats obtenus (« learning outputs ») en termes d'expérience et de capacités des étudiants	Shanghai (international), La Repubblica, US World and News Report, Maclean's
Résultats finaux (emploi, salaires...)	Financial Times
Recherche	Shanghai, TH-QS, La Repubblica
Réputation (auprès des étudiants, des chercheurs ou des entreprises)	TH-QS, US World and News Report, Maclean's

Source : Usher et Savino (2006)

2. Les deux principaux classements internationaux

Les deux classements internationaux les plus connus sont le classement de Shanghai et celui du Times Higher Education.

a) Le classement44 ( * ) de l'Université Jiao Tong de Shanghai (SJTU)

Le classement de Shanghai, publié en août de chaque année depuis 2003, distingue 500 universités pour leurs performances académiques . Son objet initial était de situer les universités chinoises par rapport à leurs homologues internationales, à partir de données internationalement comparables et vérifiables par tous.

Ce classement « peut être considéré comme le symptôme du goût traditionnel de la civilisation chinoise pour l'ordonnancement et la classification, chaque chose étant à une place déterminée d'une hiérarchie particulière insérée au sein d'une hiérarchie de niveau supérieur » ^{45 ( * )} .

Il correspond aussi à une volonté, plus politique, de participer à la définition des normes mondiales.

Le classement de Shanghai est sorti très rapidement des frontières chinoises pour devenir un outil de comparaison universel, non seulement des établissements mais aussi des pays entre eux .

La méthode de classement de l'université de Shanghai (SJTU) se fonde sur la volonté d'utiliser des indicateurs objectifs, provenant de sources extérieures aux universités et vérifiables par tous , ce qui limite la palette des indicateurs disponibles. Ceux-ci concernent uniquement la recherche , à l'exception de toute considération de l'enseignement dispensé et des débouchés professionnels .

CLASSEMENT ACADÉMIQUE INTERNATIONAL DES UNIVERSITÉS (ARWU)

ÉTABLI PAR L'UNIVERSITÉ JIAO TONG DE SHANGHAI

CRITÈRES ET PONDÉRATIONS

Critère	Indicateur	Précisions sur la source de l'indicateur	Poids
Qualité de l'éducation	Anciens étudiants ayant reçu un prix Nobel ou la Médaille Fields	Les anciens étudiants sont définis comme ceux ayant reçu un diplôme de l'institution. Des pondérations sont appliquées en fonction de la date d'obtention du diplôme : plus le diplôme est récent, plus il lui est attribué un poids élevé. Les prix Nobel sont décernés depuis 1901 en médecine, physique, chimie, littérature et pour la paix ; depuis 1968 en économie. La médaille Fields, créée en 1936 , est décernée tous les 4 ans par le congrès mondial des mathématiciens. Elle récompense au plus 4 spécialistes des mathématiques, considérés comme promis à un brillant avenir.	10 %
Qualité des enseignants	Membres de l'équipe universitaire ayant reçu un prix Nobel ou la Médaille Fields	Critère évalué à la date où le prix est décerné. Seuls sont pris en compte les prix Nobel de physique, chimie, médecine et économie, ainsi que la médaille Fields pour les mathématiques. Des pondérations sont attribuées en fonction de la date d'obtention du prix : plus le prix est récent, plus la pondération est élevée.	20 %
	Nombre de « Chercheurs les plus cités » dans 21 domaines de recherche	Le classement international des « chercheurs les plus cités » ( http://www.isihighlycited.com/ ) est établi par l'ISI ( Institute for scientific information ^46 ( * ) ) dans 21 domaines de recherche relevant des sciences de la vie, de la médecine, de la physique, de l'ingénierie et des sciences sociales.	20 %
Résultats de l'activité de recherche	Articles publiés dans « Nature » et « Science »	Nombre d'articles publiés dans ces 2 revues entre 2002 et 2006. Des pondérations sont appliquées en fonction de l'ordre des auteurs. Pour les institutions spécialisées dans les sciences humaines et sociales, ce critère n'est pas pris en compte et son poids est redistribué sur les autres critères.	20 %
	Articles référencés au niveau international	Nombre total d'articles identifiés par l'ISI dans les périodiques considérés comme faisant référence. Ces articles sont répertoriés dans deux bases bibliographiques : - Science citation index-expanded (SCIE) dans le domaine scientifique ; - Social science citation index (SSCI) pour les sciences sociales. Une pondération de 2 est accordée aux articles publiés dans ce domaine.	20 %
Taille de l'institution	Résultats académiques rapportés à la taille de l'institution	Ce critère permet de pondérer les performances mesurées par les autres indicateurs, en fonction de la taille de l'institution, mesurée en termes d'emplois équivalents temps-plein (lorsque cette information est disponible).	10 %
Total			100 %

Pour chaque indicateur, l'institution la plus performante se voit attribuer une note de 100, et les autres institutions une note calculée en pourcentage du meilleur score. Les notes par indicateurs sont ensuite pondérées afin d'obtenir le score global de chaque institution. Il est attribué une note de 100 à l'institution la plus performante, et des notes calculées en pourcentage du meilleur score pour les autres institutions.

Source: Institute of Higher Education, Shanghai Jiao Tong University (Liu et al., 2004)

b) Le classement du Times Higher Education (THE-QS47 ( * )) :

Le THE ^{48 ( * )} est un hebdomadaire entièrement consacré à l'enseignement supérieur. Il constitue une source d'informations sur le fonctionnement et les résultats de l'enseignement et de la recherche, sans équivalent en France. Il publie chaque année à l'automne, depuis 2004, un classement des 200 meilleures universités mondiales.

Comme beaucoup de classements nationaux ou thématiques d'universités, et contrairement au classement de Shanghai, il est d'origine médiatique et vise donc dès le départ un public très large, au-delà même des professionnels et des étudiants de l'enseignement supérieur.

À la différence du classement de Shanghai, le classement du THE est fondé sur une évaluation non seulement de la recherche, mais aussi de l'enseignement, et sur l'idée que les experts sont les mieux placés pour juger les établissements . Il ne se fonde donc pas seulement sur des faits objectivables, comme le classement de Shanghai, mais prend également en compte les opinions des professionnels et donc la réputation des établissements.

Ce classement est en effet fondé à 40 % sur une « revue par les pairs », et à 10 % sur un sondage effectué auprès des employeurs. Les autres indicateurs pris en compte sont de nature quantitative. Ils portent sur l'encadrement des étudiants (supposé refléter le degré d'engagement de l'établissement en faveur de l'enseignement) et la visibilité des travaux de recherche : ratio personnel / étudiant, citations / personnel, taux de personnel et d'étudiants étrangers. Au fil des années, plusieurs changements de méthodes altèrent l'interprétation des résultats de ce classement.

CLASSEMENT THE-QS

ÉTABLI PAR LE TIMES HIGHER EDUCATION ET QUACQUARELLI SYMONDS

CRITÈRES ET PONDÉRATIONS UTILISÉS EN 2007

Critère	Indicateur	Précisions sur la source de l'indicateur	Poids
Revue par les pairs	Opinion académique	5.101 experts invités à énumérer les 30 universités qu'ils considèrent comme leaders dans le domaine de leur compétence (à l'exception de l'institution à laquelle ils appartiennent). Ces experts proviennent à 41 % d'Europe (+ Moyen-Orient et Afrique), à 30 % du continent américain, et à 29 % de la région Asie Pacifique.	40 %
Revue par les employeurs	Opinion des recruteurs	1.471 employeurs interrogés dont 43 % sur le continent américain, 32 % en Europe et 25 % en Asie Pacifique.	10 %
Encadrement des étudiants	Ratio personnel / étudiant	Données collectées auprès d'universités ou d'organismes nationaux	20 %
Impact de la recherche	Ratio citations / personnel	Nombre de citations sur 5 ans (2002-2006) tel qu'identifié par Scopus d'Elsevier (concurrent d'ISI)	20 %
Attractivité de l'Université (personnel)	Taux d'internationalisation du personnel	Nombre de collaborateurs de l'université provenant de l'étranger	5 %
Attractivité de l'Université (étudiants)	Taux d'internationalisation parmi les étudiants	Pourcentage d'étudiants étrangers	5 %

3. Les autres classements internationaux

L'engouement pour les classements s'est traduit par la publication de travaux divers.

a) Les classements généraux

En août 2006, l'hebdomadaire américain Newsweek a publié un classement des 100 meilleures universités du monde, à partir d'une combinaison d'indicateurs servant aux classements de Shanghai et du THE

En septembre 2007, l'École des Mines de Paris a proposé un nouveau classement international ^{49 ( * )} , fondé sur le devenir professionnel des anciens étudiants.

Ce classement est fondé sur un indicateur unique : le nombre d'anciens étudiants figurant parmi les dirigeants exécutifs (PDG, Chief Executive Officer -CEO- ou équivalents) des 500 plus grandes entreprises mondiales. Ce classement répond à celui de Shanghai, axé sur les performances en matière de recherche, en mettant au contraire l'accent sur la réussite en entreprise.

Le critère retenu se veut l'équivalent au niveau des entreprises du critère des anciens élèves ayant obtenu le Prix Nobel ou la médaille Fields, les nombres étant du même ordre de grandeur. Les 500 plus grandes entreprises sont celles du classement « Fortune Global 500 », basé sur le chiffre d'affaires, réalisé par le magazine Fortune.

Le classement de l'École des Mines suppose que le devenir des anciens étudiants en entreprise est un bon indicateur de qualité, résumant tous les autres.

b) Les classements par disciplines

Afin de désamorcer les critiques formulées à l'encontre des classements multidisciplinaires, l'Université Jiao Tong de Shanghai et le THE précités publient, en plus de leurs classements généraux annuels, des classements par grands champs disciplinaires.

Depuis 2007, le classement de Shanghai des 500 meilleures universités mondiales est complété, chaque année en février, par 5 classements des 100 meilleures universités par disciplines ^{50 ( * )} . Les champs disciplinaires identifiés sont : sciences naturelles et mathématiques ; ingénierie, technologie et informatique ; sciences de la vie et agronomie ; médecine et pharmacie ; sciences sociales.

Le THE a publié dès l'origine (en 2004) des classements disciplinaires des 50 meilleures universités dans les domaines suivants : sciences naturelles ; sciences de la vie et biomédecine ; technologie ; sciences sociales ; arts et humanités.

Les classements par disciplines sont particulièrement développés dans certains domaines où il existe une forte concurrence entre institutions. Ainsi, des classements nationaux et internationaux des formations en commerce et management sont publiés par le Financial Times, The Economist, le Wall Street Journal, Business Week, et en France par l'Étudiant-l'Express, le Point, Le Figaro, Challenges... D'autres classements des grandes écoles ou des universités sont publiés (Les Echos, Le Point, Le Nouvel Observateur...). Les indicateurs employés sont disparates.

c) Les classements à objets particuliers

Toutes sortes de classements spécifiques sont apparus au cours des dernière années.

Ainsi, par exemple, le Times Higher Education publie un classement des universités les plus agréables à vivre, selon l'opinion des étudiants.

Dans une autre optique, le classement mondial Webometrics identifie les universités les plus présentes sur Internet. La fonction première de ce classement était de promouvoir les publications électroniques, moins chères et plus accessibles que les publications sur papier. Néanmoins, il est considéré comme reflétant la visibilité d'une institution au niveau mondial ^{51 ( * )} .

4. Les classements régionaux

Il faut signaler, par ailleurs, l'existence de classements régionaux , bien que ceux-ci soient relativement peu développés. Pour mémoire, un classement universitaire fut publié pour le continent asiatique par Asiaweek de 1997 à 2000. Par ailleurs, deux classements résultent de travaux de recherche menés au plan européen, respectivement par un think tank allemand et par un laboratoire de recherche néerlandais.

a) Le CHE Excellence Ranking

Un exercice d'évaluation a été mené à l'échelle européenne par le CHE ^{52 ( * )} (Allemagne) en décembre 2007, concernant les programmes post-licence dans les domaines de la biologie, de la physique, de la chimie et des mathématiques ( CHE Excellence Ranking ).

Ce travail n'est pas exactement un classement : Sur la base de certains critères (indicateurs bibliométriques, nombre d'activités dans le cadre du programme Marie Curie de l'Union européenne), le CHE a sélectionné une vingtaine d'établissements européens dans chaque matière. Une deuxième phase consiste à fournir des indicateurs pour chacun des établissements de ce « groupe d'excellence », sans leur attribuer de rang précis, mais en indiquant pour chaque indicateur si l'établissement se situe dans le groupe de tête, au milieu ou à la fin du classement.

Ce type d'approche permet d'éviter l'écueil des pondérations subjectives. Il laisse chacun se faire son opinion en fonction des critères qu'il juge prioritaires, et permet aux établissements d'identifier leurs forces et faiblesses.

b) Les classements bibliométriques du CWTS

Les chercheurs du Centre d'études scientifiques et technologiques (CWTS) de l'Université de Leiden (Pays-Bas), soutenus financièrement par la Commission européenne (Direction générale de la recherche) ^{53 ( * )} , ont établi des classements européens entièrement fondés sur leurs propres indicateurs bibliométriques.

Les données premières de ce travail sont celles de l'ISI Web of Science, également utilisée par le classement de Shanghai, mais, s'agissant de l'indicateur d'impact, c'est-à-dire le nombre moyen de citations par publication, ces données sont ici corrigées :

- d'une part, en fonction de la taille des institutions ;

- d'autre part, au regard des spécificités de la bibliométrie dans chaque discipline. En effet, dans les domaines scientifiques appliqués et dans les disciplines techniques, comme l'ingénierie, le nombre de citations par publication est structurellement moins élevé que dans d'autres domaines tels que la médecine. Le retraitement effectué par le CWTS, dans le cadre de ce « classement de Leiden », permet de rééquilibrer les résultats obtenus en fonction des spécialités des universités.

5. Les classements nationaux

Enfin, les classements les plus anciens sont les classements nationaux , très nombreux. Ils reposent sur des critères divers, et pour nombre d'entre eux, sur des données recueillies par voie de sondages ou sur le fondement de déclarations. Des changements de méthode au cours du temps compliquent souvent l'analyse des résultats.

a) Aux États-Unis

Le pionnier des classements universitaires et celui que publie l'US News and World Report depuis 1983, et qui fait, bien plus que le classement de Shanghai, figure de référence aux États-Unis. Ce classement s'adresse explicitement aux étudiants recherchant une orientation et à leurs familles. Il se fonde sur une palette d'indicateurs divers, avec des variations d'une année sur l'autre.

LES INDICATEURS DU PRINCIPAL CLASSEMENT DES UNIVERSITÉS AMÉRICAINES :
L'US WORLD AND NEWS REPORT

Le classement de l'US World and News Report prend en compte :

- l'évaluation par les pairs (25 %) ;

- la capacité à conserver les étudiants d'une année sur l'autre (20 %) ;

- les moyens mis en oeuvre (20 %) à savoir : la taille des classes, le salaire moyen distribué par l'université à ses collaborateurs, le taux d'encadrement, le niveau de diplôme des enseignants ;

- la sélectivité (15 %) ;

- les ressources financières (10 %) ;

- la valeur ajoutée de l'université en fonction des caractéristiques des étudiants (5 %) c'est-à-dire la différence entre le taux prévisionnel et le taux effectif de réussite ;

- le taux d'anciens élèves donataires (5 %).

Il existe d'autres classements, moins connus, notamment :

- le « Faculty Scholarly Productivity ranking », qui mesure l'impact des activités de recherche : nombre de publications et de citations, montant des financements, nombre de récompenses et distinctions reçues par les professeurs ;

- le « Washington Monthly College Rankings », créé en 2005, qui tente de mesurer la contribution d'une université à la mobilité sociale des étudiants, sa capacité d'impulsion en matière de recherche, et le « service rendu envers la nation ».

b) Dans les autres pays

A l'étranger, plusieurs autres pays possèdent un ou plusieurs classements nationaux de leurs établissements d'enseignement supérieurs :

- au Royaume-Uni : plusieurs classements sont établis par des cabinets d'études pour le compte de médias, à l'image du classement THE-QS dont il est question ci-dessus. Ces cabinets de conseil, tels que Quacquarelli Symonds (QS) jouent un double rôle d'expert et d'agences de communication pour les milieux de l'enseignement supérieur ;

- En Allemagne, de nombreux classements sont également publiés par la presse, dont celui du Zeit, établi en collaboration avec le CHE ;

Des classements nationaux existent également au Canada (Maclean's), en Italie (La Repubblica), en Espagne (Excelencia) en Australie, en Chine, en Pologne...

Au regard de ce qui se pratique dans plusieurs pays étrangers, la France était donc, jusqu'à l'arrivée du classement de Shanghai, dans une situation atypique . Il n'y existait aucun classement des universités, et très peu d'indicateurs à disposition des étudiants, pour le choix de leurs cursus. Classer induit de fait une forme de « publicité comparative » à laquelle notre pays est peu accoutumé.

Cette situation devrait changer, non seulement du fait du succès des classements internationaux, mais aussi avec la mise en oeuvre de la loi du 10 août 2007 précitée, qui oblige les universités à publier un minimum d'indicateurs concernant la réussite des étudiants aux examens et leur insertion professionnelle après le diplôme. Cette transparence accrue est bienvenue, mais les modalités exactes de sa mise en oeuvre restent à définir.

B. QUELS ENSEIGNEMENTS TIRER DES CLASSEMENTS ?

Malgré les différences de méthodes existant entre classements, on observe des convergences dans leurs résultats .

La domination des pays anglo-saxons et la place relativement médiocre obtenue par la France sont des constantes communes à tous les classements se fondant - en totalité ou en partie - sur les performances en matière de recherche. Les résultats sont différents si l'on considère le classement réalisé par l'École des Mines.

Ce constat étant effectué, il faut s'interroger sur sa signification.

1. Des résultats convergents

a) Les « meilleures » universités sont anglo-américaines

Aux vingt premières places des deux principaux classements internationaux, la domination des universités anglaises et américaines est quasi-totale. Dans le classement de Shanghai, la première université non anglo-américaine arrive à la 20 ^ème place (Tokyo) ; dans le classement anglais, à la 12 ^ème (McGill, Canada).

Parmi les 100 meilleures universités du monde au sens du classement de Shanghai, plus de la moitié est aux États-Unis ; seule une sur trois est européenne.

Le classement anglais est un peu moins favorable aux universités des États-Unis, qui sont 37 parmi les 100 premières. Toutefois, cette moindre présence des universités américaines, par rapport au classement de Shanghai, ne profite pas aux universités européennes qui obtiennent, ici aussi, environ un tiers des cent premières places. Parmi les universités européennes, les établissements anglais font mieux que dans le classement de Shanghai, tandis que les universités françaises et allemandes font moins bien.

LA DOMINATION DES ÉTABLISSEMENTS ANGLO-AMÉRICAINS
AUX 20 PREMIÈRES PLACES DES DEUX PRINCIPAUX CLASSEMENTS INTERNATIONAUX

Rang	Classement de Shanghai	Classement TH-QS
1	Harvard (États-Unis)	Harvard (États-Unis)
2	Stanford (États-Unis)	Cambridge (Royaume-Uni)
3	Berkeley (États-Unis)	Oxford (Royaume-Uni)
4	Cambridge (Royaume-Uni)	Yale (États-Unis)
5	MIT (États-Unis)	Imperial College London (Royaume-Uni)
6	California Institute of technology (États-Unis)	Princeton (États-Unis)
7	Columbia (États-Unis)	California Institute of technology (États-Unis)
8	Princeton (États-Unis)	Chicago (États-Unis)
9	Chicago (États-Unis)	University College London (Royaume-Uni)
10	Oxford (Royaume-Uni)	MIT (États-Unis)
11	Yale (États-Unis)	Columbia (États-Unis)
12	Cornell (États-Unis)	Mc Gill (Canada)
13	UCLA (États-Unis)	Duke (États-Unis)
14	California-San Diego (États-Unis)	Pennsylvania (États-Unis)
15	Pennsylvania (États-Unis)	John Hopkins (États-Unis)
16	Washington-Seattle (États-Unis)	Australian National (Australie)
17	Wisconsin-Madison (États-Unis)	Tokyo (Japon)
18	California - San Francisco (États-Unis)	Hong-Kong (Hong-Kong)
19	John Hopkins (États-Unis)	Stanford (États-Unis)
20	Tokyo (Japon)	Carnegie Mellon (États-Unis)

LES 100 MEILLEURES UNIVERSITÉS MONDIALES D'APRÈS LE CLASSEMENT DE SHANGHAI

RÉPARTITION PAR CONTINENT

LES 100 MEILLEURES UNIVERSITÉS MONDIALES D'APRÈS LE CLASSEMENT DU TH-QS

RÉPARTITION PAR CONTINENT

LES 100 MEILLEURES UNIVERSITÉS MONDIALES D'APRÈS LE CLASSEMENT DE SHANGHAI

RÉPARTITION PAR PAYS

LES 100 MEILLEURES UNIVERSITÉS MONDIALES D'APRÈS LE CLASSEMENT DU TH-QS

RÉPARTITION PAR PAYS

b) Des performances françaises mitigées

Si l'on prend en compte les 100 meilleures universités de chaque classement, la France est 6 ^ème du classement de Shanghai par pays, et 10 ^ème du classement anglais par pays . Il faut néanmoins observer que ce résultat est en commune mesure avec le rang économique de la France.

Toutefois, on peut noter l'absence d'universités françaises avant la 39 ^ème place du classement de Shanghai. La performance dans le classement du Times Higher est moins bonne, avec seulement 2 établissements parmi les 100 premiers et aucune université, puisqu'il s'agit de deux grandes écoles.

Les établissements français obtenant les meilleurs résultats sont toutefois assez largement les mêmes dans les deux classements :

LA PLACE DES ÉTABLISSEMENTS FRANÇAIS
DANS LES DEUX PRINCIPAUX CLASSEMENTS INTERNATIONAUX

Rang France	Classement de Shanghai des 500 meilleures universités mondiales	Classement THE-QS des 200 meilleures universités mondiales
1	Université Pierre et Marie Curie (Paris VI) (39) ^54 ( * )	École Normale Supérieure (Paris) (26)
2	Université Paris XI (52)	École Polytechnique (28)
3	École Normale Supérieure (Paris) (83)	Université Pierre et Marie Curie (Paris VI) (132)
4	Université Louis Pasteur (Strasbourg I) (99)	École Normale Supérieure (Lyon) (157)
5	Université Paris VII (102-150)	Université Louis Pasteur (Strasbourg I) (184)
6	Université Grenoble I (151-202)
7	Université Paris V (151-202)
8	École Polytechnique (203-304)
9	Université Lyon I (203-304)
10	Université Aix-Marseille II (203-304)
11	Université Montpellier II (203-304)
12	Université Toulouse III (203-304)
13	École Nationale Supérieure des Mines de Paris (305-402)
14	École supérieure de Physique Chimie industrielles (305-402)
15	Université Aix Marseille I (305-402)
16	Université Bordeaux I (305-402)
17	Université Nancy I (305-402)
18	Université Paris IX (305-402)
19	École Normale Supérieure (Lyon) (403-510)
20	Université Bordeaux II (403-510)
21	Université Lille I (403-510)
22	Université Nice (403-510)
23	Université Rennes I (403-510)

Les résultats des universités françaises ne sont pas meilleurs si l'on considère les classements européens établis par l'université de Leiden, sur des critères strictement bibliométriques.

En termes de nombre de publications, seules deux universités françaises figurent parmi les 50 premières en Europe.

En termes d'impact (nombre moyen de citations par publication corrigé en fonction des disciplines couvertes par l'université) , aucune université française ne figure parmi les 50 premières européennes. La première université française figure à la 52 ^ème place.

LA PLACE DES UNIVERSITÉS FRANÇAISES DANS LES CLASSEMENTS BIBLIOMÉTRIQUES
DE LEIDEN

Rang France	Classement en fonction du nombre de publications ^55 ( * )	Classement en fonction du nombre de citations par publication ^56 ( * )
1	Université Paris VI Pierre et Marie Curie (6) ^57 ( * )	Université Paris XI Sud (52) Indicateur = 1,13
2	Université Paris XI Sud (24)	Université Grenoble I Joseph Fourier (55) Indicateur = 1,13
3	Université Lyon I Claude Bernard (71)	Université Paris V René Descartes (59) Indicateur = 1,12
4	Université Toulouse III (77)	Université Paris VI Pierre et Marie Curie (64) Indicateur = 1,09
5	Université Paris VII Denis Diderot (81)	Université Paris VII Denis Diderot Indicateur = 1,07
6	Université Paris V René Descartes (84)	Université Lyon I Claude Bernard (86) Indicateur = 0,99
7	Université Grenoble I Joseph Fourier (85)	Université Toulouse III (87) Indicateur = 0,99

Le second de ces classements de Leiden concerne l'impact de la recherche effectuée par les universités. L'indicateur utilisé est le nombre moyen de citations par publication, indépendamment de la taille de l'université et de la nature des champs disciplinaires couverts par celle-ci. Ne sont néanmoins classées que les 100 plus « grandes » universités européennes (d'après le nombre de leurs publications), ce qui exclut les structures de petite taille, telles que les grandes écoles françaises.

Les meilleures universités européennes de ce classement sont, comme dans les classements de Shanghai et du Times Higher Education, celles d'Oxford ( indicateur = 1,67 ) et de Cambridge ( indicateur = 1,63 ).

Les universités anglaises, suisses et néerlandaises obtiennent les meilleures places de ce classement européen.

On ne peut qu'être frappé par ce constat : le classement de Shanghai est très favorable aux universités américaines... le classement anglais, quant à lui, valorise mieux les performances des établissements du Royaume-Uni... et le classement de Leiden donne de belles places aux universités néerlandaises...

Il n'était donc pas inutile qu'un organisme français vienne apporter sa contribution à cette surenchère de classements, pour éclairer d'un jour nouveau les performances des établissements français. De fait, le classement publié en septembre 2007 par l'École des Mines de Paris leur est très favorable, même s'il a fallu pour cela abolir tout critère en rapport avec la recherche et se concentrer sur le devenir des anciens étudiants au sein des entreprises ^{58 ( * )} .

5 établissements français figurent aux 10 premières places de classement.

LES 10 MEILLEURS ÉTABLISSEMENTS MONDIAUX
SELON LE CLASSEMENT DE L'ÉCOLE DES MINES DE PARIS

Rang	Classement École des Mines de Paris
1	Harvard (États-Unis)
2	Tokyo (Japon)
3	Stanford (États-Unis)
4	École Polytechnique (France)
5	HEC (France)
6	Pennsylvania (États-Unis)
7	MIT (États-Unis)
8	Sciences-po Paris (France)
9	ENA (France)
10	École des Mines de Paris (France)

Cet aperçu des performances comparées de la France dans les classements de Shanghai et de l'École des Mines illustre quelques particularités bien connues du système d'enseignement supérieur français. Il souligne le fossé existant entre grandes écoles et universités, et suggère que ce fossé est l'une des causes des faiblesses de la recherche française , puisqu'il contribue à drainer massivement les meilleurs étudiants vers les entreprises et la haute administration, sans passage par le doctorat, pourtant considéré comme la clef de la réussite dans d'autres pays.

Ce constat incite à s'interroger plus largement sur les spécificités nationales susceptibles d'expliquer les écarts de performance entre pays .

2. Les facteurs explicatifs des classements

a) Existe-t-il un modèle de réussite ?

Les résultats par pays présentés ci-dessus ne tiennent compte :

- ni de la taille des pays, qui est très variable ;

- ni du rang obtenu par les universités, puisqu'un poids équivalent est attribué à chaque établissement figurant parmi les 100 premiers.

Afin de rendre compte de façon plus exacte des performances nationales, Aghion, P. et al. (2007) ^{59 ( * )} ont calculé des indices de performance par pays.

CLASSEMENT DE SHANGHAI : LE CALCUL D'INDICES DE PERFORMANCE PAR PAYS

Les indices de performance par pays se calculent successivement pour les 50, les 100, les 200 et les 500 meilleures universités du classement de Shanghai.

Par exemple, pour les 100 premières universités, le score d'un pays est calculé de la façon suivante : chaque université se voit attribuer un score inversement proportionnel à son rang (soit 100 pour la première et 1 pour la centième) ; chaque pays se voit ensuite attribuer un score égal à la somme des scores des universités lui appartenant ; cette somme est divisée par la population du pays, ce qui permet d'obtenir un score par tête ; chaque score par tête est ensuite exprimé en pourcentage du score par tête obtenu par les États-Unis.

CLASSEMENT DE SHANGHAI : INDICES DE PERFORMANCE PAR PAYS

Le calcul de ces indices confirme la domination américaine, tout en mettant en évidence des performances européennes contrastées . En termes de scores par tête, certains pays européens font mieux que les États-Unis (Suède, Suisse), tandis que d'autres sont loin derrière (France, Allemagne). La domination américaine est bien moindre si l'on prend en compte les 500 premières, plutôt que les 100 premières universités mondiales. Ces résultats suggèrent que l'Europe possède de nombreuses universités de qualité, mais qu'elle manque en revanche d'établissements au plus haut niveau international.

Source : Aghion. P, et al. (2007)

A partir de ces indices par pays, l'étude précitée établit des corrélations avec différentes caractéristiques structurelles des systèmes d'enseignement supérieur.

Il en ressort que les pays les plus performants dans le classement de Shanghai sont ceux qui allient un niveau de financement élevé à une gouvernance autonome des universités.

Il existe en effet une corrélation positive entre la performance d'un pays et sa dépense agrégée, publique et privée, par étudiant. Il n'y a, en revanche, pas d'impact direct du montant des droits d'inscription.

On observe aussi une corrélation positive entre la performance d'un pays et le degré d'autonomie de ses universités. L'autonomie budgétaire et la liberté de recruter et de fixer les salaires sont des facteurs de réussite particulièrement bien identifiés.

De surcroît, disposer de l'autonomie en matière budgétaire double l'effet d'un financement additionnel sur la performance de l'université, ce qui signifie qu'il existe des synergies positives entre financement et autonomie, au-delà de leurs effets positifs respectifs.

LIEN ENTRE LA DÉPENSE PAR ÉTUDIANT ET L'INDICE DE PERFORMANCE DU PAYS

Source : Aghion. P, et al. (2007)

Les universités des pays performants dans le classement de Shanghai possèdent un certain nombre de caractéristiques communes. Certaines de ces caractéristiques se déduisent logiquement des indicateurs choisis par les auteurs du classement de Shanghai : ainsi, la taille et de l'âge de l'université sont par essence des facteurs de réussite, puisqu'ils ont un effet direct, toute chose égale par ailleurs, sur le nombre de publications, le nombre de prix Nobel etc.

D'autres caractéristiques communes aux universités performantes sont plus révélatrices car elles illustrent ce qu'est un environnement favorable à la recherche. L'ampleur des moyens financiers alloués, ainsi que divers aspects relatifs à la gouvernance, sont ainsi des déterminants majeurs du dynamisme de la recherche.

On remarquera par ailleurs qu'aucune corrélation n'est observée entre la performance des universités et leur régime immobilier. Une autonomie accrue dans le domaine immobilier n'est pas associée à une meilleure performance académique.

CLASSEMENT DE SHANGHAI : LES FACTEURS DE RÉUSSITE

Les variables corrélés positivement à la performance universitaire dans le classement de Shanghai sont :

- la taille de l'université (mesurée en nombre d'étudiants) ;

- l'âge de l'université ;

- le budget par étudiant ;

- l'autonomie budgétaire ;

- la liberté de recrutement ;

- la liberté de fixation des salaires.

Source : Aghion. P, et al. (2007)

L'étude précitée identifie donc un certain nombre de facteurs favorables à la recherche ; elle souligne toutefois l'absence d'un modèle unique de réussite . Certains pays dont le système universitaire est dominé par le secteur public (Suisse, Suède) obtiennent d'excellents rangs dans les classements tandis que d'autres pays sont très performants (Royaume-Uni) avec une plus grande proportion d'universités privées, des droits d'inscription plus élevés et une sélectivité plus forte des étudiants.

b) La situation de la France

(1) La dépense en faveur de l'enseignement supérieur

La France consacre 1,3 % de son PIB à l'enseignement tertiaire, ce qui la situe au niveau moyen européen (UE-19). Ce niveau européen est toutefois très en deçà du niveau des États-Unis, qui dépensent 2,9 % de leur PIB au titre de leurs établissements d'enseignement supérieur.

Plus inquiétante encore est la tendance, puisque la dépense en faveur de l'enseignement supérieur est moins dynamique en Europe qu'aux États-Unis ^{60 ( * )} .

Le constat est le même en termes de dépenses par étudiant : les États-Unis dépensent chaque année plus de deux fois plus par étudiant que les pays de l'Union européenne (22.500 USD par étudiant aux États-Unis contre 10.700 USD en France).

Les classements internationaux ont contribué à mettre en lumière ces disparités de moyens, qui sont apparues comme l'une des causes des écarts de performance entre pays.

Ainsi, en France, le principal moyen mis au service de l'objectif d'améliorer notre rang dans les classements internationaux est l'amélioration du financement de l'enseignement supérieur. L'engagement présidentiel d'augmenter le budget de l'enseignement supérieur de 50 % en 5 ans se traduit, en 2008, par une augmentation de 7,8 % du budget de l'enseignement supérieur et de la recherche. Il est notamment prévu que la dépense par étudiant augmente de 6 % en 2008, passant de 6.970 euros à 7.375 euros par étudiant. S'ajoute à cet effort budgétaire un investissement supplémentaire, dans le domaine immobilier , financé par la cession de 3 % d'EDF (3,7 milliards d'euros), dans le cadre du « plan Campus », qui devrait mobiliser en tout 5 milliards d'euros.

(2) Une gouvernance des universités réformée

L'étude précitée de l'Institut Bruegel (Aghion, P. et al., 2007) montre que les pays les plus performants dans le classement de Shanghai ont un système universitaire disposant d'un certain degré d'autonomie, tant du point de vue budgétaire que du point de vue de la gestion des ressources humaines (recrutement, fixation des salaires). Cette autonomie accroîtrait significativement l'impact d'un financement supplémentaire sur les performances des établissements.

Qu'en est-il, en France, après l'adoption de la réforme universitaire, au cours de l'été 2007 ?

En accroissant les pouvoirs des présidents et des conseils d'universités, notamment en matière budgétaire et dans le domaine de la gestion des ressources humaines, cette réforme constitue un progrès en direction d'une plus grande autonomie. Elle agit sur des points identifiés précédemment comme des leviers de réussite.

LA LRU : UNE AUTONOMIE UNIVERSITAIRE ACCRUE

La loi n° 2007-1199 du 10 août 2007 relative aux libertés et responsabilités des universités :

- favorise le regroupement des universités ;

- renforce les pouvoirs des présidents d'universités : notamment par des dispositions relatives à la durée et au caractère renouvelable de leur mandat et en accroissant leur autorité sur les personnels de l'université. Aucune affectation ne peut être prononcée si le président émet un avis défavorable motivé ^{61 ( * )} , sous réserve toutefois de certaines dispositions statutaires relatives à la première affectation des personnels recrutés par le concours national d'agrégation de l'enseignement supérieur.  ;

- renforce le rôle des conseils universitaires ;

- réaffirme le rôle des contrats pluriannuels d'établissements ;

- permet l'exercice de responsabilités et des compétences élargies en matière budgétaire et de gestion des ressources humaines. A ce titre, les universités peuvent bénéficier d'une globalisation encadrée de leurs crédits et bénéficier de marges de manoeuvre dans la définition des obligations de service des personnels enseignants et de recherche. Des primes et un dispositif d'intéressement peuvent être mis en place. Des agents contractuels peuvent être embauchés, dans les limites d'un plafond prévu par le contrat pluriannuel d'établissement ;

- l'autonomie accrue des établissements ne leur permet pas de sélectionner leurs étudiants à l'entrée, mais institue une obligation de préinscription à la charge des étudiants, et une obligation d'information à la charge des établissements ;

- la loi favorise la création de fondations universitaires ;

- enfin, elle permet le transfert aux établissements qui en font la demande de la pleine propriété des biens mobiliers et immobiliers appartenant à l'État qui leur sont affectés ou sont mis à leur disposition.

La loi constitue toutefois une avancée timide :

- En premier lieu, la souplesse introduite en matière budgétaire et de gestion des ressources humaines reste très encadrée . La procédure consistant à s'opposer à une affectation par un avis motivé n'équivaut pas à l'instauration d'une réelle liberté en matière de recrutement. Le recours à des personnels contractuels demeure limité.

- En second lieu, si la loi réaffirme le rôle de l'évaluation, elle ne prévoit pas l'allocation de moyens sur des critères de performance . Votre rapporteur approuve, à ce titre, l'initiative de plusieurs de nos collègues qui ont préconisé, dans un rapport d'information récent ^{62 ( * )} , la mise en place d'un nouveau système de répartition des moyens (destiné à remplacer l'actuel système SAN REMO ^{63 ( * )} ), couvrant à la fois les activités de recherche et de formation des établissements, et s'appuyant sur des critères de performance. Il s'agit notamment d'attribuer 10 % des crédits de formation sur des critères de performance (ce qui constituerait une innovation majeure), ainsi que 50 %, à terme, des crédits de recherche.

- Enfin, l'autonomie doit s'accompagner de moyens pour être effective .

Le rapport précité du Conseil d'analyse économique sur les leviers de la croissance française ^{64 ( * )} porte un jugement sévère sur la réforme universitaire. Ce jugement a au moins le mérite de souligner les limites de cette réforme, et ses dérives possibles :

« Une autonomie sans concurrence et sans mobilité des enseignants chercheurs, une autonomie qui passe par la présidentialisation et la marginalisation des personnalités extérieures, une autonomie sans moyens substantiels porte en elle les germes du localisme et peut représenter une forme de régression par rapport au modèle actuel tant décrié ».

Les classements promeuvent un certain modèle universitaire fondé sur la transparence, la concurrence et l'autonomie d'établissements disposant de moyens à la hauteur des ambitions qu'un pays industrialisé peut légitimement se donner en matière de recherche. En augmentant les moyens alloués à l'enseignement supérieur, et en réformant son système universitaire, la France tend à s'aligner sur le modèle promu par les classements , qui ont ainsi un effet mobilisateur positif.

Toutefois, les classements sont fondés sur un nombre d'indicateurs limités et critiquables. Leur utilisation pour juger des performances d'un établissement est problématique. Ils constituent davantage des indices que des indicateurs robustes.

Leur succès en France est à la mesure des lacunes de l'information existant sur l'enseignement supérieur.

III. L'UTILITÉ DES CLASSEMENTS : D'UN MAL  PEUT-IL SURGIR UN  BIEN ?

Pour intéressants qu'ils soient, les classements ont un impact disproportionné par rapport à leur portée réelle .

Ceci justifie de réfléchir à un mode d'évaluation plus juste, mais qui constituerait un outil d'information au service des citoyens , en complément des modes d'évaluation stratégique existant actuellement, qui ne sont lisibles que par les spécialistes.

A. L'IMPACT EXCESSIF D'UN INSTRUMENT IMPARFAIT

1. L'influence des indicateurs sur les acteurs

L'impact des classements universitaires sur les comportements des acteurs est démontré par plusieurs études, réalisées principalement à l'étranger.

Cet impact est perceptible, en France, au travers de l'objectif, fixé par le Président de la République, d'avoir deux établissements français classés dans les 20 premiers mondiaux et 10 parmi les 100 premiers.

a) Qui sont les consommateurs de classements ?

Les classements s'adressent en effet à un public divers, directement ou indirectement visé :

- De façon directe, nombre de classements s'adressent aux étudiants, futurs étudiants et à leur famille, afin de les aider à effectuer leurs choix d'orientation.

- Les classements peuvent également être pris en compte par les entreprises embauchant de jeunes diplômés.

- Les informations qu'ils divulguent sont aussi d'intérêt pour l'État , ainsi que pour les autres bailleurs de fonds, dans une optique d'optimisation de l'allocation des ressources ;

- Les universités elles-mêmes s'en servent pour évaluer leurs partenaires potentiels dans le cadre d'accords d'échanges ou de doubles cursus, de plus en plus fréquents. Les comparaisons internationales joueront un rôle croissant à l'avenir en contribuant à la structuration de réseaux internationaux.

Les universités se servent aussi des classements pour attirer les meilleurs étudiants et les meilleurs chercheurs. Ainsi, tandis que les classements sont abondamment critiqués, les universités les utilisent néanmoins dans leur politique commerciale.

- Enfin, les agences chargées de l'évaluation des établissements d'enseignement supérieur manifestent un intérêt mesuré pour les classements, dont elles soulignent bien évidemment les limites. Elles ne peuvent toutefois pas les ignorer complètement. On perçoit cette ambiguïté à la lecture de rapports du Comité national d'évaluation (CNE, dont les attributions sont aujourd'hui reprises par l'AERES).

LES CLASSEMENTS INTERNATIONAUX D'UNIVERSITÉS
VUS PAR LE COMITÉ NATIONAL D'ÉVALUATION (CNE)

Le CNE n'adhère pas aux pratiques de « ranking ». Il en admet néanmoins l'influence, voire leur reconnaît une certaine utilité :

« Si, pour des raisons méthodologiques, le CNE n'adhère pas aux classifications d'établissements ou aux pratiques de « ranking », on peut néanmoins rappeler que Paris 1 apparaît comme la seconde université française derrière Paris 6 dans le dernier classement du Times international. » ^{65 ( * )}

« Le CNE n'a pas pour habitude de procéder à des classements d'universités, ce n'est pas son objectif. Pour autant, il ne peut se désintéresser de récents classements (Shanghai et Times). D'une part, ils sont largement commentés dans la presse et, d'autre part, l'UPMC les utilise dans ses supports de communication. » ^{66 ( * )}

« L'idée de classement ne semble pas compatible avec la diversité des établissements, ni rendre compte de la multiplicité des indicateurs et critères de référence nécessaires à l'évaluation. Cependant, l'idée d'établir des comparaisons des performances, ou même des classements, à partir d'une approche univoque n'est pas rejetée. L'intérêt de « points de référence », de procédures explicites ou de critères « génériques », idéalement européens, standardisés, est admis, permettant ainsi aux établissements de relativiser leurs pratiques et leurs résultats. Il s'agit du benchmarking . » ^{67 ( * )}

Source : CNE

L'ensemble des acteurs s'accordent à penser que les classements, quoique critiquables, sont inévitables.

C'est pourquoi les classements exercent également une fonction d'incitation. Ils ne font pas que rendre compte de la réalité. Ils la modifient aussi , en fixant des priorités, qui sont fonction des indicateurs choisis.

b) Quelle est l'influence des classements ?

Une étude internationale a été conduite avec le soutien de l'Association internationale des universités (AIU) et le programme de l'OCDE sur la gestion des établissements d'enseignement supérieur (IMHE) sur l'impact des classements et leur influence sur les acteurs ^{68 ( * )} . Les dirigeants de 202 institutions de 41 pays ont participé à cette étude.

- 50 % des établissements interrogés se servent de leur classement institutionnel à des fins de publicité ;

- 58 % ne sont pas satisfaits de leur classement ;

- 70 % souhaitent figurer parmi les 10 % les meilleurs au niveau national, et 71 % parmi les 25 % les meilleurs au niveau international.

- 93 % et 82 % respectivement veulent améliorer leur classement national ou international.

- 68 % se servent des résultats des classements comme instruments de gestion afin d'introduire des changements stratégiques, organisationnels ou académiques : il peut s'agir, par exemple, d'envisager une fusion, ou d'affecter des ressources prioritairement à la recherche plutôt qu'à l'enseignement.

Les établissements interrogés admettent par ailleurs qu'ils prennent en compte le classement d'un partenaire potentiel avant d'entamer des discussions sur un éventuel partenariat.

D'autres études montrent :

- que les classements influencent les étudiants : des études menées aux États-Unis et au Royaume-Uni montrent néanmoins qu'ils sont conçus pour, et utilisés par, un segment étroit de leur public potentiel, constitué des étudiants d'origine sociale aisée et de ceux qui obtiennent de bons résultats scolaires, qui sont attirés par le prestige des établissements ^{69 ( * )} ;

- qu'un bon classement accroît le nombre de candidatures adressées à un établissement ;

- au Royaume-Uni, que les employeurs privilégient les diplômés des établissements d'enseignement supérieur figurant en haut de classement ;

- aux États-Unis, que les dotations de l'État par étudiant dans les universités publiques dépendent directement ou indirectement des classements.

2. Une enquête auprès des établissements français

Votre rapporteur a interrogé les universités françaises, afin d'évaluer leur perception des classements internationaux.

Cette enquête a porté sur 106 établissements, dont 84 universités et 22 « grandes écoles ». Elle est détaillée à l'annexe 1 du présent rapport.

a) Une prise en compte des classements

Malgré une critique assez généralisée des indicateurs servant à construire les classements, ceux-ci sont néanmoins acceptés comme des « règles du jeu » par la majorité des établissements.

71 % d'entre eux estiment en effet que le classement de Shanghai est globalement « utile ».

14 % des établissements estiment, au contraire, que le classement de Shanghai est inutile et 15 %, qu'il est même nuisible.

Exprimant les sentiments ambivalents existant très généralement à l'égard du classement de Shanghai, 4 établissements ont répondu qu'il était à la fois « utile » et « nuisible ». Ce point de vue reflète le sentiment que le classement de Shanghai a simultanément des effets positifs et des effets pervers.

Les trois quarts des chefs d'établissement connaissent aussi le classement et les indicateurs du Times Higher Education. A contrario , 24 % déclarent, en revanche, n'en avoir pas connaissance.

Les classements internationaux sont un baromètre accepté. Ils influencent par conséquent les stratégies des établissements. En effet :

- d'une part, 61 % des dirigeants d'établissement ont pour objectif explicite d'améliorer leur rang dans le classement de Shanghai ;

- d'autre part, 83 % ont pris des mesures concrètes destinées à améliorer leur rang dans les classements internationaux .

LES CLASSEMENTS INTERNATIONAUX : PERCEPTION ET INFLUENCE
SUR LES ÉTABLISSEMENTS D'ENSEIGNEMENT SUPÉRIEUR FRANÇAIS

Les questions suivantes ont été posées à 106 dirigeants d'établissements français, avec un taux de réponse de 75 % :

Quelle est votre opinion générale sur l'utilité du classement de Shanghai ?

Avez-vous pour objectif explicite d'améliorer votre rang dans le classement de Shanghai ?

Avez-vous pris des mesures concrètes destinées à améliorer votre rang dans les classements internationaux ?

b) Les progrès de l'évaluation

Votre rapporteur a par ailleurs mis à profit ce questionnaire pour interroger les établissements sur leurs pratiques d'évaluation.

Une majorité d'établissements déclare évaluer, sur une base harmonisée, la qualité des enseignements et des formations. En revanche, s eule une minorité déclare évaluer sur une base harmonisée d'autres aspects de la vie universitaire (vie étudiante, bibliothèque, aide à l'insertion professionnelle...).

ÉTABLISSEMENTS DÉCLARANT ÉVALUER SUR UNE BASE HARMONISÉE (EN %)

Afin d'évaluer le niveau de transparence des établissements, il importe de savoir si les étudiants peuvent accéder aux résultats de ces évaluations . La réponse est « oui » dans 85 % des établissements. Plusieurs établissements émettent toutefois des réserves en marge de leur réponse, précisant soit que cette publicité est en cours de mise en place, soit qu'elle est partielle, soit encore que, n'étant pas de principe, elle ne peut être obtenue qu'au prix de démarches particulières.

Enfin, tous les établissements (sauf un) effectuent des enquêtes de suivi du devenir professionnel des étudiants. Dans 58 % des cas, ces enquêtes concernent chaque formation. Dans 41 %, elles concernent seulement certaines formations. La périodicité de ces enquêtes est très variable, et n'est pas toujours fixée. La nature du suivi est également variable (6, 12, 18 ou 24 mois après le diplôme...). La publicité de ces enquêtes vis-à-vis des étudiants est assurée dans 89 % des cas. Ces résultats sont à interpréter avec précaution, car les réponses sont assorties de nombreux commentaires et réserves, tant les situations sont variables entre établissements, et à l'intérieur même des établissements.

Ces résultats montrent que, si l'évaluation progresse, il reste des progrès à faire en termes d'harmonisation , si l'on veut pouvoir comparer des données comparables.

Il serait en effet utile d'instaurer plus de cohérence dans les pratiques des établissements.

L'impact des classements est donc certain, y compris en France, alors même que cette pratique y est relativement récente.

Est-il satisfaisant d'accepter ainsi une forme d' « hétéronomie », et tenant compte de règles fixées de façon exogène, par des acteurs peu légitimes ?

Ne faudrait-il pas plutôt que les acteurs de l'évaluation universitaire soient parties prenantes d'un système d'information public, transparent, dont les règles seraient connues d'avance et acceptées ?

Ceci implique d'accepter le principe des classements, mais d'en contourner les pièges.

B. COMMENT CONTOURNER LES PIÈGES DES CLASSEMENTS

1. Les pièges des classements

a) Une évaluation de portée limitée

Les limites des classements d'universités sont inhérentes à leur logique même, consistant à mesurer la qualité par des indicateurs quantitatifs. Cet exercice, d'autant plus lisible qu'il est moins exhaustif , comporte des limites certaines.

La critique des classements internationaux porte sur la légitimité de la mesure et sur la pertinence de la méthode.

(1) La légitimité de la mesure

Chaque classement possède ses propres limites : reposant sur un nombre limité d'indicateurs, un classement particulier ne donne par nature d'information que sur la réalisation d'un nombre limité d'objectifs.

Une première question est de savoir si les indicateurs choisis se rapportent à des objectifs clairement identifiés comme étant ceux que la société assigne prioritairement à l'enseignement supérieur. De ce point de vue, les classements privilégient les indicateurs relatifs à la recherche. Or dans quelle mesure est-il intéressant, pour les étudiants et futurs étudiants, de savoir où sont les chercheurs les plus cités, et ceux qui obtiennent des prix Nobel ? Se focaliser sur ce type d'indicateurs ne risque-t-il pas de détourner les universités de leur mission d'enseignement, notamment dans les premières années d'études ? Les objectifs peuvent être différenciés en fonction des établissements, en sorte que des classements uniformes ne rendent pas justice à tous.

Une autre question est de savoir si les indicateurs choisis rendent véritablement compte de la valeur ajoutée des établissements : ne dépendent-ils pas plutôt des caractéristiques des étudiants, c'est-à-dire de leur niveau académique à l'entrée et de leurs origines géographiques et sociales ? Ou ne reflètent-ils pas simplement la taille de l'établissement , plutôt que de sa productivité ? Dans le cas du classement de Shanghai, qui ne tient que très marginalement compte de la taille de l'établissement, les grosses institutions sont clairement avantagées.

(2) La pertinence de la méthode

Les méthodes de mesure utilisées dans les classements sont problématiques à plusieurs niveaux.

- Les mesures et pondérations choisies ne font l'objet d'aucune justification théorique. Les utilisateurs des classements sont invités à partager des choix dont ils ne sont pas toujours bien informés. De façon générale, la légitimité des indicateurs synthétiques est incertaine, d'une part parce qu'ils agrègent des données disparates, et d'autre part, parce qu'ils résultent de choix qui placent en fait l'observateur supposé en situation d'acteur.

- La source des indicateurs est problématique, dans le cas de données déclarées par les universités elles-mêmes. Des études menées aux États-Unis ont montré que ces données étaient l'objet de manipulations, ou que certaines règles étaient modifiées par les universités en sorte d'améliorer artificiellement leur place dans les classements ^{70 ( * )} .

- Les indicateurs choisis ont parfois un caractère indirect (utilisation de « proxies »). Ainsi par exemple, que mesurent, en réalité, les enquêtes de réputation telles que celles effectuées dans le cadre du classement du Times (TH-QS) ? Mesurent-elles la sélectivité de l'établissement, la qualité de sa recherche, son prestige historique ? Ces mesures créent des effets de rémanence, car la réputation d'un établissement dépend en partie des classements passés.

- Les indicateurs retenus sont liés entre eux , en sorte que la dimension « multicritères » du classement est en partie superficielle. Dans le cas du classement de Shanghai, les critères bibliométriques se chevauchent (« nombre d'articles référencés au niveau international » et « nombre d'articles publiés dans les revues « Science » et « Nature » » par exemple) ou recoupent indirectement d'autres critères comme l'obtention de distinctions académiques (prix Nobel, médailles Fields). Dans le cas du classement du TH-QS, la réputation dépend aussi de ce qui est mesuré par les autres indicateurs employés, en sorte que les mêmes éléments sont pris en compte plusieurs fois pour la réalisation d'un classement, dans une mesure qu'il est difficile d'évaluer.

- Enfin, les écarts statistiques ne sont pas toujours suffisamment significatifs pour qu'un classement établissement par établissement, par ordre décroissant de performance soit réellement pertinent. Le classement de Shanghai s'effectue d'ailleurs par tranche de 50 puis de 100 établissements, à compter du 100 ^ème établissement. Or les écarts sont-ils vraiment plus significatifs avant qu'après la centième place ?

b) Les lacunes de la bibliométrie

(1) Le rôle central de la bibliométrie

Dans le classement de Shanghai, 60 % de la note finale d'un établissement dépend d'indicateurs bibliométriques, contre 20 % dans le TH-QS.

Le classement de Shanghai se fonde sur les bases de l'Institute for scientific information (ISI) de Thomson-Reuters, tandis que le classement TH-QS utilise les bases Scopus de l'éditeur Elsevier. Le premier comptabilise plutôt le nombre brut de publications référencées, tandis que le second s'intéresse aux citations, rapportées à la taille de l'université.

D'autres bases existent, par exemple Google Scholar , utilisée dans le cadre du classement Webometrics des universités les plus présentes sur le web.

LES BASES DE DONNÉES BIBLIOMÉTRIQUES

La bibliométrie mesure la production scientifique par le nombre d'articles et de citations dans des revues scientifiques. La bibliométrie peut éventuellement prendre en compte d'autres types de publications (livres, actes de colloque, pages Internet), ainsi que les brevets, mais les classements existants se focalisent sur les articles.

La base la plus utilisée est celle de l'Institute for scientific information (ISI), dont le « Web of knowledge » couvre 22.000 périodiques et qui est notamment spécialisée dans le domaine scientifique, par le biais du « Web of Science ». La base de données SCIE (Science Citation Index expanded) fait référence pour la bibliométrie dans les domaines des sciences de la matière et de la vie. C'est une base très sélective, considérée comme représentative pour les disciplines bien internationalisées. Sa représentativité est moins bonne dans les disciplines appliquées, de terrain, à forte tradition nationale, et dans les disciplines (notamment l'informatique) où une part importante des informations passe par d'autres canaux que l'article. L'ISI dispose aussi de bases couvrant les sciences humaines et sociales , la SSCI (social science citation index), et la AHCI (Arts & Humanities Citation Index) mais leurs couvertures sont partielles .

Les bases de l'ISI sont utilisées dans le classement de Shanghai. Elles sont également employées en France par l'Observatoire scientifique et technique (OST), notamment pour le calcul des indicateurs de performance requis par la loi organique du 1 ^er août 2001 relative aux lois de finances (LOLF).

Le classement anglais du TH-QS, qui était auparavant fondé sur les bases de l'ISI, utilise depuis 2007 une autre base, Scopus , qui référence 15.000 périodiques. Cette base est très lacunaire dans le domaine des sciences humaines et sociales .

Quant à la base Google Scholar , créée en 2004 et adossée au moteur de recherche Google, elle est utilisée, par exemple, par le classement Webometrics des universités les plus présentes sur le web. Cette base est critiquée pour être moins précise que les deux précédents et pour ne pas diffuser d'information sur l'exhaustivité de ses sources et sur la fréquence de son actualisation.

Certes, la bibliométrie a l'avantage d'être objective :

- elle repose sur des données vérifiables par tous et quantifiables (par opposition aux données issues de sondages) ;

- elle est d'origine extérieure aux universités (par opposition aux données déclaratives).

La bibliométrie souffre toutefois de nombreuses lacunes.

(2) Les limites de la bibliométrie

D'une part, aucune base de données bibliographique n'est exhaustive :

- toutes privilégient les articles sur les autres formes de publication, notamment les livres, ce qui met en valeur certaines disciplines plutôt que d'autres : les sciences humaines et sociales sont particulièrement désavantagées, mais aussi certaines disciplines scientifiques (ingénierie, informatique) qui produisent leurs résultats différemment (communication dans des colloques, dépôts de brevets,...) ;

- les bases favorisent nettement les chercheurs anglophones, puisque les articles référencés sont presque exclusivement en anglais. En conséquence, les disciplines internationalisées sont favorisées , là encore au détriment des sciences humaines et sociales ;

- le référencement des articles n'est pas uniformisé : tandis que les pays acclimatés de longue date à la pratique des classements se sont préoccupés depuis longtemps de référencer adéquatement leurs travaux, cette préoccupation n'est apparue que relativement récemment en France, ce qui conduit à une sous-évaluation de la production de nos universités.

D'autre part, la bibliométrie demeure une approximation des résultats de la recherche :

- les articles ne constituent évidemment pas le seul débouché de cette activité. Par ce biais, les dépôts de brevets sont notamment négligés ;

- les citations sont davantage des gages de visibilité que de qualité : si ces deux aspects vont souvent de pair, ce n'est pas une nécessité.

- la statistique générale d'un établissement peut être considérablement modifiée par la présence ou l'absence d'un seul chercheur, ce qui devrait inciter à ne pas sur-interpréter les résultats.

- Le nombre brut de publications ou de citations est intéressant, mais il devrait toujours être rapporté au nombre d'enseignants chercheurs . Le ratio de publications ou de citations par chercheur devrait lui-même être examiné au regard des moyennes dans la discipline considérée, comme le fait, en France, l'Observatoire des Sciences et Techniques (OST) et comme le fait le classement de Leiden.

Enfin, il faut observer que, si les bases bibliométriques constituent une source externe au milieu universitaire, ce qui est appréciable du point de vue de leur objectivité, elles répondent néanmoins à des préoccupations commerciales qui sont susceptibles d'affecter leurs contenus. Les bases sont la plupart du temps construites par des éditeurs (Thomson, Elsevier), qui ont élargi, au fil du temps, leur champ de référencement. Ces relations entre indexeurs et indexés sont sans doute inévitables, mais il serait souhaitable qu'elles soient plus clairement affichées et assumées.

c) Une évaluation ne tenant pas compte des spécificités nationales

(1) La dispersion du système de recherche et d'enseignement supérieur français

Il se peut par ailleurs qu'un pays soit structurellement désavantagé en raison des caractéristiques de son système d'enseignement supérieur et de recherche, ce qui est le cas de la France au regard du classement de Shanghai. Cet aspect est abondamment commenté à chaque parution d'un nouveau classement international.

D'une part, l'effet taille est défavorable à notre pays , qui compte 85 universités, ce qui constitue une situation unique en Europe, ainsi qu'un certain nombre de « grandes écoles » dont la taille est souvent en proportion inverse de leur sélectivité... Or les institutions de grande taille et pluridisciplinaires sont naturellement avantagées dans les classements internationaux existants.

Ces grandes écoles ne destinent par ailleurs pas prioritairement leurs étudiants vers la recherche , ce qui les rend peu performantes au regard des indicateurs de Shanghai.

D'autre part, une partie de la recherche française, effectuée non pas à l'Université mais au sein des organismes de recherche , est hors champ des classements. Même si une part de plus en plus grande des organismes de recherche est adossée aux universités, au sein des unités mixtes de recherche, les chercheurs ne signent pas systématiquement leur production scientifique au nom de l'université, ce qui conduit à une sous-estimation du volume des activités de recherche des établissements.

Ainsi, les universités ne signent ou ne co-signent que les deux tiers des articles français. Dans le domaine des sciences « dures », par exemple, les universités sont très actives en mathématiques, chimie, biologie fondamentale et recherche médicale. Elles sont moins actives dans les domaines de la biologie appliquée et des sciences pour l'ingénieur.

PUBLICATIONS SIGNÉES OU COSIGNÉES PAR LES UNIVERSITÉS
PART NATIONALE, PAR DISCIPLINE (2000)

Biologie fondamentale	71,1 %
Recherche médicale	69,9 %
Biologie appliquée, écologie	54,6 %
Chimie	72,4 %
Physique	63,2 %
Sciences de l'Univers	60,5 %
Sciences pour l'ingénieur	56,8 %
Mathématiques	85,1 %
Toutes disciplines	67,5 %

Source : OST (d'après données ISI)

(2) Spécificités nationales ou handicaps nationaux ?

Votre rapporteur ne souhaite pas décrédibiliser totalement les classements, notamment celui de Shanghai, qui a le mérite de se fonder sur des données objectives, quand celui du Times Higher Education repose essentiellement sur les effets de réputation particulièrement incertains. S'il souligne que les performances relativement médiocres de notre pays s'expliquent pour partie par des spécificités structurelles nationales, c'est aussi pour montrer que ces spécificités sont des obstacles à la visibilité internationale de notre recherche .

Il faut notamment relativiser l'effet résultant de la taille de nos établissements. En effet, dans le classement de Leiden - en termes d'impact relatif des publications ^{71 ( * )} - les universités françaises font moins bien que dans le classement de Shanghai alors même que l'indicateur employé n'est pas sensible à la taille des établissements.

Il semble bien que la dispersion du système d'enseignement et de recherche français l'empêche d'atteindre une taille critique et de créer un environnement pluridisciplinaire , favorables à une recherche de pointe au niveau international.

C'est ce constat qui conduit le gouvernement à encourager les regroupements d'universités et la formation de pôles de recherche et d'enseignement supérieur (PRES).

Si l'on joint à cet enjeu de la « taille critique » les questions déjà évoquées du financement et de l'autonomie , il devient évident que certaines de nos spécificités sont aussi des handicaps à surmonter .

Pour ce faire, il faut aussi devenir acteurs des classements, afin de tirer le meilleur parti possible d'un outil devenu incontournable.

2. Devenir acteurs des classements

Devenir acteurs des classements implique tout d'abord la définition de « règles du jeu » connues d'avance et acceptées , mises en oeuvre dans un cadre légitime .

a) Classer : selon quelle « règle du jeu » ?

(1) Une classification européenne des établissements

Avant de classer, il est nécessaire de classifier, c'est-à-dire de déterminer ce qui est comparable.

Or il n'existe à l'heure actuelle aucune typologie des établissements , ni à l'échelle européenne, ni à l'échelle mondiale.

Par typologie, ou classification, on entend la distinction faite entre établissements selon leurs missions et caractéristiques propres, sans considération de leurs performances respectives.

Une telle classification devrait favoriser la mobilité des étudiants et les coopérations entre établissements, ainsi que la reconnaissance des diplômes. Elle doit être conçue comme un outil d'information au service des étudiants et des entreprises, non comme un instrument rigide limitant les ambitions des établissements.

Votre rapporteur insiste sur le fait qu'il ne s'agit pas ici d'établir de hiérarchie, ni d'instituer un système « à plusieurs vitesses », mais de reconnaître ce qui est déjà une réalité, à savoir que tous les établissements d'enseignement supérieurs n'ont pas les mêmes objectifs, et qu'il est donc inapproprié de les juger sur des critères uniformes, si l'on veut pouvoir rendre convenablement justice à leurs performances respectives.

Une forte différenciation d'objectifs existe, en effet, par exemple :

- entre universités pluridisciplinaires ou, au contraire, très fortement spécialisées ;

- entre universités de rayonnement mondial et établissements reconnus au plan national ou régional : ce ne sont pas forcément les mêmes établissements qui sont, par exemple, compétitifs dans la recherche fondamentale au niveau mondial, et pourvoyeurs d'idées fructueuses pour les PME locales ;

- entre établissements privilégiant plutôt la recherche ou plutôt l'exploitation professionnelle des savoirs ;

- entre universités privilégiant la recherche « fondamentale » ou mettant l'accent sur la valorisation ;

- entre établissements impliqués ou non dans la formation professionnelle à tous les âges.

Pour être utile toutefois, une telle classification devrait être multidimensionnelle et flexible :

- d'une part, elle ne devrait pas être univoque, mais comporter plusieurs facettes ;

- d'autre part, elle ne devrait pas être rigide, mais susceptible d'évoluer dans le temps.

(2) Des classements diversifiés « à la carte »

Les limites de classements trop généraux étant reconnus, la tendance est à privilégier des classements diversifiés, « à la carte » , c'est-à-dire établis par l'observateur (étudiant, enseignant, chercheur...) en fonction de ses propres priorités.

En premier lieu, il est souhaitable de comparer les programmes à l'intérieur d'une même discipline , plutôt que de comparer entre eux des établissements dont certains sont spécialisés, d'autre multidisciplinaires, et recouvrant en définitive des champs variés. L'Université Jiao Tong de Shanghai a pris cet impératif en considération depuis 2007, en ajoutant à son classement global un classement par grandes disciplines (ARWU-FIELD ^{72 ( * )} dans 5 domaines : sciences sociales, médecine et pharmacie, sciences de la vie, sciences de l'ingénieur et de l'informatique, sciences dures et mathématiques).

En second lieu, il convient de laisser à l'utilisateur des classements la responsabilité du choix de ses priorités, étant entendu qu'un certain nombre d'indicateurs de base devraient être mis à sa disposition .

Ce type d'approche est notamment préconisé par le groupe international d'experts des classements (IREG), qui a adopté à Berlin, en mai 2006, une liste de « bonnes pratiques », ayant vocation à guider les concepteurs de classements.

LES « PRINCIPES DE BERLIN » POUR DE BONNES PRATIQUES EN MATIÈRE DE CLASSEMENTS

Les principes adoptés à Berlin en mai 2006 par le groupe international d'experts des classements (IREG) sont notamment les suivants :

- reconnaître la diversité des établissements et prendre en compte leurs missions et objectifs spécifiques ;

- assurer la transparence de la méthodologie utilisée pour leur conception ;

- limiter au strict minimum les changements de méthode qui affectent la lecture des résultats ;

- mesurer des résultats plutôt que des contributions ;

- utiliser des données vérifiées et vérifiables ;

- offrir un choix sur la manière dont les classements sont présentés, c'est-à-dire permettre à l'utilisateur d'un classement de fixer ses propres priorités.

L'utilisation d'Internet accroît les possibilités d'un traitement diversifié et personnalisé de l'information. Le classement « à la carte » se développe à l'étranger, mais avec moins de retentissement que les principaux classements internationaux, dans la mesure où les enseignements que l'on peut en tirer sont plus nuancés.

Deux exemples de ce type de « classement » méritent d'être mentionnés :

- Le « ranking » effectué par le Centrum für Hochschulentwicklung (CHE) allemand , précédemment évoqué : ce think-tank met à disposition de tous, sur Internet, des indicateurs très divers auxquels chacun est libre d'attribuer l'importance qu'il souhaite. Ces évaluations sont établies par disciplines d'enseignement. Il n'en résulte pas de comparaison globale entre établissements, l'idée étant qu'il n'existe pas de « n° 1 » mais que chacun a ses forces et ses faiblesses. Ces évaluations sont par ailleurs multidimensionnelles : pour une discipline donnée, il existe plusieurs indicateurs, ce qui permet là encore d'identifier les forces et faiblesses du cursus considéré. Ces évaluations adoptent plusieurs perspectives, au sens où elles reposent sur le questionnement de différents acteurs (étudiants, professeurs). Aucun poids prédominant n'est donné à tel ou tel indicateur, les attentes des étudiants étant considérées comme hétérogènes. À eux d'établir leurs propres pondérations entre critères.

En définitive, le CHE n'attribue pas de rangs mais classe les établissements, pour chaque indicateur, en trois groupes (premier tiers, deuxième tiers, troisième tiers) afin d'éviter que des différences ténues (éventuellement imputables à la marge d'erreur) ne soient interprétées comme significatives.

EXEMPLES D'INDICATEURS UTILISÉS PAR LE CHE POUR SES ÉVALUATIONS

Les indicateurs s'adressent essentiellement aux étudiants, mais aussi aux professeurs, à qui ils apportent une information en vue de leur orientation. Chaque indicateur peut éventuellement être la consolidation de plusieurs sous-indicateurs. Tous les indicateurs ne sont par forcément utilisés pour chaque évaluation (en fonction de leur pertinence par rapport à la discipline envisagée). Des statistiques et informations diverses sont également apportées pour chaque cursus, faisant du site Internet du CHE une base de données très complètes sur l'enseignement supérieur allemand.

Les principaux indicateurs sont les suivants :

- Indicateurs factuels :

. montant moyen des financements extérieurs (rapporté au nombre d'universitaires) ;

. nombre moyen de doctorats (par professeur) ;

. nombre de publications par universitaire (sur trois ans) ;

. nombre moyen d' « inventions » (pour les disciplines scientifiques) ;

. nombre de citations par publication.

- Indicateurs d'opinion : l'opinion des étudiants

. sur la relation avec les professeurs ;

. sur la relation avec les autres étudiants ;

. sur les cours proposés ;

. sur l'organisation des études ;

. sur la bibliothèque ;

. sur les locaux ;

. sur les moyens multimédias ;

. sur la préparation à l'entrée sur le marché du travail

etc.

- Indicateurs d'opinion : L'opinion des professeurs

. institutions recommandées par les professeurs pour la qualité de l'enseignement ;

. institutions recommandées par les professeurs pour la qualité de la recherche.

Source : CHE, http://www.che.de

- Un autre exemple de système d'information, en cours d'élaboration, est fourni par l'initiative des deux organisations représentant les universités publiques américaines , visant à l'établissement d'un « portrait des universités ».

Cette initiative fait suite aux conclusions de la Commission sur l'avenir de l'enseignement supérieur ^{73 ( * )} , qui a souligné les nombreuses faiblesses du système universitaire américain. Malgré ses bons résultats dans les classements internationaux, ce système universitaire n'est pas moins critiquable. La Commission précitée souligne notamment sa qualité inégale , son caractère inéquitable , et le manque d'informations claires et accessibles sur des aspects cruciaux , avec pour effet d'une part, d' « empêcher les décideurs et le public de prendre des décisions informées » et, d'autre part, de « s'opposer à ce que l'enseignement supérieur démontre sa propre contribution au bien public ».

En conséquence, les deux principaux représentants des universités publiques ont lancé un projet de système d'information basé sur la responsabilité de chaque université ^{74 ( * )} , devant procurer des données robustes, comparables et transparentes sur les caractéristiques des étudiants et des institutions, le coût des études et les résultats de l'enseignement.

L'intérêt de ce type d'initiative est d'être fondé sur un travail d'harmonisation, en amont, des indicateurs .

Mais pour mettre en oeuvre ce type d'approche, encore faudrait-il disposer, en France, d'indicateurs harmonisés et accessibles.

b) Classer : dans quel cadre ?

(1) En France ou en Europe ?

La ministre de l'enseignement supérieur et de la recherche, a plusieurs fois réaffirmé son souhait de profiter de la présidence française de l'Union européenne pour jeter les bases d'un classement sur des critères communs européens.

Votre rapporteur approuve cette orientation susceptible d'améliorer l'information du public , tout en favorisant la mobilité des étudiants et des chercheurs .

Il souligne néanmoins que la transparence du système d'enseignement supérieur français pourrait être considérablement améliorée, dans des délais assez rapides, sans attendre la production d'indicateurs harmonisés européens .

L'élaboration d'un classement européen implique de trouver un accord sur la méthode, puis de mettre au point des indicateurs fiables, susceptibles de refléter la diversité de l'enseignement supérieur du continent, sans défavoriser un pays en raison de ses spécificités nationales.

Ce processus risque d'être long et, s'il est utile de le lancer, il convient de ne pas attendre qu'il soit réalisé pour améliorer la transparence de l'information sur l'enseignement supérieur au niveau français. Cette démarche nationale contribuera, au demeurant, à alimenter la réflexion européenne.

(2) Renforcer les moyens de l'agence d'évaluation

La plupart des classements d'universités sont aujourd'hui produits par des organismes privés , à vocation commerciale, notamment des médias et des cabinets de conseil, ou par des organismes non gouvernementaux (laboratoires de recherche, think-tanks, organisations professionnelles...).

Or les intérêts en cause, et les risques de dérives, justifient un minimum de régulation publique de l'information délivrée sur l'enseignement supérieur .

Il est donc souhaitable que les indicateurs publiés soient construits et/ou vérifiés par des instances publiques, c'est-à-dire en France par le Ministère de l'enseignement supérieur et de la Recherche ou par l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES). De nombreux indicateurs existent, ou sont en cours de réalisation, mais leur publicité demeure restreinte et dispersée.

Votre rapporteur rappelle que la loi précitée du 10 août 2007 relative aux libertés et responsabilités des universités (article 20) a rendu obligatoire la publication par les établissements d'indicateurs relatifs d'une part à la réussite aux examens, d'autre part à la poursuite d'études et enfin, à l'insertion professionnelle des étudiants.

Pour l'exploitation de ce type d'informations, un cadre harmonisé existe déjà en France, mais il mériterait d'être davantage exploité au service du public. Il se constitue de deux composantes qui s'enrichissent mutuellement :

- En premier lieu, le cadre contractuel a été renforcé par la loi précitée du 10 août 2007 relative aux libertés et responsabilités des universités, qui rend obligatoire la signature de contrats pluriannuels entre l'État et les établissements d'enseignement supérieur. Ces contrats mettent en oeuvre une logique de performance, et retiennent des indicateurs qui sont, soit communs à l'ensemble des établissements dans la mesure où ils déclinent les indicateurs figurant au projet annuel de performance (PAP) de la mission Recherche et enseignement supérieur du budget de l'Etat, soit spécifiques car se rapportant à l'un des axes stratégiques majeurs de l'établissement.

- En second lieu, les évaluations réalisées par l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES), mise en place par la loi de programme pour la recherche du 18 avril 2006, doivent servir de cadre aux futurs contrats. Elles sont publiques et se fondent sur les principes suivants :

« L'AERES conduit ses évaluations selon les principes conformes aux orientations européennes : évaluation interne, évaluation externe, rapport public et évaluation par les pairs.

L'évaluation d'un établissement repose sur l'analyse des stratégies qu'il met en oeuvre pour atteindre ses objectifs. Cette analyse se fonde sur un petit nombre de mesures et d'indicateurs qui rendent compte des résultats des différentes actions de l'établissement au triple niveau local, national et international.

C'est pourquoi il convient de repérer la nature et la qualité de ces stratégies dans plusieurs domaines : la recherche, la formation, la valorisation, les relations avec l'environnement, les relations internationales et la politique étudiante. » ^{75 ( * )}

L'AERES tient compte de la diversité des établissements, de leurs environnements et de leurs missions, mais s'attache également à favoriser les comparaisons intra- et inter-établissements pour conduire « à la fois à une saine émulation et à une logique d'amélioration continue ».

Dans cette optique, un certain nombre d'indicateurs sont examinés pour chaque établissement , relativement aux stratégies déployées dans les domaines considérés comme prioritaires (stratégie scientifique et valorisation de la recherche, stratégie en matière de formation, vie de l'étudiant, stratégie en matière de relations internationales, relations extérieures, gouvernement et gestion).

L'AERES souffre néanmoins d'un manque de moyens pour produire des indicateurs au service de l'évaluation stratégique.

Les indicateurs lui sont fournis d'une part, par le Ministère de l'enseignement supérieur et de la recherche (Direction générale de l'enseignement supérieur, Direction de l'évaluation, de la prospective et de la performance), et d'autre part, par l'Observatoire des Sciences et Technologies (OST).

Or il serait souhaitable que la production d'indicateurs sur l'enseignement supérieur soit plus directement au service de l'évaluateur , en sorte qu'il n'en soit pas seulement l'usager, mais aussi le concepteur. Une telle évolution permettrait de mieux optimiser l'adéquation entre les objectifs de l'évaluation et les indicateurs existants. Elle est cohérente avec l'idée que chaque indicateur doit être mis au service d'un objectif précis. Une telle évolution ne ferait, au demeurant, que poursuivre la logique ayant abouti à la mise en place d'une évaluation indépendante .

Pour s'effectuer à moyens identiques et éviter les redondances, elle devrait se faire par la mise à disposition de l'agence des services producteurs d'indicateurs.

(3) Rassembler les indicateurs existants ou en construction

Une telle centralisation de la production d'indicateurs devrait faciliter leur mise à la disposition du public, dans des délais rapides , sous la forme d'un portail Internet fournissant des données comparables entre établissements et permettant des classements « à la carte », en fonction des priorités des utilisateurs.

Votre rapporteur estime anormal que des informations qui existent ne soient pas publiée s, ainsi que l'ont souligné l'Institut Montaigne et l'Express, en révélant la liste des unités de recherche ayant obtenu la note « A+ » auprès de l'ancienne Mission scientifique, technique et pédagogique (MSTP), dont l'AERES a repris aujourd'hui les missions. Ces évaluations, réalisées entre 2002 et 2006, étaient demeurées confidentielles. La liste des unités de recherche ayant obtenu de moins bons résultats demeure d'ailleurs secrète. Il est souhaitable que l'ensemble des résultats des prochaines vagues d'évaluations des unités de recherche, qui doivent intervenir entre 2008 et 2012, soit rendu public, de même que les évaluations d'établissements, avec les indicateurs associés.

Plus largement, le système d'information à disposition du public devrait comporter :

- des données factuelles sur les établissements (informations sur les programmes et services proposés, taux de réussite...) ;

- des indicateurs de performance, s'inspirant des indicateurs contractuels actuellement existants, accompagnés éventuellement de quelques indicateurs d'opinion, comme le fait, en Allemagne, le CHE, ainsi que d'indicateurs concernant la vie universitaire (vie étudiante, bibliothèque...).

LISTE DES INDICATEURS CONTRACTUELS DE PERFORMANCE

VAGUE C (2009-2012)

1- Indicateurs relatifs à la formation

1.1 : Part des licences obtenues 3 ans après une 1 ^ère inscription en L1 dans le total des licenciés ;

1.2 : Réussite en DUT par bac d'origine ;

1.3 : Suivi des étudiants en cursus L (taux d'abandon, réorientation, redoublement) ;

1.4 : Réussite en cursus Master : ratio diplômés / inscrits ;

1.5 : Réussite en doctorat : part des doctorants allocataires soutenant leur thèse en trois ans au plus ;

1.6 : Part des mentions à faibles effectifs en fin de cursus L et M et effectifs concernés ;

1.7 : Devenir des étudiants diplômés (Licence à Master) : insertion, durée d'obtention du 1 ^er emploi, poursuite d'étude ;

1.8 : Devenir des docteurs : insertion professionnelle après 3 ans ;

1.9 : Réussite comparée des étudiants étrangers et des étudiants français en cursus L et M ;

2- Indicateurs relatifs à la recherche

2.1 : Part des publications de l'établissement dans la production scientifique (française, européenne, mondiale) ;

2.2 : Indice de citation à deux ans des publications de l'établissement ;

2.3 : Participation aux projets ANR (Agence Nationale de la Recherche) : part des financements obtenus par l'établissement dans les moyens attribués par l'ANR, taux de participation dans les projets ANR ;

2.4 : Part des publications de l'établissement dans les domaines scientifiques définis comme prioritaires ;

2.5 : Performance des brevets et des activités contractuelles :

- Part de brevets déposés par l'établissement, parmi les brevets français et européens inventés en France ou en Europe ;

- Part des ressources apportées par les redevances sur titres de propriété intellectuelle dans les ressources totales de l'établissement ;

- Part des contrats de recherche passés avec des entreprises publiques ou privées, françaises ou étrangères, dans les ressources totales de l'établissement ;

2.6 : Part des articles co-publiés avec un pays membre de l'UE dans les articles de l'établissement ;

2.7 : Taux de participation de l'établissement dans les projets financés par les programmes cadres de R&D de l'UE (PCRD) ;

2.8 : Taux de coordination de l'établissement dans les projets financés par les programmes cadres de R&D de l'Union européenne ;

2.9 : Proportion d'étrangers parmi les chercheurs, enseignants-chercheurs, post-doctorants et ingénieurs de recherche rémunérés par l'établissement.

Votre rapporteur souhaite préciser quelques-unes de ces orientations, s'agissant des indicateurs relatifs à l'enseignement et à la recherche :

• S'agissant de l'enseignement , il insiste sur l'intérêt de pouvoir juger de la valeur ajoutée d'un établissement , en fonction des caractéristiques de ses élèves. Si des études et données permettent actuellement d'analyser globalement la valeur ajoutée du système d'enseignement supérieur, celles-ci ne sont pas utilisées pour l'évaluation de chaque établissement. Ceci implique de pouvoir exprimer certains indicateurs de réussite en fonction des niveaux d'entrée des étudiants.

Votre rapporteur insiste également sur la nécessité d'harmoniser les indicateurs relatifs à l'insertion professionnelle des diplômés. Ces indicateurs sont d'un très grand intérêt pour les étudiants, même s'ils ne permettent pas toujours de juger un établissement, en raison de problèmes de comparabilité entre disciplines, entre marchés locaux du travail, en fonction du niveau des étudiants à leur entrée dans l'établissement. Il faudrait également tenir compte de la qualification de l'emploi obtenu au regard du niveau de diplôme. Ces difficultés d'interprétation ne doivent toutefois pas empêcher la diffusion d'informations utiles .

• S'agissant de la recherche , votre rapporteur se félicite des efforts actuellement réalisés par l'Observatoire des Sciences et Technologies (OST) en vue de produire des indicateurs fiables, réellement représentatifs de la production scientifique de nos établissements d'enseignement supérieur. Il souhaite que le résultat de ces travaux, réalisés par établissement et par discipline, soit rendu public dès que possible.

LES INDICATEURS BIBLIOMÉTRIQUES
DES ÉTABLISSEMENTS D'ENSEIGNEMENT SUPÉRIEUR FRANÇAIS

Une convention a été signée en novembre 2005 entre le ministère en charge de la Recherche et de l'Enseignement supérieur et l'Observatoire des Sciences et Techniques (OST), afin de mettre en place des indicateurs de production scientifique et technologique des établissements d'enseignement supérieur.

Ce projet, baptisé IPERU (indicateurs de production des établissements de recherche universitaire) est considéré, à ce stade, comme expérimental. Les données produites ne seront pas publiées avant 2009.

Ce dispositif repose sur un effort louable pour améliorer la reconnaissance de ses articles par chaque université et permettre la comparaison des résultats entre établissements. Les résultats de certains établissements sont en effet fortement sous-estimés, en raison de difficultés de repérage des publications, et du fait d'usage très différents en matière de citations et de publications, selon les disciplines. Les sciences humaines et sociales sont notamment très sous-représentées dans les bases utilisées par l'OST, qui sont celles du « Web of Science » de l'Institute for scientific information (ISI).

L'OST développe ainsi :

- des routines pour contrôler la qualité des données et leur comparabilité ;

- des procédures de normalisation des indicateurs permettant de comparer entre eux des établissements dont la composition disciplinaire est différente ;

- des tests statistiques pour aider à l'analyse de la significativité des résultats (analyse des fluctuations annuelles, établissement d'une typologie des établissements).

Les indicateurs ne sont, à l'heure actuelle, pas considérés comme suffisamment fiables pour être publiés.

Ces indicateurs sont les suivants :

- La part mondiale (ou française) de publication : la part mondiale de publication est égale au nombre d'articles publiés par l'établissement rapporté au nombre d'articles publiés par l'ensemble des acteurs du monde (ou de France), dans le domaine de référence ;

- L'indice d'impact relatif à 2 ans est égal au rapport entre la part mondiale de citations reçues pendant 2 ans par les publications de l'établissement (de l'année n) et sa part mondial de publication (de l'année n). Cet indice mesure la visibilité des publications. Lorsqu'il est supérieur à 1, les publications ont une meilleure visibilité que moyenne mondiale.

Ce dispositif doit, par ailleurs, permettre la comptabilisation des demandes de brevet, auprès de l'Institut National de la propriété industrielle (INPI) et de l'Office européen des Brevets (OEB). Cet aspect, négligé par les classements internationaux, est pourtant essentiel pour juger des réalisations d'un établissement.

Votre rapporteur souhaite que la recherche ne soit pas jugée uniquement à l'aune du nombre de publications et de citations, comme dans les classements internationaux actuels, mais aussi au regard de la performance des établissements en termes de brevets et d'activités contractuelles.

Il souhaite, plus précisément, que soit davantage mis en lumière l'impact des établissements sur le développement territorial.

CONCLUSION

La Commission sur l'avenir de l'enseignement supérieur, mise en place aux États-Unis, a souligné en 2006 les lacunes de l'information sur le système d'enseignement supérieur américain. Elle a, ainsi, mis indirectement en évidence les inconvénients d'une prise en charge exclusivement privée de cette question et la nécessité d'une régulation publique, en accord avec les acteurs concernés, dans l'objectif d'instituer une « règle du jeu » acceptée.

Si la transparence de l'information sur l'enseignement supérieur est problématique aux États-Unis, elle l'est davantage encore en France, puisque notre pays ne dispose d'aucun système d'information harmonisé, d'origine publique ou privée, qui regrouperait l'ensemble des informations utiles aux étudiants, aux chercheurs, à l'ensemble des acteurs du monde universitaire ainsi qu'aux entreprises et aux pouvoirs publics.

Cette lacune crée des asymétries d'information préjudiciables : au plan national, elle nuit à l'allocation des ressources tant humaines que financières ; au plan international, elle freine la venue d'étudiants et de chercheurs en France, et affaiblit la visibilité de notre recherche. Ce défaut d'information contribue à focaliser l'attention sur des classements du type de celui de Shanghai qui, pour intéressants qu'ils soient, ne reflètent que partiellement et imparfaitement la réalité.

Des indicateurs existent, mais ils ne sont actuellement pas conçus dans une logique d'information du public. Ces indicateurs ne sont en général pas spécifiés par établissements. Ils relèvent davantage de l'évaluation des résultats du système d'enseignement supérieur et de recherche dans son ensemble que de l'évaluation d'établissements particuliers. C'est notamment le cas des indicateurs de performance de la Mission Recherche et Enseignement supérieur du budget de l'État.

La logique de performance doit néanmoins s'articuler à tous les niveaux décisionnels , ce qui implique de la décliner établissement par établissement, avec éventuellement des conséquences sur le financement, ainsi que l'a préconisé un rapport récent de nos collègues de la commission des Affaires culturelles et de la commission des Finances ^{76 ( * )} . Le mythe de l'uniformité doit être brisé , non pour établir des hiérarchies univoques, mais pour identifier les forces et faiblesses de chacun, et tirer ainsi l'ensemble du système vers le haut.

Cette logique de performance doit aussi être mise plus directement au service des citoyens. Le déficit actuel d'information pourrait être comblé, du moins au niveau français, dans des délais assez rapides et pour un coût minime, par une exploitation plus adéquate des moyens existants et, notamment, des travaux de l'AERES.

Pour ce faire, il conviendrait d'instituer un pilotage plus centralisé des indicateurs, sous l'égide de l'AERES, et de publier un certain nombre de données relatives à l'enseignement, à la recherche et à d'autres aspects de la vie universitaire, en mettant l'accent sur des aspects jusque là négligés, tels que la « valeur ajoutée » des établissements ou leur impact sur le développement territorial .

Une telle évolution constituerait une avancée appréciable, sur la voie du classement européen que la France appelle de ses voeux.

EXAMEN EN DÉLÉGATION

Au cours de sa réunion du mercredi 2 juillet 2008 , tenue sous la présidence de M. Joël Bourdin, président , la délégation pour la planification a procédé à l'examen du rapport d'information de M. Joël Bourdin, président, rapporteur, sur le défi des classements dans l'enseignement supérieur.

En préambule, M. Joël Bourdin, président, rapporteur , a rappelé que les classements internationaux d'universités étaient aujourd'hui pris en compte comme des outils légitimes d'évaluation, y compris au plus haut niveau, puisque le Président de la République avait fixé l'objectif de placer deux établissements parmi les vingt premiers mondiaux, et dix parmi les cent premiers et que Mme Valérie Pécresse, ministre de l'Enseignement supérieur et de la recherche, avait par ailleurs plusieurs fois réaffirmé son souhait de profiter de la présidence française de l'Union européenne pour jeter les bases d'un classement européen des établissements d'enseignement supérieur. Par conséquent, il paraissait utile d'examiner la pertinence de cet outil d'évaluation des performances de nos établissements.

Plus généralement, M. Joël Bourdin, président, rapporteur , a jugé que le mythe de l'uniformité des établissements d'enseignement avait empêché l'émergence en France d'une véritable réflexion de fond sur la mesure, et sur la publicité, des performances individuelles des établissements.

Remarquant que l'intérêt des classements internationaux d'universités tenait davantage à leur effet mobilisateur qu'à leur valeur intrinsèque très discutable, il a néanmoins jugé que d'un « mal » pourrait surgir un « bien » : le succès des classements est en effet le symptôme du défaut d'information existant dans notre pays sur les performances de l'enseignement supérieur. Or la transparence pourrait être considérablement améliorée, dans des délais assez rapides, sans attendre la production d'indicateurs harmonisés européens, ce qui permettrait à la France d'être exemplaire.

M. Joël Bourdin, président, rapporteur , a ensuite indiqué que son travail se fondait sur plusieurs auditions, notamment de dirigeants d'établissements, et sur trois séries de questionnaires transmis d'une part, à la Ministre de l'Enseignement supérieur et de la recherche, d'autre part, aux ambassades de France de huit pays partenaires, et enfin, à 106 dirigeants d'établissements d'enseignement supérieur français. Il a précisé que l'enquête menée auprès d'eux montrait notamment que les classements avait un réel impact.

S'agissant tout d'abord du succès des classements, M. Joël Bourdin, président, rapporteur , a considéré qu'il découlait de l'attention croissante accordée à la qualité de l'enseignement supérieur, dans un contexte de concurrence accrue. L'enseignement supérieur a, en effet, connu un essor sans précédent au cours des vingt dernières années. Cet essor est lié, d'une part, au rôle crucial de ce niveau d'éducation, comme générateur de croissance pour les pays qui sont déjà parvenus à un certain niveau de développement économique et, d'autre part, à la démocratisation de ce niveau d'éducation, qui fait désormais l'objet de fortes attentes sociales, étant perçu comme un droit. Le nombre d'étudiants inscrits dans les pays de l'OCDE est passé de 68 millions à 132 millions entre 1991 et 2004 et le taux d'obtention d'un diplôme de fin d'études tertiaires a fortement augmenté dans la plupart des pays : en France, ce taux est de 32 % des 25-34 ans, contre 26 % des 25-64 ans.

Enfin, la mobilité internationale des étudiants s'est considérablement accrue (+ 50 % entre 2000 et 2005), créant les conditions d'une concurrence entre établissements. La France est attractive puisqu'elle accueille 9 % des étudiants étrangers scolarisés dans le monde, ce qui lui confère une obligation de transparence.

Dans ce contexte, M. Joël Bourdin, président, rapporteur , a jugé qu'il n'était pas étonnant que l'évaluation soit devenue un enjeu majeur, ce qu'illustrait l'existence de plusieurs initiatives internationales tendant à promouvoir l'assurance qualité. En Europe, ce mouvement s'est inscrit dans le cadre du processus de Bologne et a conduit à la création d'un réseau européen pour l'assurance qualité dans l'enseignement supérieur (l'ENQA). Chez nos partenaires étrangers, de nombreuses réformes convergentes ont été mises en oeuvre, marquant l'émergence d'un modèle commun, également à l'oeuvre dans d'autres secteurs, qui est celui de la régulation par des agences indépendantes. En France, cette tendance s'est manifestée par la création de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES) en 2006.

S'agissant ensuite des méthodes et des principaux enseignements des classements, M. Joël Bourdin, président, rapporteur , a tout d'abord remarqué que ceux-ci étaient toujours le résultat de combinaisons subjectives d'indicateurs : loin d'être scientifiquement « neutres », ils reflètent des orientations de fond. Les principaux classements nationaux et internationaux ont d'ailleurs peu de points communs entre eux. Le classement qui a ouvert la voie aux autres est celui que publie l'U.S News and World Report pour les universités des États-Unis, depuis 1983. Ce classement se fonde sur de très nombreux indicateurs, tels que l'opinion des experts, la capacité des établissements à conserver leurs étudiants d'une année sur l'autre et leur « valeur ajoutée » en fonction des caractéristiques des étudiants, c'est-à-dire dire en tenant compte de leur niveau à l'entrée dans l'établissement. Ce classement est très critiqué, car sa méthodologie est changeante et il a été démontré que les données déclarées par les établissements étaient construites selon des méthodes variables, au détriment de leur comparabilité.

Quant au classement de Shanghai, apparu en 2003, M. Joël Bourdin, président, rapporteur , a noté qu'il était initialement conçu comme un outil qui servirait à situer les universités chinoises par rapport à leurs homologues internationales. Les indicateurs employés dans ce classement concernent uniquement la recherche. Il s'agit du nombre d'anciens étudiants et enseignants ayant reçu un prix Nobel ou la Médaille Fields, du nombre de chercheurs figurant parmi les « chercheurs les plus cités » d'après un classement établi par l'ISI (« Institut pour l'information scientifique » de l'entreprise Thomson-Reuters) et du nombre d'articles référencés au niveau international dans les périodiques reconnus pour leur qualité éditoriale. Enfin, un dernier indicateur pondère les performances en fonction de la taille de l'institution, mais son poids est marginal.

M. Joël Bourdin a indiqué qu'il existait d'autres classements internationaux dont les philosophies sont fondamentalement différentes. Le classement anglais du « Times Higher Education » prend en compte les opinions d'experts académiques et de recruteurs, et donc la réputation des établissements : cette méthode est controversée car la réputation est par essence subjective ; elle dépend des classements passés, ce qui crée des effets de rémanence ; et le résultat dépend beaucoup du choix d'experts invités à se prononcer, notamment de leur spécialités disciplinaires et de leur localisation géographique.

S'agissant du classement de l'École des Mines de Paris, M. Joël Bourdin, président, rapporteur , a précisé qu'il réagissait aux classements chinois et anglais en se fondant sur un indicateur unique : le nombre d'anciens étudiants figurant parmi les dirigeants exécutifs des 500 plus grandes entreprises mondiales par le chiffre d'affaires.

Enfin, M. Joël Bourdin, président, rapporteur , a indiqué l'existence de deux classements européens. L'un est établi par un think-tank allemand pour les programmes post-licence et l'autre est réalisé par l'université de Leiden au Pays-Bas, sur le fondement de critères bibliométriques.

M. Joël Bourdin, président, rapporteur , a ensuite mis en évidence la domination des universités anglo-américaines dans presque tous les classements. Elles occupent 19 des 20 premières places du classement de Shanghai, et 65 de ses 100 premières places. Les résultats français ne sont pas meilleurs dans le classement britannique du Times Higher Education, qui est assez favorable, pour sa part, aux universités du Royaume-Uni et à celles de la région Asie-Pacifique. Les résultats français sont plus inquiétants encore si l'on considère le classement de l'université de Leiden : en termes d'impact, c'est à dire de nombre moyen de citations par publication, corrigé en fonction des disciplines couvertes par l'université, aucune université française ne figure parmi les 50 premières européennes. Seul le classement des Mines est favorable aux établissements français, avec 5 « grandes écoles » dans les 10 premières places. M. Joël Bourdin a toutefois observé que ce résultat était obtenu au prix de l'absence de tout critère relatif à la recherche, ce qui suggérait que le fossé existant entre grandes écoles et universités était l'une des causes des faiblesses de notre recherche, en orientant directement les étudiants vers les entreprises.

Traitant des enseignements des classements, M. Joël Bourdin, président, rapporteur , a présenté les résultats d'une étude de l'institut européen Bruegel, d'après laquelle les pays réussissant dans le classement de Shanghai sont ceux où des moyens financiers conséquents se conjuguent à une gouvernance autonome des établissements, s'agissant notamment de la gestion budgétaire et des ressources humaines. En augmentant les moyens alloués à l'enseignement supérieur, et en réformant son système universitaire, la France tend donc à s'aligner sur le modèle promu par les classements, qui ont ainsi un incontestable effet mobilisateur.

Joël Bourdin, président, rapporteur , a néanmoins estimé que l'impact des classements était excessif, compte tenu de leur caractère imparfait. Cet impact est démontré, notamment aux Etats-Unis et au Royaume-uni, par plusieurs travaux. L'enquête réalisée, dans le cadre du présent rapport, auprès des dirigeants d'établissements français, a permis de l'évaluer en France. Cette enquête établit notamment que 71 % des chefs d'établissement jugent le classement de Shanghai utile et que 83 % ont pris des mesures concrètes destinées à améliorer leur rang dans les classements internationaux. Il a indiqué que l'enquête avait aussi porté sur l'évaluation par les étudiants : ainsi, une majorité d'établissements déclare faire évaluer par les étudiants, sur une base harmonisée à l'intérieur de l'établissement, les enseignements et les formations. Mais seule une minorité procède à une telle évaluation pour d'autres aspects de la vie universitaire (vie étudiante, bibliothèque, aide à l'insertion professionnelle...). Enfin, l'enquête a porté sur le suivi du devenir professionnel des étudiants, montrant qu'il ne concernait chaque formation que dans 58 % des établissements, et que sa périodicité et son format étaient très variables. M. Joël Bourdin, président, rapporteur , a préconisé d'instaurer davantage de cohérence dans les pratiques des établissements, afin de pouvoir comparer des données comparables.

Estimant qu'il n'était pas satisfaisant d'accepter des règles fixées de façon exogène, M. Joël Bourdin, président, rapporteur , a jugé utile de contourner les pièges des classements. Il a relevé que la critique des classements portait, d'une part, sur la légitimité de la mesure, et, d'autre part, sur la pertinence de la méthode. Le rôle central de la bibliométrie dans les classements actuels est problématique en raison des lacunes des bases de données utilisées, notamment dans le domaine des sciences humaines et sociales, et de la focalisation sur le nombre d'articles et de citations, au détriment des autres débouchés de la recherche (brevets notamment) et de toute considération de l'enseignement. M. Joël Bourdin, président, rapporteur , a ajouté que l'utilisation de la bibliométrie impliquait, à tout le moins, de pondérer les résultats d'un établissement en fonction du nombre d'enseignants-chercheurs, et de corriger les résultats obtenus en fonction des disciplines couvertes, car les pratiques de publication et de citation varient considérablement selon les champs de recherche. S'agissant de la bibliométrie, il a indiqué qu'il fallait conserver à l'esprit que la statistique générale d'un établissement pouvait être significativement modifiée, d'une année sur l'autre, en fonction de la présence ou de l'absence d'un seul chercheur et que les bases de données utilisées avaient un caractère commercial, étant construites par des éditeurs, ou par des entreprises ayant des relations avec les éditeurs, ce qui devrait être plus clairement affiché et assumé.

Dans l'objectif de contourner les pièges des classements, M. Joël Bourdin, président, rapporteur , a préconisé que la transparence du système d'enseignement supérieur français soit considérablement améliorée, dans des délais assez rapides, sans attendre la production d'indicateurs harmonisés européens. Les intérêts en cause, et les risques de dérives, justifient, à ses yeux, de confier cette tâche à un organe de régulation public, tel que l'Agence d'évaluation de la Recherche et de l'enseignement supérieur (AERES). De nombreux indicateurs existent, notamment dans le cadre des contrats entre État et établissements. M. Joël Bourdin, président, rapporteur , a estimé qu'ils mériteraient d'être exploités au service du public. Ces indicateurs sont relatifs à la formation (taux de réussite et d'abandon) et à la recherche (publications, citations, participation aux projets de l'Agence nationale de la recherche et à ceux des programmes-cadres européens). La part de l'établissement dans les brevets déposés en France et en Europe devrait également être comptabilisée, cet aspect étant négligé par les classements existants.

M. Joël Bourdin, président, rapporteur , a estimé que d'autres indicateurs devraient être construits et publiés : d'une part, des indicateurs harmonisés concernant la satisfaction des étudiants et leur devenir professionnel, et d'autre part, des indicateurs bibliométriques améliorés tels que ceux actuellement expérimentés par l'Observatoire des Sciences et Techniques (OST). Enfin, il a jugé qu'il faudrait évaluer la « valeur ajoutée » des établissements en fonction des caractéristiques de ses étudiants, et souhaité que soit mis en lumière l'impact des établissements sur le développement territorial.

M. Joël Bourdin, président, rapporteur , s'est ainsi déclaré favorable à l'élaboration d'un véritable système d'information, suggérant, pour y parvenir, de mettre à disposition de l'agence d'évaluation les services producteurs d'indicateurs, ce qui ne ferait, au demeurant, que poursuivre la logique ayant abouti à la mise en place d'une évaluation indépendante. Cette évolution devrait permettre de mettre les indicateurs à la disposition du public, dans des délais rapides, par exemple sous la forme d'un portail Internet fournissant des données comparables entre établissements et permettant des classements « à la carte », en fonction des priorités de chacun.

Enfin, M. Joël Bourdin, président, rapporteur , a déclaré que le mythe de l'uniformité devait être brisé, non pour établir des hiérarchies univoques, mais pour identifier les forces et faiblesses de chacun et tirer l'ensemble du système vers le haut.

Un débat s'est ensuite instauré.

M. Yves Fréville a approuvé l'existence de classements explicites, dans la mesure où, même s'ils étaient critiquables, ils valaient mieux que les classements « implicites » connus des seuls spécialistes. Rappelant les trois fonctions exercées, selon lui, par les universités (enseignement, recherche et formation professionnelle), il a souligné que les classements mettaient exclusivement en valeur la recherche, car les grands établissements étrangers formaient par le biais de cette activité, ce qui n'était pas le cas des grandes écoles françaises. De ce fait, il a estimé que la France aurait, en tout état de cause, des difficultés à apparaître dans les classements, en raison aussi du fait que les universités ne formaient pas des ensembles cohérents, ce qui était le résultat de l'histoire. Il s'est, par ailleurs, inquiété de l'influence des indicateurs bibliométriques, notamment des citations, sur les stratégies des acteurs, craignant des effets d'auto-promotion à l'intérieur des établissements. Néanmoins, il a jugé que les classements constituaient des outils utiles aux pouvoirs publics, y compris pour le financement des universités, ainsi qu'aux élus locaux et aux étudiants.

En réponse, M. Joël Bourdin s'est déclaré favorable à des classements par disciplines, et non par établissements, en sorte de comparer des blocs homogènes. S'agissant de l'utilité des indicateurs de performance pour le financement des universités, il a approuvé les orientations du récent rapport d'information de la commission des affaires culturelles et de la commission des finances, « pour un Système de Répartition des Moyens à l'Activité et à la Performance ».

M. Joseph Kergueris a considéré que la vertu des classements avait été d'amorcer un débat sur la mesure de la performance. Il s'est déclaré favorable à une typologie des établissements d'enseignement supérieur, c'est-à-dire à une réflexion sur leurs objectifs et sur les moyens mis en oeuvre.

M. Joël Bourdin a indiqué que cette question de la typologie des établissements était développée dans le rapport. Il a préconisé l'établissement d'une classification européenne.

M. Claude Saunier a remarqué la parution simultanée de plusieurs rapports ayant directement ou indirectement pour objet de mettre en évidence les moyens de faire de notre système d'enseignement supérieur un instrument de croissance. Il a posé la question de la finalité de l'enseignement supérieur et de la place que la société voulait lui donner pour la promotion sociale et pour le développement du réseau des PME.

M. Yves Fréville a ajouté que la notion de hiérarchie était insuffisante pour comprendre la totalité des enjeux de l'enseignement supérieur.

En réponse, M. Joël Bourdin a souligné que les classements étaient utiles à de multiples acteurs, dont les objectifs étaient variés, et que, pour cette raison, le rapport ne se prononçait pas pour des classements univoques mais pour des hiérarchies différenciées en fonction des objectifs considérés.

La délégation a alors donné un avis favorable unanime à la publication du rapport d'information sur le défi des classements dans l'enseignement supérieur, de M. Joël Bourdin, président, rapporteur.

LISTE DES PERSONNES AUDITIONNEES

Votre rapporteur tient à remercier pour leur contribution :

• M. Richard DESCOINGS, Directeur, et M. Michel GARDETTE, Directeur des ressources humaines de Sciences Po Paris ;

• M. Jean-François DHAINAUT, Président de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES) ;

• Mme Ghislaine FILLIATREAU, Directrice de l'Observatoire des Sciences et Techniques (OST) ;

• M. Benoît LEGAIT, Directeur de l'École des mines de Paris ;

• M. Jean-Charles POMEROL, Président de l'Université Pierre et Marie Curie ;

• M. Jean-Philippe de SAINT-MARTIN, Directeur adjoint du Cabinet de Mme la Ministre de l'enseignement supérieur et de la recherche ;

• M. Richard YELLAND, Chef de la division de la gestion et des infrastructures dans l'enseignement, Direction de l'Education, OCDE ;

ainsi que, pour leur aimable coopération :

• les dirigeants d'universités et de grandes écoles ayant répondu à l'enquête menée auprès d'eux ;

• les services des Ambassades de France à l'étranger sollicités pour établir des comparaisons internationales (Allemagne, Belgique, Canada et Québec, Chine, Espagne, Etats-Unis, Italie, Japon, Royaume-Uni).

ANNEXE 1 - ENQUÊTE RÉALISÉE AUPRÈS DES ÉTABLISSEMENTS D'ENSEIGNEMENT SUPÉRIEUR FRANÇAIS

Votre rapporteur a adressé à 106 dirigeants d'établissements d'enseignement supérieur français un questionnaire visant à recueillir leur sentiment sur les classements internationaux.

Ce questionnaire portait également sur l'évaluation des enseignements par les étudiants, sur le suivi du devenir professionnel des anciens étudiants et sur l' « Université numérique ».

L'enquête a porté sur 84 universités et 22 « grandes écoles » . Le panel des écoles a été choisi en sorte de représenter de façon équilibrée différents statuts et différentes disciplines (sciences, sciences humaines, sciences sociales, sciences politiques, commerce et gestion).

79 réponses ont été reçues, soit un taux de réponse de 75 % , témoignant de l'intérêt des établissements interrogés pour les questions de l'évaluation et des classements.

I. LES CLASSEMENTS INTERNATIONAUX

Quelle est votre opinion générale sur l'utilité du classement de Shanghai ?

Connaissez-vous votre place dans ce classement ?

Avez-vous pour objectif explicite d'améliorer votre rang dans le classement de Shanghai ?

Connaissez-vous les indicateurs et le classement du « Times Higher Education » ?

Avez-vous pris des mesures concrètes destinées à améliorer votre rang dans les classements internationaux ?

II. L'ÉVALUATION DES ENSEIGNEMENTS PAR LES ÉTUDIANTS

Quels sont les services faisant l'objet d'une évaluation par les étudiants, sur une base harmonisée au niveau de l'université ?

Établissements déclarant évaluer sur une base harmonisée (en %)

Les étudiants peuvent-ils accéder aux résultats de ces évaluations ?

III. LE SUIVI DU DEVENIR PROFESSIONNEL DES ÉTUDIANTS

Des enquêtes de suivi du devenir professionnel des étudiants sont-elles réalisées ?

Les étudiants peuvent-ils accéder aux résultats de ces enquêtes sur le devenir professionnel ?

IV. L' « UNIVERSITÉ NUMÉRIQUE »

Cette partie du questionnaire ne porte pas sur l'évaluation. Elle avait pour objet de faire suite au rapport de la mission « université numérique » ^{77 ( * )} .

Les locaux de l'établissement sont-ils couverts par le wi-fi ?

Quel pourcentage des cours fait l'objet de ressources pédagogiques en ligne ?

ANNEXE 2 - LA DÉPENSE EN FAVEUR DE L'ENSEIGNEMENT SUPÉRIEUR : PRINCIPAUX INDICATEURS DE L'OCDE

Les principaux indicateurs relatifs à la dépense en faveur de l'enseignement supérieur portent, d'une part, sur la proportion de la richesse nationale qui y est consacrée et, d'autre part, sur la dépense par étudiant.

La France se situe en position moyenne au regard de chacune de ces mesures.

I. LA DÉPENSE EN PROPORTION DU PIB

Les dépenses en faveur de l'enseignement tertiaire représentent 1,9 % du PIB cumulé total de l'OCDE. En moyenne, elles représentent 1,4 % du PIB dans chaque pays ^{78 ( * )} .

La France se situe au niveau moyen de ses partenaires de l'UE-19 : elle dépense 1,3 % de son PIB au titre de ses établissements d'enseignement supérieur. Mais l'Europe se situe, dans son ensemble, bien en deçà des États-Unis , qui dépensent 2,9 % de leur PIB en faveur de l'enseignement supérieur.

La part de financement privé est très variable selon les pays : environ deux tiers de la dépense aux États-Unis et au Japon, la moitié en Australie, contre 28 % en moyenne dans l'OCDE .

En Europe, la part de financement privé est plus faible (de l'ordre de 15 %). Elle est notamment marginale en France, en Allemagne et en Suède.

DÉPENSES AU TITRE DES ÉTABLISSEMENTS D'ENSEIGNEMENT TERTIAIRE
EN POURCENTAGE DU PIB (2004)

% PIB

DÉPENSES AU TITRE DES ÉTABLISSEMENTS D'ENSEIGNEMENT TERTIAIRE
RÉPARTITION SELON LA PROVENANCE DU FINANCEMENT

% PIB

Source : OCDE

En tendance, bien qu'un certain nombre de données soient indisponibles pour la France, on peut néanmoins y remarquer une stagnation de la dépense en faveur de l'enseignement supérieur entre 2000 et 2002 .

Plus généralement, au cours des années récentes, la dépense en faveur de l'enseignement supérieur est sur une pente moins ascendante en Europe qu'aux États-Unis. Ce rythme, s'il se poursuivait, tendrait à accroître l'écart entre les deux continents.

En dehors des États-Unis, d'autres pays ont fortement investi dans l'enseignement tertiaire (par exemple, la Suisse). En revanche, un certain nombre connaissent une dépense beaucoup moins dynamique (France, Allemagne, Royaume-Uni).

VARIATION DES DÉPENSES AU TITRE DES ÉTABLISSEMENTS D'ENSEIGNEMENT TERTIAIRE ^{79 ( * )}

France : données manquantes en 2003 et 2004-Allemagne : données manquantes de 2000 à 2002.

Suisse : dépenses publiques uniquement

Source : OCDE

II. LA DÉPENSE PAR ÉTUDIANT

Le montant des dépenses par étudiant donne un autre aperçu de l'investissement total, public et privé, consenti dans un pays donné, en faveur de l'enseignement supérieur ^{80 ( * )} . Ce montant dépend essentiellement du salaire des enseignants, des effectifs du personnel, du temps d'instruction et d'enseignement, des infrastructures scolaires et du matériel pédagogique et de l'éventail de programmes d'études proposés.

Avec une dépense moyenne annuelle de 10.700 USD par étudiant, la France se situe dans une position relativement médiocre au sein de l'OCDE (11.100 USD par étudiant) et de l'UE-19 (10.200 USD par étudiant). Les États-Unis dépensent, quant à eux, chaque année, 22.500 USD par étudiant soit plus de deux fois plus que dans l'Union européenne .

DÉPENSES ANNUELLES TOTALES PAR ÉTUDIANT AU TITRE DES ÉTABLISSEMENTS D'ENSEIGNEMENT SUPÉRIEUR (2004) ^{81 ( * )}

USD

Source : OCDE

Par rapport à ses partenaires de l'OCDE, la France accorde relativement plus d'importance au niveau secondaire qu'au niveau tertiaire d'enseignement :

- les pays de l'OCDE dépensent, en moyenne annuelle, 1,5 fois plus pour l'enseignement tertiaire que pour l'enseignement secondaire ;

- la France dépense, quant à elle, 1,2 fois plus en faveur de l'enseignement tertiaire qu'en faveur de l'enseignement secondaire.

DÉPENSES ANNUELLES PAR ÉLÈVE/ÉTUDIANT AU TITRE DES ÉTABLISSEMENTS D'ENSEIGNEMENT, DE L'ENSEIGNEMENT PRIMAIRE AU TERTIAIRE (2004)

USD

Note : dépenses annuelles totales publiques et privées, incluant les dépenses au titre des services éducatifs, des services auxiliaires et de la R&D, exprimées en équivalents USD convertis sur la base des parités de pouvoir d'achat (PPA).

Source : OCDE

Le diagnostic n'est pas modifié si l'on prend en compte la durée cumulée des études tertiaires. Sur cette durée cumulée, la France dépense 42.900 USD par étudiant, contre 44.400 USD en moyenne dans l'OCDE et, par exemple, 79.600 USD en Suisse et 65.700 USD en Allemagne (la donnée est manquante pour les États-Unis).

Dans le cas de l'Allemagne, des dépenses annuelles faibles se traduisent par un coût global de l'enseignement tertiaire néanmoins élevé, en raison d'une durée moyenne d'études relativement longue (5,4 ans, contre 4 ans en France). La Suisse est au contraire un pays où la dépense annuelle est forte mais où la durée moyenne des études est relativement faible (3,6 ans).

DÉPENSES TOTALES PAR ÉTUDIANT AU TITRE DES ÉTABLISSEMENTS D'ENSEIGNEMENT SUPÉRIEUR CUMULÉES SUR LA DURÉE MOYENNE DES ÉTUDES TERTIAIRES (2004) ^{82 ( * )}

USD

Source : OCDE

* ¹ « L'évaluation pédagogique des enseignants » d'Alain Lancelot (1995) ; « L'évaluation de la qualité d'un enseignement supérieur » de M. Gomel (1996) ; « Evaluation et auto-évaluation des universités en Europe » de P. Dubois (1998), « Des universitaires mieux évalués, des universités plus responsables » d'Yves Fréville (2001), « L'évaluation de l'enseignement dans les universités françaises » de J.Dejean (2002).

* ² Ces indicateurs sont : le taux de réussite au baccalauréat, le taux d'accès au baccalauréat, la proportion de bacheliers parmi les sortants. Ces taux sont comparés aux taux « attendus » en fonction des caractéristiques des élèves, ce qui permet de mettre en évidence les apports réels ou la « valeur ajoutée » d'un lycée.

* ³ Objectif figurant dans la lettre de mission, en date du 5 juillet 2007, de M. Nicolas Sarkozy, président de la République, à Mme Valérie Pécresse, ministre de l'Enseignement supérieur et de la recherche. Cet objectif fut réitéré par Mme Valérie Pécresse lors de son audition par la commission des affaires culturelles du Sénat le 6 novembre 2007.

* ⁴ Il va de soi que, dans une perspective économique, tous les niveaux d'enseignement comptent.

* ⁵ Ouvrage d'Emmanuel Davidenkoff et Sylvain Kahn (Hachette Littératures, 2006).

* ⁶ Aghion. P, Cohen E, Education et croissance (rapport du Conseil d'analyse économique, n° 46, 2004)

* ⁷ Acemoglu D, Aghion P, Zilibotti F, Distance to frontier, selection and economic growth (NBER Working paper, 2002) ; Vandenbussche J, Aghion P, Meghir C, Growth, Distance to frontier and composition of human capital (CEPR Discussion paper, 2005)

* ⁸ Aghion, P, Cette G, Cohen E. et Pisani-Ferry J., Les leviers de la croissance française (rapport du Conseil d'analyse économique, n° 72, 2007).

* ⁹ La productivité globale des facteurs est le « résidu » de croissance non expliqué par l'accroissement des facteurs de production.

* ¹⁰ Estimation réalisée sur un panel de 17 pays de l'OCDE sur la période 1985-2003.

* ¹¹ Jan Sadlak, Directeur du Centre européen pour l'enseignement supérieur (CEPES) de l'UNESCO, lors de la Conférence sur les enjeux des classements universitaires (Université de Leiden, 16 février 2006).

* ¹² Regards sur l'éducation, OCDE (2007)

* ¹³ Romina Boarini, Hubert Strauss (2007), «The private internal rates of return to tertiary education : new estimates for 21 OEDC countries», OECD Economics Department Working Papers, N° 591.

* ¹⁴ Notamment : McMahon, W.W (2004), «The social and external benefits of education» in G. Johnes and J. Johnes (es), International handbook on the economics of education, cité dans «Tertiary education for the knowledge society», OECD thematic review of tertiary education (2008).

* ¹⁵ Indicateur rendant compte des réponses des élèves de 15 ans à une question soumise lors du cycle PISA 2003 de l'OCDE sur le niveau de formation qu'ils comptent atteindre.

* ¹⁶ Source : Tertiary education for the knowledge society, op.cit.

* ¹⁷ Voir l'annexe 2 au présent rapport.

* ¹⁸ Burla, S. (2005), La qualité comme processus de régulation de tensions : l'approche de l'Université de Lausanne, Actes du 24ème congrès de l'AIPU, Genève, cité par Dejean, J « Les démarches qualité dans l'enseignement supérieur, entre évaluation et contrôle » in Heldenbergh, A.(dir.) Les démarches qualité dans l'enseignement supérieur en Europe, L'Harmattan (2007).

* ¹⁹ International Network for Quality Assurance Agencies in Higher Education.

* ²⁰ Global Initiative for Quality Assurance Capacity (2007).

* ²¹ Programme international pour le suivi des acquis des élèves.

* ²² Une conférence sur le thème de «la qualité, la pertinence et l'impact de l'enseignement supérieur » est prévue à Paris en octobre 2008.

* ²³ International rankings expert group

* ²⁴ Association européenne des universités

* ²⁵ Union des étudiants de l'Europe

* ²⁶ Association européenne des institutions d'enseignement supérieur

* ²⁷ Centre européen pour l'enseignement supérieur de l'UNESCO

* ²⁸ Réseau européen d'assurance qualité

* ²⁹ Internationale de l'éducation

* ³⁰ Union des confédérations de l'industrie et des employeurs d'Europe (BusinessEurope)

* ³¹ Londres (2007), Bergen (2005), Berlin (2003), Prague (2001) et Bologne (1999)

* ³² Système européen de transfert et d'accumulation de crédits d'études initié en 1989 dans le cadre du programme communautaire Erasmus et généralisé par le processus de Bologne

* ³³ Loi de programme n° 2006-450 du 18 avril 2006 pour la recherche.

* ³⁴ Loi n° 2007-1199 du 10 août 2007 relative aux libertés et responsabilités des universités.

* ³⁵ Article 20 de la loi précitée du 10 août 2007 (complétant l'article L. 612-1 du code de l'éducation).

* ³⁶ Ce questionnaire abordait aussi la question des classements et de leur impact dans chaque pays.

* ³⁷ Angleterre, Pays de Galles, Ecosse, Irlande du nord. Il existe un HEFC par région. La recherche est également financée sur projets par des agences de moyens.

* ³⁸ Agenzia nazionale di valutazione del sistema universitario e della ricerca (ANVUR) dont les règles de fontionnement sont fixées par le décret du président de la République (DPR) du 21 février 2008.

* ³⁹ Interview de Fabio Mussi, alors ministre de l'Université et de la Recherche (Europa, 15 février 2007).

* ⁴⁰ Agencia nacional de evaluación de la calidad y acreditación.

* ⁴¹ Ministère de l'éducation, de la culture, des sports, de la science et de la technologie

* ⁴² National Institution for Academic Degrees and University Evaluation

* ⁴³ Comme en atteste l'emploi, en anglais, du terme « league tables ».

* ⁴⁴ Academic ranking of world universities (ARWU)

* ⁴⁵ Source : Ambassade de France en Chine

* ⁴⁶ L'ISI est issu de Thomson Scientific, qui appartient à Thomson-Reuters (leader mondial dans le domaine de l'information). L'ISI Web of knowledge ( http://www.isiwebofknowledge.com/ ) est le spécialiste international du référencement des publications dans le domaine de la recherche.

* ⁴⁷ Classement du Times Higher Education en collaboration avec Quacquarelli Symonds.

* ⁴⁸ Anciennement Times Higher Education Supplement (THES).

* ⁴⁹ La méthode et les résultats de ce classement sont détaillés sur le site Internet : http://www.ensmp.fr/Actualites/PR/defclassementEMP.html

* ⁵⁰ Academic Ranking of World Universities by Broad Subject Fields (ARWU - FIELD)

* ⁵¹ On notera, s'agissant de ce classement webometrics, que la première université française - l'Université Pierre et Marie Curie - occupe la 125 ^ème place, la France ne se plaçant qu'à la 17 ^ème place du classement par pays.

* ⁵² Le Centrum für Hochschulentwicklung (CHE) est un think-tank allemand, fondé en 1994. Indépendant, il est spécialisé dans l'enseignement supérieur.

* ⁵³ Projet ASSIST (Analysis and Studies of Statistics and Indicators on Science and Technology).

* ⁵⁴ En gras, entre parenthèses, figure le rang de l'Université dans le classement considéré. Dans le classement de Shanghai, les rangs sont indiqués par tranches de 50 ou 100 places, à compter de la 100 ^ème place.

* ⁵⁵ Nombre de publications couvertes par la banque de données de l'Institute for Scientific Information (ISI) de Thomson Scientific, sur la période 1997-2004.

* ⁵⁶ Nombre moyen de citations par publication (hors auto-citations) divisé par la moyenne mondiale pour les disciplines couvertes par l'Université. Lorsque l'indicateur est égal à 1, le nombre moyen de citations par publication est égal à la moyenne mondiale dans les disciplines considérées. Lorsque l'indicateur est supérieur à 1, le nombre moyen de citations par publication est supérieur à la moyenne mondiale ; inversement, lorsque l'indicateur est inférieur à 1, il est inférieur à la moyenne mondiale.

* ⁵⁷ En gras, entre parenthèses, figure le rang de l'Université dans ce classement européen.

* ⁵⁸ L'indicateur retenu pour ce classement est le nombre des anciens étudiants parmi les dirigeants exécutifs des 500 plus grandes entreprises mondiales (en termes de chiffre d'affaires) cf ci-dessus.

* ⁵⁹ Aghion. P, Dewatripont. M, Hoxby. C, Mas-Colell. A et Sapir.A, Why reform Europe's universities ?, Bruegel policy brief (septembre 2007).

* ⁶⁰ Voir l'annexe 2 au présent rapport, qui détaille l'ensemble des indicateurs relatifs à la dépense en faveur de l'enseignement supérieur dans les pays de l'OCDE.

* ⁶¹ Le pouvoir de nomination des enseignants-chercheurs appartient en effet au ministre, sur proposition du conseil d'administration. Celui-ci se prononce au vu de l'avis motivé d'un comité de sélection composé pour moitié au moins de personnes extérieures à l'établissement.

* ⁶² Le financement des universités : pour un Système de Répartition des Moyens à l'Activité et à la Performance (SYMPA), rapport d'information n° 382 (2007-2008) de MM. Philippe Adnot, Jean-Léonce Dupont, Christian Gaudin, Serge Lagauche, Gérard Longuet et Philippe Richert, au nom de la commission des affaires culturelles et de la commission des finances.

* ⁶³ Système analytique de Répartition des Moyens, introduit en 1994.

* ⁶⁴ Aghion, P, Cette G, Cohen E. et Pisani-Ferry J., Les leviers de la croissance française (rapport du Conseil d'analyse économique, n° 72, 2007).

* ⁶⁵ « L'Université Paris 1 Panthéon-Sorbonne et l'IAE de Paris » (Rapport d'évaluation du CNE, juillet 2005).

* ⁶⁶ « L'Université Paris 6 Pierre et Marie Curie » (Rapport d'évaluation du CNE, janvier 2006).

* ⁶⁷ Compte rendu du colloque organisé par le CNE : « De Berlin à Bergen, nouveaux enjeux de l'évaluation » (2004) in « Nouveaux espaces pour l'Université », rapport du CNE au Président de la République (2000-2004).

* ⁶⁸ Hazelkorn, E, Higher education management and policy, OCDE (2007)

* ⁶⁹ Études citées dans : Dill D, Soo M, «Academic quality, league tables, and public policy : a cross-national analysis of university ranking systems» in Higher Education, 2005, 49

* ⁷⁰ Un établissement peut, par exemple, assouplir les conditions de diplôme requises pour être candidat à l'admission, ce qui incite à un plus grand nombre de candidatures, accroissant artificiellement la sélectivité de l'établissement (voir Dill D, Soo M, Academic quality, league tables, and public policy : a cross-national analysis of university ranking systems in Higher Education, 2005, 49).

* ⁷¹ Nombre moyen de citations par publication, divisé par la moyenne mondiale pour les disciplines couvertes par l'université.

* ⁷² Academic ranking of world universities by broad subject fields.

* ⁷³ « A test for leadership : charting the future of U.S Higher Education », Rapport de la Commission sur l'avenir de l'enseignement supérieur nommée par Mme Margaret Spellings, Secrétaire à l'Éducation (septembre 2006).

* ⁷⁴ Ce projet, baptisé « Voluntary System of Accountability », est dirigé par l'American Association of State colleges and universities (AASCU) et par la National Association of State Universities and land grant colleges (NASULGC). Il concerne 600 universités publiques, enrôlant 7,5 millions d'étudiants.

* ⁷⁵ « Repères pour l'évaluation des établissements d'enseignement supérieur (AERES, 15 juin 2007)

* ⁷⁶ Le financement des universités : pour un Système de Répartition des Moyens à l'Activité et à la Performance (SYMPA), rapport d'information précité n° 382 (2007-2008) de MM. Philippe Adnot, Jean-Léonce Dupont, Christian Gaudin, Serge Lagauche, Gérard Longuet et Philippe Richert, au nom de la commission des affaires culturelles et de la commission des finances.

* ⁷⁷ Rapport de la mission présidée par M. Henri Isaac, Maître de conférences à l'Université Paris Dauphine, remis à Mme Valérie Pécresse, ministre de l'enseignement supérieur et de la recherche, le 11 janvier 2008.

* ⁷⁸ L'écart entre ces deux chiffres est dû au fait que les pays au PIB élevé sont ceux qui consacrent la plus grande part de leur richesse nationale à l'enseignement supérieur.

* ⁷⁹ Indice de variation entre 1995 et 2004 des dépenses publiques et privées au titre des établissements d'enseignement tertiaire (Déflateur du PIB 1995 = 100, prix constants).

* ⁸⁰ Cet indicateur n'inclut pas les subventions publiques destinées à financer les frais de subsistance des élèves et des étudiants, afin d'assurer la comparabilité des données entre pays.

* ⁸¹ Dépenses annuelles totales publiques et privées, incluant les dépenses au titre des services éducatifs, des services auxiliaires et de la R&D, exprimées en équivalents USD convertis sur la base des parités de pouvoir d'achat (PPA).

* ⁸² Dépenses unitaires annuelles multipliées par la durée moyenne des études tertiaires, en équivalents USD convertis sur la base des PPA. États-Unis : donnée manquante.