B. COMMENT CONTOURNER LES PIÈGES DES CLASSEMENTS
1. Les pièges des classements
a) Une évaluation de portée limitée
Les limites des classements d'universités sont inhérentes à leur logique même, consistant à mesurer la qualité par des indicateurs quantitatifs. Cet exercice, d'autant plus lisible qu'il est moins exhaustif , comporte des limites certaines.
La critique des classements internationaux porte sur la légitimité de la mesure et sur la pertinence de la méthode.
(1) La légitimité de la mesure
Chaque classement possède ses propres limites : reposant sur un nombre limité d'indicateurs, un classement particulier ne donne par nature d'information que sur la réalisation d'un nombre limité d'objectifs.
Une première question est de savoir si les indicateurs choisis se rapportent à des objectifs clairement identifiés comme étant ceux que la société assigne prioritairement à l'enseignement supérieur. De ce point de vue, les classements privilégient les indicateurs relatifs à la recherche. Or dans quelle mesure est-il intéressant, pour les étudiants et futurs étudiants, de savoir où sont les chercheurs les plus cités, et ceux qui obtiennent des prix Nobel ? Se focaliser sur ce type d'indicateurs ne risque-t-il pas de détourner les universités de leur mission d'enseignement, notamment dans les premières années d'études ? Les objectifs peuvent être différenciés en fonction des établissements, en sorte que des classements uniformes ne rendent pas justice à tous.
Une autre question est de savoir si les indicateurs choisis rendent véritablement compte de la valeur ajoutée des établissements : ne dépendent-ils pas plutôt des caractéristiques des étudiants, c'est-à-dire de leur niveau académique à l'entrée et de leurs origines géographiques et sociales ? Ou ne reflètent-ils pas simplement la taille de l'établissement , plutôt que de sa productivité ? Dans le cas du classement de Shanghai, qui ne tient que très marginalement compte de la taille de l'établissement, les grosses institutions sont clairement avantagées.
(2) La pertinence de la méthode
Les méthodes de mesure utilisées dans les classements sont problématiques à plusieurs niveaux.
- Les mesures et pondérations choisies ne font l'objet d'aucune justification théorique. Les utilisateurs des classements sont invités à partager des choix dont ils ne sont pas toujours bien informés. De façon générale, la légitimité des indicateurs synthétiques est incertaine, d'une part parce qu'ils agrègent des données disparates, et d'autre part, parce qu'ils résultent de choix qui placent en fait l'observateur supposé en situation d'acteur.
- La source des indicateurs est problématique, dans le cas de données déclarées par les universités elles-mêmes. Des études menées aux États-Unis ont montré que ces données étaient l'objet de manipulations, ou que certaines règles étaient modifiées par les universités en sorte d'améliorer artificiellement leur place dans les classements 70 ( * ) .
- Les indicateurs choisis ont parfois un caractère indirect (utilisation de « proxies »). Ainsi par exemple, que mesurent, en réalité, les enquêtes de réputation telles que celles effectuées dans le cadre du classement du Times (TH-QS) ? Mesurent-elles la sélectivité de l'établissement, la qualité de sa recherche, son prestige historique ? Ces mesures créent des effets de rémanence, car la réputation d'un établissement dépend en partie des classements passés.
- Les indicateurs retenus sont liés entre eux , en sorte que la dimension « multicritères » du classement est en partie superficielle. Dans le cas du classement de Shanghai, les critères bibliométriques se chevauchent (« nombre d'articles référencés au niveau international » et « nombre d'articles publiés dans les revues « Science » et « Nature » » par exemple) ou recoupent indirectement d'autres critères comme l'obtention de distinctions académiques (prix Nobel, médailles Fields). Dans le cas du classement du TH-QS, la réputation dépend aussi de ce qui est mesuré par les autres indicateurs employés, en sorte que les mêmes éléments sont pris en compte plusieurs fois pour la réalisation d'un classement, dans une mesure qu'il est difficile d'évaluer.
- Enfin, les écarts statistiques ne sont pas toujours suffisamment significatifs pour qu'un classement établissement par établissement, par ordre décroissant de performance soit réellement pertinent. Le classement de Shanghai s'effectue d'ailleurs par tranche de 50 puis de 100 établissements, à compter du 100 ème établissement. Or les écarts sont-ils vraiment plus significatifs avant qu'après la centième place ?
* 70 Un établissement peut, par exemple, assouplir les conditions de diplôme requises pour être candidat à l'admission, ce qui incite à un plus grand nombre de candidatures, accroissant artificiellement la sélectivité de l'établissement (voir Dill D, Soo M, Academic quality, league tables, and public policy : a cross-national analysis of university ranking systems in Higher Education, 2005, 49).