Oublier Shanghaï, blog Evaluation de la recherche en SHS, 3 octobre 2010

La publication du classement de Shanghaï fait désormais partie des rites annuels du cœur de l’été, juste avant qu’on nous parle de la rentrée littéraire, et bien avant qu’il soit question du Beaujolais Nouveau. Les articles passent et se ressemblent. Les plus informés en matière de classement universitaire publient quelque temps après (cette fois la rentrée littéraire est bien passée) le classement du Times Higher Education. La problématique est identique : il s’agit de savoir si l’on est ici ou là (Ce dernier article contient d’ailleurs un lapsus intéressant, il a pour titre « Quatre universités françaises dans un classement international », lesquelles sont : Polytechnique (39e), l’ENS (41e), l’ENS de Lyon (100e) et Paris-VI (141e). Cherchez l’erreur).

Bien sûr, les critiques existent, on les lit, on les relit, et on les re-relit.

Mais on a beau faire, le rouleau-compresseur passe chaque année, comme si toutes ces critiques ne servaient à rien, ou, en tout cas, peinaient à pénétrer le grand public que visent les journaux généralistes. (Par comparaison, il est intéressant de consulter l’article de la Tribune de Genève, alors que l’UNIGE a chuté de la 39e place à la 118e.)

Alors que le seul petit espoir d’amendement de la loi scélérate sur les retraites se trouve entre les mains de nos vénérables sénateurs, il peut être intéressant, et en un sens rafraichissant, de consulter le procès-verbal du Rapport d’information fait, au nom de la commission sénatoriale de la culture, de l’éducation et de la communication et de la délégation sénatoriale à la prospective, sur les classements internationaux des établissements d’enseignement supérieur, poétiquement appelée « Oublier Shanghaï ». Ce rapport, qui correspond à une journée qui s’est tenue en mai 2010, peut être lu ici ou bien encore vu là.

Le colloque s’est ouvert par une intervention nuancée de Jacques Legendre. En référence à un rapport remis en 2008 par Joël Bourdin, Jacques Legendre note par exemple qu’évaluer l’enseignement est une tâche complexe, les indicateurs risquant de ne constituer qu’un pâle reflet de la réalité ou, pire encore, de susciter des effets pervers, car, écrit-il « il est évident qu’un classement ne peut pas être scientifiquement neutre » (p. 5).
Il était constitué de deux tables rondes :
1) classer et évaluer les établissements d’enseignement supérieur : pour quoi faire ?
2) le classement européen des établissements d’enseignement supérieur : des propositions pour agir.

1) classer et évaluer les établissements d’enseignement supérieur : pour quoi faire ?
Ce n’est qu’indirectement que les interventions de la première table-ronde répondent au titre proposé « classer et évaluer les établissements d’enseignement supérieur : pour quoi faire ? ». En effet, il s’agit d’abord de présentations des principaux classements mondiaux existants par certains de leurs responsables. Dans la mesure où ces présentations étaient honnêtes, elles conduisent cependant à mettre en valeur les différents critères d’évaluation, qui, effectivement, dépendent de la question « pour quoi faire ? »
Quelques dates tout d’abord concernant les ranking mondiaux (en gras ceux qui sont présentés dans ce colloque) :
2003 : Shanghai
2004 : QS university ranking dit aussi classement du Times Higher Education
2007 : Performance Ranking of Scientific Papers for World Universities
2007 : Professional Ranking of World Universities (École des Mines)
2009 : Leiden
2009 : Global university ranking (Russie)
2010 : lancement du U-Multirank (Europe)
2010 : lancement du High Impact Universities (Australie)[2].

L’intérêt de cette première table-ronde est de présenter de manière concise les différents classements, et, ainsi, de voir combien leurs critères sont différents. En résumant.

i) M. Jamil SALMI, coordonnateur enseignement supérieur à la Banque mondiale, est l’un des plus critiques sur l’ensemble de ces classements. Il souligne qu’ils
— évaluent les performances d’universités singulières, et non les performances d’un système d’enseignement supérieur considéré dans son ensemble
— ignorent le problème de l’équité,
— négligent l’enseignement au profit de la recherche.

ii) Philippe AGHION, professeur d’économie à Harvard, auteur du rapport du même nom, fait état de différents indicateurs pour constituer des classements :

— nombre de publications,
— citations des publications,
— nombre de brevets,
— contribution à la croissance du pays ou de la région.
Selon Aghion, ces quatre indicateurs conduisent aux mêmes classements. C’est tout à la fin de son intervention qu’il évoque l’insertion professionnelle.

iii) M. Benoît LEGAIT, directeur de l’École des Mines de Paris, présente le classement Professional Ranking of World Universities. Il s’agit d’un classement visant à évaluer l’insertion professionnelle à un certain niveau, puisque ce qui est examiné, c’est le parcours universitaires des dirigeants des 500 premières entreprises mondiales en terme de chiffre d’affaires.

iii) M. Nunzio QUACQUARELLI, directeur de QS world university rankings. C’est la présentation la plus technique. Le QS world university rankings est fondé sur :

— opinion des pairs 40 %,
— opinion des employeurs 10 %,
— ratio étudiants-professeurs 20 %,
— ratio international 5 %,
— étudiants internationaux 5 %,
— citations par facultés 20 % (source Scopus, base de données bibliométriques d’Elsevier fondée sur 18 000 journaux académiques).

iv) Mme Sylvie CRESSON, présidente de Personnel association, une association de DRH à vocation quasi-humaniste, est la seconde à critiquer les classements, et elle le fait de manière assez radicale, en énumérant les différents effets pervers du classement de Shanghai :

— privilégier la grosseur des universités,
— publier ou mourir,
— privilégier l’apparence au détriment de la réalité (un bon classement) et non la réalité (les enseignements effectivement dispensés)
— ne pas interroger la valeur qu’ajoute un établissement à un individu,
— ne pas considérer l’insertion professionnelle,
— Qu’en est-il du ratio nombre d’étudiants / nombre d’enseignants ? Quid des indicateurs de diversité, de nationalité ? Comment mesure-t-on la culture générale apportée aux étudiants ?
— promouvoir « le capitalisme karaoké », c’est-à-dire un capitalisme normatif et uniforme.
Elle conclut en soulignant que ce type de classement s’adresse réellement aux entreprises.

Pour lire la fin de ce billet sur le blog Evaluation de la recherche en SHS