Evaluer la recherche : une convergence des idées et des pratiques en Europe ? Éditorial de Jean-François Dhainaut, président de l’AERES (sans date)

Évaluer la recherche s’inscrit dans un projet qui consiste à identifier les moyens les plus adaptés pour structurer la transformation du système d’enseignement supérieur et de recherche. L’entreprise est complexe et les moyens d’y parvenir sont un constant objet de débat dans la plupart des pays.

Les méthodes d’évaluation de la recherche auxquelles il est recouru dans le monde scientifique sont très diverses : à la recherche du meilleur outil, chacun met au point ses propres démarches. On peut toutefois dégager une tendance : le tout bibliométrique ne fait pas l’unanimité.

Les responsables de l’évaluation, notamment en Europe, procèdent à une réorientation et une adaptation de leurs méthodes. C’est en particulier le cas, récent, au Royaume-Uni et, depuis plusieurs années, aux Pays-Bas où l’Association des universités, l’Académie royale des arts et des sciences et l’Organisation de la recherche scientifique ont récemment fait paraître la quatrième édition de leur référentiel pour l’évaluation de la recherche [1].

Ce qu’on peut tout d’abord retenir du Standard Evaluation Protocol 2009-2015 néerlandais, c’est que la procédure prévoit :

 un rapport d’autoévaluation de l’entité évaluée (contenant une analyse de type SWOT servant d’assiette à un étalonnage) ; l’autoévaluation occupe une place centrale dans le dispositif ;
 une évaluation externe effectuée tous les six ans et comprenant une visite sur site ;
 une évaluation interne à mi-parcours entre deux évaluations externes.

Ensuite, l’évaluation porte sur deux niveaux : l’organisme ou le laboratoire universitaire en tant qu’entité institutionnelle, d’une part ; les équipes et/ou les unités qui le composent, d’autre part. Quatre critères de jugement, détaillés en sous-critères explicitant le contenu de chacun d’entre eux [2], sont appliqués à chacun de ces deux niveaux :

 qualité (quality) ;
 production (productivity) ;
 intérêt au regard de la société (societal relevance) ;
 vitalité et faisabilité (vitality & feasibility).

Enfin, les outils de l’évaluation sont complétés par une échelle d’appréciation sur cinq niveaux (notation décroissante) :

 5 points : excellent (world leading research) ;
 4 points : très bien (internationally competitive) ;
 3 points : bien (competitive at national level) ;
 2 points : satisfaisant (solid work, nationally visible) ;
 1 point : non satisfaisant (work not solid, flawed in the scientific and/or technical approach)

Au Royaume-Uni, le HEFCE [3] vient quant à lui d’achever une consultation, qui a duré plusieurs mois, afin d’élaborer de nouvelles modalités de l’évaluation scientifique. Depuis 2006, nos voisins britanniques préparent en effet un nouveau cadre pour l’évaluation de la recherche. Il s’agit de remplacer le Research Assessment Exercise (RAE) par un Research Excellence Framework (REF). Dans une première version, le nouveau cadre d’évaluation devait reposer principalement sur des indicateurs bibliométriques et sur des indicateurs de ressources contractuelles (volume des contrats publics et privés obtenus par un laboratoire ou un département). L’objectif cardinal de ce REF première version était d’alléger l’exercice d’évaluation et de rendre plus automatique la procédure de financement.

Le 23 septembre 2009, de nouvelles propositions ont été faites qui tirent les enseignements du RAE 2008 : les réticences de la communauté scientifique à l’égard des indicateurs bibliométriques sont prises en compte et un accent particulier est mis sur l’évaluation de l’impact économique et sociétal de la recherche.

A l’issue de la consultation, en 2010, un projet pilote sera mis en œuvre sur ces bases ; l’application du nouveau cadre est prévue pour 2013.

Que peut-on dire des propositions britanniques ?

1. L’évaluation de la recherche portera désormais sur 3 aspects, lesquels seront différemment pondérés pour produire le jugement final :

 la qualité de la production (output quality) comptera pour 60 % ;
 les retombées de la recherche sur l’économie, les politiques publiques, la société en général (impact) pèsera pour 25% ;
 la qualité de l’environnement recherche (environment) sera pris en compte pour 15%.

2. Pour chacun de ces 3 aspects, une appréciation (notation) sur 4 niveaux est proposée en nombre d’étoiles

 4 étoiles : exceptionnel : l’unité a apporté la preuve d’une série de résultats signifiant une avancée ou une évolution d’une valeur ou d’une importance majeure ;
 3 étoiles : excellent : l’unité a apporté la preuve de plusieurs résultats hautement innovants (mais pas de percée scientifique) comme de nouveaux produits ou de nouveaux procédés ;
 2 étoiles : très bien : l’unité a fait la preuve de résultats avec un impact substantiel (et pas seulement d’importance incrémentielle) ou bien d’améliorations incrémentielles d’une large portée ;
 1 étoile : bien : l’unité a apporté la preuve de résultats représentant des améliorations ou bien des innovations incrémentielles de processus de portée modeste.

Quels enseignements tirer, du point du vue de l’AERES, du Research Excellence Framework britannique et du Standard Evaluation Protocol néerlandais ?

Les pratiques de l’évaluation dans chaque pays partagent de nombreuses approches, en particulier en matière de notation [4]. De plus, il est intéressant de constater que le projet de REF soumis à la consultation comporte de nombreuses instructions à l’adresse des évaluateurs, d’un côté, des unités et des laboratoires de recherche de l’autre. Cette formalisation plus poussée du REF le rapproche de l’esprit des guides d’évaluation que l’AERES met à disposition de ses experts et des établissements et des organismes qu’elle évalue. De même, le SEP attache une grande importance aux outils fournis à ses évaluateurs (de nombreuses grilles sont mises à leur disposition en particulier pour l’exploitation du document d’autoévaluation).

Autre point, particulièrement instructif, le REF et le SEP proposent aux évaluateurs de distinguer quatre à cinq niveaux de performance [5] (tout comme le fait l’AERES). Ils correspondent à quatre catégories distribuant sur un spectre étendu les appréciations sommatives. L’effort de distinction des catégories de référence est sensible, même si la lecture des définitions laisse penser que l’on pourrait pousser plus loin la précision.

Il est notamment remarquable que le REF recourt à la catégorie « exceptionnel », le SEP à un niveau « excellent » pour désigner un ensemble d’unités/de labos nécessairement peu nombreux [6] dans l’esprit des concepteurs des grilles. Sous couvert de développer des indicateurs robustes de qualité pour l’évaluation, voire le financement de la recherche (et d’éviter des undesirable incentives), un des objectifs du REF et du SEP est bel et bien de dégager les pôles d’excellence en recherche.

Assurément, le HEFCE est une agence de moyens, il cherche à mettre au point des outils de financement de la recherche en Angleterre. En ce sens, les buts qu’il poursuit divergent de ceux d’une agence d’évaluation. Le SEP en est quant à lui à sa quatrième édition et bénéficie d’un recul dans le temps qui lui permet de déterminer dans quelle mesure et sous quelles formes ses recommandations sont suivies d’effets d’une campagne d’évaluation à l’autre. Avantage chronologique que n’a pas encore l’AERES qui n’a que deux ans d’âge vis-à-vis de l’évaluation de la recherche.

Toutefois, les points de convergence dominent, en particulier entre les choix opérés par les Néerlandais et ceux de l’AERES : critères d’évaluation, processus et suivi de l’évaluation, auto-évaluation, échelle de notation et critères d’accès aux notes.

Tout comme ses voisins, l’AERES note les unités de recherche. L’agence conçoit, pour sa part, la notation [7] comme un outil d’étalonnage et, à ce titre, d’aide à l’évaluation.

On le voit, la réflexion en cours chez nos voisins comme dans notre pays suit un mouvement convergent. Aucune des méthodes ici considérées, aucun des référentiels éprouvés ou en cours d’élaboration ne sauraient être considérés comme définitifs. Le travail continue.

Afin de poursuivre les réflexions en cours, d’approfondir un processus non encore stabilisé et d’échanger les pratiques en matière d’évaluation de la recherche, l’AERES souhaite, à l’horizon 2010-2011, organiser un séminaire international sur ce sujet regroupant des représentants d’agences et d’organisations européennes. Un des objectifs de ce séminaire est de dresser un état de l’art en matière d’évaluation de la recherche et d’esquisser les éléments constitutifs d’un document de réflexion à l’intention des agences et des institutions en charge de cette évaluation dans le périmètre européen (et au-delà).