La leçon à tirer de deux expériences exemplaires : Minons le système avant qu’il ne nous mine ! Blog Evaluation de la recherche en SHS, 12 décembre 2010

Dans un billet récent, Claire a publié les instructions lapidaires d’un collègue permettant d’augmenter facilement son facteur d’impact. Le principe d’une action de ce genre est vieille comme le monde : celui qui connaît les règles qui régissent un système social peut facilement les faire jouer en sa faveur. Ce qui est peut-être nouveau dans le domaine de l’évaluation universitaire est que des règles, autrefois implicites et assez complexes pour qu’il y ait toujours quelque marge de manœuvre, sont en passe d’avoir été remplacées par des procédures quantitatives pauvres.

Toutefois, c’est précisément cette pauvreté qui fait qu’il nous est possible, non seulement de les détourner à notre avantage, ce qui ne serait pas une ambition très haute, mais de tenter des expériences amusantes, voire, pour les plus courageux d’entre nous, de parfaitement répondre aux demandes de ce nouveau système sans renoncer en rien à notre intégrité.

J’ai très tôt fait remarquer que les mathématiciens étaient les mieux placés pour dénoncer la pauvreté des procédures quantitatives actuellement mises en usage. Parmi les analyses théoriques récentes, je signale l’article de D. N. Arnold et K. K. Fowler, « Nefarious Numbers ». [1]. Après avoir rappelé un certain nombre de critiques bien connues, cet article s’intéresse au cas de l’International Journal of Nonlinear Sciences and Numerical Simulation (IJNSNS) qui, ces cinq dernières années, a eu un facteur d’impact l’emportant de loin sur les 175 autres journaux de la catégorie « mathématiques appliquées » de la base de données ISI1. Ce facteur d’impact ne correspondant absolument pas au jugement des pairs tel qu’il apparaît dans la liste de journaux élaborée dans le cadre de l’initiative ERA (Research Excellence in Australia), la question se pose de savoir d’où vient la distorsion. Les auteurs n’ont aucun mal à montrer (mais regardez tout de même le détail de l’article, c’est à proprement parler effarant), que cette distorsion entre la mesure quantitative (« objective ») et le jugement des pairs (« subjectif ») vient des pratiques systématiques d’auto-citation qu’ont adoptées les éditeurs de l’IJNSNS, aussi bien pour leur journal que pour leurs propres personnes2.

Le problème aujourd’hui d’analyses théoriques de ce genre — que ressent cruellement ceux qui comme moi pensent qu’il y a actuellement une lutte à mener — c’est qu’elles sont comprises seulement par ceux de notre camp, et non, pour reprendre une formule canonique, par ceux qui jugent qu’il faut cesser de penser et se retrousser les manches. Il me semble à cet égard intéressant de mentionner deux expériences rendues publiques à l’automne. Et, comme il s’agit effectivement d’une lutte à mener, je conclus par un appel à volontaires tout à fait sérieux pour prolonger et systématiser la seconde en SHS ; cet appel correspond au titre de ce billet.

Pour lire la suite du billet de Sophie Roux et découvrir l’action qu’elle préconise sur le blog Evaluation de la recherche en SHS