Évaluation et rigueur scientifique : appel à témoignages - 6 avril 2010

Cet appel est lancé sur le carnet de recherche "Evaluation de la recherche en SHS". Pour le lire sur ce blog.

Sur une proposition de François Blanchard, amendée par nous (les quatre rédacteurs de ce carnet), nous vous proposons l’appel à témoignages qui suit. Il s’adresse à toutes les disciplines, SHS ou non. Nous vous suggérons de répondre directement en commentant le billet (c’est le plus simple pour tout le monde…). Si toutefois vous vouliez faire une réponse nettement plus longue, vous pouvez l’envoyer à l’un de nous (François compris) : nous promettons une synthèse d’éventuelles contributions reçues par ce biais, dans l’avenir…

Compter les publications d’un chercheur ou d’un laboratoire, ou le nombre de citations récoltées, c’est souvent passer à côté de ce qui fait l’intérêt même de nos recherches. Or c’est ce vers quoi conduit la rage d’évaluation dont nos dirigeants sont atteints. Plus systématiquement on veut évaluer, plus on souhaite contourner les experts, suspects de collusion avec les évalués et eux-mêmes évalués dans les années qui suivent. Alors on prétend le faire sur critères “objectifs”, et on le fait très mal.

On a beaucoup dit que le nombre de publications dans des revues internationales ou le facteur H mesuraient mal l’effort fourni, en privilégiant les articles courts, en mettant en valeur des résultats plus cités parce que critiquables, en favorisant la publication multiple d’un même résultat. Mais est-ce que cet accent mis sur le quantitatif n’incite pas aussi chacun à infléchir sa propre déontologie de publication, en conduisant à privilégier le nombre au détriment du sérieux et de la qualité ? La question est régulièrement posée. Pour notre part nous avons tous deux l’impression qu’une inflexion s’est déjà produite. C’est encore très vague : une plus grande fréquence d’articles qui reprennent le contenu d’un article précédent avec des modifications mineures, des plagiats, une plus faible rigueur dans les articles qu’on nous envoie à relire et aussi, malheureusement, dans certains de ceux qui paraissent…

C’est pourquoi nous lançons un appel à témoignages. Voyez-vous autour de vous des indices, des cas précis qui vous font penser que “la rigueur scientifique se relâche” ? Si c’est le cas, n’hésitez pas à nous envoyer à tous deux un message décrivant le cas ou les indices. Expliquez-nous en quoi ils marquent un relâchement (on ne comprend pas toujours très bien comment ça se passe dans la maison d’à côté), et ce que vous entendez dans ce cas par “rigueur scientifique”. Dites-nous ce qui est significatif dans le contexte de la sous-discipline, et si l’évaluation quantitative est ancienne ou nouvelle dans le pays d’où provient l’indice. Les indices en sens contraire, s’il y en a, sont aussi les bienvenus.

Même s’il était avéré qu’il existe, décliné de diverses manières selon les disciplines, un relâchement de la rigueur scientifique, la mise en place d’une évaluation quantitative ne serait certainement pas la seule cause de cet effet. On peut par exemple penser que la multiplication des financements de projets à court terme s’accompagne de la multiplication d’événements scientifiques ponctuels (séminaires, colloques, conférences) au détriment de travaux de longue durée, et impose de surcroît de “rendre des comptes” rapidement, autrement dit d’être capable d’exhiber les publications auxquelles tel ou tel projet a conduit.

Nous ne cherchons pas à prouver quoi que ce soit rigoureusement, mais avant tout à faire circuler expériences et réflexions sur ce qu’en tant que scientifiques nous pouvons nous permettre ou devons nous interdire.