Quand trop d’évaluation tue l’évaluation - Anne Fraïsse, présidente de l’Université Paul Valéry – Montpellier III, 23 mai 2011

L’AERES vient de sortir un petit résumé de ses évaluations sur les licences des Universités qui tourne une fois de plus au classement des établissements : palmarès des universités pour les 16 mentions de licences qui ont obtenu A+, liste de pourcentages de A .

Dans cette surenchère permanente, à quand une émission sur le modèle de TF1 : les 30 plus belles histoires d’Université, les 30 diplômes les plus risqués de France, les 30 plus grands accidents de parcours (avec fin heureuse évidemment) ?
Je précise avant de continuer ce billet d’humeur que mon université fait partie des 10 gagnantes qui ont obtenu au moins un A+ ,pour éviter l’objection habituelle selon laquelle ceux qui critiquent le font parce qu’ils sont mal classés.

Ce qui m’inquiète dans cet article, comme dans d’autres puisque cela devient une mode entre un sondage politique (je n’épiloguerai pas sur leur justesse ) et les notes attribuées aux sportifs à l’issue d’un match, c’est l’aspect définitif et péremptoire de jugements et de classements dont les méthodes sont encore mal définies et peu fiables. C’est cette urgence et cette nécessité de classement comme un impératif absolu, cette sorte d’évidence dont on ne comprend ni l’intérêt ni le but qui me semblent particulièrement pernicieuses. Elles créent pour le lecteur une confiance née de l’habitude qui enlève tout esprit critique et pour les établissements une affolante course non à l’amélioration mais à l’amélioration de leur classement, ce qui est en réalité, deux choses fondamentalement différentes.

Puisque c’est l’AERES qui aujourd’hui se laisse entraîner à cette facilité dangereuse, c’est elle qui prendra mes remarques sur ses contradictions, sans animosité du reste puisque les observations qui suivent ont déjà fait l’objet de correction et que l’offre de formation sera désormais examinée selon un autre processus. Mais raison de plus, puisque l’AERES était alertée et consciente de la faiblesse de cette évaluation, pour ne pas publier, comme des indicateurs fiables, des résultats qu’elle sait pour le moins discutables.

La lecture du rapport d’évaluation de l’AERES par l’European Association for Quality Assurance in Higher Education (ENQA), c’est-à-dire l’évaluation européenne de l’agence d’évaluation française est à ce titre très significative. L’AERES y déclare avoir pour objectif d’« Apporter une aide aux entités évaluées pour l’ensemble de leur activité afin d’améliorer leur gouvernance, leur recherche et leur offre de formation, identifier leurs forces et faiblesses et leur proposer des axes d’amélioration » et indique par ailleurs qu’elle « place l’établissement au centre du processus d’évaluation. Celui-ci a pour objectif d’aider l’établissement à s’inscrire dans une logique d’amélioration continue dans la perspective d’une meilleure maîtrise de sa stratégie dans le cadre du développement de son autonomie. L’évaluation est au service des établissements pour leur permettre de mieux se situer au regard des objectifs qu’ils se sont fixés dans un cadre national et international. ».

Or, qu’observe-t-on dans le processus choisi pour l’évaluation des formations ?
L’évaluation des licences est confiée à un seul expert, uniquement sur examen d’un dossier sans visite à l’établissement, sans dialogue contradictoire, sans prise en compte des remarques de l’établissement même lorsqu’il s’agit d’erreurs factuelles.
On trouve ces critiques expressément formulées dans le rapport du comité de l’ENQA qui « exprime des réserves au regard de l’évaluation de la qualité des licences et des masters »et « note que les établissements n’ont pas la possibilité de réagir au rapport avant qu’il soit final.
L’AERES aurait intérêt à soumettre plus tôt ses rapports aux évalués qui pourraient lui signaler des erreurs d’interprétation. »

L’absence de procédure de suivi de recommandations, l’absence de visite sur site constituent des problèmes pour l’évaluation des licences et des masters et ne vont certes pas dans le sens d’une aide aux établissements qui ne peut passer que par le dialogue.

Le comité signale surtout l’absence de fiabilité de l’évaluation : « Ce travail est réalisé sur la base de données trop incomplètes pour constituer une véritable évaluation de la qualité des formations. »
« Mais dans ces conditions d’absence de visite spécifique aux formations, les évaluations ne constituent pas des jugements aussi fiables sur la qualité et la valeur de ces diplômes ».
« Pour toutes ces raisons, le Comité invite l’AERES à revoir son processus d’évaluation des licences et des masters. ... De toute façon, quelles que soient les solutions retenues, l’AERES se doit et doit aux établissements de rechercher les moyens de témoigner de la façon la plus exacte possible de la qualité des formations qu’ils dispensent. »

C’est cependant sur la base de cette évaluation jugée peu fiable que l’on nous sort aujourd’hui comme une donnée incontestable des pourcentages sans intérêt, des classements implicites et des satisfecits douteux.

Nous sommes nombreux à dire le danger de pareilles pratiques ; il serait peut-être temps que l’on nous écoute au lieu de céder à un effet de mode assez pervers.

Et comme première mesure, je propose un moratoire d’un an sur l’emploi des mots « excellence » et « classement » dont l’abus amène nos universités au bord de la crise de foie (ou de foi si vous préférez.)

Anne Fraïsse
Présidente de l’Université Paul-Valéry – Montpellier III