Résumé réunion AERES pour le PRES HESAM, lancement vague D, 110412, Ecole du Louvre, Paris, notes perdues par quelqu’un, le 19 avril 2012

I) Réunion plénière :

A la tribune :

 Jean-Claude Colliard, président du PRES HESAM et de l’université Paris-1

 Didier Houssin, président de l’AERES

 Philippe Tchamitchian, directeur section des établissements à l’AERES

 Pierre Glaudes, directeur section des unités de recherche à l’AERES

 Jean-Marc Geib, directeur section des formations et diplômes à l’AERES

---

Colliard : Cette réunion marque le coup d’envoi du contrat quinquennal concernant tous les établissements à l’intérieur du PRES HESAM. C’est l’occasion de faire le point entre nous sur nos forces et faiblesses.
Nous avons obtenu un bon succès pour les Labex : nous en avons six plus trois rattachés au PRES.

Succès partiel pour l’Idex que nous avons manquée à une voix près. Ce qui a justifié une procédure de rattrapage par le gouvernement. Nous sommes engagés dans un processus de qualification Idex différée. Le CA du PRES se réunira vendredi 13 avril pour délibérer sur une lettre que nous allons envoyer au gouvernement dans laquelle nous allons proposer une contractualisation sur trois ans, avec des crédits relativement importants : 6 M d’euros par an qui s’ajoutent aux 4 M des Labex. Avec la garantie d’avoir cette qualification Idex au bout de ces trois ans au plus. Cette appartenance à un PRES commun, cette qualification Idex nous amèneront à réfléchir à ce que nous voulons faire ensemble. Cela va avoir des conséquences directes sur la préparation du contrat quinquennal puisque nous avons l’intention de faire pour nos établissements un chapeau commun dans lequel nous déclinerons un certain nombre d’éléments que nous avons l’intention de faire ensemble.

L’originalité du PRES HESAM est de réunir plus du quart du potentiel national de recherche en SHS et de réunir des établissements de statuts différents : une université, de grands établissements de recherche, le CNAM, les grandes écoles. Il y a également une diversité en termes de tutelle : le ministère de l’enseignement supérieur et de la recherche, le ministère de la culture, mais aussi le ministère de l’industrie, ce qui montre qu’il y a aussi des répercussions économiques importantes en SHS.

Il y a des liens d’amitié qui se sont construits à l’intérieur du PRES entre ses membres. Nous avons trois ans pour réfléchir sur les structures que nous voulons mettre en place pour le futur Idex.

Nos institutions connaissent beaucoup d’évaluations, mais c’est utile car cela donne l’occasion de réfléchir sur soi. Nous avons connu un début de professionnalisation de nos enseignements sous la forme de masters pro tout en gardant une grande qualité dans la recherche : près de la moitié des crédits Idex seront affectés aux activités de recherche.

Houssin (président AERES) : L’esprit de l’évaluation, est un esprit de service ; notre ambition c’est de vous aider au mieux à progresser, à identifier des pistes d’amélioration pour l’avenir. Je crois que cela est l’essentiel de ce travail d’évaluation qui, si l’on y réfléchit bien, ressort tout à fait nettement du domaine des SHS dans sa manière d’être conduit et dans son esprit. Il ne s’agit pas d’un contrôle ni d’une inspection ; c’est une occasion qui est offerte de vous appuyer sur un regard extérieur pour progresser. Je crois que c’est vraiment un service que l’AERES, service public de l’évaluation, essaie de vous apporter. L’AERES en tant que telle n’évalue pas. Elle organise l’évaluation qui est faite par des pairs, par des personnes qui représentent la communauté académique. C’est une évaluation qui comporte un temps d’évaluation externe par les pairs, collégiale, mais nous pensons qu’elle doit s’appuyer de manière très forte sur un travail d’autoévaluation. Ce travail est difficile, ce n’est pas un simple rapport d’activités, ce n’est pas une apologie, ce n’est pas non plus une autocritique impitoyable. C’est un travail qui doit être balancé, sous la forme d’une analyse lucide, concertée sur les points forts et les points faibles et les possibilités d’amélioration.

Les missions de l’AERES consistent à évaluer les établissements, leurs stratégies, mais également les formations et les unités de recherche. L’évaluation des unités de recherche et des formations est menée en préalable à celle des établissements. Le calendrier est le suivant : le 1er juin a lieu le dépôt de la liste prévisionnelle des formations et unités de recherche qui vont être évaluées et le 15 octobre l’ensemble des dossiers d’évaluation sur une plateforme commune à l’AERES et au MESR.

Sur la composition des comités d’experts : il est possible d’écarter les experts ayant des liens d’intérêts négatifs ou positifs envers les unités.

La composition des comités est faite de sorte à rassembler les meilleures compétences compte tenu de l’entité évaluée. Les rapports sont rédigés par les experts, ils sont ensuite signés par le directeur de la section et le président de l’AERES juste pour garantir qu’une certaine procédure a été suivie, que des principes ont été respectés, qu’une certaine homogénéité a été garantie.

Geib (section des formations et des diplômes) : nous visons à améliorer la collégialité des évaluations en définissant également des comités d’experts multidisciplinaires. Nous souhaitons améliorer la qualité de nos rapports également. Nous souhaitons être informatifs pour trois publics différents : les évalués eux-mêmes, mais aussi un public beaucoup plus large qui va des décideurs (établissements, Etat, collectivités territoriales) aux étudiants et à leurs parents ainsi que pour la sphère médiatique. Les formations visées sont celles du LMD, les licences professionnelles, les masters, les écoles doctorales.

Les formations en renouvellement ou en restructuration ne sont pas évaluées par l’AERES qui s’occupe des évaluations ex post. Les créations ex nihilo de formation sont évaluées par la DGESIP.

Il faut souligner l’importance de l’autoévaluation des structures par l’établissement lui-même. Dans ces deux parties du dossier l’établissement doit indiquer sa procédure d’autoévaluation. Si ce n’est pas le cas, une fiche d’expertise pour l’autoévaluation est fournie.

Les critères d’évaluation de la formation :

 sur le projet pédagogique

 formation bien adaptée à la poursuite d’études et à l’insertion professionnelle des étudiants

 pilotage de la formation (notamment évaluation des enseignements par les étudiants : c’est un point difficile mais qui est inscrit dans la loi ; les dispositifs d’aide à la réussite en licence ; etc.)

l’AERES procède à une évaluation collégiale par un comité d’experts à l’agence pour les L et M et sur site pour les écoles doctorales. Une notation est donnée sur les quatre grands critères que je viens de vous présenter et une notation globale pour la formation, et l’ensemble sur l’échelle A+, A, B, C. Il faut considérer que c’est une notation à trois niveaux car A+ signifie simplement une originalité et un dynamisme particuliers. L’offre de formation globale est évaluée. L’évaluation porte sur le bilan et le projet de l’ensemble des écoles doctorales du PRES.

Glaudes (section des unités de recherche) : Diversité des objets à évaluer au-delà des équipes de recherches (UMR et équipes d’accueil) : il y a aussi les structures fédératives, la recherche clinique des CHU, les unités internationales du CNRS, les unités mixtes internationales du CNRS et du ministère des affaires étrangères, les très grands infrastructures de recherche (TGIR) et les RTRA (réseaux thématiques de recherche avancée).

L’évaluation produite est une évaluation par les pairs, indépendante, transparente. Elle passe par une visite sur site, ensuite il y a des réunions de notation avec l’ensemble des présidents des comités d’experts.

Le dossier d’évaluation comporte deux volets :

 résultats et autoévaluation

 projet

Il est complété par des documents annexes (effectifs, budget, valorisation de la recherche)

*résultats et autoévaluation :

Il ne faut pas rédiger simplement un bilan indiquant des listes de résultats mais également il faut produire une autoévaluation à travers l’analyse de ses forces, faiblesses, possibilités ou risques de l’environnement. Le dossier de l’AERES comprend une partie d’annexes d’aide à la rédaction indiquant des données (« faits observables ») qui peuvent être utilisées pour conduire l’autoévaluation.

*Modes de structuration des unités de recherche proposés dans le dossier d’évaluation. Deux modes ont été retenus :

 en équipe interne

 en thème

il est possible de n’avoir aucune forme de structuration. Selon la taille des équipes un mode de structuration différent peut être choisi :

 équipe interne durable regroupant des chercheurs qui y font l’essentiel sinon la totalité de leurs recherches

 thème : structures circonstancielles, contingentes, transversales pour réaliser un projet ponctuel (C’est typiquement le cas d’une structure mise en place pour la réponse à un appel à projet) des chercheurs et enseignants-chercheurs qui appartiennent à des unités différentes et qui vont consacrer une partie de leur temps de recherche pour une activité donnée.

Les unités de recherche peuvent présenter une structure par équipe interne et par thème également. Le thème peut s’ajouter à l’équipe interne, ou l’unité peut ne retenir que l’une ou l’autre de ces formes de structuration.

La notation des unités de recherche comprend la notation des équipes internes alors que les thèmes ne font pas l’objet d’une notation faute de pouvoir définir le temps alloué aux recherches effectuées dans le cadre d’un thème par les membres de l’équipe.

Changement des critères d’évaluation : on passe de quatre à six critères d’évaluation. Rappel des quatre critères précédents :

1) production scientifique

2) rayonnement et attractivité

3) gouvernance et vie de l’unité

4) stratégie et projet

Dédoublement de deux critères, le deuxième et le troisième :

 rayonnement et attractivité :

1) académique

2) interaction avec l’environnement social, économique et culturel (valoriser les partenariats avec d’autres acteurs que ceux du monde de la recherche ; financements ; impact économique, social et culturel)

 gouvernance et vie de l’unité

Organisation politique de l’unité (mode de gouvernance), animation interne, communication interne et externe, formation.

La place de la formation était jusqu’ici minorée. D’où la distinction nouvelle qui est faite entre eux :

1) organisation et vie de l’unité

2) implication dans la formation par la recherche qui inclut la formation à la recherche

*la notation

Suite à des critiques quant à l’utilisation qui est faite des notes produites par l’agence, qui pouvait parfois produire des effets désastreux pour certaines unités, il a été décidé de supprimer les notes globales pour les unités de recherche et les équipes internes tout en conservant les notes des six critères indiqués précédemment. La note globale est remplacée par une appréciation d’ensemble courte puisqu’elle ne doit pas excéder 180 caractères. La commission recherche de la CPU a souhaité que l’appréciation d’ensemble soit assortie d’une notation de dynamique, lorsque cela était pertinent, faisant état de l’évolution positive ou négative des unités. Non seulement les unités de recherche, mais les équipes internes se verront attribuer les six notes qui seront attachées aux six critères d’évaluation.

Pour ce qui concerne l’évaluation des unités de recherche, l’agence est engagée dans une révision de ses procédures. Nous avons élaboré, après une large concertation des organismes de recherche, de la CPU et d’un certain nombre d’acteurs de la recherche, en tenant compte des retours d’expérience que nous avons conduits, et des informations qui viennent des communautés scientifiques par le truchement de nos délégués scientifiques, nous avons élaboré un référentiel des critères d’évaluation par l’AERES qui sera publié sur son site au mois d’avril 2012. Il devra aider tout un chacun à comprendre le mécanisme de l’évaluation, en particulier pour tout ce qui a trait aux critères. Nous souhaitons produire un document, dès que possible, pour clarifier la question de la notation, de la signification des notes et de l’échelle de notation. De même l’AERES est engagée dans une réflexion sur la notion de « produisant ».

Tchamitchian (section des établissements) : évaluation qualitative pouvant s’appuyer sur des éléments quantifiés (indicateurs) mais simplement pour aider à construire des argumentations robustes. Mais ces données quantitatives ne sont pas l’évaluation par elle-même. L’évaluation reste qualitative.

Les recommandations n’ont pas de caractère prescriptif. L’évaluation obéit à trois principes :

 évaluation par les pairs-ce n’est pas l’AERES qui évalue, ce sont les comités qui expriment leur opinion (diagnostic et recommandations) forgée collégialement dans leurs rapports. L’AERES se contente de fixer les méthodes et les principes éthiques de l’évaluation.

 Indépendance de l’agence par rapport au ministère. L’AERES est une autorité administrative indépendante, c’est à dire qu’elle n’est pas placée dans un lien hiérarchique vis-à-vis de quelque ministère que ce soit.

 Transparence- elle est garantie par la publicité des opinions exprimées. Le rapport et les commentaires du chef d’établissement sont publiés.

L’évaluation repose sur l’autoévaluation produite par les établissements et sur leurs projets stratégiques. L’évaluation d’un établissement est un processus global en deux phases : une phase d’autoévaluation et une phase d’évaluation externe. Celle-ci n’a de sens que par rapport à l’autoévaluation qui est d’abord produite par l’établissement.

Le rapport d’autoévaluation doit se faire sur un maximum de 60 pages. Il doit contenir les éléments d’information suivants :

 définition des processus opérationnels pour atteindre les objectifs

 association de la communauté de travail à l’élaboration et à la mise en œuvre des objectifs

 modalités de suivi et adaptation des dispositifs pour faire face aux changements dans l’environnement (processus de suivi, mesures correctives)

 autodiagnostic (points forts, points faibles) et enjeux liés

* l’autoévaluation. La qualité de l’évaluation dépend de celle de l’autoévaluation. L’autoévaluation est appelée par le processus d’ensemble. Le rapport d’autoévaluation n’est pas parfait. Il va donc y avoir des choses à dire. Cela dit, le rapport d’évaluation externe ne sera pas non plus parfait. Mais il apporte, en raison de la façon dont il aura été construit, une légitimité, une crédibilité et une confiance sur lesquelles l’établissement pourra s’appuyer. Particulièrement dans le cas où le rapport d’autoévaluation aura été de bonne qualité.

Bilan : plus que la description des activités c’est davantage un processus qualité qui vise les processus de fonctionnement. Or un processus n’a pas d’intérêt en soi, ce qui est intéressant ce sont les activités de l’établissement, à savoir comment il remplit ses missions.

Trois points importants :

 le mode d’association de la communauté de travail y compris à la rédaction du rapport d’autoévaluation

 la capacité opérationnelle des établissements

 un rapport qui soit réellement évaluatif

Houssin (président AERES) : il précise que l’AERES est aussi évaluée avant d’ouvrir la phase des échanges avec la salle

Question : L’évaluation du PRES ?

Tchamitchian : Chaque établissement sera évalué pour lui-même, il y a un comité de visite par établissement. C’est d’abord l’activité passée que nous évaluons, le projet stratégique vient dans un deuxième temps. L’évaluation des stratégies de coopération entre établissements d’enseignement supérieur et organismes de recherche se fait par le biais des structures nouvelles (Idex et autres structures). L’AERES s’est engagée dans un travail de collecte de données, de caractérisation des sites. Les périmètres de coopération dépendent des établissements qui y prennent part. L’évaluation des stratégies de coopération sera faite sur l’ensemble des sites du territoire national en 2013.

Question : La place des instances élues dans les comités d’experts ? La place des experts techniques ?

Houssin : dans le mode de constitution de l’AERES qui est une autorité indépendante, il y a un certain nombre de structures qui ont résulté de propositions faites par les établissements ou par les instances. Je pense aux conseils de l’agence dont une partie des membres ont été nommés sur proposition de ces instances ou de ces établissements.

Glaudes : c’est une obligation légale pour la constitution des comités de visite d’avoir des membres élus du personnel : 1 représentant du CNU pour une université, 1 représentant du CoNRS ou des CSS de l’Inserm pour les unités mixtes, 1 représentant des ITA pour les unités qui ont un grand nombre d’ITA. Les membres de ces instances ont compétence d’experts comme les autres membres du comité de visite.

Houssin : cela ne représente qu’un représentant des personnels. La question se pose d’accroître ou pas cette proportion.

Question : la distinction entre bilan et autoévaluation ?

Tchamitchian : les établissements évalués sont autonomes mais ils sont membres de l’ESR ; ils doivent donc remplir l’objectif qui est l’atteinte des 50 % d’une classe d’âge titulaire d’un diplôme d’enseignement supérieur. La contractualisation démarre par un rapport d’évaluation l’autoévaluation est une manière de prendre en compte l’autonomie des établissements. Ensuite une évaluation externe valide l’autoévaluation et donne un élément de garantie à la tutelle au moment où elle va engager la négociation de la contractualisation auto évaluation vise à prendre en compte les différents particularités des établissements.

*************************************

II/ Atelier « Unités de recherche ». Responsable : Pierre Glaudes

À la tribune :

Luc Duga (DR CNRS, délégué scientifique AERES STIC, interdisciplinarité)

Michel Robert (Prof, sciences et technologies)

Jean-Claude Durain (délégué scientifique AERES, sciences de l’ingénieur)

Pierre Glaudes (prof, Paris-Sorbonne, SHS)

---

Glaudes : l’AERES n’évalue pas des personnes ni l’excellence. Notre but est d’aider les unités de recherche à améliorer les performances des structures au vu des standards internationaux.

Question : Au sujet de la structuration interne des unités, les équipes internes sont notées mais qu’en est-il des thèmes ? Quelle différence entre autoévaluation et SWOT ?

Glaudes : les thèmes sont évalués mais pas notés. La notation part de la quantification du temps recherche et du nombre de chercheurs ou d’enseignants-chercheurs rattachés à une équipe interne.ds le cas des thèmes, ce sont souvent des enseignants-chercheurs ou des chercheurs qui appartiennent à une équipe interne ou à l’unité et qui se regroupent pour réaliser un projet ponctuel. Ce projet ne représente qu’une partie de leur activité de recherche. Donc nous avons décidé de ne pas les noter. Vous pouvez très bien, en fonction de ce qui est le plus pertinent pour votre unité choisir soit une division en équipes internes, soit une division par thème, soit combiner les deux. Nous avons beaucoup d’exemples où des équipes participent à des Labex alors qu’il n’y a pas nécessairement recouvrement du périmètre de l’équipe et de celui du Labex. Elles participent à un Labex qui peut être souvent un regroupement d’unités de recherche sur la base de la réalisation d’un projet. Dans ce cas-là, une présentation par thème peut être pertinente. Ce n’est qu’un exemple parmi d’autres.

Autoévaluation et analyse SWOT. L’autoévaluation ne peut se réduire à une présentation de résultats, car ce qui caractérise une équipe n’est pas seulement un ensemble de résultats. Par exemple la manière d’animer la vie de l’unité, de même que son rayonnement et attractivité ne sont pas des résultats.

L’autoévaluation met en lumière les points forts et les points faibles en rapport avec les critères d’évaluation proposés par l’AERES. La méthode SWOT est un modèle parmi d’autres pour conduire une autoévaluation. Mais il est possible de pratiquer l’analyse de l’autoévaluation dans les termes qui conviennent à chacun. Nous pratiquons une évaluation ex-post qui est une évaluation externe mais qui essaie d’apporter aux unités de recherche essentiellement ce point de vue extérieur pour les aider à améliorer selon les différents critères les éléments qui les caractérisent. C’est dans ce sens qu’il faut plutôt comprendre les éléments d’évaluation que nous essayons d’apporter.

Question : Les incertitudes de la situation et du fonctionnement du laboratoire qui peuvent rendre difficile la préparation du projet.

Glaudes : Il y a une difficulté qui est liée au décalage entre le temps du contrat qui n’est pas encore achevé et le temps de l’évaluation pour la campagne qui s’ouvre le 15 octobre 2012 et s’achève à la fin du mois de mars 2013. L’évaluation s’achève en juin 2013 mais les contrats démarrent en 2014 pour s’achever en fin 2018.

La réduction des budgets récurrents et le pilotage administratif de la recherche se fonde en grande partie sur les des appels d’offres de l’ANR et des autres agences de financement. La logique du projet peut modifier sensiblement le projet par rapport à ce qu’il est au moment où on l’élabore. Un projet peut être modifié au cours des cinq années du contrat. Cela ne dispense pas les unités d’avoir une stratégie : politique scientifique, en termes de moyens en personnel et en perspective de développement et de transformation au vu de l’évolution du paysage de la recherche. Voilà des questions qui peuvent être abordées dans la partie projet. Il s’agit moins de faire un catalogue des activités prévisionnelles que de définir la façon dont on va tenter de piloter une unité de recherche pendant cinq ans au vu des contraintes et possibilités offertes par sa situation institutionnelle et par sa place dans le champ de la recherche. Cela dit, le référentiel à paraître prochainement apportera des éléments d’information sur lesquels s’appuyer pour nourrir votre projet.

Question : le calendrier est inadapté par rapport aux tâches à effectuer dans une grande unité de plus de 200 chercheurs. Et la place de l’auto évaluation ? Dans la partie projet ou dans la partie bilan ? Au sujet des fiches individuelles qui doit les remplir : est-ce que les post-docs et les doctorants doivent le faire ?

Réponse : le calendrier est contraint d’abord par les ministères des organismes et des tutelles. L’extension de la durée de l’évaluation à cinq ans est une bonne chose.

L’autoévaluation concerne aussi bien le bilan que le projet. Les critères de l’agence sont orientés vers les résultats, le bilan, les activités passées, mais pour pouvoir élaborer un projet, il faut avoir la capacité d’analyser un certain nombre de données qui font le lien entre le passé et le futur. C’est pourquoi cette partie de l’autoévaluation se trouve dans la partie projet.

Le ministère et la DGESIP en particulier demandent à l’AERES de lui fournir des tableaux d’effectifs distribués en fonction des catégories et des établissements ou des organismes. Ils lui demandent également de lui fournir un taux de produisants. Et jusqu’à peu, également une note globale, tout simplement parce que ces trois éléments interviennent dans le système SYMPA – dont le nom est une antiphrase, je vous le concède – qui permet d’affecter des moyens. Les éléments fournis par l’agence sont des clés de répartition de moyens. Tout ceci intervient dans un contexte de baisse et de globalisation des crédits récurrents. Ce contexte rend un peu dérisoire l’exercice dans la mesure où le taux de « produisants » avait comme nécessité de donner une sorte de bonus à la performance mais on peut se demander s’il a vraiment une incidence sur des budgets en voie de tassement. Mais l’agence est tenue de fournir ces éléments d’information au ministère.

Le problème des personnels qui font de la recherche : les émérites sont pris en compte par l’AERES dans le calcul des taux de produisants, mais pour le ministère ils n’existent pas dans l’affectation des moyens puisqu’ils sont à la retraite. Le ministère affecte les moyens uniquement en fonction des personnels titulaires en activité, enseignants-chercheurs et chercheurs affectés dans l’établissement.

Le cas des professeurs invités pendant la durée du contrat : on peut indiquer un équivalent temps plein recherche, dans la mesure où il ne reste pas dans l’établissement pendant toute la durée du contrat. Les productions pourront être indiquées dans le bilan de l’équipe et à les comptabiliser dans le taux de production. Mais il ne sera pas pris en compte pour l’affectation des crédits par le ministère.

Les chercheurs et les enseignants chercheurs qui appartiennent à une autre université : quand ils se rattachent administrativement à l’unité de recherche, ils sont pris en compte dans le calcul du taux de produisants mais pas dans l’affectation des crédits.*

Les ITA : l’AERES évalue le fait et non le droit : elle ne s’intéresse pas au fait de savoir si un personnel du fait de son statut a le droit ou l’obligation de faire de la recherche. Et quand des personnes qui ne sont pas statutairement chercheurs ont une activité de recherche, leurs recherches seront prises en compte dans l’évaluation qualitative et de production scientifique de l’unité, mais pas dans le taux de produisants.

Les post-docs peuvent être rangés parmi les chercheurs et les enseignants-chercheurs et comptabilisés dans le potentiel de recherche équivalent temps plein. Il y a à la possibilité de faire figurer la production des doctorants à part.

Distinction entre associés et autres personnels. Les associés qui ont un rattachement administratif pour la recherche dans une autre unité : ces personnels ne sont pas pris en compte pour le taux de produisants et ne doivent pas remplir de fiches d’effectifs.

Toute personne qui est docteur et fait de la recherche dans une équipe de chercheurs peut être comptabilisée dans le potentiel de l’équipe.

Question : qu’en est-il pour les autres personnels qui n’ont pas d’obligation statutaire de recherche ?

Réponse : il faut faire la preuve de leur association dans les activités de l’unité et que, comme tels, ils ont des résultats en termes de production.

Question : l’articulation au niveau des équipes et de l’UMR ? L’utilisation désastreuse de la note globale et la décision de les remplacer par une appréciation écrite. Qu’est-ce que cela va changer ?

Réponse : il y a une cohérence entre l’abandon de la note globale et l’extension du nombre de critères. Plus on étend le nombre de critères plus on peut les moduler en fonction des unités et des équipes.

Quant à l’utilisation des notes, l’AERES n’est pas responsable de l’utilisation qui est faite de ses notes. Par exemple l’utilisation d’un B : elle peut donner lieu à la fermeture de l’unité à une diminution des crédits ou bien à une augmentation des crédits avec un contrat et des objectifs d’amélioration. Ce n’est pas à l’AERES de se prononcer sur le pilotage. En revanche l’agence se préoccupe de l’utilisation faite des notes. Beaucoup de critères égalent beaucoup de notes qui permettent la modulation.

Le « tatouage » : la note globale est publique sur le site de l’AERES. Ce qui pose le problème de porter une note négative durant quatre ou cinq ans. Il serait logique que les rapports restent publics entre le temps où ils ont été remis (printemps 2013) et le début du contrat (2014). Cette suggestion est en cours de réflexion.

Les différents sens entre les niveaux d’appréciation entre A+, A et B sont de simples degrés de satisfecit, cependant que C’est un véritable signal d’alerte. Or la compréhension des notes diffère dans la pratique.

Michel Robert : Il faut préciser ce qui constitue une équipe dans l’unité, et chaque équipe sera notée sur les six critères. Ceci doit être précisé dès le dépôt du dossier.

Question : Mon UMR compte 5 centres dans différentes universités. Nous faisons un bilan par axe de recherche et peut-être faut-il faire aussi un bilan des équipes de recherche des centres ?

Glaudes : C’est une décision à prendre en fonction de votre souhait : voulez-vous une évaluation qui tienne compte du périmètre des équipes ou bien une présentation qui ignore le niveau des équipes et qui mette en valeur les axes de recherche ? Vous avez le choix mais si le comité d’évaluation trouve votre choix aberrant, une discussion aura lieu. Mais il vous revient de choisir le meilleur mode de présentation de votre équipe en fonction de ce que vous souhaitez mettre en avant. Je ne pense pas qu’il y ait un mode de présentation qui a priori soit meilleur ou plus pénalisant qu’un autre.

Michel Robert : un directeur de laboratoire va organiser sa vie interne avec des notions d’axe, de département, d’équipe, de projet, etc. mais il faut que le rapport permette une évaluation. A partir du moment où le choix d’un « grain » (équipe, unité, thème…), il doit y avoir une cohérence entre l’écrit et la production associée. Il faut faciliter la lisibilité de l’organisation. Ensuite prenons l’exemple d’un laboratoire qui a trois équipes : A,B,C. Le rapport fait état de ces trois équipes, de leur production. Elles seront donc notées sur cinq critères, le sixième c’est le projet. Donc deux cas possibles : soit dans le projet, ces équipes s’appelleront A,B,C, et il y a une continuité et elles seront alors notées aussi sur le projet ; soit la décision a été prise par vous que dans le projet il y aura une équipe D, une équipe E. ce sont deux créations. A,B,C disparaissent, on crée deux nouvelles équipes. Mais dans ce cas, A,B,C seront notées sur cinq critères, et D et E ne seront notées évidemment que sur la partie projet.

Question : La taille de l’équipe interne ?

Réponse : l’AERES ne propose pas de normes. Cela dépend des disciplines. La question à se poser est de savoir si le projet d’une unité est viable avec les moyens en personnel et financiers dont elle dispose

Question : où ranger les ATER et que faire de leur changement de statut pendant la durée du contrat ?

Réponse : tant qu’ils sont doctorants et ATER ils sont comptabilisés parmi les doctorants. Ensuite on peut les ranger parmi les chercheurs.
Toute personne, quelle que soit la nature de son emploi, qui est docteur et qui continue à faire de la recherche en étant enracinée dans une équipe de recherche et qui peut justifier d’une activité régulière de chercheur, même si elle n’a pas le statut administratif de chercheur ou d’enseignant-chercheur, peut être comptabilisée dans le potentiel de l’équipe et sera prise en compte dans l’évaluation du critère qualité et production scientifique de l’unité.

Il ne faut pas surévaluer le rôle des tableaux et des dossiers dans l’évaluation. L’AERES n’est pas une administration de l’évaluation et je ne souhaite pas que nous devenions des professionnels de l’évaluation. Nous avons tous une activité académique. C’est une évaluation par des pairs.

Je souhaite que l’AERES soit déliée de la notion de produisant et que nous l’abandonnions. C’est en négociation. C’est une notion usée, inadaptée et vexatoire parfois.

Nous ne cherchons pas à vous imposer des règles strictes.

Question : quelle est la taille du document de présentation du bilan ?

Réponse : l’unité moyenne comporte entre 25 et 50 chercheurs ; il faut compter 20 pages de bilan plus projet inclus plus cinq pages par équipe, fiches individuelles non comprises.

Question : quelle est la composition du comité d’experts et quel est le temps dont dispose l’unité de recherche évaluée pour réagir à la composition de ce comité ?

Réponse : la vague D est structurée en fonction des PRES et se réalise de PRES en PRES.
Cela commencera par une prise de contact avec le délégué scientifique. La composition du comité des experts est soumise à l’unité. Cependant il n’y a pas de droit de récusation mais la possibilité de faire des observations sur le comité d’experts des lors que sont détectés des conflits d’intérêts possibles.
Question : les notations ont un effet pervers sur le financement pas seulement des tutelles mais d’autres partenaires. Sur les publications quel est le lien entre le nombre de publications et l’équivalent de tremplin annuel travaillé ?

Réponse : l’ensemble des publications comme seul critère n’est pas pertinent. L’évaluation de l’AERES doit être qualitative.

Renaud Legoi : le rapport AERES est un outil pour les tutelles

Question : les participants des ANR et leur comptabilisation dans l’unité ?

Réponse : les ANR sont des entreprises partenariales donc la comptabilisation se fait dans le cadre de leurs équipes et pas dans celui de l’unité qui a porté le projet. Celle-ci se verra reconnu le rôle de leader en termes d’attractivité scientifique de l’unité.