| Accueil > Contrôle, évaluation, information > Les comptes rendus de l'Office parlementaire d'évaluation des choix scientifiques et technologiques |
Office parlementaire d’évaluation des choix scientifiques et technologiques
Mercredi 21 novembre 2012
Présidence de M. Bruno Sido, Sénateur, Président
La séance est ouverte à 17 heures
– Nomination de rapporteurs sur la saisine de la Commission des affaires économiques du Sénat relative aux « techniques alternatives à la fracturation hydraulique pour l’exploration et l’exploitation des hydrocarbures de schiste »
M. Bruno Sido, sénateur, président. – Il nous revient de procéder à la désignation de deux rapporteurs sur la saisine de la Commission des Affaires économiques du Sénat relative aux « techniques alternatives à la fracturation hydraulique pour l’exploration et l’exploitation des hydrocarbures de schiste ».
Sur un sujet aussi délicat et controversé, il me semble souhaitable de travailler, comme nous l’avions fait lors de la mission « sûreté nucléaire », c’est-à-dire en procédant à des auditions ouvertes à la presse, afin que chacun puisse s’exprimer en toute transparence. Ceci, naturellement après une étude de faisabilité.
M. Jean-Yves Le Déaut, premier vice-président. – Cette saisine devra en effet donner lieu à des auditions publiques comme ce fut le cas sur la sûreté nucléaire, après l’accident de Fukushima. Il faudra également veiller à constituer un comité de pilotage représentatif de la diversité des opinions sur ce sujet.
M. Denis Baupin, député. – Il ne s’agit pas d’être contre la recherche, mais étant donné la sensibilité de ce sujet sur un plan politique, il me semble que cette saisine ne transmet pas un signal positif. Cette question des gaz de schiste est remise sur la table quelques jours avant l’ouverture de la conférence de Doha sur le changement climatique. L’opinion publique est défavorable à l’exploitation des gaz de schiste et cette saisine pourrait lui donner le sentiment que l’on contourne les engagements pris.
M. Bruno Sido. – Nous n’allons pas ouvrir le débat sur le fond aujourd’hui. J’ai reçu deux candidatures sur cette saisine : celle de M. Christian Bataille, député et celle de M. Jean-Claude Lenoir, sénateur. Y a-t-il d’autres candidatures ?
M. Christian Bataille, député et M. Jean-Claude Lenoir, sénateur, sont désignés rapporteurs de l’étude relative aux « techniques alternatives à la fracturation hydraulique pour l’exploration et l’exploitation des hydrocarbures de schiste ».
*
– Désignation de deux représentants au comité d’orientation des recherches de l’Institut de radioprotection et de sûreté nucléaire (IRSN)
M. Bruno Sido. – Nous devons désigner deux membres de l’Office au Comité d’orientation des recherches de l’Institut de radioprotection et de sûreté nucléaire (IRSN). Ce comité est une instance consultative placée auprès du conseil d’administration de l’IRSN, qui se réunit deux fois par an et poursuit, notamment, une réflexion sur les aspects sociétaux des recherches menées par l’organisme.
J’ai reçu quatre candidatures : M. Denis Baupin, Mme Corinne Bouchoux, M. Pierre-Marcel Cléach, Mme Anne Grommerch.
M. Jean-Yves Le Déaut. – Il faut retenir une solution équilibrée politiquement et à parité entre l’Assemblée nationale et le Sénat.
M. Denis Baupin, député, et M. Pierre-Marcel Cléach, sénateur, sont désignés au Comité d’orientation des recherches de l’IRSN.
*
– Audition de M. Jean-François Bach, secrétaire perpétuel de l’Académie des sciences, sur les critiques émises par l’Académie à l’encontre de l’Agence nationale d’évaluation de l’enseignement supérieur et de la recherche
M. Bruno Sido. - Nous allons maintenant recevoir successivement, M. Jean-François Bach, secrétaire perpétuel de l’Académie de sciences et M. Didier Houssin, président de l’AERES.
Ces auditions, dont le principe a été acté lors d’une précédente réunion de notre Délégation, sont justifiées par la publication, au mois de septembre dernier, par l’Académie des sciences de « remarques et propositions sur les structures de la recherche publique en France », dans le cadre des réflexions qui accompagnent les « Assises de l’enseignement supérieur et de la recherche ».
L’Office avait entendu, au mois de mars 2011, le président de l’AERES d’alors, M. Jean-François Dhainaut, poursuivant ainsi la démarche entreprise par MM. Claude Birraux et Henri Revol, de faire un premier bilan des institutions nouvelles mises en place par la loi Goulard de 2006. Cette audition a montré qu’en dépit de la novation qu’elle constituait, l’action de l’AERES, qui s’appuyait notamment sur une expertise internationale d’évaluation, comme le fait depuis longtemps l’Institut Max Planck en Allemagne, était peu à peu acceptée.
Dans son opuscule que je viens de citer, l’Académie fait part d’une opinion divergente et beaucoup plus tranchée puisqu’elle propose de supprimer l’AERES, au motif
– je cite – « qu’elle a fait la quasi-unanimité contre elle ».
Monsieur le secrétaire perpétuel, pouvez-vous contribuer à nous éclairer sur ce jugement ?
M. Jean-François Bach, secrétaire perpétuel de l’Académie des sciences. - C’est avec un certain regret que je me trouve dans cette position de critique de l’AERES, que je connais bien et où j’ai siégé encore récemment pour l’évaluation du CNRS. J’apprécie la compétence de son directeur, M. Houssin, et de ses collaborateurs. L’Académie a rendu un avis très tranché en raison de la complexification, au cours des années récentes, du système français de recherche. Hubert Curien disait que lorsqu’on veut modifier une structure, si l’on ajoute une commission, il faut en supprimer deux autres. Or ce n’est pas ce qui s’est produit en France : le nombre de structures s’est multiplié, entraînant une charge de travail administratif insupportable pour les chercheurs.
Il ne faut pas comprendre les remarques de l’Académie comme des réserves à l’égard de l’évaluation. Nous avons rendu deux rapports sur l’évaluation : l’un sur la bibliométrie en janvier 2011 ; l’autre sur l’évaluation individuelle des chercheurs en juillet 2009. Cette évaluation individuelle ne relève pas de l’AERES mais, d’une part, de commissions au sein des organismes de recherche, et, d’autre part, du Conseil national des universités (CNU) pour les enseignants chercheurs. L’évaluation individuelle et celle des équipes sont néanmoins très connexes.
L’Académie a peut-être été un peu trop brutale dans la forme. Mais on en est arrivé à une situation insupportable pour les chercheurs, qui se plaignent de la lourdeur des tâches qu’ils doivent accomplir au détriment de leurs travaux de recherche, pour répondre aux demandes de l’AERES et d’autres organes administratifs. Ceux-ci n’ont pas toujours conscience du temps qui est requis pour apporter les réponses demandées.
La tâche assignée à l’AERES est en outre considérable, étant entendu, au surplus, que les règles d’évaluation doivent être adaptées discipline par discipline. En conséquence, l’AERES n’a pas pu remplir l’ensemble de ses missions. La tâche de validation des règles de procédure de l’évaluation des personnels n’a pas été réalisée de façon satisfaisante : l’évaluation par le CNU aurait, par exemple, besoin de s’inscrire dans un cadre mieux défini. Néanmoins, les évaluations menées par l’AERES ont généralement été satisfaisantes.
Que proposons-nous ? Le groupe de travail de l’Académie des sciences, puis l’Académie elle-même, se sont prononcés à la quasi-unanimité en faveur des orientations suivantes.
L’évaluation des équipes, regroupées dans les mêmes lieux, doit être faite par des comités ad hoc de site. Nous ne souhaitons pas que l’évaluation relève à nouveau de commissions au sein des organismes de recherche ou du CNU, comme ce fut le cas avant la création de l’AERES. En effet, ces commissions comprenaient des élus syndicaux. Or il nous semble que l’évaluation doit être fondée sur le seul critère d’excellence, indépendamment de toute appartenance syndicale.
Nous souhaitons néanmoins que ces comités ad hoc respectent des procédures définies par une nouvelle structure d’évaluation et fonctionnent en pratique sur les moyens des organismes évalués, comme cela se fait à l’étranger. Les modalités administratives de l’évaluation (remboursements de frais, ...) en seraient simplifiées.
Nous souhaitons par ailleurs que le cœur de fonctionnement de l’AERES soit regroupé avec le Haut Comité de la science et de la technologie (HCST) et le Conseil supérieur de la recherche et de la technologie (CSRT), au sein d’une nouvelle structure qui, outre la mission de définir les procédures d’évaluation, se verrait confier un rôle de réflexion transdisciplinaire sur la stratégie nationale de recherche.
M. Bruno Sido. – Je vous remercie.
M. Jean-Yves Le Déaut. - Chargé de la traduction législative des Assises de l’enseignement supérieur et de la recherche en tant que parlementaire en mission, j’ai pris connaissance de la position de l’Académie des Sciences qui propose la suppression de l’AERES. Je remarque qu’aujourd’hui vous ne parlez plus de suppression, mais de l’évolution de ses missions. Dans un tel système, comment pourrait-on simplifier et parvenir à une moindre multiplicité des procédures d’évaluation, ce qui est notamment le cas de la recherche contre le cancer où il y a au moins, avec l’INRA, l’ANR, l’INSERM, le ministère de la Santé, l’AERES, cinq systèmes d’évaluation différents entre l’octroi des financements et l’évaluation proprement dite, au point qu’on pourrait parler de la République des évaluateurs ? Pourriez-vous préciser le rôle du Haut Comité de la science et de la technologie (HCST) qui résulte de la loi de 2006 et qui est maintenant placé auprès du Premier ministre, après avoir été chargé de conseiller le Président de la République sur les grandes questions scientifiques ? Comment pourrait-il combiner cette fonction de conseil avec celle d’évaluation ?
M. Jean-François Bach. - Les structures actuelles forment un millefeuille, ce qui a notamment conduit l’INSERM à mettre en place un groupe de réflexion qui propose une réunification des structures de recherche et d’évaluation en France.
Il faut distinguer plusieurs niveaux d’évaluation : l’évaluation des individus qui permet de les recruter et de les promouvoir ; l’évaluation des équipes, des laboratoires qu’il faudrait opérer de manière uniforme, pas forcément unique, mais sur une base commune, en établissant des règles qui n’existent pas actuellement.
Une bonne évaluation repose sur trois éléments : la compétence, la disponibilité et l’absence de conflits d’intérêts.
Or, actuellement beaucoup des meilleurs scientifiques refusent de siéger dans les comités d’évaluation par manque de temps, alors qu’on pourrait imaginer des règles simples, une fréquence raisonnable des évaluations afin d’éviter de devoir les mobiliser trop souvent.
Le HCST a été peu sollicité jusqu’à présent, alors qu’il y a des problèmes majeurs qui concernent l’équilibre des moyens entre les disciplines (il faut tenir compte des sciences émergentes) et les principes devant guider les procédures d’évaluation. Il pourrait être chargé de constituer des groupes de travail pour réfléchir sur ces problèmes, en faisant appel à des scientifiques de renom à qui on demanderait un temps d’investissement raisonnable.
M. Jean-Yves Le Déaut. - Lorsque plusieurs ministères sont concernés, et c’est notamment le cas pour la santé, et particulièrement pour la recherche clinique, ne faudrait-il pas une cotutelle, qui permettrait d’aboutir à un meilleur pilotage des formations notamment ?
M. Jean-François Bach. - Dans le cas de la santé, l’INSERM qui rend compte au ministère de la recherche comme au ministère de la santé, s’adresse en fait davantage au ministère de la recherche. La double tutelle est nécessaire car il y a des finalités distinctes à respecter. Pour la recherche clinique, la demande de placement sous l’égide du ministère de la Recherche est ancienne. Les professeurs de médecine ont revendiqué de longue date une prise en compte de cette activité par l’INSERM. La création du programme hospitalier de recherche clinique (PHRC) s’est faite sous l’égide du ministère de la santé, alors que l’INSERM devrait couvrir l’ensemble de la recherche clinique. Il n’est pas bon qu’il poursuive ses propres programmes de recherche clinique et que le PHRC fasse la même chose de son côté ; l’effort devrait être conjoint.
M. Michel Berson, sénateur. - En tant que membre du Conseil de l’AERES, j’ai été choqué par le contenu du rapport de l’Académie des sciences sur l’AERES, car il s’agit d’un document à charge qui ne contient pas de points positifs. Ses démonstrations sont fondées sur des éléments erronés. L’AERES ne procède plus à une notation d’ensemble et a maintenant une notation multicritères. Elle n’utilise pas les mêmes grilles pour évaluer des structures de nature différente. Il est pour le moins contestable de dire qu’une quasi-unanimité s’est faite sur sa suppression. Pourquoi l’Académie a-t-elle émis un avis aussi critique ? L’apport de l’AERES depuis cinq ans est une avancée, en termes de garantie d’indépendance, d’impartialité, et d’homogénéité de l’évaluation. Pourquoi ne pas l’avoir souligné ? N’y a-t-il pas un risque de retour en arrière vers une notation dépendante des universités et des organismes de recherche ? Pourquoi faudrait-il confier l’évaluation à ceux qui financent et distribuent des postes ?
M. Jean-François Bach. - L’Académie a procédé de manière simple. Les membres de l’Académie ont été invités à exprimer par écrit leur opinion sur une dizaine de sujets d’actualité, dont la réforme éventuelle de l’AERES. L’Assemblée générale a corroboré leur opinion qui, dans la forme, est sans doute trop brutale, comme l’est le terme de « suppression ».
Nous ne proposons pas le retour à la situation initiale. C’est la critique de cette situation qui avait conduit à la création de l’AERES, afin de retirer aux organismes la possibilité de s’autoévaluer. Nous demandons par contre la création de comités ad hoc qui seraient gérés par les organismes au niveau matériel, ce qui se fait dans beaucoup de pays, et je connais personnellement le cas de l’université d’Oxford.
L’AERES a bien fonctionné. Le fait que ses évaluations aient été rendues publiques a pu poser problème. La critique porte aussi sur l’organisation, la lourdeur de l’administration, mais la qualité du travail lui-même n’est pas remise en cause. Il y a eu certes une évolution depuis quelques mois sous l’impulsion de M. Didier Houssin.
L’utilisation des notes données par l’AERES est un point préoccupant. Il n’en est presque pas tenu compte. Ce n’est pas du fait de l’AERES, mais il n’y a pratiquement plus de moyens à donner aux laboratoires. Il en résulte que, pour les équipes, les conséquences pratiques de l’évaluation sont faibles. Les décisions financières importantes sont prises par l’ANR, par les structures des investissements d’avenir, et les retombées du travail de l’AERES ne sont pas à la hauteur de l’effort qu‘implique l’évaluation.
L’Académie est très sensible aux comparaisons internationales. Or à l’étranger, il n’existe pas d’organisation de ce type. L’évolution que propose l’Académie pourrait être faite de manière simple. Ses critiques ne doivent pas être prises ad hominem, car les responsables de l’AERES n’ont fait qu’accomplir leur mission.
M. Jean- Yves Le Déaut. - L’AERES est une autorité administrative indépendante dont la mission est l’évaluation ; elle a la possibilité de s’appuyer sur des organismes pour évaluer les diplômes, elle a reçu mission de valider les procédures d’évaluation des personnes. La loi de 2006 évoque les missions d’évaluation de la recherche, un peu celle de l’enseignement. Ne pensez-vous pas que la mission d’évaluation doit aussi porter sur les enseignants et englober d’autres missions non prises en compte jusqu’à présent, comme l’innovation, les transferts de technologie, l’ouverture à l’international, la médiation scientifique, la contribution aux rapports sciences/société ? Cela ne devrait-il pas entrer en ligne de compte, au moins dans l’évaluation des hommes ?
M. Jean-François Bach. - Ma réponse est oui. Nous avons insisté sur les points évoqués notamment pour les enseignants-chercheurs. Cependant, il est plus compliqué d’évaluer un enseignant qu’une recherche : sur quoi se fonder : la participation aux tâches collectives, les résultats des étudiants, etc. ? Ce n’est pas simple et il faut distinguer l’évaluation des individus, dévolue au Conseil national des universités (CNU) et aux commissions d’organismes, de celle des laboratoires, qui concernent parfois les mêmes questions, sous des aspects différents, avec pour enjeu l’affectation des moyens. Il est nécessaire de séparer ces missions très différentes. Quant à l’évaluation des institutions, c’est une tâche difficile qui a ses limites, comme l’illustre le cas de l’évaluation du CNRS qui s’est déroulée en une semaine sous l’égide de Philippe Busquin, ancien commissaire européen à la recherche. Qu’en sera-t-il le jour où il faudra évaluer une université dans son ensemble ? Pour autant, c’est un exercice plus pertinent que le classement de Shanghai, qui est trop abrupt.
M. Bruno Sido. - Je poserai deux questions quelque peu iconoclastes : les évaluateurs sont-ils eux-mêmes évalués ? Lorsque l’on écoute les chercheurs se plaindre de la lourdeur des contrôles, du temps passé à l’évaluation, de son coût, on se demande comment ils peuvent rester efficaces en tant que chercheurs s’ils doivent passer leur temps à remplir des formulaires. Si on les mobilise la moitié du temps à cela, quand peuvent-ils chercher ?
M. Jean-François Bach. - Cette question est au centre de notre rapport, c’est devenu intolérable pour les chercheurs, car même si ce problème se pose aussi à l’étranger, il se trouve accentué en France du fait de l’existence d’un mille-feuille administratif et de la multiplicité des structures. Il faut donc mettre fin à cela. La nouvelle instance que nous préconisons devrait veiller à la mise en œuvre de cette simplification.
Les évaluateurs sont eux aussi évalués : un chercheur de qualité se doit d’évaluer de temps en temps les travaux des autres ; s’il refuse trop souvent de participer à un comité ou d’évaluer un article, il risque de se voir lui-même refuser des articles. Les évaluateurs sont également évalués quand ils soumettent des projets à l’ANR ou les présentent devant des instances de financement internationales. Ainsi, les chercheurs sont-ils en permanence évalués et évaluateurs.
M. Bruno Sido. - Je vous remercie beaucoup pour vos réponses.
*
– Audition de M. Didier Houssin, président de l’Agence d’évaluation de la recherche et de l’enseignement (AERES)
M. Didier Houssin, président de l’AERES. – Monsieur le Président, Monsieur le Premier vice-président, Mesdames et Messieurs les Députés, Mesdames et Messieurs les Sénateurs, permettez-moi d’abord de vous remercier d’avoir voulu auditionner l’AERES. Je voudrais vous présenter les trois personnes qui m’accompagnent : Madame Laurence Pinson, secrétaire générale de l’AERES, le professeur Philippe Tchamitchian, directeur de la section des établissements (universités, écoles, organismes de recherche), le professeur Pierre Glaudes, directeur de la section des unités de recherche.
Dans cet exposé liminaire, je vais aborder les acquis liés au rôle de l’AERES, puis les critiques formulées vis-à-vis de l’AERES, dans le contexte des Assises, et les propositions que l’AERES formule.
Ce n’est pas devant l’Office parlementaire d’évaluation que je vais vanter les mérites de l’évaluation comme levier de progrès, comme moyen partagé d’aide à la décision, ou comme méthode structurée d’information.
Depuis son installation en 2007, en à peine cinq ans, l’AERES a accompli un cycle complet d’évaluation (plus de 4 000 programmes de formation, plus de 3 200 unités de recherche, 250 établissements ou organismes), de façon homogène, et en combinant auto-évaluation et évaluation externe collégiale par les pairs. Des entités dans le champ de la culture (diplômes des écoles d’art ou d’architecture) ou de la santé (diplômes d’infirmières) ont aussi été évaluées pour la première fois. Cela explique sans doute pourquoi, dans sa contribution aux Assises, le ministère de la Culture et de la Communication a souligné le rôle important de l’AERES.
Égalité de traitement entre les entités évaluées ; impartialité des évaluations grâce au statut d’indépendance de l’AERES ; transparence des résultats des évaluations. Voilà trois acquis très importants ! Dans un rapport de 2009, l’Académie des sciences estimait d’ailleurs que l’AERES avait beaucoup apporté en termes d’éthique, de transparence et d’impartialité de l’évaluation.
Un acquis important est aussi que l’AERES est reconnue au niveau européen, comme compétente et comme indépendante. Cela veut dire que les étudiants et les chercheurs européens, et l’ensemble des observateurs étrangers disposent d’une garantie quant à la qualité des évaluations faites en France. Cela veut dire que les résultats des évaluations faites en France sont crédibles. Ceci est crucial en termes d’attractivité de notre système d’enseignement supérieur et de recherche. De nombreux pays sollicitent l’AERES pour évaluer des programmes ou des institutions, ou pour aider à la mise en place d’un dispositif d’évaluation. Encore cette semaine, avant-hier, l’Algérie, hier, l’Italie.
Un acquis essentiel, enfin, est que l’AERES a la possibilité, du fait de ses missions, d’évaluer la qualité du lien entre formation et recherche. Cette possibilité est jugée très intéressante à l’étranger. Hier, j’étais invité par l’agence italienne créée récemment et qui s’inspire fortement de l’agence française sur ce point.
S’agissant des critiques et des propositions, sans vouloir faire un plaidoyer pro domo, je voudrais dire deux choses : la première est que l’AERES n’a pas attendu les Assises pour écouter les critiques et y répondre. Chaque année, nous organisons un retour d’expérience et, à plusieurs reprises, l’AERES a déjà fait évoluer sa méthode, justement pour tenir compte des critiques. À la fin de 2011, nous avons en particulier entendu les critiques de la notation globale des unités de recherche ou de la prise en compte insuffisante de la recherche finalisée. Nous avons supprimé la note globale et nous avons modifié le référentiel de recherche, afin d’affiner les critères d’évaluation des activités de recherche.
Le second point est que les critiques sont parfois contradictoires entre elles. Premier exemple : certaines entités évaluées n’apprécient pas la notation, fût-elle multicritères. En revanche, les décideurs, qui s’efforcent en particulier de « financer à la performance », n’apprécieront pas de ne plus disposer de la notation qui les aide dans leurs décisions.
Second exemple : certains personnels des entités évaluées reprochent à l’AERES de recueillir des données de nature individuelle. Les décideurs, qui souhaitent « financer à l’activité », n’apprécieront pas que l’AERES cesse de leur fournir des informations actualisées sur les effectifs. En effet, en raison de la complexité du dispositif de recherche français, ces décideurs ne disposent en général pas d’une vision d’ensemble sur ces effectifs.
J’en viens maintenant aux critiques exprimées dans le cadre des Assises. Elles concernent avant tout une des trois missions principales de l’AERES, l’évaluation des unités de recherche. Je vais évoquer les cinq critiques principales et les propositions que l’AERES a soumises au débat en vue des Assises nationales.
La première critique porte sur la complexité du fonctionnement de l’AERES. Il me faut d’abord rappeler que l’AERES n’est pas responsable de la complexité du dispositif français d’enseignement supérieur et de recherche : universités et grandes écoles ; établissements d’enseignement supérieur et de recherche et organismes nationaux de recherche ; universités devenues plus autonomes, mais coexistant avec des entités nationales d’évaluation comme le Conseil national des universités (CNU) et le Comité national de la recherche scientifique (CoNRS)… ; chercheurs et enseignants-chercheurs).
Dans ce paysage complexe, l’AERES est en fait une « complexité simple ». Elle est même un facteur d’unité et de décloisonnement, grâce à sa méthode homogène d’évaluation, et surtout à la possibilité d’évaluer la qualité du lien entre formation et recherche.
Il ne faut pas non plus surestimer le poids que représente l’évaluation conduite par l’AERES, une fois tous les cinq ans. Cette charge est faible par rapport à la charge administrative liée à la quête des financements sur projet auprès de l’ANR, de l’Europe, des Régions, des grandes associations, des industriels, etc., avec, dans chaque cas, des procédures annuelles, différentes, de reporting des résultats et de suivi budgétaire.
Néanmoins, l’AERES fait une proposition de simplification : la réduction de moitié, dès cette année, de son dossier d’évaluation.
La deuxième critique porte sur la transparence. L’évaluation faite par l’AERES est beaucoup plus transparente que ce qui se faisait avant. Toutefois, il y a des marges de progrès, concernant le recrutement des délégués scientifiques de l’AERES, la composition des comités d’experts et la signature des rapports d’évaluation. Sur ces trois points l’AERES est prête à améliorer et clarifier ses procédures.
La troisième critique concerne l’articulation insuffisante entre évaluation individuelle et évaluation collective. L’AERES n’a pas de responsabilité d’évaluation individuelle des chercheurs ou des enseignants-chercheurs. Elle souhaite cependant mieux s’articuler à l’avenir avec les instances qui sont justement un rôle dans l’évaluation individuelle, par exemple le CoNRS, le CNU ou les universités.
La quatrième critique concerne la portée des évaluations de l’AERES, jugée parfois trop large. L’AERES a songé à centrer son action sur l’évaluation ex post, donc à ne plus évaluer le projet à cinq ans des entités de recherche. Il ne faudrait cependant pas que cette simplification, cet allègement, conduise à accroître la complexité du dispositif d’évaluation, d’autres instances se mettant à faire l’évaluation du projet à cinq ans. Il ne faudrait pas non plus que cela crée une inégalité de traitement entre les entités de recherche évaluées.
Il est demandé aussi que l’AERES s’appuie plus sur les instances nationales des grands organismes de recherche, voire délègue l’évaluation aux conseils scientifiques dont se sont dotées certaines unités de recherche de ces organismes. Là encore, ceci mérite d’être étudié, en étant conscient des deux risques, évoqués plus haut, de complexifier l’évaluation, d’un côté, de créer des inégalités de traitement entre unités de recherche, de l’autre.
La cinquième critique concerne la question des élus. L’AERES est attachée à ce que le choix des chercheurs ou enseignants-chercheurs sollicités pour les comités d’évaluation ne repose pas sur la seule élection, mais je précise que des experts sollicités pour faire partie des comités d’experts sont parfois, déjà aujourd’hui, des élus. L’AERES ne verrait pas d’inconvénient à ce que son Conseil, instance chargée de missions en termes de politique d’évaluation, comporte des élus émanant de la communauté scientifique. D’ailleurs, je rappelle que ce Conseil a la chance d’avoir en son sein deux élus du peuple.
Enfin, l’AERES n’a pas de fixation sur la notation. Le choix ou non de la notation nous semble devoir être déterminé avant tout par la politique de financement. S’il y a une part de financement à la performance, la notation multicritères mise en place par une agence indépendante comme l’AERES est certainement préférable à un dispositif de notation découplé de l’évaluation, et qui serait mis en place de façon hétérogène par les différents décideurs. S’il n’y a plus aucun financement à la performance, on pourrait très bien se passer de la notation.
Concernant la recommandation de l’Académie des sciences de supprimer l’AERES, je répondrai qu’elle est peu argumentée. De plus, certains des rares arguments avancés sont faux. En particulier, il est erroné de dire que l’AERES fait l’unanimité contre elle. Il est donc illogique d’avancer que, pour cette raison, il faudrait la supprimer.
Éliminer l’AERES, ce serait jeter le bébé avec l’eau du bain et ignorer que les grands enjeux liés à l’existence de l’AERES sont la qualité, la crédibilité de la qualité, et donc l’attractivité, de notre système d’enseignement supérieur et de recherche sur la scène européenne et internationale, mais aussi la capacité à faire le lien entre formation et recherche.
C’est d’ailleurs sans doute pour cela que le ministère des Affaires étrangères, dans sa contribution aux Assises, a écrit en septembre que « l’AERES est un des vecteurs essentiels de notre compétitivité », et que, « grâce à sa dynamique d’internationalisation, l’AERES illustre notre capacité d’expertise et renforce notre image d’excellence ».
Monsieur le Président, Monsieur le Premier vice-président, Mesdames et Messieurs les Députés et Sénateurs, l’AERES fait l’objet de critiques, ce qui est normal, et elle est prête à évoluer pour mieux répondre aux attentes, et pour trouver des solutions de compromis, lorsque ces attentes sont contradictoires.
M. Jean-Yves Le Déaut. - Je vais poser des questions assez pratiques.
Vous dites que l’évaluation par l’AERES est peu coûteuse, mais quel est votre budget ? Est-il suffisant ?
Vous considérez que l’évaluation par l’AERES n’est pas une charge excessive, mais alors, que penser de l’impression créée d’une démultiplication des évaluations ?
Pensez-vous que l’on peut continuer avec ce système ; à défaut, comment envisagez-vous son évolution ?
Concernant les quatre missions que la loi vous confie, vous avez la possibilité de vous appuyer sur les organismes, cela-a-t-il été suffisamment fait ? Vous n’évaluez pas les hommes, mais faut-il avoir d’autres formes d’évaluation, évaluation de l’innovation, évaluation de l’enseignement ? La loi vous donne la mission de valider les procédures d’évaluation et de donner un avis sur les conditions de son application, cela a-t-il été fait ?
Enfin, le secrétaire perpétuel de l’Académie des Sciences, que l’on a reçu juste avant vous, a proposé de fusionner l’AERES avec le HCST pour lui donner une mission plus large de stratégie, qu’en pensez-vous ?
Monsieur Didier Houssin. - Notre budget est de 15 à 16 millions d’euros. Il nous permet de remplir correctement nos missions. Le « coût » pour évaluer une unité de recherche est actuellement d’environ 6 700 euros.
L’impression de multiplicité des évaluations est réelle et provient sans doute de la multiplicité des sources de financement et de la diversité des méthodes de reporting. Il faut avancer vers la création d’un guichet unique et l’harmonisation des dossiers.
L’évaluation est au cœur du métier de chercheur et elle n’est donc pas externalisable.
Concernant la possibilité de s’appuyer sur les organismes, l’indépendance joue un rôle crucial pour la sincérité de l’évaluation. On peut tout de même avoir l’ambition de recentrer l’AERES sur la validation des procédures. Néanmoins, je pense qu’il n’est pas possible de le faire tout de suite en France. Il faut en outre éviter le piège du conflit d’intérêt des évaluateurs, mais l’expérimentation est possible malgré un risque d’inégalité.
Sur l’évaluation des formations on peut sans doute aller vers quelque chose de moins fin.
Sur la question de notre mission sur la validation des procédures d’évaluation, nous avons avancé mais lentement. En 2011 nous avons réalisé une première enquête. Il en ressort que les évaluations mises en place sont sans doute incomplètes, imparfaites et à évaluer. En outre, nous travaillons sur un cadre des bonnes pratiques. Nous pensons qu’il faut une évolution de la loi : il ne faut plus que notre mission soit de valider les procédures mais d’évaluer celles-ci.
Enfin, en ce qui concerne la fusion de l’AERES avec le HCST, il faut distinguer deux choses : l’évaluation des politiques publiques et l’évaluation du fonctionnement du système. Je considère que ce n’est peut-être pas une très bonne idée de mélanger les deux.
M. Michel Berson. - Les recommandations de l’AERES, son expérience sont-elles prises en compte par les organismes de recherche et par les universités ? Y a-t-il un suivi de leur mise en œuvre ? La procédure contradictoire peut-elle être améliorée ? Y a-t-il une différence de degré entre ce que font la Cour des comptes et l’AERES, étant donné que leurs champs d’investigation ne sont pas les mêmes ?
M. Didier Houssin. - Il est difficile de mesurer l’impact de l’évaluation. Les évaluations de l’AERES ont un effet sur la mise en place de procédures d’assurance qualité, et sur l’autoévaluation. Il est possible de le juger du fait du caractère périodique des évaluations : le deuxième cycle d’évaluation qui débute actuellement montre des évolutions incontestables. Il est néanmoins difficile de mesurer les résultats finaux sur la qualité de la formation pour les étudiants.
Certains disent que l’AERES est une Cour des comptes de deuxième classe. Sa procédure n’est certes pas aussi élaborée que celle de la Cour, mais les évalués ont la possibilité de répondre, ce qu’ils font parfois de manière assez vive.
M. Philippe Tchamitchian, directeur de la section des établissements. - le processus d’évaluation des établissements est en deux temps, le premier relevant de la responsabilité des établissements qui font un rapport d’autoévaluation de leurs actions au cours des quatre ou cinq dernières années. Il en résulte une vraie dimension d’autoanalyse.
En ce qui concerne le lien entre évaluation et contractualisation, il faut que l’évaluation précède la contractualisation. L’évaluation a en effet la vertu d’objectiver les constats et de fournir une base à la négociation contractuelle.
M. Jean-Yves Le Déaut. – J’ai bien noté que vous souhaitiez rester une autorité administrative indépendante, dotée d’une mission d’évaluation, et non de validation, des procédures d’évaluation des personnes. Mais concernant l’évaluation des procédures et la possibilité de vous appuyer sur des organismes d’évaluation interne, est-ce qu’en dehors des instances du Comité nationale de la recherche scientifique (CoNRS) et du Conseil national des universités (CNU), il existe d’autres comités sur lesquels l’AERES pourrait s’appuyer et, si c’est le cas, lesquels ? Comment comptez-vous organiser l’évaluation difficile des unités mixtes de recherche ? Comment ferez-vous participer le personnel élu à l’évaluation maintenant que des décrets ont supprimé la possibilité d’évaluer les équipes, pour les comités du CNRS et de l’INSERM, au profit d’une évaluation par l’AERES ?
M. Didier Houssin. – Effectivement, s’agissant de l’évaluation des personnels, il serait plus pertinent pour l’AERES d’évaluer, et non pas de valider, les procédures. Quant à la capacité à s’appuyer sur les comités d’évaluation interne, on se heurte à la complexité du dispositif. Si l’on s’appuie sur les comités spécialisés du CNRS ou de l’INSERM, comment cela se passera-t-il avec le CEA, l’INRA ou les universités, car on entre alors dans une complexité difficile à gérer. Pour l’évaluation des unités mixtes de recherche et à titre expérimental, on pourrait imaginer de s’appuyer sur un Scientific Advisory Board (SAB). J’ai eu l’occasion d’évoquer cette piste avec l’administrateur du Collège de France, M. Serge Haroche.
Concernant les élus, nous ne sommes pas favorables à ce qu’ils soient, en tant que tels, membres de comités d’évaluation. Cependant, deux élus représentant la communauté scientifique pourraient siéger au Conseil de l’AERES, instance politique où siègent déjà deux parlementaires, afin d’accroître la participation aux travaux de l’AERES.
S’agissant des textes, il subsiste des ambiguïtés sur le rôle de chacun et il faudrait clarifier cela. Je ferai une proposition fonctionnelle, à savoir mettre en place un groupe de concertation associant responsables de l’évaluation collective et de l’évaluation individuelle.
L’AERES, indépendante, est restée isolée. Elle pourrait tout à fait travailler en partenariat avec d’autres instances en préservant son indépendance.
M. Bruno Sido. - L’AERES est une instance d’évaluation de la recherche et de l’enseignement supérieur, mais est-ce que vous vous autoévaluez ? En conclusion, pourriez-vous nous donner quelques pistes d’évolution, notamment suite aux observations faites dans le cadre des Assises de l’enseignement supérieur et de la recherche ? Comment devenir plus performant dans l’évaluation tout en allégeant autant que possible les charges pesant sur les chercheurs, qui doivent disposer de temps pour leurs recherches ?
M. Didier Houssin. - En préambule, je voudrais préciser que l’AERES s’autoévalue et qu’elle a même été évaluée au niveau européen, puisqu’elle est inscrite au registre européen des agences qualité.
Je peux distinguer quatre pistes d’amélioration de nos procédures :
- mettre de plus en plus l’accent sur l’autoévaluation, pour prendre une certaine distance, pour que l’évaluation externe soit un complément,
- simplifier, travailler à un grain un peu moins fin maintenant que nous avons l’expérience, mais sans perdre le contact avec le terrain,
- essayer de mieux appréhender la mesure des effets de l’évaluation, en vue d’optimiser son impact,
- renforcer notre assise européenne. L’agence française a la chance d’évaluer à la fois les organes de la recherche et de l’enseignement supérieur. Il faudrait faire en sorte que ce modèle se généralise.
M. Jean-Yves Le Déaut. - La loi a décidé de confier l’évaluation des organes de recherche et d’enseignement supérieur à une autorité indépendante. Cela n’interdit pas pour autant le contrôle du Parlement. Ne serait-il pas utile que vous puissiez être auditionné devant le Parlement chaque année, comme c’est le cas pour l’Autorité de sûreté nucléaire ou d’autres organismes ?
M. Didier Houssin. - J’en serais enchanté. Un des dangers qui menace une structure comme la nôtre, c’est de perdre les contacts. Nous sommes contrôlés par la Cour des comptes, mais ce serait très utile aussi d’avoir régulièrement des contacts avec le Parlement.
La séance est levée à 18 h 45
Membres présents ou excusés
Office parlementaire d'évaluation des choix scientifiques et technologiques
Réunion du mercredi 21 novembre 2012 à 17 heures
Députés
Présents. - M. Christian Bataille, M. Denis Baupin, M. Jean-Yves Le Déaut
Excusés. - Mme Anne Grommerch, M. Alain Marty, Mme Corinne Narassiguin, Mme Maud Olivier
Sénateurs
Présents. - Mme Delphine Bataille, M. Michel Berson, M. Marcel-Pierre Cléach, M. Roland Courteau, M. Jean-Claude Lenoir, M. Bruno Sido
Excusés. - M. Gilbert Barbier, Mme Corinne Bouchoux, M. Jean-Pierre Leleux