| Accueil > Contrôle, évaluation, information > Les comptes rendus de la mission d’évaluation et de contrôle |
M. Olivier Carré, Président. Messieurs, je vous remercie d’avoir répondu à notre invitation pour cette après-midi d’auditions consacrées aux financements extrabudgétaires de la recherche et de l’enseignement supérieur.
Au cours des dernières années, le secteur a bénéficié de nombreux plans de financement, à travers la loi relative aux libertés et responsabilités des universités – LRU –, le plan Campus, le budget général et le programme des investissements d’avenir ; le Président de la République a confirmé hier que ce dernier donnerait une impulsion exceptionnelle, grâce à un effort de 35 milliards d’euros.
Le mode de gouvernance du programme est particulièrement original, mais complexe aussi. Nos auditions visent à savoir quelle place chacun des acteurs occupe dans le dispositif et comment nous, parlementaires, pouvons contrôler que les fonds abonderont bien l’ensemble des politiques d’innovation et de recherche, de façon à obtenir le surcroît de croissance attendu.
Nos trois rapporteurs, Alain Claeys, Jean-Pierre Gorges et Pierre Lasbordes, vous interrogeront sur ces points. Je rappelle que, conformément à ses usages, la MEC est assistée dans ses travaux par la Cour des comptes, en la personne de M. Jacques Tournier, conseiller-maître.
M. Alain Claeys, Rapporteur. On ne peut que se féliciter des sommes mises à la disposition de la recherche et de l’enseignement supérieur. Il convient néanmoins de veiller à leur bonne utilisation et à l’évaluation des actions engagées. L’Agence d’évaluation de la recherche et de l’enseignement supérieur – AERES – a été créée récemment, dans le cadre de l’autonomie des universités, et a constitué une petite révolution pour notre pays. A-t-elle joué un rôle en amont de la sélection des projets ? Sera-t-elle chargée d’une mission particulière en matière d’évaluation ? Quelles sont ses relations avec le Commissariat général à l’investissement – CGI – et avec les opérateurs des Investissements d’avenir ?
M. Didier Houssin, président de l’Agence d’évaluation de la recherche et de l’enseignement supérieur. La sélection des projets a été confiée à des jurys internationaux. L’AERES a joué un rôle indirect dans la phase d’évaluation ex ante, dans la mesure où elle a mis à la disposition des jurys les rapports d’évaluation qu’elle a établis au fil des années sur les unités de recherche surtout et sur les établissements.
On peut s’attendre à ce qu’elle joue un rôle plus important en matière d’évaluation ex post pour s’attacher à apprécier les effets de ces investissements. Des discussions sont en cours avec le ministère de l’enseignement supérieur et de la recherche, le CGI et l’Agence nationale de la recherche – ANR –, pour que l’AERES soit impliquée dans le processus d’évaluation à travers d’abord l’évaluation de l’ANR ; elle s’attacherait plus particulièrement à la manière dont l’ANR joue son rôle d’opérateur, notamment dans le cadre de sa relation contractuelle ou conventionnelle avec les bénéficiaires, et lorsqu’elle procède à l’évaluation des actions engagées.
M. Alain Claeys, Rapporteur. Il est vrai que la loi prévoit que l’AERES évalue l’ANR. Toutefois, le rôle joué par celle-ci dans le cadre des investissements d’avenir diffère de celui qu’elle joue habituellement, lorsqu’elle procède elle-même à l’évaluation et détermine les crédits. Que pensez-vous du rôle joué par les opérateurs ? N’ont-ils pas tendance à quitter la scène une fois les jurys constitués ? Ils semblent un peu absents dans la suite du processus.
M. Didier Houssin. L’ANR dispose d’un savoir-faire éprouvé en matière d’évaluation ex ante des projets de recherche, qui est son activité quasi quotidienne depuis des années. Il n’était pas illogique de s’adresser à elle pour organiser cette procédure. Dans le processus d’évaluation que nous devons conduire sur l’ANR cette année, nous aurons certainement à examiner la façon dont elle a rempli sa mission et comment elle s’est organisée pour conduire les interactions avec les bénéficiaires.
Une première possibilité serait donc d’évaluer l’action des opérateurs, en particulier ceux qui se situent dans le champ de l’enseignement supérieur et de la recherche, comme l’ANR et le CEA. Pour les opérateurs qui ne se situent pas dans ce champ, la réponse est moins évidente.
Nous pourrions également jouer un rôle dans l’évaluation ex post des bénéficiaires, puisque le métier de l’AERES est d’évaluer, d’une part, les unités de recherche, d’autre part, les établissements d’enseignement supérieur et de recherche. Or, certaines de ces structures sont bénéficiaires des investissements d’avenir, à travers des initiatives d’excellence – Idex –, des laboratoires d’excellence – Labex – et des équipements d’excellence – Equipex –. Elle portera le même regard évaluatif sur les organismes et surtout les unités.
Le problème est de savoir comment cette tâche d’évaluation des structures bénéficiaires va s’intégrer dans le cycle habituel de nos missions d’évaluation répondant à la contractualisation fixée par le ministère de l’Enseignement supérieur et de la recherche, compte tenu du caractère très particulier des investissements d’avenir et des sommes engagées. Faut-il privilégier le rythme quinquennal et donc créer une désynchronisation pour les investissements d’avenir ou créer une synchronisation ? Ce point est actuellement en discussion avec le ministère et le CGI.
L’AERES peut encore jouer deux autres rôles. D’abord, n’y aurait-il pas lieu, après un an et demi ou deux ans, d’engager un retour d’expérience sur la manière dont les choses se sont passées ? L’AERES bénéficiant d’une certaine expérience et disposant d’une vision large du champ, elle pourrait être sollicitée pour donner son avis sur d’éventuelles inflexions à apporter.
Ensuite, et surtout, il conviendrait d’apprécier l’impact de ces investissements, en termes non de production scientifique, mais d’industrialisation du pays, de croissance et d’emploi. Le CGI réfléchit actuellement à cette question complexe. L’AERES pourrait apporter une contribution très utile en mesurant les incidences du dispositif sur le système éducatif, et en particulier sur le système d’enseignement supérieur et de recherche. La création de niches d’excellence jouera-t-elle un rôle de locomotive pour l’ensemble du système, par émulation et mimétisme, ou verra-t-on apparaître des phénomènes d’éviction ou de ralentissement ?
M. Jean-Pierre Gorges, Rapporteur. Qu’en est-il aujourd’hui ? Y a-t-il concurrence entre ceux qui bénéficient des investissements d’avenir et les autres ?
M. Didier Houssin. Dans l’ensemble, l’effet de substitution semble limité : il y a vraiment eu un effort supplémentaire. La communauté scientifique s’est fortement mobilisée. Je n’ai pas l’impression que ceux qui n’ont pas présenté de projet en aient pâti ; en revanche, on a pu tirer les leçons des échecs, qui ont pu créer un choc. On voit ainsi apparaître des choses nouvelles dans les projets Idex. Il faudra aussi repérer les éventuels effets négatifs.
M. Alain Claeys, Rapporteur. La sélection de la première vague de projets a pu faire débat, au point que le Gouvernement a demandé que certains avis soient reconsidérés. Avez-vous constaté des divergences entre le choix opéré par les jurys internationaux et celui qu’aurait fait l’ANR ?
Par ailleurs, aucun projet sur le cancer ne figurait parmi les projets éligibles. Pourquoi ?
M. Didier Houssin. La procédure qui a été retenue est celle qui est la plus reconnue à l’échelle internationale pour la promotion de l’excellence. Ont été constitués des jurys internationaux, regroupant des personnalités dont la compétence est peu discutable. On a évité les dysfonctionnements dus aux conflits d’intérêts – sauf un cas, qui a été traité –, et l’on a fait en sorte de choisir les meilleurs projets. Pour ce que j’en sais, les décideurs ont respecté les résultats de la sélection. En revanche, si les bons projets sont nombreux et que les possibilités financières le permettent, rien n’empêche les responsables politiques de prendre en considération d’autres facteurs, comme la cohérence avec la stratégie nationale de recherche et d’innovation ou avec la politique territoriale. Cela n’est pas choquant. Il me paraît important qu’une cohérence sur le plan de la politique territoriale en particulier soit recherchée. De son côté, l’AERES veillera à la cohérence entre la sélection des Idex et celle des Labex.
S’agissant du cancer, un effort important a déjà été fourni dans le cadre des deux plans Cancer, chacun d’entre eux comportant un volet de recherche ; des initiatives importantes ont été prises, comme les cancéropôles ou l’immunogénétique. On ne peut pas dire que ce domaine ait été laissé en déshérence durant ces dernières années ! Peut-être est-ce la raison pour laquelle il n’y a pas eu de projet d’Institut hospitalo-universitaire – IHU – d’importance – mais cela peut changer.
M. Jean-Pierre Gorges, Rapporteur. Que pensez-vous du recours de l’État à des financements extrabudgétaires ? Ne se substituent-ils pas pour partie aux crédits budgétaires ? S’agit-il d’un « coup » politique ?
M. Didier Houssin. Je ne suis pas sûr d’être compétent pour répondre à cette question !
Certes, deux éléments peuvent amener à se poser la question. D’abord, la présidente de l’ANR, Mme Lecourtier, a signalé lors de son audition une diminution des crédits de l’agence – quoique limitée par rapport aux sommes en jeu. Ensuite, il est possible qu’il s’agisse d’une réponse aux difficultés de financement du plan Campus.
Je ne connais pas assez bien les mécanismes budgétaires pour vous apporter une réponse plus précise ; il vaudrait mieux poser la question à la Caisse des dépôts ou à M. Guin, directeur des Affaires financières. Mais, je n’ai pas l’impression que le dispositif vise à compenser une diminution des crédits budgétaires. Il s’agit d’un effort important – et inédit – en faveur de la recherche et de l’enseignement supérieur dans notre pays.
M. Alain Claeys, Rapporteur. Existe-t-il une cohérence entre les actions financées à travers le plan Campus et celles financées par le programme des investissements d’avenir ? Le retard pris sur le plan Campus est-il lié au fait que l’autonomie des universités n’a pas été traduite par des conséquences suffisantes sur le plan de la gouvernance ? La question de la relation entre les universités et les organismes de recherche est aussi posée à travers ces difficultés.
M. Didier Houssin. Il faudrait s’assurer de la cohérence des projets retenus ; je ne suis pas, aujourd’hui, en mesure de le faire, car le processus ne fait que commencer. L’opération Idex – qui est à peu près de même nature que le plan Campus – est récente ; par ailleurs, en ce qui concerne la cohérence, seuls un nombre limité d’objets sont concernés : une douzaine pour le plan Campus, cinq à dix pour les Idex. Je ne peux affirmer qu’il n’y a pas d’incohérences. Mais l’opération Campus porte avant tout sur l’immobilier universitaire, c’est-à-dire sur les lieux d’enseignement et sur l’organisation de la vie universitaire. Il convient néanmoins de veiller à ce que les projets retenus favorisent l’émergence de pôles d’excellence et que, réciproquement, les Idex ne soient pas implantés dans des lieux où aucun effort n’aurait été fait en matière d’immobilier. L’aspect de la cohérence a été regardé.
Les universités étant confrontées à de nouvelles missions, auxquelles elles n’étaient pas toujours bien préparées, il peut se poser un problème de montée en charge, surtout pour des projets ayant des incidences sur le plan local d’urbanisme ou sur le réseau de transports. Il n’est pas certain qu’un président d’université dispose des compétences nécessaires autour de lui pour gérer des projets de cette ampleur. C’est pourquoi le rôle d’appui joué par la Caisse des dépôts est si important. Il faudra certainement accompagner les universités pendant plusieurs années dans leur marche vers l’autonomie, en les aidant à assumer leurs nouveaux rôles en matière d’immobilier, de gestion des ressources humaines, de relations internationales et de valorisation.
M. Jean-Pierre Gorges, Rapporteur. Au bout de combien de temps pourra-t-on porter un jugement objectif sur la rupture provoquée par la nouvelle organisation de la recherche et des universités et, éventuellement, corriger le tir ?
M. Didier Houssin. Cette question très importante appelle plusieurs réponses.
D’abord, vu les sommes engagées, il conviendra de suivre leur utilisation de près, dès le début, et sur une longue durée, en vérifiant la régularité des procédures et que les réalisations sont bien conformes à ce qui était annoncé.
Il s’agira ensuite d’évaluer de manière scientifique, de porter un jugement sur les résultats, ce qui est plus délicat. Il faudra mesurer le niveau de la production scientifique des laboratoires d’excellence retenus par rapport aux attentes ; on devrait être capable de le faire d’ici deux à quatre ans. On devrait aussi avoir, assez rapidement, une idée de l’impact direct sur l’emploi, emploi scientifique et aussi en périphérie pour les acteurs économiques. En revanche, il sera plus difficile de mesurer les effets de levier, d’émulation, d’entraînement et l’impact à long terme sur l’emploi et la croissance.
Pour ce faire, nous aurons un problème de données structurées, afin de mettre en relation des informations d’ordre scientifique – comme la production scientifique et le nombre de brevets obtenus – avec des indices économiques : emploi, croissance. L’enjeu est aujourd’hui de définir les données dont nous aurons besoin, identifier celles qui sont d’ores et déjà disponibles, élaborer un système de récupération de données manquantes, examiner comment les traiter – sachant qu’elles proviendront de différentes sources qui ne sont pas forcément reliées entre elles : ministère de l’Enseignement supérieur et de la recherche, mais aussi de l’Industrie et d’autres sources –, enfin concevoir des méthodes susceptibles de mesurer les effets des dispositifs mis en place.
Les conventions entre l’État et l’ANR, comme celles de l’ANR avec les bénéficiaires, prévoient une mesure de l’impact des résultats, de l’efficience et de la rentabilité socio-économique des projets retenus. Aux États-Unis, le programme Science and Technology for America’s Reinvestment : Measuring the Effects of Research on Innovation, Competitiveness and Science – STAR METRICS – vise précisément à mesurer de façon scientifique et documentée l’impact des investissements dans le secteur de la recherche. Il faudrait que l’on dispose d’un outil équivalent en France, afin de pouvoir présenter au Parlement, d’ici cinq à dix ans, les résultats objectifs du programme des investissements d’avenir, ce qui permettra de décider si l’on réitère ou non l’expérience.
M. Olivier Carré, Président. Le programme rencontre en effet un tel succès que certains pensent qu’il faudrait le renouveler chaque année. Existe-t-il une capacité d’absorption suffisante ? Y a-t-il des secteurs qui appellent davantage d’investissement ?
M. Didier Houssin. Cela revient à s’interroger sur la capacité de création et d’imagination de la communauté scientifique ! Et sur sa capacité à s’organiser.
Mme Lecourtier ne semble pas noter de ralentissement sur les contrats ANR, mais il est un peu tôt pour en juger. Il s’agit d’une initiative de grande ampleur : accordons-nous un délai avant d’analyser les résultats et laissons-nous la possibilité d’infléchir les choses. Le processus conduit en France est plus rapide que celui conduit en Allemagne.
M. Pierre Lasbordes, Rapporteur. Le rôle de l’AERES dans l’évaluation des actions n’a pas été précisé. Le commissaire général à l’investissement, M. Ricol, a répondu à la mission que l’Agence procéderait à l’évaluation dans quatre ans. Qu’en pensez-vous ? Respecterez-vous ce délai, ou proposerez-vous des évaluations intermédiaires ?
M. Didier Houssin. Le programme des investissements d’avenir porte sur des objets divers. Pour avoir une bonne visibilité du dispositif, il faudrait procéder à leur évaluation en partant de la catégorie dont ils relèvent. Par exemple, nous pourrions porter un intérêt particulier aux laboratoires étiquetés Labex à l’occasion de l’évaluation annuelle des unités de recherche dans les universités et les centres hospitaliers universitaires. S’agissant des Idex, en revanche, on pourrait privilégier une approche par site : l’évaluation donnerait une vision d’ensemble des universités, des écoles et des projets créés dans le cadre de l’initiative. Il serait bon d’enclencher la préparation du processus d’évaluation rapidement, sans exclure de passer à un rythme annuel ou bisannuel. Nous allons régler cette question en concertation avec le ministère et avec le CGI.
M. Alain Claeys, Rapporteur. Dispose-t-on d’indicateurs de performance satisfaisants ?
M. Pierre Glorieux, directeur de la section des unités de recherche. S’agissant des unités de recherche, nous sommes confrontés à une grande variété de milieux, depuis la philosophie et les arts jusqu’à l’ingénierie, en passant par la santé ou l’environnement. Dans certains domaines, comme l’ingénierie et, plus généralement, la recherche finalisée, il existe déjà des référentiels, des traditions ou des valeurs partagées. Dans d’autres domaines, comme les sciences humaines et sociales, le travail est en cours d’élaboration ; les critères retenus doivent être à la fois acceptables par tous les membres de la communauté et suffisamment lisibles par ceux qui n’y appartiennent pas. Il faut aussi aboutir à une certaine homogénéité, pour que les données puissent être rassemblées et partagées.
Ce travail s’accompagne d’une réflexion sur l’utilisation avisée de la bibliométrie. Dans certains milieux, on a tendance à y avoir recours sans discernement, dans d’autres, à la rejeter systématiquement. Le rapport de l’Académie des sciences sur l’évaluation des enseignants-chercheurs est particulièrement instructif sur ce point.
Pour mettre en place des indicateurs, nous privilégions une approche ascendante, avec des phases d’agrégation successives : un certain nombre de disciplines élaborent, chacune de leur côté, leurs propres indicateurs, on retient ceux qu’elles ont en commun et l’on s’efforce d’aboutir à une convergence sur les autres. La démarche inverse, où des indicateurs tels que le nombre de publications ou de citations sont imposés, fait l’objet d’un rejet – souvent à juste titre, d’ailleurs.
Le travail est bien avancé dans le secteur des sciences humaines et sociales, où l’on a réussi à définir des catégories communes à l’Europe, au ministère, au CNRS et à l’AERES, ce qui n’était pas le cas auparavant.
M. Olivier Carré, Président. Envisagez-vous, pour l’évaluation, d’ouvrir la notion d’« établissement » aux campus et aux groupements tels que les universités fusionnées ou les pôles de recherche et d'enseignement supérieur, les PRES ?
M. Didier Houssin. C’est précisément ce que j’entends par « approche par site » : il s’agit de se situer au niveau de l’enveloppe la plus large, quelle que soit sa forme, afin de disposer d’une vision d’ensemble, en termes de gouvernance, d’organes de décision, de mutualisation et de valeurs partagées. Une telle méthode devrait permettre l’évaluation des Idex.
S’agissant des établissements, notre évaluation met en exergue des domaines qui nous paraissent importants et nous proposons des outils, des indicateurs utiles, mais nous tenons à ce que les établissements élaborent eux-mêmes leurs propres indicateurs. Il serait contradictoire de leur imposer un cadre normatif rigide alors que les universités sont censées devenir autonomes !
M. Olivier Carré, Président. Messieurs, je vous remercie. Nous vous adressons tous nos encouragements pour les travaux à venir.