| Accueil > Contrôle, évaluation, information > Les comptes rendus de la mission d’évaluation et de contrôle |
M. Georges Tron, Président : L’objet des missions d’évaluation et de contrôle est d’établir un diagnostic et de faire des préconisations afin de mieux gérer les dépenses publiques. C’est la raison pour laquelle la Cour des comptes nous apporte son assistance. Elle est aujourd’hui représentée par M. Serge Barichard, conseiller référendaire.
La présente mission est consacrée à l’allocation des moyens des universités. Je vous remercie donc, M. Dhainaut, d’avoir bien voulu venir parmi nous, en tant que président de l’AERES.
M. Jean-François Dhainaut : Je vous remercie également de votre invitation.
L’agence va bien, elle travaille. J’aurai sans doute à présenter devant vous – comme devant les sénateurs – mon bilan d’activité dans le courant du mois de juillet prochain.
Vous avez bien voulu m’adresser un questionnaire, qui fait plus appel à mon expérience passée de président d’université que de président de l’agence. Cela dit, je tiens à apporter une précision : l’agence évalue, elle ne décide pas ; pour autant, elle est très attentive à ce qui se passe en aval, pour que ses évaluations aient quelque utilité.
M. Laurent Hénart, Rapporteur : Lorsque l’on discute des nouvelles procédures d’allocation des moyens des universités, on est amené à s’interroger sur la façon de mesurer leur activité et leur performance.
Que pensez-vous de San Remo ? Comment analysez-vous les inégalités de dotations entre les universités ? Avez-vous une perception générale de la mise en place du nouveau système ?
Quels sont selon vous les critères pertinents qui permettraient de comparer les établissements, d’apprécier leur activité et leur performance, qu’il s’agisse de la recherche ou de l’enseignement ? Feriez-vous des distinctions selon les cycles ou selon les disciplines ?
M. Jean-François Dhainaut : En tant que président d’université, j’ai subi les défauts du système San Remo, extrêmement pervers, qui ne tient compte que du nombre d’étudiants inscrits et du nombre de mètres carrés de locaux.
Le meilleur exemple est celui de l’université de Rouen qui, sans évaluer ses besoins réels, s’est lancée dans une politique d’extension immobilière (56 bâtiments sur 7 sites et 5 communes), profitant d’opportunités diverses, l’obligeant maintenant à les entretenir, ce qui revient très cher. Plus on a de bâtiments, plus on a d’argent, mais la dotation au mètre carré étant beaucoup plus faible que le coût réel du mètre carré, l’université se trouve toujours en déficit.
Puisque l’on tient compte du nombre d’étudiants inscrits, plus l’offre de formation est foisonnante, plus il y a d’étudiants, et plus l’université reçoit de dotation. Celle qui s’en tient à une offre de formation restreinte, pertinente, dans son domaine de compétence, reçoit moins d’argent. Ainsi, mieux on gère, moins on reçoit de dotation.
Il faut donc absolument arrêter rapidement le système San Remo.
M. Georges Tron, Président : Si l’université décidait de doubler la superficie de ses locaux, est-ce que la dotation suivait automatiquement ? Un contrôle est-il exercé ?
M. Jean-François Dhainaut : C’est en effet ce qui s’est passé à Rouen. Il faudrait que l’université procède à une restructuration majeure de son patrimoine immobilier.
M. Georges Tron, Président : Le ministère des Finances a-t-il exercé, au moment du versement des dotations, un contrôle de la politique immobilière des universités ?
M. Jean-François Dhainaut : Plusieurs inspections ont eu lieu. En effet, l’inspection générale a préconisé une séparation des services financiers et de l’agence comptable pour améliorer la gestion. Un audit organisationnel a été, en 2006, diligenté par la trésorerie générale qui a incité à mettre en place une centralisation des recettes. Un contrôleur de gestion a été nommé, mais il reste encore beaucoup à faire, en particulier en vue de l’obtention d’outils de pilotage performants. Mais globalement, depuis une dizaine d’années, aucune décision de restructuration n’a été prise, et il y a toujours le même nombre de bâtiments et le même déficit, qu’on couvre tous les ans.
M. Georges Tron, Président : Lorsque vous étiez président d’université, l’État ne vous demandait-il pas de justifier l’extension de la superficie des locaux ? Les mètres carrés supplémentaires s’accompagnaient-ils d’une dotation supplémentaire ?
M. Jean-François Dhainaut : Ce problème ne s’est pas posé pendant ma présidence à Paris V.
M. Alain Claeys, Rapporteur : Le problème de l’immobilier est probablement le plus difficile qui se pose à l’université. Mais les contrats de plan ont aggravé la situation. L’État n’ayant pas les moyens de faire face aux besoins des universités, les collectivités territoriales, en particulier les régions, sont intervenues. Ce fut le cas pendant une longue période sans qu’il y ait eu d’évaluation préalable du patrimoine universitaire. L’État n’avait d’ailleurs pas les moyens d’y participer. On a donc construit du neuf sans avoir apprécié la maintenance et aujourd’hui, les universités se trouvent dans cette situation difficile.
M. Jean-François Dhainaut : Non seulement on a construit de l’immobilier neuf, mais l’université s’est vu attribuer des bâtiments qui se libéraient. Il est en tout cas surprenant que, malgré plusieurs rapports, rien ne se soit passé. C’est un exemple de la perversité du système San Remo.
Pourquoi certaines universités ont-elles des dotations plus importantes que d’autres ? L’histoire a joué un grand rôle dans cet état de fait et l’on n’est jamais revenu sur les dotations des grandes universités plus anciennes. Toutes les tentatives de redistribution que j’ai connues ont échoué ou ont été marginales, en raison de la peur de certaines universités d’être considérées comme moins bonnes que les autres, ou à la suite d’interventions individuelles de présidents.
Je considère que les choses devraient être beaucoup plus transparentes.
M. Alain Claeys, Rapporteur : Quelle mission précise l’État vous a-t-il confiée, en tant qu’agence d’évaluation ?
M. Jean-François Dhainaut : Votre question renvoie à la différence entre le système français et le système anglo-saxon. Ce dernier est un système d’accréditation, qui va plus loin que la simple évaluation. Une fois l’accréditation acquise en fonction des critères d’évaluation, une autre agence accorde les financements à l’université, à la formation ou à l’unité de recherche. Ces financements sont accordés à 100 % selon la performance.
Dans le système français, l’AERES évalue les universités, les grandes écoles, les formations, les organismes et unités de recherche. Elle les cote dans un rapport établissant leurs points forts et leurs points faibles et fait des recommandations. Mais elle ne va pas au-delà.
M. Alain Claeys, Rapporteur : Avez-vous les moyens d’évaluer la réalisation des contrats passés avec l’université ? Faites-vous des recommandations à l’État ? Comment cela se passe-t-il concrètement ?
M. Jean-François Dhainaut : L’université procède à une autoévaluation. Elle indique ce qu’elle a pu faire ou ce qu’elle n’a pas pu faire, pourquoi elle n’a pas pu le faire, et expose sa performance.
Notre comité de visite (formé de sept experts et d’un président) se rend alors sur le site, avec nos évaluations en matière de formations comme de recherche. Il évalue la gouvernance, la politique d’offre de formations, la politique scientifique, les relations avec les organismes de recherche, la région, les pôles de compétitivité, les relations internationales, la gestion de l’université, son patrimoine, les ressources humaines et s’intéresse aussi à la vie étudiante. En dernier lieu, il étudie l’offre de formation : licences, masters, visite les écoles doctorales et les unités de recherche, leur attribuant une cote : A +, A, B, C ou D. Ce comité de visite produit un rapport, qui est revu par l’AERES, remis en forme et publié un mois après sur le site avec la réponse de l’établissement.
La direction générale de l’enseignement supérieur reçoit l’ensemble des rapports avec les points forts, les points faibles et nos recommandations. C’est elle, et non l’agence, qui s’occupe d’allouer les moyens à l’université. En revanche, l’agence reviendra trois ou quatre ans plus tard pour voir ce qui s’est passé. Ainsi, l’AERES évalue et la DGES décide.
M. Alain Claeys, Rapporteur : Est-ce qu’aujourd’hui tout nouveau contrat signé entre l’État et l’université fait préalablement l’objet d’une évaluation des précédents contrats ?
M. Jean-François Dhainaut : Oui. S’agissant des contrats des universités de la « vague B », le ministère dispose de toutes les évaluations de toutes les universités, ainsi que de celle des précédents contrats. Certains présidents d’université ont d’ailleurs clairement utilisé nos évaluations pour discuter leurs contrats avec la DGES.
La DGES est en train de finaliser ces contrats qui seront signés au mois de juillet. Nous devrions avoir une réunion à la fin du mois de juin et savoir comment la DGES a utilisé nos évaluations.
Lorsque je suis arrivé à l’agence, je me suis interrogé sur le processus allant de l’évaluation à la décision. Le législateur a certes voulu distinguer l’une et l’autre. Mais il faut que l’on sache précisément comment sont prises les décisions. Quels critères sont pris en compte, en dehors de ceux du système San Remo ? Je l’ignore, et je pense que l’université ne le sait pas non plus.
M. Alain Claeys, Rapporteur : Cette situation a de quoi laisser perplexe. Il semble évident que dans le nouveau système prévu par la loi LRU, l’AERES sera amenée à jouer un rôle pivot dans les contrats prenant en compte l’ensemble des financements. Il faudra bien qu’il y ait une connexion entre ce qui sera prévu en amont dans le cadre de ces contrats pluriannuels, et les évaluations de l’agence qui devront servir non seulement à prendre en compte la façon dont l’université aura répondu à ces contrats déjà signés, mais encore à préparer les contrats suivants.
L’État réfléchit, au même titre que nous, à l’allocation des moyens. Vous a-t-il demandé d’y réfléchir, de votre côté ? Quel devrait être votre rôle, une fois que les nouveaux critères auront été établis ? Avez-vous noué un dialogue avec la DGES ?
M. Jean-François Dhainaut : Le dialogue se nouera après la signature des contrats des universités de la « vague B ». Je saurai alors sur quels critères ont été alloués les moyens et si les évaluations de l’AERES ont été utiles pour prendre les décisions financières.
M. Alain Claeys, Rapporteur : Nous aurons quelques questions à poser à la DGES demain.
M. Jean-François Dhainaut : Je passe à votre question suivante : comment réduire les inégalités de dotation entre les universités ? Je ne sais pas s’il s’agit d’une bonne question. Le fait que les dotations soient inégales ne me gêne pas. Elles seront toujours inégales, et c’est bien, dans la mesure où les universités ne font pas toutes la même chose. Simplement, il faut que ces dotations soient parfaitement transparentes et justifiées. Ce n’est pas le cas actuellement, en raison du fait qu’on ne tient pas du tout compte de la performance.
Selon moi, la part variable devrait être de 100 % pour la partie « recherche ». La recherche s’évalue parfaitement. Il existe des critères européens que personne ne discute et il n’y a aucune raison de donner une dotation de base qui ne correspond à rien.
Pour la partie « formation », c’est un peu différent. La Conférence des présidents d’université (CPU) propose 10 %. Il faut prévoir 30 % au moins, si on veut obtenir un effet, sachant que je parle salaire non compris.
Pour moi, les critères sont limpides, l’insertion professionnelle, en est un. Mais pas n’importe laquelle, à n’importe quel niveau, et avec n’importe quel salaire. Je ne considère pas comme un exemple d’insertion celui d’un étudiant à bac + 8 qui travaille comme chef de rayon chez Décathlon.
En attendant de disposer des taux d’insertion réels, on pourrait allouer des financements en fonction de dispositifs d’aide à l’insertion professionnelle : mise en place d’un tutorat, d’un suivi des étudiants, de relations avec les entreprises. On pourrait considérer la poursuite des études au-delà d’un certain niveau comme une sorte d’insertion. On pourrait moins coter la sous-performance, comme dans l’exemple précité d’un emploi de vendeur chez Décathlon.
Il faut maintenir une dotation en fonction du nombre d’étudiants, mais seulement de ceux qui passent les examens. En effet, certaines universités comptent un quart ou un tiers d’ « étudiants fantômes », notamment en sciences humaines – de la même manière qu’il faut tenir compte du nombre de chercheurs qui publient, mais pas des autres.
M. Alain Claeys, Rapporteur : C’est à moduler en fonction des disciplines.
M. Jean-François Dhainaut : En fait, il faut tenir compte de tout : non seulement des publications, mais aussi de la valorisation, des brevets, des licences, du nombre d’emplois créés, de la notoriété, des prix remportés. Il faut prendre en compte ceux qui ont participé à des conférences internationales et ceux qui ont réussi à obtenir de l’argent ailleurs, de l’ANR (Agence nationale de la recherche) ou des agences européennes.
C’est à peine plus complexe pour les sciences humaines que pour les « sciences dures ». En sciences humaines, il faut davantage tenir compte des publications en langue française, des ouvrages de recherche, ou même utiliser d’autres critères comme, en archéologie, le fait de mener des fouilles. Mais il est tout à fait possible d’apprécier l’activité des uns et des autres.
L’agence est prête à se pencher sur les critères de performance, dans la mesure où on lui donne pour mission claire de travailler avec ceux qui vont allouer les moyens aux universités. C’est très important, quelle que soit l’instance.
L’évaluation des universités doit se faire a posteriori et non a priori, dans la mesure où il faut leur laisser la possibilité d’agir elles-mêmes. En revanche, en cas de problème, il faut pouvoir mettre un terme à ce qui ne va pas.
M. Régis Juanico : Un étudiant en sciences humaines à Saint-Étienne aura sans doute moins de chance de réussir son insertion professionnelle qu’un étudiant en sciences à Paris ou à Lyon. Ne pensez-vous pas qu’il faudrait moduler ou au moins pondérer ce critère ? On pourrait tenir compte des caractéristiques des territoires dans lesquels s’insèrent les pôles universitaires – du taux de chômage des jeunes, notamment.
M. Jean-François Dhainaut : Vous avez pris – et c’est heureux – un mauvais exemple : l’insertion professionnelle à Saint-Étienne est excellente pour les étudiants de sciences humaines, car il existe une très bonne congruence entre les besoins de la région et ce qui est proposé par l’université. Pour autant, il y a en France un problème qui tient au fait que nous avons, en sciences humaines, deux fois plus de professeurs et d’étudiants que dans les autres pays, mais pas deux fois plus de possibilités d’insertion professionnelle.
Imaginez un étudiant de base qui n’a pas pu s’orienter dans la filière des grandes écoles ; puis il a échoué en médecine, qui est une filière sélective ; et, du coup, les scientifiques n’en veulent pas. Il se retrouve donc en sciences humaines, où il n’y a pas beaucoup de sélection. Les sciences humaines sont ainsi devenues une sorte d’entonnoir. Relativement peu d’étudiants ont choisi cette voie. Dans ces conditions, en raison d’un phénomène de masse, il est bien sûr plus difficile d’assurer l’insertion professionnelle des étudiants. Je reconnais également que l’insertion professionnelle pose plus de problèmes à Rennes II ou à Toulouse-Le Mirail qu’à Paris VI.
Il est indispensable de sortir de ce problème d’insertion. Il faudra sans doute introduire une certaine pondération. À l’université de Paris V, dont j’ai été le président, l’insertion professionnelle des étudiants en psychologie, pourtant extrêmement nombreux, est assez satisfaisante ; mais il faut préciser que lorsque nous nous sommes aperçus que le taux d’insertion n’était que de 50 %, nous y avons travaillé et, en trois ans, ce taux est passé à 70 %. L’insertion professionnelle des doctorants en biologie à Paris V est voisine de 90 %. En revanche, dans les universités de taille moyenne de la « vague B », elle est de 50 %, alors que dans tous les pays du monde, elle est de 95 à 100 %. Cela signifie qu’il faut faire des efforts dans le domaine de l’insertion professionnelle, et pas seulement en sciences humaines.
M. Laurent Hénart, Rapporteur : Avez-vous observé des différences entre les disciplines ? Si oui, et pour en tenir compte, combien de familles de disciplines différentes envisagez-vous de retenir pour les critères de dotation et d’évaluation ?
M. Jean-François Dhainaut : Il ne faut sûrement pas aller au-delà de trois. On ne peut pas faire autrement que de mettre à part les sciences humaines et sociales. Il est ensuite classique de distinguer les « sciences dures » ou exactes des sciences de la vie. Mais, à en croire mon expérience, elles sont finalement très proches.
Il convient également de faire attention : la sélection n’est pas à l’ordre du jour, mais elle existe néanmoins, dès le lycée. Les IUT sont très sélectifs. En outre, on applique un numerus clausus à certaines professions. Voilà pourquoi les étudiants sont tels des souris qui se déplacent dans un labyrinthe, se dirigeant là où cela leur est possible.
M. Laurent Hénart, Rapporteur : Est-ce que la définition des cycles de licence et de master justifierait l’utilisation de critères différents ? Vous avez déjà répondu partiellement en précisant que le critère de l’insertion professionnelle pouvait être pondéré par la prise en compte de la poursuite d’études.
M. Jean-François Dhainaut : De la poursuite d’études et du niveau d’insertion. On ne doit pas insérer au même niveau en master et en licence.
M. Laurent Hénart, Rapporteur : On pourrait envisager autre chose : accorder aux données socio-économiques du public accueilli une beaucoup plus grande importance au niveau du cycle de la licence que du master.
M. Jean-François Dhainaut : Peut-être. Mais il faut aussi arrêter de comparer l’Université de Pau à l’Université Pierre et Marie Curie (Paris VI). Les universités n’ont pas toutes les mêmes missions et ce sont ces missions qu’il faut prendre en compte lorsque l’on parle de performance.
Globalement, il y a trois types d’universités : une douzaine à vocation internationale, comme Pierre et Marie Curie ; les universités à vocation nationale ; et les universités territoriales.
On attend de Paris VI qu’elle soit une excellente université du point de vue de la recherche, mais aussi du point de vue de la formation. Il faut cesser de penser que les universités fortes en recherche peuvent être moyennes en formation.
Les universités à vocation nationale doivent avoir un excellent niveau de formation et un bon niveau de recherche, avec des doctorants qui s’appuient sur une recherche incontestable.
Les universités territoriales enfin ont pour mission d’irriguer le territoire où elles se trouvent. Elles peuvent être des universités d’excellence, avec une ou deux niches de recherche intéressantes. Prenez l’exemple de l’université de Limoges, qui n’est pas facile d’accès et qui se trouve isolée du point de vue des échanges. Pourtant, elle assure une très bonne insertion professionnelle et possède une niche de recherche de niveau national, européen, voire mondial, développée à partir de la céramique. Prenez l’exemple de l’université de Chambéry, qui, avec son centre interdisciplinaire de la montagne, possède de très bonnes équipes de recherche.
Ces universités territoriales doivent être très rigoureuses vis-à-vis des étudiants qui sortent en licence. Certaines d’entre elles sont capables d’irriguer les grandes universités à vocation internationale, avec de très bons étudiants qui vont en master. Aux États-Unis, il est fréquent qu’un étudiant commence à faire son bachelor dans une petite université, fasse son master dans une plus grande et termine par un doctorat à Yale. Cette mobilité qui s’observe dans les pays anglo-saxons est encore très faible en France, ce qui est dommage. Il faudrait donc valoriser les universités qui sont capables d’envoyer des étudiants faire leur doctorat dans de très grandes universités.
M. Georges Tron, Président : Merci, monsieur. Souhaitez-vous conclure ?
M. Jean-François Dhainaut : En effet. Actuellement, l’agence procède à des évaluations dont elle n’a pas à rougir par rapport à ses collègues anglais ou allemand. Mais les relations entre l’évaluation et la décision ne nous apparaissent pas encore clairement.
La France s’est dotée d’une agence d’évaluation, ce qui constituait un défi vis-à-vis des organismes de recherche, l’INSERM, le CNRS, etc. Nous sommes considérés comme plus transparents, avec moins de problèmes de conflits d’intérêts qu’ailleurs et davantage d’experts internationaux. Globalement, nous avons relevé le défi de l’évaluation.
Le deuxième défi consiste à passer de l’évaluation à la décision. Il faut réduire l’impact du système San Remo sur les universités et passer au financement public par la performance, à partir de critères transparents.
Je me suis rendu il y a quinze jours à une réunion de la Commission européenne, où chacun a présenté le système utilisé dans son pays. Nous sommes les seuls où le financement est très peu basé sur la performance. Tout le monde a bien compris le système d’évaluation « à la française », qui est jugé très intéressant. Mais personne ne comprend très bien à quoi il va servir. Avec un tel système d’évaluation, pourquoi continuer à financer les universités à partir du nombre de mètres carrés de locaux et d’étudiants ?
Il s’agit maintenant de passer à l’étape supérieure. Dans les pays anglo-saxons, les agences de financement travaillent à partir des critères donnés par l’évaluation ; le système est très simple et très transparent. Sur cette base, les établissements reçoivent ou non de l’argent. Nous devrons évoluer vers ce système de façon progressive pour qu’à terme, le financement soit la conséquence de l’évaluation. Sinon, l’AERES ne sera qu’un coup d’épée dans l’eau.
Concernant la question de savoir si la DGES a les moyens de se lancer dans cette aventure ou s’il faut recourir à une agence de financement indépendante, je n’ai pas à y répondre en tant que président de l’AERES.
Tant qu’on ne disposera pas de l’insertion professionnelle réelle, il faudra sans doute, pendant un certain temps, utiliser des critères substitutifs. Mais il est impossible d’attendre plus de trois ou quatre ans. Dans une entreprise, pour apprécier la qualité, il faut s’appuyer sur le produit fini. On peut également travailler sur des indices de qualité, mais nous n’avons pas ici le temps d’en discuter.
Actuellement, les évaluations sont trop compliquées par rapport à ce qu’elles devraient être. Dans les pays anglo-saxons, c’est très simple. Quoi qu’il en soit, il faut une vraie congruence entre l’évaluation et la décision.
M. Georges Tron, Président : Je vous remercie.
——fpfp——