ASSEMBLÉE NATIONALE
DÉLÉGATION
À L'AMÉNAGEMENT ET AU DÉVELOPPEMENT
DURABLE DU TERRITOIRE
COMPTE RENDU N° 8 Mercredi 19 décembre 2001
(Séance de 9 heures 30) Présidence de M. Philippe Duron, président SOMMAIRE
| |
page
|
- Audition de M. Yves Cousquer, Président du Conseil national de l'évaluation, Mme Véronique Chanut, Rapporteure générale du Conseil national de l'évaluation, et Mme Véronique Hespel, Commissaire adjointe du Plan, sur l'évaluation des politiques publiques.............................. |
2 |
| |
| La délégation à l'aménagement et au développement durable du territoire a entendu M. Yves Cousquer, Président du Conseil national de l'évaluation, Mme Véronique Chanut, Rapporteure générale du Conseil national de l'évaluation, et Mme Véronique Hespel, Commissaire adjointe du Plan, sur l'évaluation des politiques publiques.
M. le Président : Nous sommes heureux de vous recevoir aujourd'hui, puisque la Délégation a souhaité réaliser une série d'auditions sur l'évaluation des politiques publiques, mais aussi sur les indicateurs de développement durable, deux éléments qui nous avaient amenés à beaucoup nous interroger lors de la préparation de la LOADDT du 25 juin 1999 et lors des avis sur les schémas de services collectifs. En effet, ceux-ci comportaient des dispositifs d'évaluation, mais nous avions constaté une grande disparité entre les dispositifs prévus dans chacun de ces schémas de services collectifs.
Le Conseil national d'évaluation (CNE) a été créé en 1998 et le Commissariat général du Plan travaille en étroite collaboration avec lui. Vous avez déjà traité de très nombreux sujets : la ressource en eau, les emplois jeunes et l'aide à l'emploi dans le secteur non marchand, et votre rapport annuel de 1999 en a tiré les premières conclusions.
Ce matin, je souhaiterais d'abord que, trois ans après la création du CNE, vous puissiez faire le point sur vos travaux, sur les difficultés rencontrées, notamment sur le plan méthodologique, sur les résultats obtenus, bien sûr, et sur les suites que vous entendez apporter à ces études.
Notre Délégation s'intéresse aussi aux pistes qui pourraient être suivies à l'avenir afin d'améliorer les dispositifs existants.
Je propose que vous nous fassiez un exposé liminaire sur les travaux du Conseil national d'évaluation et qu'ensuite, nous puissions avoir un échange sur les difficultés et les perspectives de ce sujet assez nouveau mais assez complexe.
M. Yves Cousquer : Merci, Monsieur le Président. Je m'exprimerai tout d'abord en tant que Président du Conseil national d'évaluation et Mme Véronique Hespel interviendra après moi en tant que Commissaire adjointe du Plan, le Commissariat au Plan ayant, vis-à-vis du Conseil, un rôle de secrétariat mais aussi, vis-à-vis du gouvernement, un rôle plus large qui est d'impulser et de mettre en _uvre une politique d'évaluation au sein de l'appareil d'Etat. Cela se marque dans les responsabilités respectives du Conseil national d'évaluation et du Commissariat au Plan.
C'est un décret du 18 novembre 1998 qui a relancé l'évaluation, le dispositif du CNE succédant au dispositif du Conseil scientifique d'évaluation, qui avait été mis en place en 1989 par le gouvernement de M. Michel Rocard.
Le rôle du CNE est double : il consiste à proposer au Premier ministre un programme annuel d'évaluations qui sont mises en place par les soins du Commissariat général au Plan, sur la base du cahier des charges proposé par le CNE au Premier ministre, et le Conseil national d'évaluation formule un avis sur les évaluations une fois terminées. Il appartient alors au Commissariat général au Plan - Mme Véronique Hespel va le détailler - de formuler des recommandations au gouvernement, donc au Premier ministre, sur les suites à donner à ces évaluations.
J'éprouvais le besoin de faire état de ces éléments de base du CNE, mais je pense que cela mérite d'être replacé dans la politique d'évaluation conduite au sein de l'Etat par le Commissariat au Plan.
Mme Véronique Hespel : Nous nous étions dit qu'il était peut-être utile de replacer les problèmes les uns par rapport aux autres, parce que tout cela n'est pas d'une lisibilité évidente. J'avais donc proposé à M. Yves Cousquer et à Mme Véronique Chanut de commencer par une présentation des dispositifs d'évaluation dont le Commissariat du Plan a la charge, de vous montrer le chemin que nous avons essayé de parcourir, puis de vous faire part de nos difficultés concrètes et, enfin, de vous parler de nos chantiers de l'année 2002.
Par ailleurs, M. Yves Cousquer insistera davantage sur les inflexions de jurisprudence que, d'un commun accord, nous avons essayé de donner à l'évaluation au sein du CNE, qui est la tête de pont pensante de toute cette politique.
M. le Président :C'est la structure de validation.
Mme Véronique Hespel : C'est la structure d'impulsion et de validation, étant entendu que nous sommes entièrement d'accord sur les inflexions qu'il faut donner.
Au passage, quitte a être un peu longue ou à le développer ensuite devant vous, j'essaierai de vous faire apparaître ce qui existe en région.
Concernant cette relance des procédures d'évaluation, nous gérons deux textes et deux procédures dont la philosophie d'ensemble mérite d'être rappelée, l'un relative aux évaluations interministérielles, l'autre à celles des contrats de plan.
Les textes sont le décret du 18 novembre 1998 et la circulaire du 28 décembre de la même année, qui fixent la procédure d'évaluation interministérielle des politiques publiques. Trois points ont changé particulièrement.
Premièrement, le Conseil a été renouvelé dans sa composition, puisqu'il fait place à des représentants de la société civile, avec trois représentants du Conseil économique et social (CES), en la personne de M. Jean-Claude Bailly, de M. Edouard Salustro et de M. Jean-Claude Bury, et des collectivités territoriales, avec trois représentants de chacune des grandes associations de collectivités, dont on peut souligner au passage que la participation n'a pas toujours été très grande.
Deuxièmement, la procédure de sélection des sujets d'évaluation a été renouvelée et assouplie par rapport à la précédente, un peu au-delà des textes, d'ailleurs. Nous associons assez en amont le CNE dans la procédure de détermination des sujets, mais c'est le Plan qui doit susciter les demandes des différents ministères ; le CNE approuve le cahier des charges et propose le programme qui, lui, est arrêté par le Premier ministre et non plus en comité interministériel, comme auparavant.
Troisièmement, la procédure de suite est un peu différente puisque, d'une part, on fait apparaître dans le rapport non seulement l'avis du CNE mais aussi celui des ministères qui précisent les suites qu'ils envisagent de donner au rapport et que, d'autre part, le Commissariat au Plan est en principe chargé de proposer des suites au Premier ministre. Cependant, le texte ne dit pas ce que fait ensuite le Premier ministre, alors qu'auparavant, un comité interministériel était mis en place.
Dans cette procédure d'évaluation interministérielle des politiques publiques, le rôle du Commissariat consiste à :
- collecter les propositions des ministères et des associations de collectivités,
- les aider à élaborer les cahiers des charges selon les orientations du CNE, ce qui est un lourd travail, parce qu'en réalité les ministères n'ont pas toujours les moyens de le faire,
- arrêter la composition des instances sur la base des orientations du CNE, en s'efforçant de faire respecter le principe de représentation suivant : un tiers d'administrations, un tiers d'experts universitaires et un tiers d'acteurs ; nous essayons, en effet, d'introduire des représentants de collectivités territoriales, des établissements publics et des associations d'usagers, et c'est une formule satisfaisante (sachant que le Premier ministre donne une contrainte importante mais utile, que nous n'avons pas tout à fait respectée dans la première phase et que nous essayons de respecter dans la seconde : le nombre des membres de l'instance ne doit pas être trop élevé, de l'ordre de douze ou quinze)
- faire fonctionner les instances, ce qui est assez lourd puisque cela comprend l'organisation des déplacements et des séminaires et, surtout, la passation des marchés d'études, (dont les conditions se sont nettement formalisées dans la période récente) ainsi que, une fois l'évaluation terminée, l'organisation de la conférence de presse et la définition des suites à donner.
La deuxième procédure est celle définie par la circulaire du 25 août 2000 et relative à l'évaluation des contrats de plan Etat-région, avec quatre caractéristiques essentielles à mes yeux.
La première, qui est profondément nouvelle, est la déconcentration au niveau régional de la gestion des crédits et la substitution d'un contrôle a posteriori de l'utilisation des crédits au contrôle a priori qui existait auparavant. C'était une demande forte de tous les échelons régionaux. Il faut en effet savoir que les crédits sont en grande partie délégués, en dehors d'une enveloppe conservée au niveau central pour éventuellement encourager des régions qui vont plus vite que d'autres et redistribuer ces crédits.
La deuxième est l'intervention des commissions régionales d'aménagement et de développement du territoire (CRADT) dans les procédures de choix et de suivi, ce qui n'a pas été sans difficultés concrètes la première année.
La troisième est le rendez-vous fixé en 2003, qui est formellement prévu dans la circulaire. Le bilan des évaluations réalisées devra être pris en compte, normalement, dans la négociation de la deuxième phase des contrats de plan.
La quatrième consiste en deux éléments nouveaux : d'une part, l'accent sur la nécessité d'une programmation pluriannuelle des évaluations par les régions, puisqu'on développe plus facilement les crédits quand il existe une programmation pluriannuelle, en tenant compte du rendez-vous de 2003 ; d'autre part, une aide à la formalisation d'indicateurs globaux et d'évaluations ex ante des contrats de plan, ce qui a été beaucoup demandé par les régions dans la programmation 2001 et qui n'existait pas jusqu'à présent.
Voilà pour ce qui est de la présentation de ces deux procédures.
De facto, nous sommes arrivés, en trois ans, à impulser - mais c'est une oeuvre sans cesse recommencée pour laquelle il faut beaucoup d'énergie - le processus d'évaluation dans l'administration. Cela reste modeste, mais cette modestie est à apprécier au regard des résultats antérieurs.
Au niveau interministériel, nous avons fait approuver quinze évaluations en trois ans, contre neuf entre 1990 et 1998 (dont sept avaient été décidées en 1990 et 1991). Dans cette statistique concernant les années 1990 à 1998, je ne compte pas quatre évaluations qui avaient été décidées hors CSE et hors procédures. Pour être tout à fait exacte, je précise qu'il y en avait eu treize sur la période antérieure, dont quatre avaient été déjà lancées dans le cadre de procédures qui n'étaient pas aussi formelles que celles du CSE.
Nous en avons donc lancé quinze en trois ans, dont cinq la première année, en 1999, trois en 2000 et sept en septembre 2001. Cela représente beaucoup de travail.
Par ailleurs, en ce qui concerne les contrats de plan Etat-régions (CPER), le démarrage a été très difficile en 2000 parce que les CRADT n'étaient pas constituées et que la circulaire a donné lieu à des allers retours interministériels nombreux, mais nous avons rattrapé le retard en 2001 puisque, grâce à la nouvelle procédure, nous avons pu déléguer aux régions plus que l'équivalent d'une année de crédits. J'ai fait faire le point hier : nous avons délégué 11 102 000 F pour des crédits annuels de 9 150 000 F.
Cela dit, toutes les régions ne se sont pas mobilisées de la même manière et il faut relever une exception notable dans les départements d'outre-mer : l'évaluation n'a pratiquement pas commencé dans les DOM. En outre, au 26 octobre - et je précise que le point a été actualisé depuis -, trois régions métropolitaines ne s'y étaient pas lancées non plus, mais je précise que depuis, la région Poitou-Charentes s'est rattrapée.
M. le Président : Je n'ai rien vu à ce sujet dans la CRADT où je siège, en Basse-Normandie.
Mme Véronique Hespel : Cette région est en effet une des régions auxquelles je faisais allusion.
Nous disposons de très peu d'informations, à ce stade, sur la consommation effective en régions, puisque les crédits sont délégués, et nous avons peu d'informations sur les cahiers des charges approuvés sur la période 2001, ce qui est normal puisqu'il faut le temps de décider et de mettre les procédures en place. Nous commençons seulement à avoir quelques précisions.
Pour votre information, je vous précise que les thèmes les plus fréquents pour la période 1994-1999 étaient la politique de la ville, les aides aux entreprises, les aides à l'emploi et à la formation et les aides à l'agriculture, et que les thèmes les plus fréquents dans la programmation 2000-2006 sont ce qu'on appelle la "territorialisation" ou la politique territoriale, le thème de l'environnement, de nouveau le thème de la politique de la ville, de nouveau le thème des aides aux entreprises, de nouveau le thème de l'emploi et de la formation et, de façon beaucoup plus marginale, tout ce qui a trait aux infrastructures, sur lesquelles on rencontre des difficultés méthodologiques d'évaluation propres.
Quelles sont les difficultés concrètes auxquelles nous nous heurtons pour diffuser une culture d'évaluation ? J'en ai identifié trois mais il en existe certainement beaucoup d'autres.
La première est une difficulté culturelle pour comprendre la démarche. C'est une procédure qui est souvent ressentie, aussi bien au niveau central qu'au niveau local comme longue, lourde, complexe, dont on ne maîtrise pas forcément tous les effets et qui ne s'intègre pas toujours dans le processus de décision public et politique.
Dans le mot "évaluation", on entend souvent, dans notre culture française, le mot "contrôle", alors que ce n'est pas forcément l'esprit de la démarche évaluative, ou le mot "indépendance", ce qui ne plaît pas forcément aux préfets, aux élus ou aux administrations centrales. Une évaluation échappe aux décideurs et il est donc difficile de faire comprendre aux gestionnaires qu'ils ont intérêt à suivre la démarche.
Cela dit, on s'aperçoit, ce qui est positif, que ceux qui s'y lanceront sont plutôt ceux qui ont déjà fait l'expérience. Nos partenaires les plus fiables et les plus réguliers et ceux qui apportent le plus de sujets sont les ministères qui ont déjà de grandes directions de l'évaluation, comme le ministère de l'emploi et de la solidarité, avec la direction de l'animation, de la recherche, des études et des statistiques (DARES) et la direction de la recherche, des études de l'évaluation et des statistiques (DREES), celui de l'équipement et celui de l'éducation nationale. La relance de la direction de la programmation et du développement (DPD) fait que nous avons trouvé un partenaire très ouvert sur les sujets d'évaluation.
En revanche, certains ministères sont plus réticents, notamment le ministère de l'économie, des finances et de l'industrie, qui n'a pas une culture d'évaluation forcément très ancrée, le ministère de l'intérieur, qui commence à se lancer dans des évaluations prudentes, et le ministère de la justice qui, lui, souffre surtout d'une culture de gestion embryonnaire ; l'indépendance juridictionnelle pose en outre forcément problème quand on veut lancer des procédures d'évaluation ou de contrôle de gestion.
Certaines régions sont très dynamiques et, pour nous, deviennent des réservoirs, puisque nous envisageons même de recruter certains de leurs initiateurs au niveau central pour bénéficier de leur expérience de terrain. Je pense au Nord/Pas-de-Calais, au Limousin, aux Pays de Loire et à la Bretagne, mais il en existe en a sûrement d'autres.
M. le Président : Vous êtes restée d'une parfaite neutralité, puisque vous avez cité deux exemples dans la majorité et deux exemples dans l'opposition.
Mme Véronique Hespel : L'évaluation traverse les partis politiques.
Par conséquent, il nous reste à accomplir un effort de pédagogie extrêmement important.
La deuxième difficulté est liée à la mobilisation des compétences en matière d'évaluation. En effet, le gisement en matière de compétences évaluatives n'est pas considérable chez les fonctionnaires ni dans les universités, et il faut bien dire que, pour les acteurs, c'est vraiment du chinois.
En ce qui concerne la constitution des instances, nous avons mis beaucoup de temps pour les deux premières années et moins de temps pour la troisième vague. En effet, le Parlement nous avait reproché d'avoir mis six à neuf mois pour constituer les instances, ce qui est vrai, et, cette fois-ci, nous avons réussi à le faire en trois ou quatre mois, mais il n'est vraiment pas facile d'arriver à attirer des présidents et des rapporteurs et à constituer le cocktail de gens qui représenteront des points de vue équilibrés au sein de l'instance, car nous attachons beaucoup d'importance à la diversité. C'est un vrai métier.
Pour ce qui est des équipes régionales, on constate que le milieu dans lequel on peut puiser est relativement restreint, aussi bien au niveau universitaire qu'au niveau des fonctionnaires et, que, de ce fait, on constate une très grande mobilité et instabilité des personnels qui s'occupent d'évaluation. On a l'impression que des équipes se constituent, mais il suffit que le pilier change pour que l'on soit obligé de tout reconstituer.
Parmi les pistes d'avenir lointaines - nous en avions parlé quand nous étions allés en Poitou-Charentes -, il nous semble important de créer une filière d'évaluateurs. Nous commençons à recruter quelques jeunes sortant des universités comme rapporteurs des instances, puisque nous avons eu trois postes créés dans la loi de finances, avec l'idée que, si nous formons des gens entre 25 et 30 ans, ils deviendront ensuite des relais.
Cela étant, je pense que, malgré tout, on se heurte à un problème de rémunération, puisque nous avons des règles assez contraignantes en ce qui concerne celle des chercheurs. Pour l'instant, au Plan, nous ne rémunérons jamais, ou très exceptionnellement. En effet, c'est encore un honneur et une chance du Plan de réunir des commissions et des présidents sans les rémunérer. C'est une question que nous n'avons jamais explicitement posée à la tutelle, mais nous nous la posons et nous voyons d'ailleurs apparaître dans les demandes de crédits des régions des demandes de rémunération des conseils scientifiques.
Le ministère des finances, qui fait partie de l'instance nationale d'évaluation, est réservé sur ce point. C'est donc un sujet à traiter.
De ce fait, on a recours à des prestataires privés, notamment dans les régions, qui sont formés aux méthodes européennes, alors que ce ne sont pas tout à fait celles que nous souhaitons voir développer en France. Nous y reviendrons.
Nous avons donc tout un effort de formation, de méthodologie et de développement des ressources humaines à engager.
Dans les mobilisations de compétences, un autre sujet encore plus important émerge : celui des systèmes d'information au niveau régional, mais également au niveau central, qui sont souvent insuffisants et non pertinents. Il nous faut, dans les évaluations, consacrer beaucoup de temps et d'argent pour recenser ne fût-ce que les crédits et les indicateurs disponibles.
En région, cela se double d'un autre problème : la prééminence des données INSEE facturées aux collectivités territoriales. Nous finançons quelquefois, par des crédits d'Etat, des mises en place de systèmes d'information locaux qui, en fait, ne correspondent qu'au paiement de bases de données INSEE. Je soumets à votre Assemblée ce sujet qui me paraît extrêmement important et qui n'a vraiment rien d'évident.
Enfin, nous avons de réelles interrogations sur les suites données aux évaluations. Le temps d'évaluation - souvent trop long par rapport à celui de la décision politique - entraîne une déception du politique, qui pense que les évaluateurs pourraient se dépêcher, et des déceptions des évaluateurs qui pensent que ce qu'ils font ne sert à rien puisque le politique a déjà décidé.
Malheureusement, il n'existe pas de solution simple. Nous nous apercevons en effet que si on veut mobiliser l'expertise universitaire, compte tenu des modes de passation des marchés et du consensus à établir dans une instance d'évaluation qui prend du temps, on ne sait vraiment pas le faire en moins de quinze à dix-huit mois, comme l'a demandé le Premier ministre. Le problème, c'est qu'en le faisant en quinze à dix-huit mois, cela implique de se priver, malgré tout, d'une certaine expertise universitaire, car rares sont les universitaires qui savent répondre en six mois à une question ou une interrogation.
Finalement, en respectant la contrainte de quinze à dix-huit mois, nous sommes de plus en plus - nous le constatons dans nos premiers appels d'offres d'instances nationales - dépendants de prestataires privés.
Or on sait qu'il nous faut maintenir trois sources d'information dans les instances.
La première est la source des inspections générales, qui nous permet malgré tout d'avoir d'excellents recensements des crédits et des pratiques, mais évidemment...
M. le Président : ...dans une vision pro domo ?
Mme Véronique Hespel : Pas toujours. En fait, ce sujet dépend beaucoup de l'indépendance des inspecteurs qui existent et aussi des sujets. Si vous demandez un recensement de crédits, l'inspection ne sera pas pro domo. Si vous commencez à demander des évaluations de pratiques territoriales, ce sera différent. Quand vous faites une inspection interministérielle, l'aspect pro domo disparaît. Cela donne donc un certain produit sur certains champs.
La deuxième source est la compétence des prestataires, mais vous savez tous comment cela peut se passer : c'est parfois un peu rapide ou cela consiste à plaquer une certaine grille de lecture, ce qui n'est pas excellent.
La troisième, c'est l'expertise universitaire mais, malheureusement, sur notre dernier appel d'offres sur le développement rural, nous n'avons pas eu une seule réponse d'universitaires, ce qui est complètement lié au délai. Cela dit, le temps est très important pour le politique, parce qu'une évaluation qui arrive trois ans après son lancement ne représente pas grand chose pour lui.
Le deuxième sujet, qui est plus propre aux évaluations des CPER, est la publicité. Toutes les évaluations ne sont pas publiées : il faut l'accord du président de région et du préfet de région et nous avons nous-mêmes parfois du mal à récupérer les évaluations financées. Les résultats ne sont donc pas diffusés. C'est un problème que j'avais posé devant le CNADT et je pense qu'il est relativement important.
Par ailleurs, les conclusions des évaluations ne sont pas toujours intégrées dans le calendrier de décision politique. C'est le problème de la connexion de l'évaluation et de la prospective dans les régions, où on constate une très grande hétérogénéité de situations. Dans certains endroits, l'évaluation est satisfaisante, et, dans d'autres, on est mieux armé en prospective, qui sont deux disciplines nouvelles pour les régions, et les connexions ne se font pas toujours, d'autant plus dans les endroits où il n'y a pas de prospective quand il y a de l'évaluation et pas d'évaluation quand il y a de la prospective.
Cela dit, je peux citer un exemple intéressant, celui du Limousin, où il y a eu une connexion des deux, mais c'est très rare.
J'ajoute que les liens entre évaluation et contractualisation ont été faibles à l'occasion du renouvellement des contrats de plan.
Enfin, les réponses souvent nuancées des évaluations ne sont pas toujours faciles à prendre en compte dans notre système de gouvernance. Par exemple, en évaluant des aides à l'emploi, on va considérer qu'il y a eu des effets d'aubaine et que ces aides n'ont suscité que 30 % de créations d'emplois. Evidemment, on peut avancer beaucoup d'analyses à propos de ce chiffre. On peut dire que cela a permis de créer 30 % d'emplois en plus, mais aussi que cela a représenté un coût par emploi exorbitant. L'interprétation des chiffres est toujours complexe et n'est jamais évidente en politique.
De même, comme l'évaluation est toujours transversale et fait apparaître des systèmes d'acteurs, il n'est pas complètement évident, quand on fait apparaître des corégulations, de définir ensuite le système de responsabilité qui va l'accompagner. Par conséquent, les réponses des évaluations ne sont pas des réponses forcément simples parce qu'elles posent des questions de gouvernance.
J'en viens aux projets de l'an 2002.
Premièrement, dans l'effort pédagogique, nous allons lancer une mise en réseau plus systématique et nous avons un projet de construction d'un site Internet aussi bien à propos des contrats de plan Etat-région que des évaluations CNE, sur lequel on pourra trouver la liste des correspondants, la liste des programmes, les cahiers des charges et les rapports publiés et publiables, site qui s'adressera aux conseils régionaux, aux conseils économiques et sociaux régionaux et aux préfectures de région. Nous avons lancé un questionnaire en juillet dont le taux de réponse est très positif.
Nous sommes aussi en train d'amorcer un rapprochement avec la Caisse des dépôts et consignations pour bénéficier de ses expertises dans le fonctionnement d'un site, avec l'idée qu'il faudrait ultérieurement créer des liens avec tous les sites des organismes publics qui font de l'évaluation. Il s'agit pour nous de constituer d'abord un noyau et de faire ensuite un site qui pourrait accueillir ou renvoyer sur d'autres sites dans ce domaine.
Deuxièmement, nous développons un appui méthodologique aux régions sur trois thèmes qui nous paraissent avoir été repris abondamment.
Sur la politique de la ville, nous engageons un partenariat avec la Délégation interministérielle à la ville (DIV) pour mettre au point un guide méthodologique de l'évaluation de la politique de la ville dans les contrats de plan, afin de bien articuler l'évaluation "ville" et l'évaluation "contrat de ville". Nous allons faire aussi une journée que l'on appellera "Info-Plan", en réunissant tous les secrétariats généraux des affaires régionales et les conseils économiques et sociaux régionaux, en mars, avec la DIV et dont nous espérons ensuite tirer le guide méthodologique.
Par ailleurs, nous allons lancer un guide méthodologique sur les aides aux entreprises en nous appuyant sur les travaux de la Commission de contrôle des fonds publics accordés aux entreprises qui va être mise en place au Commissariat du Plan : nous espérons pouvoir faire bénéficier les régions de l'expertise qui va se développer à propos de l'aide aux entreprises.
Enfin, la direction des études économiques et de l'évaluation environnementale du ministère de l'aménagement du territoire et de l'environnement est d'accord pour animer un groupe de réflexion sur les politiques environnementales.
Il faut savoir que l'élaboration d'un guide de méthodologie nécessite au moins un an si on veut le faire de façon concertée avec les régions.
En ce qui concerne le lancement d'une réflexion au sein du CNE sur le positionnement respectif des évaluations des fonds structurels et de l'évaluation des CPER, je laisserai peut-être M. Yves Cousquer en parler davantage, mais la Commission européenne ayant mis beaucoup de moyens humains alors que nous allons dégager des moyens informatiques pour les évaluations des fonds structurels, nous nous demandons si nous ne pouvons pas en tirer beaucoup d'enseignements, tout en conservant une grande robustesse ainsi qu'une grande fiabilité et en évitant certains travers de l'évaluation européenne. Nous y reviendrons.
Enfin, nous commençons seulement à réfléchir aux suites à donner aux évaluations réalisées. Nous engageons une réflexion avec la DATAR sur les CPER, sachant que nous allons transmettre, en janvier, au Premier ministre une lettre commune sur la procédure à suivre pour intégrer les évaluations dans la renégociation de 2003.
Pour les trois évaluations interministérielles terminées, nous commençons les contacts avec les administrations concernées pour proposer le "bleu" au Premier ministre. Il faut que vous sachiez qu'indépendamment de ce suivi institutionnel, il existe déjà beaucoup de porosité entre les instances d'évaluation et les milieux ministériels concernés. Pour l'instance "eau", par exemple, on a mobilisé tous les services dans une réunion administrative, et la Direction de l'eau est en train de demander, en liaison avec le Parlement, quelles seront les conséquences du projet de loi sur l'eau. Ce n'est pas institutionnel mais cela se passe ainsi.
De même, au cours d'une grande réunion, M. Robineau, président de l'instance de l'emploi non marchand, a présenté aux 200 participants de la Délégation générale à l'emploi et à la formation professionnelle (DGEFP) les conclusions de l'instance, avant même que nous ayons saisi le Premier ministre.
Nous voudrions poursuivre en territorialisant les évaluations nationales. Si nous réalisons notre guide de méthodologie environnementale, par exemple, il s'agira de tirer des enseignements de l'évaluation "déchets" et de l'évaluation "eau potable" dans le guide méthodologique que l'on fournira aux régions.
Ensuite, nous envisageons de recruter quelqu'un qui ne s'occuperait que de la diffusion des guides et des séances de formation locales.
Il faut savoir que la réflexion sur les suites à donner est compliquée dès l'amont, parce qu'on s'aperçoit que, dans le questionnement sur le cahier des charges et le choix du sujet, il faut se poser la question des suites, en termes à la fois de calendrier et de type de questionnement. A cet égard, nous rencontrons parfois des difficultés, parce que nous avons souvent de purs chercheurs qui sont intéressés par le seul côté intellectuel de la recherche sur un pan de politique publique.
La nouvelle jurisprudence du CNE à laquelle le commissariat général du Plan et complètement favorable consiste à avoir une démarche incarnée parfaitement par Mme Véronique Chanut qui mette l'accent sur l'évaluation pragmatique, sachant que c'est dans le questionnement évaluatif qu'il faut poser les problèmes.
Nous n'y sommes pas complètement arrivés dans les premières évaluations, mais, dans les dernières, nous essayons de bien montrer que l'évaluation ne se résume pas qu'à un problème intellectuel.
M. le Président : Pouvez-vous donner un exemple de la façon dont vous procédez ? Vous pourrez le faire tout à l'heure, si vous préférez.
Mme Véronique Hespel : Nous le ferons tout à l'heure, si vous le voulez bien.
Le Commissaire m'avait demandé d'insister sur un sujet très important, mais il ouvre tout un débat alors que j'ai été déjà beaucoup trop longue et qu'à mon avis, M. Yves Cousquer va le développer bien mieux que moi ; il s'agit de notre grand chantier de l'année prochaine et des années ultérieures : savoir comment mieux connecter l'évaluation à la réforme de l'ordonnance du 2 janvier 1959 portant loi organique relative aux lois de finances.
Je ferai une simple remarque (et c'est l'ancienne budgétaire qui parle) : je pense que ce serait tuer l'évaluation que de la connecter de trop près au contrôle de gestion. En revanche, elle peut, bien évidemment, s'appuyer sur tout ce qui va se mettre en place au titre du contrôle de gestion et être extrêmement utile pour aider à la construction de ces indicateurs de gestion dans les domaines dans lesquels ce sera difficile.
Ma deuxième remarque, c'est que, bien entendu, le lancement de programmes au sein de la réforme de l'ordonnance organique va nous permettre de bien mieux nous "caler" sur ces programmes approuvés par le Parlement, mais qu'il ne faudra peut-être pas oublier que le CNE est le Conseil national d'évaluation des politiques publiques et que les politiques publiques ne sont pas exactement des programmes.
Par ailleurs, il ne faut pas oublier que l'évaluation nous apporte la transversalité : l'action publique ne dépend pas que du seul acteur "Etat" et si, par conséquent, dans la réforme de l'ordonnance organique, on prévoit des indicateurs globaux associés aux seuls crédits de l'Etat, on faussera le jugement. En effet, il est évident que, pour évaluer la réussite de la politique de l'emploi, par exemple, on ne peut pas considérer seulement les crédits de l'Etat. En l'occurrence, l'évaluation peut être une aide, un positionnement intéressant et nécessaire pour ne pas enfermer la vision des crédits de l'Etat dans des démarches de type rationalisation des choix budgétaires.
M. le Président : Je vous remercie. Vous avez été complète pour une introduction à cette problématique. Voulez-vous que nous engagions dès maintenant la discussion ou que M. Yves Cousquer poursuive en parlant de la jurisprudence de l'évaluation ? Cela nous permettra d'avoir une discussion globale à la fin.
M. Yves Cousquer : Je vais continuer par les questions que vous avez posées, en particulier celle sur les critères de choix des sujets proposés à la décision du Premier ministre. Je reviendrai ensuite sur la dimension territoriale de ce que nous faisons, je dirai un mot de la philosophie de nos avis au terme des évaluations et, enfin, je ferai des observations plus diverses qui, peut-être, prendront place après vos questions.
Sur les critères de choix des sujets, nous avions d'abord à choisir à l'intérieur d'un ensemble assez vaste. En effet, avant même que le Conseil ne soit installé, en février 1999, la circulaire du Premier ministre avait invité les diverses administrations à proposer des thèmes d'évaluation. Nous nous sommes donc trouvés riches d'une trentaine de thèmes ou d'idées d'évaluation dès le départ.
Nous avons ainsi été amenés à faire une sélection pour déboucher sur les cinq thèmes de la première proposition de juillet 1999 en portant un avis sur l'opportunité de tel ou tel sujet, non pas pour son intérêt rétrospectif mais pour la place qu'il prendrait dans un processus de décision. L'évaluation devant éclairer l'action, certains thèmes nous paraissaient prioritaires par rapport à d'autres.
En même temps, tous les thèmes étaient loin d'être formulés d'une manière telle qu'ils puissent conduire à une évaluation dans les délais prescrits, c'est-à-dire de l'ordre de douze à dix-huit mois.
L'un des critères pour la qualité et le mûrissement des projets est l'implication des commanditaires. Même quand il s'agit de sujets interministériels, certains ministères sont plus porteurs du sujet que d'autres, et ce sont ces ministères qui ont à articuler les propositions du cahier des charges, qui est mis au point par le Commissariat au plan et ses commanditaires avec l'intervention du Conseil national d'évaluation.
J'avais fait le choix très tôt, dans le fonctionnement du Conseil national d'évaluation, d'assigner un binôme de rapporteurs internes au Conseil sur chaque sujet, afin que notre propre débat soit précédé du débat entre les rapporteurs, que nous n'ayons pas une pensée unique au sein du Conseil. On sait bien quels sont les mécanismes de fonctionnement des conseils et des commissions : quand on ne désigne qu'un rapporteur, on se fie largement à son opinion. Nous avons donc voulu cette dualité de rapporteurs par construction.
Il est difficile d'assurer cette dualité dans la durée. Or le binôme des rapporteurs n'est pas simplement là, au début, pour porter un avis sur un cahier des charges ou un questionnement mais pour assurer le suivi. Sans être membre de l'instance, il garde un _il sur l'instance et il a un rôle important au terme de l'évaluation, quand le Conseil produit un avis. Tout cela qualifie la robustesse du projet d'évaluation.
Le caractère interministériel des sujets est aussi l'un des critères de choix des propositions au Premier ministre. Certains thèmes étaient simplement ministériels et nous avons donc estimé qu'ils étaient intéressants mais que chaque ministère avait les moyens de les traiter par lui-même.
Il faut savoir que le financement de ces évaluations est partagé en deux moitiés : une moitié financée par le Fonds national d'évaluation, que gère le Commissariat au Plan, l'autre moitié relevant des divers commanditaires.
Voilà ce que je peux dire sur les critères de choix des sujets, qui illustrent ce souci de pragmatisme dont parlait Mme Véronique Hespel tout à l'heure.
Cela débouche sur la composition des instances et le choix des présidents. De ce point de vue, on a évolué. Le premier groupe des instances avait donné lieu à une décision du Premier ministre en juillet 1999 et la mise en place des instances s'est échelonnée sur une assez longue période.
Cela a donc été assez long et nous nous sommes dit qu'il ne pouvait pas en être ainsi. Nous avons vu aussi les conditions dans lesquelles les présidents d'instance s'étaient appropriés les cahiers des charges et avaient hérité d'un projet qui avait été composé sans leur demander leur avis.
Nous avons donc "rectifié le tir" avec le deuxième peloton, sans vouloir "lécher" jusque dans le détail tous les cahiers des charges, en disant qu'il était plus important d'avoir un choix plus précoce des présidents d'instance pour une meilleure appropriation du sujet, d'abord par les présidents eux-mêmes, pour qu'ils constituent une équipe, en particulier celle des rapporteurs (le rapporteur général ou le rapporteur adjoint). C'est un gage de travaux plus rapides et cela se passe plutôt bien.
Nous aurons mis en place une bonne partie des instances avant la fin de l'année, en quatre mois, c'est-à-dire que nous avons gagné beaucoup de temps à cet égard.
Dans la dernière instance, dont j'assistais à l'installation, voici quinze jours, le président, dès la première réunion, connaissait bien le sujet, bien sûr, et proposait aux membres de l'instance, qui se réunissaient pour la première fois, un calendrier des travaux qui allaient embrasser une année d'exercice.
Voilà ce qui nous a conduits, en 1999, à choisir un sujet sur la protection de la ressource en eau et deux sujets sur l'emploi : les emplois jeunes et l'aide aux emplois non marchands. Ces trois études sont achevées ; deux ont été publiées (celle sur l'eau et celle sur les emplois jeunes) et celle sur les emplois non marchands le sera très bientôt, en janvier ou février.
Il était prévu deux autres études dans ce lot de 1999. La première concernait la politique de lutte contre le SIDA et elle était en fait programmée, puisque le programme à cinq ans sur le SIDA prévoyait une évaluation. En la retenant, nous étions donc conforme à l'esprit du programme, comme à une demande du Conseil national du SIDA de 1996. Cependant quand cette disposition a été prise, l'arrivée heureuse des trithérapies n'avait pas été anticipée, or elle la complètement bouleversé la problématique dans ce domaine. Cela a eu des conséquences, pour la conduite de l'instance, pour la mobilisation des données qui a été particulièrement difficile et a conduit à un changement de président de l'instance : un épidémiologiste a passé la main à quelqu'un d'autre parce qu'il estimait, en son âme et conscience, qu'il n'avait pas suffisamment de données pour conduire valablement son instance.
Les conditions dans lesquelles il est venu présenter au CNE les raisons de sa démission étaient d'ailleurs en elles-mêmes une remarquable évaluation, une évaluation un peu "sauvage" dans sa forme mais très instructive pour les membres du CNE qui en étaient tous très impressionnés.
La deuxième instance d'évaluation difficile est celle qui concerne le logement dans les départements d'outre-mer. Il se peut que, dans l'ensemble des quinze évaluations dont nous avons parlé, celle-ci avorte, d'une certaine manière. Cela fait partie de la vie des évaluations.
M. le Président : Cela vient-il de la difficulté de mettre en place une méthodologie ou du refus des acteurs d'être évalués ?
M. Yves Cousquer : Cela ne vient pas d'un refus des acteurs, mais d'une difficulté propre au fonctionnement de l'instance qui a perdu, à la suite d'un décès, son rapporteur général il y a trois mois ; cela est venu s'ajouter à un cheminement cahoteux.
Mme Véronique Hespel : On constate une difficulté propre à l'évaluation dans les DOM : cela coûte beaucoup plus cher parce qu'il faut y envoyer des équipes et, souvent, les experts ne connaissent pas forcément très bien les législations spécifiques. De ce fait, on se repose sur les données locales, auquel cas on ne dispose pas forcément de l'objectivité requise pour une évaluation.
Il faudra réfléchir à la manière de résoudre ce problème. Les régions elles-mêmes ont la même difficulté.
M. Léonce Deprez : Tout d'abord, j'essaie de vous comprendre. Vous avez en effet un langage extraordinairement abstrait pour exposer votre méthodologie et il faut essayer de se brancher sur votre réflexion pour bien vous comprendre.
Deuxièmement, si je comprends bien, vous avez une fonction qui domine plusieurs thèmes, dont celui de l'aménagement du territoire, et nous sommes ici que compétents en matière d'aménagement du territoire. C'est bien cela, monsieur le Président ?
M. le Président : Nous évaluons aussi les politiques publiques.
M. Léonce Deprez : D'accord. Troisièmement, je suis élu régional. Alors que le corps des fonctionnaires régionaux dispose d'esprits instruits, éduqués et ouverts à toutes ces évaluations, je ne comprends pas pourquoi on ne fait pas d'abord appel à ceux qui, à longueur d'année, traitent ces questions et devraient logiquement réaliser l'évaluation des résultats des actions menées tant au niveau de l'Etat que de la région.
Je peux parler du contrat de plan Etat-région, sachant que j'ai présidé une commission régionale pendant des années et que j'ai demandé sans arrêt quelles étaient les évaluations réalisées. En tant que président de la commission, j'ai essayé de traduire cela en langage très concret à l'échelle de territoires, d'agglomérations, de pays (avant qu'ils soient aussi bien définis), de communautés urbaines, de communautés de communes... Il était d'ailleurs très difficile d'avoir l'évaluation par territoire et je n'obtenais souvent pas les tableaux que je demandais, parce que, parfois pour des raisons politiques, on ne voulait pas faire de comparaisons d'un territoire à l'autre.
Je vous pose donc la question avant de vous laisser continuer : logiquement, n'est-il pas dans la fonction première des fonctionnaires, qui sont tous dotés d'une formation adéquate, de donner les évaluations au niveau régional et n'a-t-on pas, au niveau national, la même obligation d'évaluer les résultats tout en distribuant les crédits ?
D'après ce que j'entends, je m'aperçois que vous êtes obligés de faire appel à des universitaires, qui sont extérieurs à tout ce que nous traitons à longueur d'année et qui viennent de leur université évaluer ceci ou cela avec la hauteur de vue nécessaire mais souvent pas avec le temps voulu, et même à des prestataires privés. J'ai du mal à comprendre pourquoi l'évaluation n'entre pas dans les attributions des fonctionnaires.
C'est ma question. Est-elle hors sujet ?
M. Yves Cousquer : Non, elle est pleinement dans le sujet.
M. le Président : Toutes les questions sont possibles dans cette enceinte.
M. Yves Cousquer : Je parle du CNE, c'est-à-dire du Conseil national d'évaluation des politiques publiques. Le gouvernement avait souhaité, par construction, que les trois niveaux de collectivités territoriales soient représentés au sein du Conseil d'évaluation pour que les régions, les départements et les communes puissent exprimer un point de vue dans le choix et la méthodologie des sujets.
Or, comme nous l'avons souligné tout à l'heure, les trois niveaux ont peu participé, à l'exception du niveau municipal, pendant la première année.
Cela dit, nous avons eu le souci de compenser cette carence de deux manières. Dans la composition des instances d'évaluation figurent très régulièrement des acteurs locaux : dans l'instance sur les déchets, celle sur la protection de l'eau potable et celle sur la sécurité routière, nous avons choisi de privilégier des groupes d'évaluation décentralisés.
L'évaluation sur la sécurité routière ne se fait pas tous azimuts ; elle porte sur les dispositifs de sanctions influant sur le comportement des conducteurs sous l'_il de la justice, de la gendarmerie et autres. Nous avons donc pris comme champ géographique des juridictions de la justice pour pouvoir nous nourrir d'une réalité locale très précise.
C'est notre première démarche au niveau des instances d'évaluation elles-mêmes, et le rôle de l'instance est d'assimiler cette réalité locale. Une partie des études qui sont financées prend en compte non seulement des agrégats macro-économiques mais aussi l'analyse de systèmes d'acteurs, qui est toujours très locale.
La deuxième démarche de territorialisation, pour nous, s'est concrétisée par des rapports directs du CNE. Nous avons eu deux réunions régionales, l'une à Rouen et la deuxième à Poitiers, organisées avec les présidents de région et les préfets de région et associant aussi bien les services de la région que les services de l'Etat dans les régions pour échanger sur notre pratique d'évaluation, mais également sur la pratique d'évaluation conduite au niveau régional. Nous avons fait cela au cours d'une journée de travail pour voir comment l'un nourrit l'autre.
Ces échanges sont une autre forme que celle qui est organisée par le Plan dans l'évaluation des contrats de plan Etat-région.
Cela secrète une demande d'échanges, et ceux-ci seront d'autant plus riches que nous aurons progressé dans la livraison d'un certain nombre de nos évaluations.
Mme Véronique Hespel : Pour compléter ce que vient de dire M. Yves Cousquer, j'ajoute que, sur le groupe "sécurité routière", nous avons fait faire des diagnostics par les acteurs locaux dans chaque ressort judiciaire, en prenant, certes, un prestataire pour faire des constats. Cela a été passionnant parce que, dans un premier temps, les groupes locaux disent ce qu'ils pensent dans la façon dont la chaîne fonctionne, puis le prestataire dit : "voilà comment je vois que cela fonctionne d'après les dossiers", il va ensuite faire réagir les groupes locaux sur ces constats et tout cela va "remonter" au niveau central. C'est une démarche très itérative entre un diagnostic local et un diagnostic national.
M. le Président : Pour essayer d'éclairer la question de notre collègue Léonce Déprez, peut-être faut-il dire que nos fonctionnaires sont plutôt aptes à mettre en avant le niveau d'engagement des politiques publiques et à faire une évaluation quantitative, mais ce qui manque sûrement, probablement parce qu'ils n'en ont ni le temps ni, parfois, les compétences, c'est une évaluation qualitative, pour voir également l'impact du résultat de ces politiques sur le territoire et quelle prospective on peut faire pour tenter d'infléchir ces politiques à l'avenir.
C'est là que les universitaires sont importants, de même que les cabinets privés, pour construire des méthodologies, ce que les fonctionnaires publics n'ont pas forcément le temps de faire ou ce qu'ils ne peuvent pas faire, faute de compétences.
M. Pierre Cohen : Je vais me permettre de continuer sur ce terrain. Il me semble qu'il y a des différences fondamentales entre les résultats ou les bilans, d'une part, et l'évaluation, d'autre part. C'est peut-être le hiatus qui existe entre quelqu'un qui est juge et partie. En effet, même un fonctionnaire très compétent, honnête et intègre, en faisant le rapport de son activité, produira rarement une sorte d'auto-critique, une comparaison entre la commande et le résultat, c'est-à-dire une évaluation.
De même, je pense maintenant que le contrôle est entièrement admis dans nos objectifs et nos obligations, mais qu'il est plus difficile d'être jugé. Il existe donc une différence entre le contrôle et le fait d'être jugé. Je pense que le pari sur l'évaluation sera gagné le jour où elle sera considérée comme positive...
Mme Véronique Hespel : ...comme un élément qui aide.
M. Pierre Cohen : ...qui permet d'aller vers une étape nouvelle.
On l'a vu avec les contrats de ville. On s'est aperçu qu'il fallait réaliser des évaluations, mais on les a mal faites. Maintenant, on les inscrit complètement dans les futurs contrats de ville et on les intègre parce qu'on sent que c'est nécessaire.
Dans le monde de la recherche, l'évaluation existe très fortement depuis longtemps. En effet, on ne peut pas envisager un organisme de recherche sans évaluation, le CNRS étant le plus habilité à le faire. J'avais fait un rapport avec M. Jean-Yves Le Déaut sur la recherche pour le Premier ministre et nous avions pensé que l'évaluation, au lieu d'être uniquement une évaluation relative à la carrière ou à un certain nombre de problèmes internes, devait devenir un "lieu ressources", permettant aux décideurs d'y puiser et de décider. C'est très important.
Je voudrais donc savoir si vous y avez réfléchi, puisque vous avez parlé de base de données et d'informations, le problème étant de savoir, si les régions et autres décideurs seront capables de faire un "lieu ressources".
Enfin, vous avez parlé des trois niveaux que sont l'inspection générale, les prestataires privés et les universitaires, et je voudrais y ajouter une "puissance évaluatrice" qui n'a pas de compétence mais qu'il faudra intégrer : celle des usagers. Il y aura bien un moment où il faudra arriver à faire en sorte que les gens qui sont concernés par les politiques publiques puissent dire ce qu'ils pensent, même si, évidemment, les universitaires peuvent le faire par des sondages, des questionnements ou des enquêtes.
Mme Véronique Hespel : Cette question fait partie des suites de l'évaluation. Elle fait l'objet d'une réflexion.
M. Pierre Cohen : Le problème, c'est que je considère que cette période de dix-huit mois est trop longue, qu'elle sera toujours trop longue et même qu'elle sera inacceptable, parce que notre monde va de plus en plus vite. Il faudra donc que vous trouviez des méthodologies d'évaluation qui aillent très vite.
Il faudra donc, d'une part, en tenir compte dans les contrats ; d'autre part, il faudra faire en sorte que ceux qui profitent de ces politiques publiques ou les subissent puissent être entendus au fur et à mesure en fonction de leur représentativité. Cette richesse ou cette compétence ne sera ni professionnelle, ni universitaire mais elle sera à mon avis assez forte.
M. Yves Cousquer : Vous avez commencé par évoquer le risque d'être à la fois juge et partie. Il est sûr que le commanditaire d'une étude qui porte un champ de responsabilité court ce risque. Comment parer à ce risque ? Principalement par le choix du président de l'instance. C'est le président de l'instance qui assure à celle-ci l'indépendance d'esprit qui nous paraît indispensable et, en même temps, la déontologie qu'exprime chacun des membres de l'instance. Il n'est pas là pour être le mandataire de son organisme mais pour être un évaluateur, avec le statut critique qui doit accompagner l'évaluateur.
Le meilleur garant, dans cette affaire, c'est le président de l'instance.
Mme Véronique Hespel : C'est vrai, mais en réalité, je pense qu'il existe plusieurs formes d'évaluation et qu'elles ont toutes leur légitimité. J'avais dit devant le CNADT, mais je m'étais peut-être un peu avancée, qu'avec l'évaluation des aides aux très petites entreprises, nous allions faire une évaluation militante, une évaluation de société civile. En effet, c'est une évaluation qui a été lancée par Mme Maria Nowak, dont vous connaissez peut-être le rôle en tant que présidente de l'Association pour le droit à l'initiative économique (ADIE), (un livre a été publié à son sujet, intitulé "La banquière des pauvres"). Elle est conseillère auprès de M. Laurent Fabius, mais c'est surtout une militante des aides aux très petites entreprises, pour des gens créant leurs activités.
Or elle a choisi comme président M. André Mulliez, qui n'a pas un profil de fonctionnaire ni de chercheur, nous installons l'instance demain et je peux vous dire que ce sera vraiment très intéressant.
M. Pierre Cohen : Ce sont des logiques différentes.
Mme Véronique Hespel : Exactement. Ce ne sera pas forcément une évaluation scientifique, encore que nous ayons mobilisé des experts, mais ce sera en tout cas passionnant, parce que nous avons fait en sorte que les acteurs des trois ou quatre grands réseaux qui s'occupent de cette question soient présents.
M. Léonce Deprez : Et la suite concrète ? Dans quel délai cela aboutira-t-il ?
Mme Véronique Hespel : Je peux vous dire que Mme Maria Nowak a le souci du concret. Au début, les administrations avaient l'idée d'évaluer un système d'aide, mais tout le travail d'élaboration du cahier des charges a consisté à considérer les bénéficiaires finaux au regard des systèmes qui les concernent. C'est extrêmement productif, parce qu'ensuite, la société civile pourra se saisir de ces images que l'on va lui donner et qui, pour l'instant, n'existent pas.
On va par exemple se demander si les typologies utilisées correspondent à la perception qu'ont les gens de leur trajectoire.
Maintenant, pourra-t-on le faire en trois mois ? On sent bien qu'il faudra approfondir les diagnostics territorialisés.
Nous avons introduit une idée simple qui n'existait pas : il faut bien étudier le rôle des experts-comptables dans cette affaire. Les entrepreneurs individuels ne sont rien sans eux. Nous allons donc prévoir un financement à cette fin. Evidemment, les experts-comptables sont ravis, ils sont acteurs et ils vont venir dans l'instance pour essayer de donner le point de vue des comptables de base sur les dispositifs que l'on met en face des très petites entreprises.
M. Yves Cousquer : Le questionnement préalable qui a été le nôtre a été d'identifier les bénéficiaires.
On retrouve le même souci dans la manière dont nous avons abordé la contractualisation à l'université. Il ne s'agissait pas de réaliser une évaluation interne à l'Education nationale : elle est capable de le faire, et ce depuis longtemps. Nous avons donc eu un regard sur les bénéficiaires de l'université, c'est-à-dire les étudiants, avec des considérations sur les sorties de l'université et les emplois qui sont ensuite proposés. C'est ce qui a commandé le cahier des charges que nous avons élaboré sur ce sujet.
Le souci des cibles, des bénéficiaires et des publics visés est donc premier dans notre démarche.
M. Pierre Cohen : Je présume que, lorsqu'on évalue, on tient compte du public représentatif. Ce serait indispensable. On ne peut plus ignorer la représentativité des gens qui sont l'objet de politiques publiques. C'est compliqué, mais indispensable.
Mme Véronique Hespel : C'est plus facile à faire au niveau régional qu'au niveau central. Nous avons, nous, une représentation du Conseil économique et social au sein du CNE et des instances à douze ou quinze membres. Nous essayons d'y faire participer les associations, mais ce n'est pas évident. Je pense donc que c'est plus une question qu'il faut se poser au niveau régional.
Quand on considère les exercices de prospective régionaux, on constate que certains sont quand même très participatifs. Je travaille dans le groupe de M. Bailly, de la DATAR, sur les prospectives territoriales, et je peux vous dire que M. Jean-Paul Bailly et Mme Edith Heurgon, sa conseillère en matière de prospective, ont compris qu'il fallait qu'ils y intègrent aussi l'évaluation. En effet, il n'y a pas de raison que l'on parle de l'entrée de la société civile dans ces exercices de prospective sans réfléchir aux connexions entre prospective et évaluation, mais c'est compliqué à mettre en _uvre, parce qu'il faut produire un diagnostic.
M. Yves Cousquer : Je voudrais faire une autre observation sur la mission que nous avons vécue pendant trois ans : la relance au niveau national de l'activité d'évaluation des politiques publiques, qui embrassent de nombreux systèmes d'acteurs, lesquels ne sont pas simplement ceux de l'Etat.
L'intervention de la nouvelle loi organique, au 1er août dernier, change complètement la perspective pour les années à venir et c'est une question qu'aura à se poser le CNE, lorsqu'il sera renouvelé, au cours de l'année 2002. Je pense d'ailleurs qu'il sera bon que le gouvernement vienne, par une lettre de mission, réorienter une partie de ces travaux.
En effet, nous avons fait principalement de l'évaluation ex post, une fois la politique conduite. Nous avons fait une évaluation en cours de route sur la politique des emplois jeunes, et les conclusions dégagées par l'instance que présidait M. Anicet Le Pors ont été utiles dans le dialogue qu'il a eu avec la ministre, son cabinet et le gouvernement pour infléchir cette politique. C'était donc déjà un progrès, mais il est certain que la loi organique imposera plus d'évaluations ex ante pour bien comprendre la mise en place de tel ou tel programme ministériel ou telle politique à l'intérieur d'un programme, les systèmes d'acteurs qui sont en cause, les objectifs que vise l'action publique et les indicateurs qui permettent de qualifier ces objectifs et de mesurer les résultats.
C'est sans doute l'une des clefs pour répondre à votre souci de rapidité. Si on a fait auparavant une bonne partie de la démarche méthodologique, les choses sont plus faciles. En effet, je suis frappé de voir le temps que les instances d'évaluation passent à rassembler des données, y compris à recenser tous les textes administratifs qui définissent les missions publiques. Ce travail d'élagage après inventaire accompagnera donc nécessairement les programmes.
La difficulté sera de fixer les priorités, parce qu'on ne peut pas tout faire en même temps - les ressources sont limitées pour faire ce travail d'élagage et d'inventaire des évaluations -, mais je pense que cette dimension consistant à développer l'évaluation ex ante va prendre beaucoup de place.
M. Léonce Deprez : Dans ce contexte, n'y aurait-il pas un rôle à donner aux préfets, à ceux que l'on appelait jadis les "sous-préfets économiques" ? Est-ce que ce ne sont pas eux qui doivent faire les évaluations en permanence, aux côtés des préfets, pour apporter ce matériau à votre Conseil national ? Logiquement, n'est-ce pas dans leur fonction ?
Mme Véronique Hespel : Bien sûr, mais ils ne sont plus très nombreux. Les équipes des secrétariats généraux des affaires régionales sont démunies.
M. Léonce Deprez. : Pour notre part, en tant qu'élus, nous sommes là pour faire en sorte de corriger les défauts et de combler les manques. Que font les sous-préfets économiques et les SGAR à ce sujet ?
M. le Président : Monsieur Déprez, vous êtes un libéral et un décentralisateur. Vous ne voulez donc pas confier toutes les données et tous les moyens d'évaluation aux agents de l'Etat...
M. Léonce Deprez : Je suis un social libéral.
M. le Président : Il faut aussi une mutualisation des expertises.
M. Léonce Deprez : Normalement, l'Etat a un rôle fondamental à jouer à travers ses préfets et ses sous-préfets économiques. Je vous pose la question mais vous ne me répondez pas.
Mme Véronique Hespel : Si. Ce sont nos correspondants. Nous les recevons tous les deux mois. Ce sont nos piliers. Simplement, leurs équipes sont peu étoffées. En fait, nous les recevons en même temps que les régions. Nous recevons simultanément les services économiques des préfectures, des régions et des conseils économiques et sociaux régionaux.
M. le Président : Je suis très sensible à ce que vous disiez auparavant sur les problèmes de données. Personnellement, en ce qui concerne le recensement sur l'eau, j'avais constaté un nombre croissant de lieux de production de données. On peut aussi s'interroger sur la qualité de ces données.
Par conséquent, celles et ceux qui veulent apprécier telle ou telle politique ou comparer les choses entre elles ont beaucoup de mal à trouver des données solidement établies...
Mme Véronique Hespel : ...robustes et fiables.
M. le Président : Deuxièmement, on relève aussi des problèmes de critères. Sur quels critères va-t-on évaluer et évalue-t-on de la même façon partout ?
Vous avez évoqué le problème entre les méthodologies européennes et les méthodologies nationales, et on pourrait aussi s'interroger sur la comparativité entre les méthodologies régionales.
Ne serait-il pas nécessaire de mettre en place, à côté du Conseil national d'évaluation, des conférences de validation d'un certain nombre de ces données et de ces critères de telle manière que ces critères soient validés par vous et, ensuite, reconnus par les différents acteurs de l'évaluation ? En effet, nous avons bien compris que vous aviez ici un rôle de pionniers et que cette pratique de l'évaluation va devoir se diffuser dans les collectivités territoriales, les régions d'abord, bien sûr, mais aussi, vraisemblablement, à l'échelon infra-régional, notamment dans les agglomérations et les villes.
Il y a donc vraisemblablement besoin de parler un langage commun, de comparer ou de changer ce que l'on fait et, éventuellement, de pouvoir construire, pour avoir une évaluation ex ante, des tableaux de bord à peu près cohérents et comparables qui puissent évoluer non pas de façon identique mais parallèle. On peut effectivement imaginer que telle région sera plus en avance dans ses pratiques d'évaluation et qu'elle souhaitera aller un peu plus loin dans son investigation ou l'appréciation de ses politiques, sachant que la question qui se posera ensuite sera de savoir comment on pourra remettre à niveau celles et ceux qui n'y sont pas.
N'est-il pas nécessaire de construire ce lieu de validation et de prospective de l'évaluation, qui fera en sorte que la diffusion de cette méthode nécessaire puisse être relativement homogène sur l'ensemble du territoire national ?
Mme Véronique Chanut : De ce point de vue, il faut sans doute concevoir un prolongement des premières évaluations que nous avons menées. En effet, nous sommes très fiers de produire nos premiers rapports, mais ils ne sont pas du tout une fin en soi et il faut les concevoir comme une étape. Sur la politique de l'eau, par exemple, on a rassemblé de façon inédite des données éparses dont personne ne possédait la synthèse.
Je pense qu'à partir de là, il s'agit de mener tout un travail pour essayer de concevoir des indicateurs en essayant d'articuler des indicateurs nationaux, car ces évaluations restent assez jacobines malgré tout, et de travailler avec des acteurs locaux dans le cadre de groupes mixtes pour mettre au point des indicateurs territoriaux et les articuler avec des indicateurs nationaux
Cela nous donne une bonne base de travail.
Mme Véronique Hespel : C'était le projet que nous avions sur les trois sujets dont je vous ai parlé.
A propos de l'environnement, c'est évident. En 1998, le travail fait sur l'environnement peut constituer une base. De même, nous avons fait faire un travail sur les aides aux très petites entreprises à travers les contrats de plan, et le groupe sur les aides aux très petites entreprises nous aidera dans l'élaboration.
Cependant, il ne faut pas confondre le moment de la construction de ces informations et le moment de leur validation. En effet, nous avons besoin d'une validation et cela pourrait être très intéressant, mais il s'agit de ne rien figer.
Ayant géré, au Commissariat à l'énergie atomique, un budget de programmes versus un budget de moyens, j'ai pu voir aussi bien les limites d'un budget de moyens que celles d'un budget de programmes. Je pense que nous avons à méditer des expériences étrangères en matière de budgets de programmes (je pense à la Grande-Bretagne et même aux Etats-Unis). En effet, il est dangereux de figer une gestion par programmes.
C'est là que je vois un rôle très important pour l'avenir de l'évaluation, mais aussi de la prospective, évidemment, parce que l'évaluation vient bousculer les frontières. On en a besoin : il n'y aurait rien de plus triste qu'une France décidée par programmes, et c'est la Commissaire adjointe du Plan qui vous le dit.
M. Léonce Deprez : Toute votre action nationale sous le signe du Conseil national de l'évaluation ne devrait-elle pas avoir une projection à l'intérieur de chaque région, comme le disait le président ? Vous dites que le SGAR et le sous-préfet économiques sont vos correspondants, mais, chaque collectivité territoriale étant maintenant bien définie et chacune d'elle commençant à se structurer sur tout le territoire, ne devrait-il pas y avoir, au niveau de la région, de l'agglomération, du pays ou des communautés de communes, un indicateur pour évaluer et éclairer les élus ? Finalement, ce sont eux qui décident, proposent et demandent des crédits. Ne devrait-il donc pas y avoir un indicateur au niveau de chaque structure territoriale et correspondant, au niveau national, à vos indicateurs nationaux ? En réalité, il faut remonter à partir du territoire.
Je trouve que votre travail est extraordinairement centralisateur. Le Conseil national d'évaluation a une ambition formidable, que vous avez d'ailleurs beaucoup de mal à exposer à des élus territoriaux. Je ne conteste pas votre compétence, mais c'est très difficilement traduisible - je suis bien obligé de vous le dire - tout simplement parce que cela ne se vit pas au niveau des territoires. Si cet effort de recherche et d'évaluation se vivait au niveau des territoires et s'il remontait vers le haut, comme une espèce de règle à respecter ou de mode d'emploi pour obtenir des crédits, avec les évaluations nécessaires à chaque niveau, nous arriverions peut-être à mieux nous comprendre et à faire un travail plus organisé, plus planifié, si je puis dire.
M. Yves Cousquer : Il existe une limite à une démarche d'évaluation du terrain qui ne serait que territoriale. L'addition d'évaluations territoriales n'est pas une évaluation nationale, dans la mesure où des politiques sont définies au niveau national et où il faut bien les évaluer.
Mais il y a une deuxième limite : celle des compétences à mobiliser. Quand on parcourt ce document sur la politique de préservation de la ressource en eau, on s'aperçoit que beaucoup de compétences ne peuvent pas être distribuées à l'échelle de cent départements ou de vingt régions. Une économie d'échelle conduit donc à la réaliser au niveau national. Par ailleurs, on gagne beaucoup de temps. C'est d'ailleurs l'une des recommandations de cette instance : il faut rassembler les données sur l'eau au niveau local et, à partir du moment où ce travail préliminaire a été fait, cette mise en ordre au niveau local est beaucoup plus facile.
Un aller-retour doit donc être fait entre la démarche nationale et les démarches territoriales.
Mme Véronique Hespel : Ce que je vais dire n'est peut-être pas très orthodoxe pour quelqu'un qui est censé représenter la cohérence nationale du Commissariat du Plan, mais je crois que nous ne sommes plus dans une époque où les indicateurs des uns doivent s'imbriquer dans les indicateurs des autres. Il est beaucoup plus important - et vous avez tout à fait raison de le souligner -, pour nous, de bien nous positionner sur les indicateurs que l'Etat doit continuer de surveiller. Notre rôle est plutôt celui-là.
Cela dit, il faut laisser une grande liberté aux échelons territoriaux pour définir leurs propres objectifs, parce que c'est une dynamique de projet. Au niveau national, nous pouvons dire aux régions : "vous nous demandez ce que nous pensons de l'indicateur que vous avez choisi et nous vous répondons qu'il est fiable, pertinent et robuste. Nous pouvons également vous aider à repérer les compétences universitaires pour vous aider à construire votre démarche", mais nous n'avons absolument pas la prétention, ni au CGP, ni au CNE, de construire l'indicateur universel.
C'est ce que, personnellement, je reproche à certaines méthodes européennes. On présente des programmes avec des évaluations et des indicateurs ex ante, on tord les projets territoriaux afin qu'ils rentrent dans les cases prévues à l'avance et on ne fait que s'évaluer soi-même. On se dit : "il faut que je réponde à tel ou tel critère pour rentrer dans tel programme". Si on fait cela, on n'a pas avancé d'un iota !
L'idée est que, dans l'aller-retour entre l'échelon local et l'échelon national, le besoin de direction nationale et de projet national puisse être mieux identifié et que cela incombe au Parlement qui, à travers l'ordonnance organique, fixe l'objectif assigné à l'échelon national, et qu'ensuite, on laisse se décliner autrement et par toutes sortes de formes les projets des acteurs en suscitant leur mobilisation et leur autonomie et en leur disant : "vous vous fixez cet objectif et on va y parvenir un peu mieux cette année par rapport à l'année dernière".
Il reste que, sur tous ces sujets, la question centrale est celle du temps, mais je dirais que le délai de l'évaluation en quinze ou dix-huit mois n'est pas très long par rapport au temps qu'il faut pour que les impulsions politiques se traduisent par des changements réels dans la vie des gens.
M. le Président : Un délai de quinze mois reste raisonnable eu égard aux calendriers des contrats de plan ou ceux des politiques structurelles.
J'ai bien compris ce qui vous gênait dans les évaluations européennes et votre souci de garder une originalité de l'évaluation française. Dans ce qui se fait dans les autres pays européens, avez-vous repéré un certain nombre d'expériences qui vous semblent intéressantes et transposables ou qui méritent d'être regardées d'assez près pour servir de point d'appui dans une démarche qui, chez nous, est embryonnaire ?
Mme Véronique Chanut : Il se trouve que nous avons intégré récemment un réseau d'évaluateurs nationaux européens qui est en train de se constituer auprès de la direction générale du budget à Bruxelles, avec des expériences assez contrastées et des degrés d'avancement assez différents.
Alors que nous avons eu notre première réunion en novembre dernier, il est assez frappant de constater que des pays comme la Suède ou la Grande-Bretagne ont une avancée considérable et que les problèmes qui se posent actuellement sont de savoir comment gérer leur stock d'évaluations, avec l'idée que trop d'information tue l'information. Ces pays réfléchissent à d'autres problèmes que nous, avec une approche très tournée vers ce qu'ils appellent "les clientèles", alors que nous utilisons beaucoup plus le terme "d'acteurs".
Les Anglais nous ont parlé par exemple de l'évaluation des politiques de lutte contre l'exclusion. Ils prennent une clientèle comme les personnes âgées ou les jeunes, ils la segmentent et, à partir de là, ils remontent aux différents problèmes : logement, santé, etc. C'est donc une approche assez séduisante et foisonnante.
Toutefois, même si nous avons pu nous inspirer d'un certain nombre de leurs avancées, l'expérience française, qu'ils connaissaient peu, les a intéressés sur deux plans.
Le premier est nos instances d'évaluation. Nous en parlons très naturellement, mais c'est un élément qui nous est spécifique et, maintenant, familier ; ces instances d'évaluation ont beaucoup séduit les Anglais, notamment parce qu'ils y voient des lieux où les différentes parties prenantes d'une politique peuvent avoir une confrontation de logiques et de points de vue qu'ils ont du mal à avoir dans d'autres processus.
Le deuxième, c'est l'approche qualitative, même si elle nous laisse souvent, nous, assez sceptiques. Il est vrai que l'évaluation, en France, s'est développée largement à travers les sciences sociales et la sociologie, alors que nous souffrons de certaines lacunes en gestion ou en économie. C'est donc très différent de ce qui se passe dans d'autres pays européens.
Malgré tout, nous avons mis en évidence des jeux d'acteurs et des niveaux d'articulation de compétences assez différents dans la mise en _uvre des politiques publiques. Nous avons également mis l'accent sur la nécessité de décortiquer la mise en _uvre de politiques dans un paysage institutionnel assez complexe. C'est un apport qui nous paraît tout à fait intéressant, mais il est vrai que cela demande un détour par la connaissance universitaire ou par une expertise et que cela prend du temps.
Je pense donc qu'il faut que nous nous inspirions aussi de l'efficacité et de la rapidité des autres pays, mais j'ai constaté que des pays très décentralisés, comme l'Espagne ou le Portugal, ont été séduits par notre expérience.
M. Léonce Deprez : Les observatoires qui se créent dans tous les pays, mais aussi dans toutes les régions, n'ont-ils pas pour but de fixer les évaluations et de les formaliser par politique ?
Vous parlez de l'Espagne. J'ai été en Catalogne avec une mission régionale, il y a un mois, et j'ai été très frappé par tout ce qui s'est construit et ce qui se structure en termes d'évaluation. Sur le critère "haute qualité environnementale" (HQE), par exemple, on nous fait des conférences à longueur de journée d'études. On évalue toutes les mesures et tous les crédits accordés en vue de l'ambition HQE. Il y a des observatoires qui se créent en vue de l'HQE. Cela fait-il partie de votre ambition ? Dans ces observatoires, avez-vous un rôle à jouer ?
M. Yves Cousquer : Non, les sujets sur l'environnement qui sont sortis sont, pour nous, ciblés. La préservation de la ressource en eau potable était un aspect. Le traitement des déchets ménagers en est un autre. Nous n'avons pas pris un aspect global qui correspond à une compétence ministérielle, à savoir la haute qualité environnementale.
Nous nous focalisons vraiment sur ce qui est interministériel. Certes, la haute qualité environnementale, dans sa conduite, est aussi interministérielle, mais elle relève clairement de la responsabilité d'un ministre. La compétence du ministre de l'environnement comporte, comme celle de n'importe quel ministre, une dimension interministérielle, mais ce n'est pas automatiquement à relayer par le CNE, du moins dans la vision que j'en ai.
Mme Véronique Hespel : Je pense que nous n'avons pas vocation à créer des systèmes d'information, alors qu'un observatoire crée de l'information. Nous n'avons pas non plus vocation à définir des normes, à dire que toute mesure devra s'examiner au regard des critères de développement durable.
Si le Premier ministre ou le Parlement nous le demande, nous travaillerons mais, pour l'instant, ce n'est pas le cas. Nous sommes là pour qu'un acteur, que ce soit l'Etat ou la région, nous dise : "j'ai tel objectif, j'ai voulu faire cela, de quelle façon y suis-je arrivé ?" Généralement, on lui répond : "en fait, vous n'avez pas vraiment dit que vous vouliez faire cela et vous l'avez fait pour telle raison mais en fait, c'est plutôt pour telle autre raison et on vous suggère de faire autrement"...
Mme Véronique Chanut : Je vous livre un complément sur le paysage européen qui sera peut-être utile pour vos travaux.
Il se trouve que les directions, à Bruxelles, ont une politique assez autonome en matière d'évaluation, chacune étant responsable de ses choix et de ses modalités d'évaluation. La nouveauté, c'est que la Commission essaie actuellement de constituer ce qu'elle appelle des évaluations stratégiques, c'est-à-dire des évaluations transversales. C'est aussi pour cela qu'elle était intéressée par l'expérience française d'évaluation des politiques publiques interministérielles, puisque nous avons un dispositif gouvernemental qui intervient sur des sujets transversaux.
Dans le programme que la Commission vient d'établir, elle a choisi deux sujets : l'évaluation des aides aux PME et le développement durable.
M. le Président : Monsieur le Président, madame la Directrice adjointe, madame la Rapporteure générale, je tiens à vous remercier de nous avoir consacré un temps aussi important et de nous avoir bien fait comprendre quel était le dispositif qui a été mis en place autour du CNE et du Commissariat du Plan.
Ceci est maintenant, pour moi en tout cas, clair et va permettre à la Délégation de prolonger sa réflexion. Si nous en avons le temps avant la fin de la session, nous n'excluons pas d'avoir un entretien peut-être plus bref avec vous pour compléter nos questions en fonction des auditions qui auront lieu d'ici la fin du mois de janvier.
Mme Véronique Hespel : Je ferai un complément sur le développement durable. La seule région qui a une démarche vraiment très intéressante est le Nord/Pas-de-Calais. C'est celle qui a la démarche la plus élaborée. Une autre démarche s'amorce en Rhône-Alpes, mais elle est encore embryonnaire.
M. le Président : Monsieur le Président, Mesdames, merci beaucoup.
© Assemblée nationale |