N° 771

______

ASSEMBLÉE   NATIONALE

CONSTITUTION DU 4 OCTOBRE 1958

QUINZIÈME LÉGISLATURE

 

Enregistré à la Présidence de l’Assemblée nationale le 15 mars 2018.

RAPPORT DINFORMATION

DÉPOSÉ

en application de larticle 146-3, alinéa 6, du Règlement

PAR le comitÉ dÉvaluation et de contrÔle des politiques publiques

 

sur l’évaluation des dispositifs dévaluation des politiques publiques

ET PRÉSENTÉ PAR

M. Pierre MOREL-À-LHUISSIER et Mme valÉrie petit

Députés

——


 


—  1  —

SOMMAIRE

___

Pages

MIEUX ÉVALUER POUR MIEUX AGIR : Manifeste pour une évaluation des politiques publiques au service de la transformation de l’action publique

PROPOSITIONS DES RAPPORTEURS

LÉVALUATION DES POLITIQUES PUBLIQUES EN HUIT QUESTIONS CLÉS

I. POURQUOI FAUT-IL MIEUX ÉVALUER ?

1. Un triple enjeu : démocratique, administratif et parlementaire

2. Les motivations et les objectifs de la mission dinformation

3. La méthodologie de la mission dinformation

II. QUEST-CE QUUNE BONNE ÉVALUATION DE POLITIQUE PUBLIQUE ?

1. Une définition de lévaluation des politiques publiques

2. Les critères dévaluation

3. Un projet évaluatif quil faut piloter

a. Bien distinguer les différentes étapes de lévaluation

b. Mettre en place la bonne gouvernance

c. Lélaboration du projet évaluatif : questionner les objectifs et le champ de lévaluation

d. Formuler des conclusions et recommandations

4. Une méthode qui dépend de la finalité de lévaluation

a. Limportance de lidentification préalable des questions évaluatives

b. Comment sorienter dans le choix de la méthode dévaluation ?

c. La combinaison dune analyse quantitative et dune approche qualitative

d. Un impératif : développer lappréciation dimpact

III. QUI SONT LES ACTEURS DE LÉVALUATION DES POLITIQUES PUBLIQUES ?

1. Aujourdhui, des acteurs nombreux et faiblement coordonnés

2. Demain, un Haut Conseil de lévaluation des politiques publiques

IV. COMMENT LES PARLEMENTAIRES ÉVALUENT-ILS LES POLITIQUES PUBLIQUES ?

1. Aujourdhui, un rôle peu investi faute de temps, de moyens et dexpertise

a. Un rôle réaffirmé

b. Une consécration dans les textes

c. Un investissement limité

d. Des moyens insuffisants par rapport aux autres Parlements

2. Demain, sanctuariser le temps de lévaluation des politiques publiques au Parlement

a. Lexamen du projet de loi de règlement doit devenir le rendezvous annuel de lévaluation

b. Les semaines de contrôle en séance publique doivent être réorganisées

3. Plus de moyens dexpertise : pour une agence dévaluation au service du Parlement

a. Les bonnes pratiques observées dans les Parlements étrangers

b. La particularité du cas français

c. Doter le Parlement dune agence dévaluation autonome

V. MIEUX ÉVALUER, QUEST-CE QUE CELA SIGNIFIE ?

1. Créer un cercle vertueux de lévaluation

2. Améliorer lévaluation ex ante

3. Renforcer lévaluation ex post

4. Mieux former les acteurs publics et sensibiliser les médias

5. Soutenir linnovation pour recourir à des techniques centrées sur les utilisateurs : lexemple du design des politiques publiques

VI. LÉVALUATION DES POLITIQUES PUBLIQUES À LÉTRANGER : QUELLES SONT LES BONNES PRATIQUES ?

1. Les États-Unis : un contexte institutionnel propice à la culture de lévaluation

2. Le Royaume-Uni : des méthodes et des principes diffusés à laide de guides dévaluation

3. LUnion européenne : lanalyse dimpact comme outil damélioration de la législation

a. Lévaluation ex ante, étape liminaire de la procédure législative

b. Le contrôle qualité de lévaluation ex ante à la Commission européenne

c. Une évaluation ex post à parfaire

VII. ÉVALUATION DES POLITIQUES PUBLIQUES ET NUMÉRIQUE : LA TRANSFORMATION NUMÉRIQUE EST-ELLE UNE OPPORTUNITÉ ?

1. Le big data

a. Définition et caractéristiques

b. Les implications pour lévaluation des politiques publiques

2. Lopen data

a. Des avancées indéniables dans la mise à disposition des données publiques, grâce à la loi pour une République numérique

b. Des marges de progrès

VIII. ÉVALUATION DES POLITIQUES PUBLIQUES ET DÉMOCRATIE PARTICIPATIVE : COMMENT ASSOCIER LES CITOYENS ?

1. Améliorer la qualité et laccessibilité des évaluations de politique publique

a. Lindépendance

b. Le pluralisme

c. La transparence

2. Donner plus de place à lusager et au citoyen dans lévaluation des politiques publiques

a. Une boîte à outils potentiellement très complète

b. Les méthodes dévaluation participative

c. Faire du citoyen un acteur à part entière de lévaluation des politiques publiques

d. Les conditions dune participation citoyenne réussie

EXAMEN PAR LE COMITÉ

ANNEXE 1 : OUTILS DÉVALUATION À DESTINATION DES DÉPUTÉS

ANNEXE 1.1 : PROTOTYPAGE D’UNE AGENCE D’ÉVALUATION AU SERVICE DU PARLEMENT

ANNEXE 1.2 : SIX CAS DÉVALUATIONs DE POLITIQUE PUBLIQUE RÉUSSIEs, CLASSÉS EN FONCTION DU TYPE DE MÉTHODE UTILISÉe

ANNEXE 1.3 : CARTOGRAPHIE DES ACTEURS DE LÉVALUATION DES POLITIQUES PUBLIQUES

ANNEXE 1.4 : BIBLIOGRAPHIE ET RESSOURCES EN LIGNE SUR LÉVALUATION

ANNEXE 2 : PERSONNES ENTENDUES PAR LES RAPPORTEURS

ANNEXE 3 : ÉTUDE RÉALISÉE PAR MM. MAURICE BASLÉ, JEAN-MICHEL JOSSELIN ET BENOÎT LE MAUX

 


—  1  —

   MIEUX ÉVALUER POUR MIEUX AGIR :
Manifeste pour une évaluation des politiques publiques au service de la transformation de l’action publique

Nous, parlementaires, nous engageons à faire de l’évaluation des politiques publiques un domaine d’excellence publique et un levier de transformation politique.

La France doit changer d’ère en matière d’évaluation des politiques publiques. Si la Constitution consacre l’évaluation des politiques publiques comme l’une des trois missions fondamentales du Parlement et des parlementaires, dans les faits, ceux‑ci ne disposent pas aujourd’hui du temps, des expertises et des moyens d’évaluer efficacement les lois qui forgent les politiques publiques et transforment le quotidien de nos concitoyens. Les citoyens, quant à eux, restent encore peu associés aussi bien à l’évaluation en amont des lois et au débat sur leur pertinence qu’à l’évaluation de leur impact et au débat sur leur efficacité. Les médias français sont peu sensibilisés à ces travaux qui pourtant éclairent le débat public tandis que les scientifiques peinent à voir leurs expertises mobilisées par les acteurs institutionnels de l’évaluation.

Aujourd’hui, l’évaluation française des politiques publiques doit encore faire sa révolution comme ont su le faire d’autres pays européens ou les institutions européennes. Elle doit franchir une étape décisive vers plus d’indépendance, plus de transparence, mais aussi une meilleure gouvernance et une plus grande qualité des évaluations ex post et ex ante. Nous devons passer du discours de bonne volonté à la pratique effective et mettre en place un véritable cercle vertueux de l’évaluation : d’abord évaluer les lois et politiques existantes pour décider s’il faut ou non légiférer. Ensuite, contrôler l’efficience et la dépense publiques lors de la mise en œuvre des nouvelles lois, notamment à l’occasion du vote de la loi de règlement, et enfin, évaluer l’impact des nouvelles lois ou mesures de politiques publiques pour déterminer si elles atteignent leurs objectifs ou méritent d’être revues ou ajustées. Ce cercle vertueux ne se déploiera qu’à la condition d’une volonté et d’un consensus politique à la hauteur des trois enjeux d’une meilleure évaluation.

Un enjeu de démocratie

Mieux évaluer, c’est mieux éclairer le débat public.

Rendre plus accessibles et appropriables les évaluations de lois et de politiques publiques aux citoyens, aux scientifiques et aux médias, c’est donner à chacun des éléments de réflexion et de preuve pour se forger un avis et faire entendre sa voix dans le débat public.

C’est pourquoi nous formulons des propositions qui soutiennent une plus grande transparence et une plus grande indépendance des travaux et rapports d’évaluation, avec notamment la création d’un Haut Conseil de l’évaluation ; qui encouragent la création d’un portail de l’évaluation permettant à tous d’accéder à l’ensemble des connaissances évaluatives en matière de politiques publiques ; qui contribuent à sensibiliser les citoyens et les médias à l’intérêt de l’évaluation ; qui soutiennent la recherche scientifique sur l’évaluation des politiques publiques ; qui associent les citoyens à l’activité évaluative au travers notamment de consultations publiques.

Un enjeu de rénovation des pratiques politiques

Mieux évaluer, c’est mieux légiférer.

Évaluer les effets des lois et politiques publiques passées est le premier remède à l’inflation législative et la garantie de lois plus utiles et plus efficaces. Pour le Gouvernement comme pour les parlementaires, comprendre ce qui a fonctionné dans le passé, comment, pour qui et pourquoi, est la plus solide des bases, pour décider et élaborer une loi ou une politique susceptible d’atteindre son objectif.

C’est pourquoi nous formulons des propositions qui visent à donner une stratégie nationale d’évaluation en invitant, par exemple, le Premier ministre à présenter devant le Parlement les priorités en matière d’évaluation de politiques publiques et l’avancement des expérimentations et évaluations en cours ; qui systématisent l’évaluation en insérant une clause de revoyure et une clause d’évaluation d’impact dans les lois ; qui améliorent la qualité des évaluations ex ante et notamment des études d’impact ; qui donnent aux parlementaires des moyens effectifs de jouer leur rôle d’évaluation avec notamment la création d’une agence parlementaire de l’évaluation des politiques publiques ; qui donnent toute sa place à l’évaluation dans les débats budgétaires et dans les semaines dédiées au contrôle ; qui sensibilisent et forment les parlementaires à l’évaluation des politiques publiques.

Un enjeu de transformation de l’action publique

Mieux évaluer, c’est mieux agir.

Évaluer la mobilisation des moyens et la maîtrise de la dépense publique dans la mise en œuvre de la loi et d’une politique, est le premier moteur d’une action publique plus performante qui sait innover et faire évoluer ses modes de gestion pour s’adapter positivement au paradoxe de l’action publique moderne : comment faire mieux avec moins, dans un contexte de réduction de la dépense publique, de montée des exigences démocratiques et des attentes de Service public et d’accélération des évolutions de l’économie et de la société.

C’est pourquoi nous formulons des propositions qui visent à sensibiliser et former les agents publics à l’évaluation des politiques publiques ; qui soutiennent la mise à disposition et l’utilisation des données publiques à des fins d’analyse et d’évaluation des politiques publiques ; qui encouragent l’innovation en matière d’applications évaluatives à destination des citoyens.

Ce 15 mars 2018, nous initions ainsi un mouvement en faveur d’une nouvelle ère en matière d’évaluation des politiques publiques et invitons les citoyens, les parlementaires, les agents publics et les médias à rejoindre celui‑ci. Ceci n’est pas un rapport, c’est un Manifeste assorti de 15 propositions, d’un prototype d’agence parlementaire de l’évaluation, d’un mode d’emploi de l’évaluation en 8 questions et d’une série de 6 études de cas d’évaluations de politique publique réussies. Son objectif est de mobiliser, d’inviter à l’action et de sensibiliser à l’importance et à l’urgence de mieux évaluer nos politiques publiques. C’est une question de responsabilité politique : nous devons aux citoyens les meilleures lois et politiques publiques possibles et une meilleure évaluation est un chemin pour y parvenir.

 


—  1  —

   PROPOSITIONS DES RAPPORTEURS

1. Fixer une stratégie nationale dévaluation des politiques publiques

 Prévoir, en complément de la transmission du programme législatif du Gouvernement, une information annuelle du Parlement par le Premier ministre sur les orientations du Gouvernement en matière de transformation de laction publique et sur son programme dexpérimentations et dévaluation des lois et des politiques publiques (proposition n° 2).

2. Se doter de moyens efficaces et dacteurs indépendants

 Créer un Haut Conseil de lévaluation des politiques publiques, présidé par une personnalité qualifiée indépendante, composé des représentants de tous les acteurs de lévaluation des politiques publiques, et chargé de (proposition n° 3) :

– donner une définition de l’évaluation des politiques publiques, afin de l’inscrire dans un nouveau décret relatif à l’évaluation des politiques publiques

– capitaliser les évaluations en créant une base de données accessible aux évaluateurs et un portail de l’évaluation des politiques publiques permettant un accès par des requêtes simples

– identifier et diffuser les bonnes pratiques, afin de créer une « boîte à outils » de l’évaluation des politiques publiques

– coordonner les travaux de recherche sur l’évaluation des politiques publiques, en identifiant l’offre des universités et la demande des administrations

– définir les besoins d’évaluation pour concourir au choix des politiques publiques à évaluer et coordonner l’intervention des acteurs

– assurer et rendre public le suivi des recommandations des rapports d’évaluation.

3. Améliorer la qualité de l’évaluation ex ante et ex post et soutenir l’innovation

 Faire des études dimpact des évaluations ex ante à part entière (proposition n° 8) :

– étendre les études d’impact aux projets d’ordonnance, aux propositions de loi inscrites à l’ordre du jour et aux amendements substantiels, et compléter le contenu des études d’impact prévues pour les projets de loi d’habilitation

– enrichir le contenu méthodologique des études d’impact

– prévoir des débats en commission ou en séance publique consacrés à l’examen des études d’impact.

 Instaurer une obligation pour le Gouvernement dévaluer ex post la législation (proposition n° 9) :

– généraliser les clauses d’évaluation inscrites dans la loi, prévoyant une mesure de l’impact des dispositions adoptées et précisant les objectifs, les critères et les délais de cette mesure d’impact

– prévoir que la loi peut comporter des clauses de revoyure fixant les conditions de réexamen de tout ou partie de ses dispositions dans un délai compris entre 2 et 4 ans.

 Soutenir la recherche scientifique sur lévaluation des politiques publiques (proposition n° 1) :

– développer des formations universitaires et des programmes de recherche dédiés à l’évaluation des politiques publiques, ainsi que des collaborations universitaires internationales qui favorisent les approches comparatives

– créer des conventions entre universités et administrations permettant à des doctorants de préparer leur thèse sur l’évaluation des politiques publiques tout en acquérant une expérience administrative de terrain et à l’administration de disposer d’évaluations de qualité.

 Mettre les outils novateurs, comme le design des politiques publiques, au cœur de la transformation publique et du dialogue citoyen (proposition n° 12) :

– imaginer une campagne de sensibilisation à l’évaluation associant citoyens et acteurs publics et un rendez-vous national de l’évaluation destiné à promouvoir son utilité auprès des citoyens et à fédérer ses acteurs

– promouvoir les évaluations de politique publique centrées sur l’implication des agents et des usagers.

 À des fins dévaluation des lois et des politiques publiques, rendre la législation accessible et exploitable par des simulateurs d’impact et de coût (proposition n° 14) :

– pour la législation fiscale et sociale, élargir l’usage d’OpenFisca en prévoyant la publication des codes sources des modifications proposées via une annexe numérique jointe aux projets de loi de finances et de financement de la sécurité sociale

– pour les autres législations, confier à ETALAB la mission d’étudier l’opportunité et la faisabilité d’une transcription en codes sources accessibles

– favoriser le développement de modèles d’analyse et de simulation de politiques publiques.

● Confier à ETALAB et au programme « Entrepreneurs d’intérêt général » la conception d’une application permettant aux citoyens d’évaluer les politiques publiques du quotidien (proposition n° 13).

4. Mieux former les acteurs publics et sensibiliser les médias

 Sensibiliser et associer les médias à l’évaluation, en s’appuyant sur les ressources et les savoirs du Haut Conseil de l’évaluation des politiques publiques et sur l’accompagnement de l’agence de l’évaluation (proposition n° 11) :

– mettre à disposition des médias une synthèse des évaluations de politique publique disponibles

– concevoir un outil de sensibilisation des médias sur l’évaluation des politiques publiques.

 Former et évaluer les agents publics (proposition n° 10) :

– renforcer la place de l’évaluation des politiques publiques au sein de la formation initiale des agents publics, notamment dans le cadre des enseignements dispensés à l’École nationale d’administration et dans les instituts régionaux d’administration

– former les cadres de la fonction publique aux différentes méthodes de l’évaluation des politiques publiques

– faire du recours à l’évaluation et à ses nouvelles techniques un élément d’évaluation des cadres de la fonction publique.

5. Permettre aux parlementaires de jouer effectivement leur rôle d’évaluateur avec les citoyens

 Doter le Parlement d’une agence d’évaluation autonome, disposant de pouvoirs d’enquête et chargée de (proposition n° 7) :

– à l’initiative des commissions saisies au fond : contre-expertiser les études d’impact accompagnant les projets de loi et évaluer l’impact des propositions de loi inscrites à l’ordre du jour et des amendements substantiels

– à l’initiative des instances de contrôle ou d’évaluation : établir la faisabilité des demandes d’évaluation ex post, en proposer la méthode et en assurer la réalisation en interne ou par recours à un prestataire extérieur

– promouvoir la compétence en évaluation au sein du Parlement, en développant des programmes et des outils de formation à destination des parlementaires, de leurs collaborateurs et des services des assemblées.

 Instaurer le principe dune participation des citoyens à lélaboration et à lévaluation de la législation et des politiques publiques, en prévoyant lorganisation d’une consultation citoyenne (proposition n° 15) :

– dans les conditions de réalisation des études d’impact accompagnant les projets de loi et les propositions de loi inscrites à l’ordre du jour

– dans les clauses d’évaluation inscrites dans la loi.

 Revaloriser le débat sur le projet de loi de règlement (proposition n° 5) :

– en lui réservant un temps de séance publique sanctuarisé

– en le centrant sur l’analyse des résultats de politiques publiques ayant fait l’objet d’une évaluation ex post.

 Revoir lorganisation des semaines de contrôle (proposition n° 6) :

– consacrer une semaine de séance publique sur quatre exclusivement au contrôle de l’action du Gouvernement et à l’évaluation des politiques publiques ou à leurs suites législatives

– prévoir, lors des semaines de contrôle, une déclaration du Gouvernement sur l’état d’avancement de son programme d’expérimentations et d’évaluation de politiques publiques

– prévoir une communication à la Conférence des présidents de l’exécution du programme de travail des instances de contrôle ou d’évaluation de chaque assemblée

– au sein de chaque semaine de contrôle, réserver par priorité une séance à l’évaluation des politiques publiques.

 Former et évaluer les parlementaires, en s’appuyant sur les ressources et les savoirs du Haut Conseil de l’évaluation des politiques publiques et sur l’accompagnement de l’agence d’évaluation (proposition n° 4) :

– lancer une campagne de sensibilisation des parlementaires à l’évaluation

– concevoir des outils de formation des parlementaires à l’évaluation des politiques publiques

– proposer des indicateurs de suivi de l’activité évaluative des parlementaires pour éclairer les classements existants.


Portée normative des propositions des rapporteurs

N° de proposition

Contenu sommaire de la proposition

Niveau de norme
à modifier

1

Soutenir la recherche scientifique sur l’évaluation des politiques publiques

Mesure règlementaire

2

Prévoir une information annuelle du Parlement par le Gouvernement sur son programme d’expérimentations et d’évaluations des lois et des politiques publiques

Constitution

3

Créer un Haut Conseil de l’évaluation des politiques publiques

Mesure règlementaire

4

Former les parlementaires à l’évaluation des politiques publiques et suivre leur activité évaluative

Absence de portée normative – Pratique administrative à adapter

5

Revaloriser le débat sur le projet de loi de règlement

Constitution

6

Revoir l’organisation des semaines de contrôle

Constitution et règlements des assemblées

7

Doter le Parlement d’une agence d’évaluation autonome

Décision des bureaux des assemblées et règlements des assemblées

8

Faire des études d’impact des évaluations ex ante à part entière

Constitution et loi organique

9

Instaurer une obligation pour le Gouvernement d’évaluer ex post la législation

Constitution et loi organique

10

Former les agents publics à l’évaluation des politiques publiques

Mesure règlementaire

11

Sensibiliser et associer les médias à l’évaluation

Absence de portée normative – Pratique administrative à adapter

12

Mettre les outils novateurs au cœur de la transformation publique et du dialogue citoyen

Absence de portée normative – Pratique administrative à adapter

13

Confier à ETALAB et au programme « Entrepreneurs d’intérêt général » la conception d’une application permettant aux citoyens d’évaluer les politiques publiques du quotidien

Absence de portée normative – Pratique administrative à adapter

14

À des fins d’évaluation, rendre la législation accessible et exploitable par des simulateurs d’impact et de coût

Loi

15

Instaurer le principe d’une participation des citoyens à l’élaboration et à l’évaluation de la législation et des politiques publiques

Loi organique

 


—  1  —

   L’ÉVALUATION DES POLITIQUES PUBLIQUES
EN HUIT QUESTIONS CLÉS

I.   POURQUOI FAUT-IL MIEUX ÉVALUER ?

1.   Un triple enjeu : démocratique, administratif et parlementaire

L’évaluation des politiques publiques (EPP) est une démarche exigeante qui, parce qu’elle mobilise des techniques spécifiques, est restée confinée à un cénacle étroit de professionnels et de représentants de la haute fonction publique. Les connaissances qu’elle apporte doivent être plus largement diffusées auprès de tous ceux qui contribuent de près ou de loin à l’action publique. Elles doivent aider les représentants de la Nation, donc leurs électeurs, à se prononcer sur les grandes orientations à venir. Dans un pays démocratique, le savoir doit être à la portée de chacun car il est un instrument d’émancipation et de participation à la vie publique.

L’administration est au service de tous et cette mission universaliste explique que lui soient attribués des pouvoirs exorbitants du droit commun. Pourtant, de l’extérieur, et parfois même pour ceux qui la dirigent, l’administration est un monde complexe, opaque, voire impénétrable. L’un des mérites de l’EPP est précisément d’en décomposer les rouages, d’identifier les bonnes pratiques ou les blocages et même de les expliquer. En outre, quand elle est organisée, elle apporte aux responsables des informations utiles pour piloter leur action en détectant les changements, les écarts par rapport aux prévisions de façon à apporter les correctifs nécessaires. Elle est un outil indispensable dans un monde fluide et changeant parce qu’elle améliore la réactivité des décideurs et les aide à rendre compte de leur action auprès des citoyens de plus en plus soucieux de transparence.

L’article 24 de la Constitution attribue au Parlement la mission de voter la loi et de contrôler l’action du Gouvernement, et le charge aussi d’évaluer les politiques publiques. Pourquoi ? Parce que les travaux d’évaluation sont de nature à éclairer le législateur assuré ainsi de voter à bon escient ; également parce qu’une EPP indépendante est le seul moyen d’exercer un contrôle pertinent sur l’action gouvernementale et de permettre à la majorité parlementaire d’en justifier les choix auprès des électeurs, sur une base incontestable. Par ailleurs, les parlementaires ont aussi la responsabilité de recueillir la parole des citoyens dans leur circonscription et de les associer ainsi à leurs délibérations. Les parlementaires sont aussi des acteurs de l’évaluation.

2.   Les motivations et les objectifs de la mission d’information

Les rapporteurs sont convaincus que l’EPP est un enjeu majeur pour les sociétés démocratiques, marquées par une crise de confiance à l’égard du politique. Comme l’a expliqué M. Marc Ferracci, professeur d’économie à l’université Paris II Assas et chercheur au Laboratoire interdisciplinaire d’évaluation des politiques publiques (LIEPP) lors d’une table ronde animée par les rapporteurs, « pour réconcilier les citoyens avec lÉtat, il faut produire de linformation claire, fiable, transparente et indépendante ». C’est tout l’objectif qui doit être donné à l’EPP.

M. Bruno Palier, codirecteur du LIEPP et directeur de recherche du CNRS à Sciences Po, partage le constat des rapporteurs, voire le noircit encore. Pour lui, la crise de confiance à l’égard du politique qui secoue les sociétés libérales démocratiques réside dans l’opinion largement partagée que les élus ne se préoccupent pas des problèmes des citoyens ou qu’ils font preuve d’incompétence, au mieux d’impuissance. À ses yeux, la seule parade possible est de prouver le contraire en apportant la preuve, grâce à l’EPP, de l’impact des politiques publiques. Il y va de la régénération de nos démocraties.

À cet égard, l’EPP doit remplir deux finalités : outre l’information du public, elle doit aussi être mise au service de l’action de l’administration. En effet, l’évaluation peut servir de trait d’union entre le politique, la population qu’il représente et l’administration qu’il dirige. Pour prouver qu’il a les cartes en main, le premier doit s’emparer de l’EPP pour apporter la démonstration que le mandat qui lui a été confié par le suffrage universel se traduit concrètement dans l’action publique qu’il a la mission de moderniser et d’adapter aux besoins d’une nation moderne. Par les constats qu’elle fait et les échanges entre décideurs, acteurs et usagers qu’elle organise, elle peut se révéler un instrument d’adhésion autour de projets. L’évaluation pourrait ainsi offrir au Gouvernement engagé dans un grand projet de modernisation de l’État avec le « Comité d’action publique 2022 » ou « CAP 22 », à la fois un puissant relais auprès de l’opinion et un outil d’aide à la décision et à la responsabilisation des décideurs administratifs.

À l’initiative du groupe La République en marche, le Comité d’évaluation et de contrôle des politiques publiques (CEC) a donc décidé le 5 octobre 2017 de réaliser une évaluation des dispositifs d’EPP. Le Comité a en effet jugé utile d’ouvrir la XVe législature par une réflexion sur les enjeux, les principes et les outils de l’EPP. L’objectif était de répondre à la question : « Comment mieux évaluer les politiques publiques et en premier lieu au Parlement ? », afin de permettre à l’Assemblée nationale, et particulièrement au CEC, de franchir, de manière pérenne, un seuil en termes de qualité, de crédibilité et de visibilité de l’EPP.

Mme Valérie Petit (groupe La République en marche) et M. Pierre Morel‑À‑L’Huissier (groupe UDI, Agir et Indépendants) ont été désignés rapporteurs de cette mission d’évaluation. Le groupe de travail constitué pour les assister, en vertu de l’article 146‑3 du Règlement de l’Assemblée nationale, était composé de Mme Anne Brugnera (groupe La République en marche), M. Yves Daniel (groupe La République en marche), Mme Lise Magnier (groupe UDI, Agir et Indépendants) et M. Jacques Maire (groupe La République en marche).

La feuille de route fixée par les rapporteurs comprenait, outre l’établissement d’un état des lieux, un travail de sensibilisation des députés aux enjeux de l’EPP pour le Parlement et la définition d’une doctrine d’action sur trois points : quelles sont les conditions de réussite d’une EPP ? Quelle est la valeur ajoutée du Parlement ? De quels moyens et outils le Parlement doit‑il se doter ?

Les rapporteurs ont souhaité donner à leurs travaux une double dimension :

– une dimension évaluative autour de la question : « qu’est‑ce qu’une bonne EPP ? » afin de questionner la définition, les principes et les outils de l’EPP ;

– une dimension prospective : comment tirer les conséquences sur l’EPP des transformations constatées dans quatre domaines : le rôle accru du Parlement dans l’EPP ; l’intégration du citoyen dans l’EPP ; l’ouverture et la massification des données publiques ; le nouveau management public ?

La réflexion menée par les rapporteurs s’inscrit dans la démarche plus large de réforme engagée par le bureau de l’Assemblée nationale qui a créé sept groupes de travail, dont un est consacré aux moyens d’évaluation et de contrôle du Parlement. Il était essentiel que le CEC puisse apporter sa contribution aux travaux de ce groupe de travail.

3.   La méthodologie de la mission d’information

L’insatisfaction des rapporteurs sur le contenu et le sort des évaluations de politiques publiques les a conduits à se saisir d’une réflexion sur la manière dont il serait possible de les améliorer. Cette interrogation s’est articulée autour des points suivants : comment renforcer le pouvoir des parlementaires en matière d’évaluation ? Comment mieux associer le citoyen à l’évaluation des politiques publiques ? Comment se saisir des données publiques de l’open data pour mieux analyser l’action publique et ce faisant l’évaluer ? Comment se saisir de la volonté de modernisation de l’action publique pour améliorer la qualité et la gouvernance de l’EPP ?

Pour alimenter leur réflexion, les rapporteurs ont organisé sept tables rondes sur la définition et les critères de l’évaluation des politiques publiques ; sur ses principes et ses acteurs ; sur son processus et ses méthodes ; sur l’évolution du rôle du Parlement dans l’évaluation des politiques publiques ; sur les innovations démocratiques ; sur le big et l’open data ; et sur le rôle de l’évaluation dans le cadre du nouveau management public.

La méthode a consisté à réunir des spécialistes au profil très varié, dans le cadre de tables rondes traitant des grands enjeux de l’évaluation des politiques publiques, pour en dégager des pistes de réforme qui fassent du Parlement un acteur à part entière. Ont été entendus des représentants des grands corps d’inspection de l’administration ou ceux de cabinets de conseil, des universitaires français ou étrangers et des acteurs de la transformation publique ([1]).

En outre, les rapporteurs ont rencontré les co‑présidents de la Mission d’évaluation et de contrôle (MEC) et de la Mission d’évaluation et de contrôle des lois de financement de la sécurité sociale (MECSS), ainsi que le président et le rapporteur du groupe de travail sur les moyens de contrôle et d’évaluation. Ils ont également lancé une enquête par questionnaire auprès de l’ensemble des députés et sénateurs.

Ce tour d’horizon a été complété d’un déplacement à Bruxelles où les rapporteurs ont rencontré les responsables de l’évaluation tant à la Commission européenne qu’au Parlement et au Conseil économique et social européens.

La liste des personnes entendues par les rapporteurs figure en annexe 2. Les sept tables rondes ont fait l’objet d’un enregistrement vidéo accessible depuis cette annexe.

Les rapporteurs ont souhaité disposer d’une synthèse exhaustive des connaissances sur l’EPP réalisée à partir d’une revue de littérature scientifique et professionnelle et permettant de répondre aux questions suivantes : quelles sont les différentes définitions de l’EPP ? Quels sont les critères d’évaluation utilisés ? Quels sont les principes mis en avant pour mener une EPP ? Quelle est la cartographie des acteurs de l’EPP ? Quelles sont les étapes d’une EPP ? Quels sont les méthodes et les outils d’analyse mobilisés pour l’EPP ?

Cette revue de littérature a été réalisée par les professeurs de sciences économiques M. Maurice Baslé et M. Jean‑Michel Josselin, ainsi que par M. Benoît Le Maux, maître de conférences en sciences économiques.

À la demande des rapporteurs, les auteurs ont en outre procédé à une analyse comparative de six cas pratiques d’EPP (cf. liste ci‑dessous) selon les critères d’évaluation utilisés, les principes mis en avant pour conduire les travaux, les étapes, méthodes et les outils d’analyse mobilisés.

Les six cas d’EPP étudiés

Les six EPP étudiées, fondées chacune sur des méthodes différentes, sont les suivantes :

– une évaluation avec méthodes qualitatives : évaluation de programme de réussite éducative (domaine : éducation) ;

– une évaluation participative : évaluation des politiques de déplacement de nuit dans l’agglomération nantaise (domaine : sécurité) ;

– une évaluation expérimentale avec groupe témoin : évaluation des dispositifs d’aide à l’accès à l’emploi des jeunes diplômés (domaine : emploi) ;

– une évaluation quasi expérimentale : évaluation des effets du recrutement en contrat aidé sur la trajectoire professionnelle (domaine : emploi) ;

– une analyse d’impact budgétaire : genèse et construction du guide méthodologique de la Haute autorité de santé : évaluation de l’impact budgétaire des médicaments innovants et onéreux (domaine : santé) ;

– une analyse coûts-bénéfices généralisés : évaluation socio-économique des investissements publics du Commissariat général à l’investissement (domaine : infrastructures).

La revue de littérature et l’étude des six cas d’EPP réalisées par MM. Baslé, Josselin et Le Maux sont publiées en annexe 3.

Un atelier design, conduit par MM. Romain Beaucher et Yoan Ollivier, associés du cabinet Vraiment Vraiment, s’est tenu le 20 février 2018 pour imaginer comment mieux organiser le paysage institutionnel de l’évaluation en France.

L’objectif du design des politiques publiques est d’aider à concevoir et à mettre en œuvre des actions publiques plus pertinentes, plus soutenables et plus efficaces dans le cadre de missions axées sur la compréhension des usagers, le travail des agents et la stratégie des organisations.

Une synthèse de cet atelier figure en annexe 1.1.


II.    QU’EST-CE QU’UNE BONNE ÉVALUATION DE POLITIQUE PUBLIQUE ?

1.   Une définition de l’évaluation des politiques publiques

De la revue de littérature qu’ils ont menée, les universitaires mandatés par les rapporteurs concluent que les points de vue convergent pour définir l’EPP comme « lestimation de la valeur ajoutée dune politique publique », à partir des critères de pertinence, d’efficacité, d’efficience et de cohérence.

On dispose néanmoins de plusieurs définitions de l’EPP, de nature différente.

Le décret n° 90‑82 du 22 janvier 1990 relatif à l’évaluation des politiques publiques définissait l’EPP de la manière suivante : « lévaluation dune politique () a pour objet de rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et datteindre les objectifs qui lui sont assignés. »

M. Jean‑Claude Barbier ([2]) tente une définition sociologique, la plus vaste possible : « mettre en forme des informations à caractère évaluatif – cestàdire des connaissances construites à propos des conséquences (les résultats, les effets) des interventions que les acteurs en position de décision ont conduites. »

Mme Annie Fouquet, ancienne présidente de la Société française de l’évaluation (SFE), propose pour sa part cette définition : « lEPP a pour objet dapprécier la valeur de laction publique au regard de sa pertinence, de son efficacité et de son efficience, afin déclairer le débat public et daider à la réforme. » ([3])

Le Conseil scientifique de l’évaluation, dont la mission était, avant de disparaître, de favoriser le développement des méthodes d’évaluation et de définir une déontologie en la matière, avait publié un Petit guide de l’évaluation. Les auteurs de ce guide constatent une démarche convergente : « la collecte et le traitement dinformations sur laction publique, (que sestil passé ?), des préoccupations normatives (aton bien fait ?), et/ou des préoccupations instrumentales (comment faire mieux ?) liées au bon fonctionnement et à lefficacité des administrations et services publics. »

Au‑delà de ces différentes définitions, la littérature insiste sur le fait que l’EPP a des points communs avec d’autres démarches, dont elle se démarque pourtant car chacune d’elles analyse l’action publique sous un angle particulier :

– le contrôle permet de vérifier la conformité de l’action publique par rapport à des textes (loi, réglementation, décret ou circulaire). Lorsqu’un écart est constaté entre la pratique et la règle, la conséquence en est une sanction (amende, voire poursuites judiciaires) ;

– le pilotage ou contrôle de gestion permet de suivre l’exécution des actions. La référence n’est plus la règle juridique ou comptable, mais le programme fixé en début d’année. Périodiquement, le rapprochement entre indicateurs de suivi et objectifs permet de s’assurer du chemin parcouru. En cas d’écart, des mesures correctrices sont apportées à l’issue d’un dialogue de gestion. Une telle approche privilégie le jugement porté du point de vue de l’atteinte efficiente des objectifs ;

– l’objectif principal d’un audit est la réduction des risques que l’auditeur (externe ou interne) estime par référence aux standards d’une profession déterminée. Il n’est pas question de normes juridiques (comme dans le cas du contrôle) ou de programmes fixés à l’avance (comme dans le cas du pilotage ou du contrôle de gestion), mais du référentiel de la profession (bonnes pratiques préexistantes répertoriées) ; en cas d’écart, l’auditeur émet des alertes, des recommandations que l’opérateur peut, s’il le souhaite, ignorer.

Source : DREES, Méthodes dévaluation des politiques publiques Actes du séminaire.

M. Vincent Lahuec, économiste, chef de projet à la direction interministérielle de la transformation publique (DITP), préfère parler d’évaluations – et mettre le terme au pluriel – car les processus mis en œuvre ne répondent pas aux mêmes objectifs. S’il s’agit d’associer les parties prenantes, les évaluateurs chercheront à se placer au plus proche du terrain. S’il s’agit d’évaluations d’impact à des fins prospectives pour éclairer la prise de décision politique, la méthode utilisée sera différente, car l’identité et le rôle des parties prenantes seront différents.

En somme, le terme évaluation est polysémique, et recouvre des démarches d’inspirations fort variées. Cette pluralité de définitions montre que l’EPP se trouve à la croisée de trois logiques différentes qui doivent être conciliées :

– un enjeu scientifique : il s’agit de produire de la connaissance sur les objectifs, le contexte, les moyens, les résultats et les effets d’une politique publique en suivant une méthode éprouvée et incontestable ;

– un enjeu démocratique : l’EPP a pour objectif de rendre compte d’une politique publique à l’opinion, en donnant aux citoyens des informations construites pour apprécier ses conséquences ;

– un enjeu de réforme de l’action publique : l’EPP doit être une aide à la décision publique en vue de produire du changement, en donnant aux décideurs les informations nécessaires aux réformes qu’ils initient.

2.   Les critères d’évaluation

Les critères utilisés pour évaluer une politique publique sont classés selon une typologie distinguant la pertinence, l’efficacité, l’efficience, la cohérence et l’impact.

La mesure de la pertinence vise à répondre aux questions suivantes : l’action publique répond‑elle aux attentes exprimées ? Satisfait‑elle un besoin social avéré ? Il s’agit là du critère le plus politique, car, comme l’explique M. Bernard Perret, « sinterroger sur la pertinence dune politique, cest remettre en cause le référentiel de base constitué par ses objectifs officiels pour adopter un référentiel plus large. » ([4])

L’appréciation de l’efficacité met en regard les effets propres de l’action sous revue, et les objectifs, en éliminant les conséquences induites par d’autres facteurs tels que la conjoncture ou un événement externe. L’instruction des inspections générales ([5]) formule ainsi les questions relatives à l’efficacité : quel est l’impact propre de l’intervention publique ? Les résultats et effets constatés sont‑ils en adéquation avec les objectifs fixés initialement ? Dans quelle mesure les différents instruments mis en œuvre contribuent‑ils aux objectifs ?

L’efficience se mesure en comparant le coût de l’action publique et les résultats obtenus, en répondant aux questions : pourrait‑on obtenir un résultat au moins égal à moindre coût ? Pourrait‑on obtenir davantage de résultats à un coût équivalent ? Mme Danièle Lamarque note que la tentation est forte de ramener la mesure de l’efficience à son strict aspect économique, surtout que c’est souvent dans ce domaine que des améliorations peuvent être obtenues le plus rapidement. Elle rappelle néanmoins que l’exercice, qui suppose de disposer d’un système de gestion de qualité, ne se résume pas à une réduction des coûts ([6]). L’introduction de l’EPP pour des considérations avant tout budgétaires – comme cela a été le cas avec, successivement, la rationalisation des choix budgétaires (RCB) dans les années 1970, la révision générale des politiques publiques (RGPP) en 2007, puis, dans une moindre mesure, la modernisation de l’action publique (MAP) – a certes largement contribué à la diffusion des EPP, mais les raisons qui l’ont motivée n’ont pas manqué de susciter la défiance auprès de ceux qui ont été soumis à l’évaluation. Cet amalgame est regrettable car les deux démarches n’ont pas forcément partie liée.

La cohérence soulève la question : les objectifs, les dispositifs législatifs et réglementaires et les moyens mis en œuvre pour les atteindre forment-ils un ensemble cohérent ? Cette interrogation invite, d’une part, à regarder au-delà de l’action publique évaluée pour s’assurer que d’autres dispositifs en vigueur ne vont pas à l’encontre de l’objectif visé, et, d’autre part, à vérifier que la mise en œuvre par les acteurs de terrain est conforme à l’objectif affiché. Les écarts sont inévitables et l’une des premières tâches de l’évaluation est de les identifier et d’en trouver la nature : une déviation par rapport à des normes établies ou bien un dévoiement par rapport aux intentions initiales du législateur. En matière d’évaluation, ces écarts ne sont pas forcément des dysfonctionnements car il existe généralement plusieurs façons de résoudre un problème, ce qui peut s’expliquer par une intention initiale insuffisamment explicitée ou une inadéquation des moyens au but assigné.

La mesure de l’impact vise à tenir compte du fait qu’une politique ne produit pas que les effets attendus, qu’elle peut avoir aussi des incidences dans d’autres domaines, des « effets collatéraux » en quelque sorte, qui peuvent se révéler aussi bien bénéfiques que néfastes. Trois questions traduisent ce critère : peut-on isoler correctement l’impact propre de l’intervention publique ? Quels effets peut‑on attribuer à l’intervention publique dans l’atteinte des objectifs ? Quels effets inattendus ou indésirables peut‑on attribuer à l’intervention publique ? Une démarche équivalente peut être menée en sens inverse, consistant à relier le constat à l’intervention publique et à en quantifier l’effet. On parle alors d’imputabilité.

Ce cheminement de l’appréciation de la valeur ajoutée sociétale produite par une politique publique – cheminement conforme, notons‑le, à la définition donnée par Mme Annie Fouquet – est synthétisé dans l’étude de MM. Baslé, Josselin et Le Maux, dans le graphique suivant :

Chaîne « inputs-outputs-résultats-impact »

La démarche évaluative devra dans un premier temps confirmer la pertinence de la politique à évaluer et lui assigner des objectifs précis. Ensuite viendra la mesure de l’efficacité qui s’attachera à recenser et mesurer le plus complètement possible les effets induits par les mesures mises en œuvre ; puis celle de l’efficience consistera à s’assurer que les résultats sont optimisés au regard des moyens affectés.

3.   Un projet évaluatif qu’il faut piloter

Dans leur étude réalisée à la demande des rapporteurs, MM. Maurice Baslé, Jean‑Michel Josselin et Benoît Le Maux rappellent que l’évaluation des politiques publiques obéit à un ensemble de règles strictes qui doivent permettre de conjuguer rigueur scientifique dans l’aide à la décision publique, mais aussi opérationnalité (finalité gestionnaire), pédagogie (finalité d’apprentissage et de mobilisation des agents publics), éthique (finalité de compte rendu), ouverture au débat d’experts, au débat citoyen et préparation à l’animation des controverses (finalité informative et finalité démocratique).

a.   Bien distinguer les différentes étapes de l’évaluation

Comme l’explique M. Bernard Perret dans « Lévaluation des politiques publiques », il faut distinguer rigoureusement les différentes étapes de l’évaluation : le temps du questionnement et du choix des méthodes ; celui de la collecte et du traitement des données ; enfin celui de la formulation des réponses et des conclusions.

S. Paul, H. Milet et E. Crovella, dans « Lévaluation des politiques publiques, comprendre et pratiquer », ont schématisé les différentes étapes du processus d’évaluation.

Les différentes étapes de l’analyse évaluative

b.   Mettre en place la bonne gouvernance

Les pratiques observées diffèrent selon la nature, l’ampleur et les objectifs de l’évaluation.

Le comité de pilotage a vocation à regrouper les différents contributeurs à l’évaluation au sein desquels il est d’usage de distinguer les experts, les bénéficiaires et les acteurs.

Les différents contributeurs à une évaluation

Source : Cadrage méthodologique de l’évaluation des politiques publiques partenariales, IGA IGF IGAS, décembre 2012.

Lorsqu’il est constitué, le comité de pilotage est généralement chargé de valider le cahier des charges et il lui est rendu compte des grandes étapes de la démarche jusqu’au rendu final du jugement évaluatif. Il réunit le plus souvent les fonctions décisionnelles : élus, directions, services internes concernés, chargé d’évaluation interne, représentant du réseau partenarial, éventuellement experts associés. Dans certains cas, le comité de pilotage pourra être une instance d’orientation politique de taille restreinte, à visée stratégique et décisionnelle. Il peut aussi s’agir d’une instance largement ouverte au partenariat et aux parties prenantes, plus tournée vers la concertation, l’échange et la co‑construction.

De nombreuses déclinaisons du modèle sont possibles. Dans tous les cas, le comité de pilotage se réunira idéalement aux moments clés du processus tels que : la décision d’évaluer, la formulation finale du cahier des charges et des questions dévaluation, la réception du référentiel et du questionnement évaluatif – particulièrement si le chargé d’évaluation est externe –, les différents temps de rendu intermédiaire et le rendu final des conclusions. Le comité peut parfois être confié à une personnalité indépendante et ouvert à de nombreux partenaires et personnalités extérieurs tandis que le commanditaire est très effacé, le lien du comité et du commanditaire constituant un enjeu. Une telle instance constitue plutôt une instance d’évaluation (différente du comité de pilotage destiné à piloter l’action et non son évaluation).

Une étude comparative réalisée en 1997 à partir d’un panel de guides méthodologiques d’une dizaine de pays fait apparaître un clivage entre l’Amérique du Nord (sans comités de pilotages mais avec une référence nette à la responsabilité personnelle de l’évaluateur professionnel dans la formulation des questions et le choix des méthodes) et l’Europe et l’Australie où il est explicitement fait mention d’un comité de pilotage.

c.   L’élaboration du projet évaluatif : questionner les objectifs et le champ de l’évaluation

L’évaluation d’une politique publique correspond à un processus rigoureux, dépassant la seule description des moyens et des réalisations, et nécessite – le CESE insiste sur ce point dans son rapport sur l’évaluation des politiques publiques ([7]) – de rassembler cinq éléments :

– l’identification de la politique qui fera l’objet de l’évaluation ;

– la détermination des objectifs finaux de cette politique et éventuellement, des objectifs intermédiaires ;

– la détermination d’une méthodologie scientifique à mettre en œuvre pour cette évaluation ;

– la définition des indicateurs qui seront mobilisés pour mesurer le degré d’atteinte des objectifs ;

– le choix des acteurs participant au processus d’évaluation.

La première étape d’une EPP consiste donc en l’élaboration du projet d’évaluation qui doit s’efforcer de répondre aux questions synthétisées dans l’encadré ci‑dessous.

Huit questions clés pour élaborer le projet évaluatif

– le périmètre de la politique publique concernée est‑il clair ? Y a‑t‑il des politiques publiques connexes qui peuvent interagir avec la politique étudiée ? Si oui, comment traite‑t‑on les éventuelles interactions ?

– de quels éléments dispose‑t‑on sur la politique publique étudiée et le contexte socio-économique ?

– quelles sont les données et évaluations disponibles ? Les données disponibles sont‑elles fiables ? Contestées ? Contradictoires ? Des informations essentielles manquent‑elles ? Si oui, peuvent‑elles être réunies rapidement ? Est‑il nécessaire de lancer un programme d’étude à plus long terme ? Y a‑t‑il un problème d’accès aux données pour les organismes qui disposent des compétences pour les traiter ?

– quels sont les principaux acteurs de cette politique ? Dans quels domaines s’agit‑il d’une politique partenariale ? La répartition des compétences est‑elle claire ? Quelles sont les structures décisionnelles ? Normatives ? Au sein et en dehors de l’État ? Quels sont, parmi les acteurs, ceux dont la contribution est capitale pour l’évaluation ?

– quels sont les bénéficiaires visés par cette politique ? Disposent‑ils d’instances représentatives ? Existe‑t‑il une instance consultative concernant la politique ? Comment doit‑elle être associée à la démarche ?

– quels sont les moyens (humains, matériels, financiers) consacrés à cette politique ? Quelle est la répartition de ces moyens entre acteurs ? Les données sur les moyens sont‑elles fiables ? Précises ? Ces moyens sont‑ils stables dans le temps ?

– quelles sont les données disponibles en matière de performance ?

– quelles sont les finalités explicites de cette politique ? Y en a‑t‑il d’autres implicites ?

Source : IGA, IGF, IGAS Cadrage méthodologique de lévaluation des politiques publiques partenariales.

En outre, avant de prendre la décision, coûteuse, de procéder à une évaluation, il est indispensable de se demander si elle est réalisable : s’il est toujours possible d’approfondir l’analyse d’un problème ou de compléter les connaissances disponibles sur les effets d’une politique, il se peut que les efforts nécessaires soient disproportionnés par rapport aux bénéfices prévisibles ou aux exigences de délais imposés par la commande. Cette exigence de « parcimonie », qui est parfois citée comme l’un des principes déontologiques de l’évaluation, peut justifier la réalisation d’une étude de faisabilité, ou d’une pré-évaluation. Outre le fait qu’elle apporte souvent des éléments de réponse aux questions du commanditaire, l’étude de faisabilité permet de choisir entre différentes approches et de se prononcer en toute connaissance de cause sur l’opportunité d’entreprendre de longs et coûteux travaux de recherche. ([8])

d.   Formuler des conclusions et recommandations

Les conclusions des EPP peuvent avoir plusieurs statuts : recommandations fermes techniquement nécessaires, scénarios destinés à présenter au commanditaire un panel de choix politiques argumentés et modulables ou simples orientations devant donner lieu à de nouvelles études. Par ailleurs, il faut établir une distinction entre les préconisations qui font l’unanimité de l’instance d’évaluation et celles pour lesquelles de fortes divergences se sont manifestées. La formulation des recommandations nécessite la collaboration des services concernés. Pour être utile, efficace et adaptée, l’évaluation d’une politique publique est autant que possible un processus co‑construit. ([9])

Dans leur étude des évaluations conduites par le SGMAP, les cabinets KPMG et Quadrant Conseil ([10]) constatent que plus de la moitié des politiques publiques évaluées fait l’objet de réformes, sans pour autant que celles‑ci résultent nécessairement de l’évaluation. Réciproquement, l’absence de changements observés à la suite d’une évaluation ne signifie pas de façon certaine que le processus évaluatif n’a pas eu de contribution à la décision.

Dans son ouvrage « Lévaluation des politiques publiques », M. Bernard Perret souligne en effet que toutes les études disponibles sur l’impact de l’EPP ont des effets indirects et diffus. Loin de se limiter à la prise en compte des conclusions consignées dans un rapport, l’influence d’une évaluation emprunte de multiples canaux pendant et après son déroulement. Même en l’absence de mécanismes liant l’évaluation à la décision budgétaire, il arrive souvent qu’une ou plusieurs évaluations préparent les esprits à l’inflexion d’une politique ou à un problème émergent. La spécificité des évaluations est qu’elles visent à modifier les représentations des acteurs directement concernés et les plus à même d’améliorer la politique par leurs pratiques et leurs décisions. Ce type d’impact est de plus en plus prometteur.

Ainsi, lors de la table ronde consacrée aux principes et acteurs de l’évaluation, Mme Danièle Lamarque a relevé que de nombreuses évaluations ont conduit à changer l’action publique et les pratiques, même si, parfois, les résultats d’une évaluation sont pris en compte plusieurs années après. Ce fut en particulier le cas pour la diminution du nombre d’élèves en ZEP qui, engagée à la rentrée 2017, figurait dans une évaluation du Haut Conseil de l’évaluation de l’école réalisée plusieurs années auparavant.

4.   Une méthode qui dépend de la finalité de l’évaluation

a.   L’importance de l’identification préalable des questions évaluatives

M. Bernard Perret, dans son ouvrage consacré à l’évaluation des politiques publiques ([11]), insiste sur la nécessité de bien identifier les questions évaluatives prélalablement à la réalisation de l’évaluation : évaluer une politique publique, c’est d’abord la questionner. Ainsi, les textes méthodologiques insistent sur la nécessité de planifier le déroulement d’une évaluation et de définir, en amont, ses objectifs et les questions auxquelles elle doit répondre.

Le questionnement évaluatif doit permettre de porter un jugement sur la politique : il faut identifier les attentes du commanditaire et les retombées souhaitables de l’évaluation, et anticiper ses conséquences possibles pour tous les groupes concernés afin de prévenir d’éventuelles difficultés.

Le Petit guide élaboré par le Conseil scientifique de l’évaluation insiste également sur cette phase de questionnement : la première étape d’une EPP consiste en l’élaboration du projet d’évaluation qui recouvre l’ensemble des réflexions et négociations qui précèdent la phase technique des études d’évaluation. Il constitue une séquence allant de la formulation des problèmes et des interrogations qui motivent l’évaluation pour formuler un ensemble de questions et indiquer par quels moyens il est possible d’y répondre.

Cette indispensable phase de questionnement va permettre de choisir les méthodes et les outils évaluatifs.

b.   Comment s’orienter dans le choix de la méthode d’évaluation ?

Dans l’étude qui leur a été commandée par les rapporteurs, MM. Maurice Baslé, Jean‑Michel Josselin et Benoît Le Maux ont établi une typologie des outils majeurs de l’évaluation en construisant un arbre de décision pouvant servir de table d’orientation entre les différentes méthodes.

Arbre de décision des méthodes d’évaluation

Source : Dispositifs d’évaluation des politiques publiques et des programmes : connaissances de base, choix des méthodes, sociogrammes des acteurs et études de cas, Maurice Baslé, Jean‑Michel Josselin et Benoît Le Maux.

Selon le cheminement retracé dans ce schéma, le questionnement des évaluateurs portera d’abord sur la mesure de l’efficacité, c’est‑à‑dire sur les effets des moyens engagés, puis sur celle de l’efficience, autrement dit sur le choix des stratégies ou des instruments les plus opportuns en fonction des objectifs qui auront été privilégiés.

Les auteurs détaillent ensuite 13 grandes méthodes dont on trouvera une définition dans le tableau ci‑dessous, et qui sont mobilisées en fonction de la nature et des finalités de l’évaluation. Pour recenser les effets d’une politique, qu’ils soient observables ou attendus, les évaluateurs recourent à des méthodes qualitatives (entretiens dans le cadre de monographies ou d’une évaluation participative, ou enquête de satisfaction). Ensuite, la mesure des effets passe par leur quantification, évidemment grâce aux méthodes quantitatives. Ces deux premières étapes sont destinées à dresser le bilan des actions déjà engagées, préalable aux deux suivantes dont le but est d’envisager plusieurs scénarios pour choisir celui qui présente le meilleur « rendement ».

 


Les principales méthodes d’évaluation

Méthodes dévaluation dimpact (efficacité)

Méthodes de sélection des stratégies (efficience)

 

Recenser les effets

Quantifier les effets

Évaluer les moyens engagés

Relier les effets aux moyens engagés

Étude qualitative 

Réalisée avec des entretiens semi-directifs menés sous la forme de questionnaires. Les principaux acteurs et bénéficiaires du programme sont interrogés sur différentes dimensions de lintervention. Lapproche recense les différents points de vue et peut être complétée par une recherche documentaire ou une observation sur le terrain.

Monétisation

Estimation à partir dun échantillon de la disposition à payer des usagers (ce quils sont prêts à payer au maximum) pour une intervention donnée. On utilise des données denquêtes (questionnaires) ou des données dobservation.

Analyse financière

Similaire à celle conduite lors du choix dinvestissements privés. Calcule sur lhorizon temporel de la politique les coûts dinvestissement, les coûts et revenus de fonctionnement ; analyse également les sources de financement.

Analyse coût-bénéfice

Évalue lécart entre les effets négatifs (les coûts) et les effets positifs (les bénéfices) dune intervention. Lapproche se fonde sur les données dune analyse financière préalable (investissement, recettes et coûts de fonctionnement) auxquelles se rajoutent les effets de lintervention exprimés en équivalent monétaire.

 

 

 

 

Évaluation participative

Réalisée avec la participation active des principales parties prenantes à lexercice dévaluation (réalisation dentretiens individuels et collectifs, débats publics, etc.). Lapproche favorise lexpression de la diversité des points de vue et ladhésion des acteurs aux conclusions de lévaluation.

Expérimentation 

Répartition au hasard dindividus entre un groupe de traitement (bénéficiaire de lintervention) et de contrôle (non-bénéficiaire). Leffet de lintervention se mesure directement à partir des différences observées entre les deux groupes.

Analyse des coûts

Détermine les coûts unitaires (par bénéficiaire) associés à chaque stratégie. Ils comprennent les coûts directement associés à sa mise en œuvre et ceux liés aux événements non intentionnels quelle génère.

Analyse coût-efficacité

Les effets de lintervention sont exprimés dans leur unité dorigine (comme le nombre demplois créés, nombre de vies sauvées, etc.). Lapproche compare les différences de coût et defficacité dune stratégie à une autre. Cest la méthode de référence en évaluation médico-économique.

 

 

 

 

Enquête de satisfaction

Réalisée par sondage sur la satisfaction des usagers dune intervention publique donnée. Ceux-ci répondent à un questionnaire où ils sont amenés à se prononcer sur les conditions matérielles du service (accès à la prise en charge, horaires, délais, etc.) mais aussi sur ses aspects qualitatifs (accueil, qualité de lécoute, etc.).

Quasi-expérimentation

Comparaison dun groupe dindividus  bénéficiaires de lintervention avec un groupe de non-bénéficiaires. Ces deux groupes ne sont pas nécessairement comparables. Lapproche peut utiliser diverses méthodes permettant de réduire les différences entre les groupes et disoler leffet de lintervention.

Impact budgétaire

Examine dans quelle mesure la mise en place dune nouvelle stratégie dintervention affecte le budget global dun programme préexistant. Lapproche est adoptée par de nombreuses agences nationales dévaluation des technologies de santé.

Analyse multicritère

Évalue lensemble des effets dune intervention sur la base de critères et de pondérations choisis en concertation avec les principaux acteurs et bénéficiaires du programme. Dans sa forme la plus simple, elle consiste en la création dindicateurs composites mesurant la performance des stratégies évaluées.

 

 

 

 

 

Méthode des effets

Lapproche vise à estimer pour une zone géographique donnée lensemble des revenus et emplois locaux supplémentaires créés directement par lintervention, mais aussi de manière indirecte, par répercussion sur lensemble des secteurs économiques locaux.

 

 

Source : d’après Dispositifs dévaluation des politiques publiques et des programmes : connaissances de base, choix des méthodes, sociogrammes des acteurs et études de cas, Maurice Baslé, Jean‑Michel Josselin et Benoît Le Maux.

 


—  1  —

En fonction des objectifs visés, l’étude universitaire classe chacune des méthodes assortie d’un score appréciant son exhaustivité, sa simplicité, sa transparence et le caractère généralisable de ses conclusions. Le tableau offre en quelque sorte un arbre de décision pour guider les commanditaires dans le choix d’une méthode d’évaluation ou les personnes chargées d’en apprécier la qualité.

c.   La combinaison d’une analyse quantitative et d’une approche qualitative

Conçue pour éclairer ses commanditaires et les aider à décider, l’EPP doit s’efforcer d’estimer la valeur de l’action publique, en recueillant de l’information, en l’analysant pour l’interpréter dans un cadre rigoureux de façon à éviter la contestation grâce à une caution scientifique. Ainsi, selon M. Bernard Perret ([12]), « lessentiel du travail des évaluateurs consiste à rassembler, traiter et interpréter des informations en se soumettant aux exigences de la rigueur scientifique. » Le Petit guide de lévaluation des politiques publiques publié par le Conseil scientifique de l’évaluation ne disait pas autre chose : « Une partie du travail de lévaluateur consiste à confronter les informations collectées, à les hiérarchiser, à les pondérer et à établir entre elles des liens dintelligibilité. »

Le développement de la recherche académique en EPP a permis de faire émerger plusieurs méthodes combinant analyse quantitative et analyse qualitative.

Les informations quantitatives servent souvent d’indicateurs (données brutes, proportions, intensité d’un phénomène). Il y a une certaine porosité entre les deux types de données : les données quantitatives peuvent être issues de données qualitatives, par exemple avec l’analyse lexicale ; de même, les données quantitatives sont souvent le résultat d’une conceptualisation préalable de la réalité (variables, indices, coefficients,…).

Pour exploiter les données quantitatives, on fait appel à la statistique. Les techniques mobilisées sont le calcul des probabilités qui permet d’évaluer les chances qu’un événement ou un enchaînement d’événements se produise. L’usage des statistiques se justifie car, d’une part, il synthétise un très grand nombre de données, et, d’autre part, les décideurs n’ont pas de conception déterministe des comportements humains évoluant dans un environnement social donné. C’est de la multiplication des observations que se déduit la récurrence des événements aléatoires.

La statistique descriptive résume et synthétise l’information fournie par les données collectées qui servent à estimer les paramètres de centralité (moyenne, médiane,…) et les paramètres de dispersion (variance, écart-type), auxquels les évaluateurs doivent prêter une grande attention car la moyenne peut être trompeuse. Dans « Comment évaluer les politiques publiques », France Stratégie met d’ailleurs en garde contre une homogénéité de façade : « Bien souvent, les évaluations disponibles se contentent détudier les effets de dispositifs en moyenne sur une population donnée. Or, dans certains cas, les politiques peuvent avoir des effets très hétérogènes selon les catégories de la population concernée, les territoires ou lorientation de la conjoncture. Pour évaluer leffet dune politique publique, il est souvent pertinent daller audelà des effets moyens de celleci. » ([13]) ; ce qui milite pour les évaluations proposant des résultats différenciés. Les données quantitatives sont ensuite classées selon différents critères pour dresser des typologies et faire apparaître des corrélations entre variables.

Les données quantitatives attirent l’attention et suscitent la confiance car elles semblent posséder un fort pouvoir d’objectivation de la réalité et se prêtent mieux à la comparaison et à l’agrégation. Néanmoins, il faut tenir compte des limites de la quantification dans le domaine des sciences sociales et du caractère parfois illusoire de l’objectivité affichée compte tenu des hypothèses que les évaluateurs sont obligés de faire et de l’imprécision des données dont ils disposent.

Dans le contexte de l’évaluation, il faut également s’efforcer de construire des données qui reflètent la nature du problème à traiter, même si sa formulation est floue. Il n’est pas rare que les données soient organisées selon une nomenclature qui n’est pas calquée sur le sujet à traiter. Une évaluation peut être l’occasion d’établir des distinctions nouvelles au sein des populations étudiées, et de mettre en évidence de nouveaux critères d’analyse.

Les données qualitatives sont recueillies en interrogeant et en observant les acteurs de la politique évaluée. Elles sont descriptives et proviennent généralement de sources plus variées que les données quantitatives. Elles servent à apprécier le contexte local et l’environnement institutionnel ; de même, elles facilitent la perception et l’appropriation du dispositif par les différentes catégories d’acteurs. Utiles pour mesurer la satisfaction des bénéficiaires, elles révèlent également les conceptions et les représentations qui conditionnent les stratégies et comportement des acteurs.

L’approche qualitative invite aussi à croiser les informations subjectives obtenues de cette façon avec les informations objectives, les premières étant auparavant classées, analysées et interprétées par l’évaluateur. La triangulation des données de différentes sources accroît la fiabilité des résultats.

Toute démarche qualitative doit reposer sur un protocole rigoureux et employer des outils clairement définis (guides d’entretien, grilles d’observation,…), utilisés par des enquêteurs compétents et bien formés.

L’approche qualitative ne peut porter que sur des échantillons de taille réduite, mais reflétant la diversité des situations. Elle est très utile notamment pour construire des typologies de populations, et isoler les facteurs explicatifs déterminants pour chacune des strates repérées.

La force de l’approche qualitative réside dans ce qu’elle seule permet de comprendre les facteurs d’échec et de succès de la politique évaluée. Elle fournit des clefs de compréhension des résultats. Elle est importante pour illustrer la diversité des situations, l’hétérogénéité des pratiques et des comportements. Dans l’ouvrage précité, France Stratégie relève qu’« en amont de lévaluation dimpact, lapproche qualitative est souvent utilisée pour tester des hypothèses et repérer des effets qui devront ensuite être mesurés. Cette phase exploratoire est importante quand les dispositifs sont innovants, quand la population cible est mal connue ou que les comportements risquent dêtre inattendus. » ([14]) En outre, l’approche qualitative est facilement compréhensible par un public non spécialiste.

Les faiblesses de l’approche qualitative tiennent au fait que des échantillons larges coûtent cher et qu’en conséquence ils sont de taille réduite et donc insuffisamment représentatifs. En outre, les réponses obtenues sont parfois sujettes à caution car les personnes interrogées peuvent ne pas être totalement sincères. L’approche qualitative est limitée aussi parfois par les conditions d’accès au terrain (entreprises, individus désocialisés,…). Enfin, elle peut difficilement être utilisée pour mesurer les effets d’une intervention publique car elle ne peut pas indiquer de manière fiable ce qui se serait passé sans programme. L’évaluation subjective, par les bénéficiaires eux‑mêmes, n’est pas un critère suffisant d’appréciation d’un dispositif qui peut, malgré l’opinion favorable des intéressés, ne pas répondre à l’objectif fixé.

Dans son rapport de 2015, le Conseil économique, social et environnemental (CESE) conclut que les deux approches se complètent même si la première est souvent le fait des économistes qui exploitent des bases de données, tandis que la seconde est le résultat du travail des experts des autres sciences sociales (sociologues, politologues) qui privilégient les investigations approfondies sur des échantillons plus limités. Cette spécialisation reflète aussi des différences d’approche : les économistes cherchent à mesurer l’impact de tel ou tel paramètre sur plusieurs variables, et à établir un lien causal tandis que les chercheurs en sciences sociales s’attachent à mettre en évidence les stratégies d’acteurs et la rationalité qui sous‑tend leur comportement. La pluridisciplinarité contribue à améliorer la qualité des évaluations ([15]).

les différences entre approches quantitative et qualitative

Méthode quantitative

Méthode qualitative

Vérifie des hypothèses

Génère des hypothèses

Est généralement déductive (part d’une théorie générale pour arriver à une explication précise)

Est généralement inductive (part d’un cas précis pour arriver à une conclusion générale)

Examine un ensemble de personnes ; l’échantillonnage permet une couverture représentative de la population

Examine un ensemble d’idées ; l’approche d’échantillonnage permet une couverture représentative des comportements

Explique quoi ? combien ? et dans quelle mesure ?

Explique pourquoi ? et qu’est-ce que ça veut dire ?

Obtient des estimations numériques à partir d’un grand nombre de participants

Capte des renseignements contextuels et détaillés auprès d’un petit nombre de participants

D’après Stéphane Paul et alii Lévaluation des politiques publiques : comprendre et pratiquer.

France Stratégie relève que « lapproche qualitative permet notamment de construire des typologies de populations et disoler les facteurs explicatifs pour chaque catégorie de populations. » Et les auteurs concluent : « Les méthodes qualitatives sont particulièrement utiles lorsquil sagit dévaluer la pertinence ou lutilité dune intervention publique ou encore sa mise en œuvre. Elles sont beaucoup moins performantes pour étudier son efficacité ou son efficience. En revanche, combinées à une approche quantitative, elles offrent des clés utiles pour expliquer les résultats et illustrer la diversité des situations. La combinaison des deux méthodes peut être particulièrement profitable à la compréhension et à la mesure de limpact. » ([16])

d.   Un impératif : développer l’appréciation d’impact

Les travaux visant à quantifier les effets d’une politique publique sont appelés mesures d’impact dont le but est de reconstituer un contrefactuel solide pour établir une véritable corrélation entre la politique menée et les objectifs poursuivis. Les méthodes qu’elles emploient se classent en deux catégories principales : les méthodes « athéoriques » ou les méthodes structurelles.

Les méthodes permettant de mesurer l’impact d’une politique publique sur ses bénéficiaires directs sont dites « athéoriques » quand elles ne reposent pas sur un modèle théorique. Elles consistent à comparer un échantillon ayant bénéficié du traitement à un autre, qui n’en a pas profité, échantillon appelé groupe de contrôle ou « contrefactuel », pour mettre en évidence des corrélations ; or, les corrélations ne sont pas forcément des liens de causalité.

 Lexpérimentation contrôlée et aléatoire : ses avantages et ses limites

Pour savoir ce qui se serait passé en l’absence de politique publique et élaborer le « contrefactuel », les experts choisissent en priorité l’expérimentation, puisqu’il faudrait, dans l’idéal, soumettre un même échantillon à deux situations exclusives l’une de l’autre (bénéficier de la politique publique et en être exclu), ce qui est impossible. C’est le schéma classique de validation dans le domaine des sciences physiques et biologiques. En sciences humaines, une telle démarche suppose de constituer deux échantillons aléatoires comparables, c’est‑à‑dire en éliminant les biais de sélection, et d’en soumettre un au programme public tandis que l’autre, appelé groupe de contrôle, est maintenu à l’écart, puis de mesurer les paramètres à étudier et de comparer.

L’expérimentation présente plusieurs inconvénients :

– elle pose un problème éthique, de rupture d’égalité devant le service public et d’attachement aux droits acquis. C’est pourquoi il est possible d’accorder temporairement un droit supplémentaire à un individu mais pas de l’en priver ;

– il est pratiquement impossible de constituer deux groupes en tous points comparables, la sélection induisant déjà un biais qu’il est difficile de supprimer quand il existe des caractéristiques inobservables ou des relations de causalité réciproque ;

– un autre écueil réside dans la reproductibilité des conditions, et dans le fait que les individus modifient leur comportement en fonction du contexte (on parle d’effet Hawthorne). Ainsi, les réactions des populations ne sont pas les mêmes selon que l’individu fait partie d’une opération ponctuelle (test d’un dispositif de nature sociale par exemple) ou qu’il n’est qu’un cas parmi tous les autres dans le cadre d’un traitement de masse. De ce fait, l’expérimentation ne préfigure pas la généralisation ;

– l’expérimentation exige du temps, donc de l’argent.

Cet ensemble de contraintes explique que l’expérimentation soit rarement la pièce maîtresse d’une évaluation.

 Les autres méthodes

Lorsque l’expérimentation est impossible, il existe des palliatifs, plus ou moins sophistiqués, destinés principalement à corriger les biais de sélection entre le groupe témoin et le groupe de contrôle. Les principales méthodes quasi expérimentales sont présentées au 2.1 de l’étude de MM. Baslé, Josselin et Le Maux.

L’analyse coût-efficacité et l’analyse coût-bénéfice, proposées par France Stratégie ([17]), sont également possibles : « Lefficience dune intervention publique repose sur la combinaison des informations relatives aux coûts et aux bénéfices induits par lintervention publique. Elle peut se fonder sur lanalyse coûtefficacité ou sur lanalyse coûtbénéfice. La première cherche à calculer le coût par unité produite ([18]) (le coût dun chômeur de moins par exemple), la seconde fait appel au calcul économique public, prenant en compte tous les impacts ([19]) et les externalités. Cette dernière méthode est très utilisée pour évaluer la rentabilité économique des infrastructures de transport, mais elle tend à se diffuser aujourdhui à lenvironnement ou à la santé. »

Les deux méthodes coût-efficacité et coût-bénéfice diffèrent dans la manière où elles évaluent les bénéfices, les coûts étant mesurés de la même manière. L’analyse coût-efficacité est utile pour comparer des dispositifs qui ont un même et unique objectif tandis que l’analyse coût-bénéfice, qui tient compte d’une large gamme d’effets, sera préférée pour comparer des dispositifs visant plusieurs objectifs simultanément ou des dispositifs variés dans des domaines différents. Les deux méthodes peuvent aussi servir à déterminer si un dispositif est rentable et vaut la peine d’être financé.

L’approche structurelle, caractéristique du monde académique, vise à décomposer les effets d’un choc, en l’espèce une action publique, et à les quantifier. Elle propose une représentation de la réalité économique, fondée sur une idée a priori des mécanismes économiques à l’œuvre, dans le but d’expliciter les comportements des agents économiques face à une modification de leur environnement et les courroies de transmission des impulsions politiques. Les modèles peuvent avoir des fondements micro ou macro-économiques.

Les relations de comportement décrites par un modèle sont estimées par des techniques économétriques à partir de données chiffrées disponibles qui servent à construire des situations contrefactuelles utilisées comme repère pour quantifier les effets d’une politique publique. Les modèles maîtrisés sont les modèles de régression linéaire, une variable étant déterminée par la combinaison de paramètres affectés d’un coefficient calculé. On parle de régression multiple ou d’analyse multivariée.

L’intérêt de l’approche structurelle est de comprendre les causes des effets des changements de politique et d’interpréter les résultats. Les modèles sont utiles pour prévoir les impacts de politiques publiques déjà mises en œuvre dans des contextes donnés, et ceux de politiques nouvelles. En théorie, l’approche structurelle modélise l’ensemble des distorsions observées sur les marchés et les réponses qu’y apportent les agents économiques.

En général, il est extrêmement difficile d’évaluer l’impact des réformes globales (par exemple, l’octroi du PTZ sur le marché du logement à l’achat et à la location), mais l’approche structurelle apporte un cadre particulièrement utile lorsqu’on cherche à évaluer l’impact d’une politique dont on envisage de réformer les outils.

La faiblesse de l’approche structurelle tient à sa sensibilité aux hypothèses du modèle théorique. Dans un modèle structurel, les comportements des agents découlent des hypothèses sur lesquelles il repose, et qui ont trait à l’élasticité des variables de résultat par rapport aux différentes variables d’intérêt, par exemple de la demande par rapport au prix, et sur la constance de ces relations dans le temps. Or ces hypothèses fragilisent les estimations des paramètres, et d’autant plus qu’elles se multiplient avec la sophistication du modèle avec, à la clef, le risque de se tromper lourdement dans l’évaluation (sans avoir tellement les moyens de s’en rendre compte). Le dilemme est donc entre la simplicité qui n’offrira qu’une représentation limitée de la réalité ou la sophistication qui, à force d’hypothèses, accroît la fragilité du modèle. En outre, certains modèles ne portent pas suffisamment d’attention à l’information contenue dans les données qui constituent leur matière première, en particulier quant à leur variabilité, dont dépend l’identification des phénomènes, et à leur stabilité dans le temps. Il est indispensable, pour construire un modèle, de disposer des séries temporelles de données sur longue période de qualité acceptable.

L’approche structurelle requiert de s’interroger à la fois sur la pertinence du modèle structurel et sur la robustesse des résultats. En conséquence, les experts, en particulier ceux de France Stratégie, invitent, avant de généraliser une mesure dont l’étude d’impact est concluante, de s’entourer de multiples précautions, en particulier en combinant plusieurs approches, tant les aléas restent nombreux.

L’ensemble des personnes entendues par les rapporteurs ont souligné le besoin de dépasser l’analyse de processus en développant l’appréciation d’impact. Plusieurs intervenants ont expliqué cette distinction et l’intérêt qu’elle présente. Ainsi M. Bruno Crépon, chercheur au Centre de recherche en économie et statistiques (CREST), professeur associé à l’École nationale de la statistique et de l’administration économique (ENSAE) et à l’École Polytechnique, opère une distinction entre les deux notions :

– l’évaluation de processus consiste à vérifier que les bénéficiaires d’une intervention sont bien les bons destinataires et qu’ils ont bien bénéficié du programme comme prévu ;

– l’évaluation d’impact permet de savoir si la façon dont l’action publique a été mise en œuvre a vraiment amélioré la vie des gens en comparant un groupe de bénéficiaires à un groupe de non‑bénéficiaires.

Sachant que l’EPP ex post vise une analyse coût-bénéfice, la compréhension des coûts est donnée par l’évaluation de processus tandis que l’évaluation d’impact permet de mesurer les bénéfices.

M. Marc Ferracci et Mme Rozenn Desplatz, co‑auteurs du guide de l’évaluation publié par France Stratégie, confirment cette distinction, en relevant que la mesure d’impact a un périmètre plus étroit que l’EPP telle que la définit la SFE, et en soulignant l’intérêt qu’il y a à mener les deux démarches de front. M. Marc Ferracci a illustré ses propos avec le crédit d’impôt pour la compétitivité et l’emploi (CICE), dont la mesure d’impact a révélé des résultats décevants sur le plan économique, tandis que l’analyse de processus a mis au jour les mécanismes explicatifs. Il conseille donc de réconcilier les différentes démarches, qui se complètent.

Pour M. Stéphane Paul, inspecteur général des affaires sociales, c’est la combinaison des deux approches qui fournit les résultats les plus intéressants ; il a toutefois jugé bon de rappeler que ces évaluations sont très coûteuses. M. Philippe Dole, également inspecteur général des affaires sociales, considère nécessaire d’aller au‑delà de l’évaluation-bilan, qui ne fait qu’énumérer les moyens mobilisés et justifiés, pour passer à une évaluation d’impact, adaptée pour mesurer l’efficience. Une telle approche suppose des comparaisons qui mettent en regard le comportement des bénéficiaires et des non‑bénéficiaires grâce à l’observation de cohortes. Ce praticien ajoute, et la précision n’est pas anodine, que cette étape doit être suivie d’une large diffusion des résultats pour susciter une discussion à même de mettre en cause l’ensemble des processus. Un débat confiné entre experts ne suffira pas à améliorer les actions menées.

La mesure d’impact constitue donc l’enjeu principal de l’évaluation, mais c’est aussi la question la plus difficile à traiter d’un point de vue méthodologique.

Elle est l’objet d’un débat entre experts, les uns faisant de la méthode expérimentale une étape incontournable, tel M. Bruno Crépon qui l’utilise à l’exclusion de toute autre méthode parce qu’il y voit la condition sine qua non d’une évaluation démocratique et transparente. M. Marc Ferracci, pour sa part, considère que les expérimentations aléatoires ne sont plus forcément nécessaires : de multiples méthodes sont à présent disponibles et permettent de concevoir l’EPP dans un cadre multidimensionnel. Une politique a des effets parfois quantifiables, parfois non. Le travail des chercheurs n’est pas de décider quels sont les bons critères mais d’évaluer de la manière la plus complète possible l’impact d’une politique en menant un contrefactuel, puis de mettre à disposition du public et des décideurs politiques ces informations afin que des choix éclairés puissent être faits. Pour M. Bruno Palier, des techniques très sophistiquées ont été développées pour identifier l’impact propre des politiques publiques, mais leur mise en œuvre exige des compétences très pointues. Il est donc important de développer la culture de l’évaluation, en particulier en adaptant l’offre académique afin de garantir la qualité des évaluations. M Xavier Ragot, président de l’Office français des conjonctures économiques (OFCE), conseille aussi de solliciter des spécialistes universitaires ou para-universitaires.

En tout état de cause, ces chercheurs soulignent que ces compétences sont pratiquement inexistantes dans l’administration française qui, par tradition, confie très largement ses évaluations à ses fonctionnaires, ce qui n’est un gage ni d’indépendance, ni de compétence au vu des développements récents de l’EPP. Aussi serait‑il préférable de changer de modèle sur ce point. Les rapporteurs recommandent donc de créer en quelque sorte un écosystème de l’EPP à même de former des évaluateurs, d’en diffuser la culture au sein du monde administratif en créant des ponts avec le monde académique et en soutenant la recherche.

Proposition n° 1 : soutenir la recherche scientifique sur l’évaluation des politiques publiques :

 développer des formations universitaires et des programmes de recherche dédiés à lévaluation des politiques publiques, ainsi que des collaborations universitaires internationales qui favorisent les approches comparatives

– créer des conventions entre universités et administrations permettant à des doctorants de préparer leur thèse sur lévaluation des politiques publiques tout en acquérant une expérience administrative de terrain et à l’administration de disposer d’évaluations de qualité.


III.   QUI SONT LES ACTEURS DE L’ÉVALUATION DES POLITIQUES PUBLIQUES ?

1.   Aujourd’hui, des acteurs nombreux et faiblement coordonnés

Dans l’étude qui leur a été commandée par les rapporteurs, MM. Maurice Baslé, Jean‑Michel Josselin et Benoît Le Maux ont décrit la cartographie des acteurs de l’EPP en France et les relations qui les unissent à travers le sociogramme ci‑dessous.

Source : Dispositifs dévaluation des politiques publiques et des programmes : connaissances de base, choix des méthodes, sociogrammes des acteurs et études de cas, Maurice Baslé, Jean‑Michel Josselin et Benoît Le Maux.

Ce sociogramme rend compte de la grande dispersion des intervenants au sein desquels sont distingués les commanditaires, les prestataires et les citoyens, auxquels s’ajoutent les juridictions financières et des autorités indépendantes.

Quatre pouvoirs publics prévus par la Constitution interviennent dans l’EPP : le Gouvernement, chargé de déterminer et de conduire la politique de la Nation, le Parlement qui a une mission constitutionnelle d’évaluation des politiques publiques, la Cour des comptes qui a une mission d’assistance au Parlement et au Gouvernement dans l’évaluation des politiques publiques, et enfin le Conseil économique, social et environnemental qui a créé une délégation à la prospective et à l’évaluation des politiques publiques.

Au sein du Gouvernement, les instances d’évaluation se sont multipliées, la plupart des ministères se dotant d’une direction chargée des études et de la prospective. En outre, il existe en marge de l’administration, des agences, des conseils, des délégations qui commandent ou font des études qui ne peuvent pas toujours être qualifiées d’évaluation. Parmi les organes spécifiquement dédiés à l’EPP, figurent :

– la direction interministérielle de la transformation publique (DITP), placée sous l’autorité du ministre de l’action et des comptes publics chargé de la réforme de l’État, succède au Secrétariat général pour la modernisation de l’action publique (SGMAP), qui était depuis 2012 le principal outil du Gouvernement en matière d’EPP ;

– France Stratégie, chargée d’apporter son concours au Gouvernement pour la détermination des grandes orientations de l’avenir de la Nation et de son développement économique, social, culturel et environnemental, ainsi que pour la préparation des réformes décidées par les pouvoirs publics, notamment en participant à l’évaluation des politiques publiques ;

– les inspections générales ministérielles dont les trois principales (IGA, IGF et IGAS) ont établi en 2012 un guide de cadrage méthodologique commun de l’EPP, ainsi que le Conseil général de l’environnement et du développement durable ;

– deux directions d’administration centrale : la direction de la recherche, des études, de l’évaluation et des statistiques (DREES) qui participe à la conception, la validation et la mise en œuvre des méthodes d’évaluation des politiques sociales et évalue leurs effets structurels ; la direction de l’animation de la recherche, des études et des statistiques (DARES) qui, sur les questions de travail, d’emploi, de formation professionnelle et du dialogue social, contribue à l’évaluation des politiques publiques ;

– le Secrétariat général à l’investissement (SGI) qui a succédé au Commissariat général à l’investissement chargé du pilotage des programmes d’investissements d’avenir ;

– les autorités ou conseils qui ont des missions d’évaluation, tels la Haute Autorité de santé (HAS) ou le Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur (HCERES).

Incontestablement, cette dispersion des intervenants nuit à la lisibilité de l’évaluation des politiques publiques.

Afin de fixer une stratégie nationale de l’EPP, les rapporteurs proposent que le Premier ministre informe chaque année le Parlement des orientations du Gouvernement en matière de transformation de l’action publique, des expérimentations qu’il entend mettre en œuvre et du programme d’évaluation qu’il prévoit de réaliser. Cette information viendrait compléter la transmission du programme législatif du Gouvernement, que le rapport de décembre 2017 du groupe de travail sur la réforme de la procédure législative ([20]) propose de renforcer.

Proposition n° 2 : prévoir, en complément de la transmission du programme législatif du Gouvernement, une information annuelle du Parlement par le Premier ministre sur les orientations du Gouvernement en matière de transformation de l’action publique et sur son programme d’expérimentations et d’évaluation des lois et des politiques publiques.

2.   Demain, un Haut Conseil de l’évaluation des politiques publiques

Dans le prolongement de la circulaire du 23 février 1989 qui insiste sur « le devoir d’évaluation », présenté comme un des moyens de relégitimer l’action de l’État, grâce à une démarche pluraliste et transparente, le décret du 22 janvier 1990 a créé un Comité interministériel de l’évaluation, un Fonds national de développement de l’évaluation et un Conseil scientifique de l’évaluation. Cette tentative d’organisation de l’EPP a échoué à coordonner les travaux d’évaluation et n’a pas empêché l’éclatement des structures.

Ainsi, comme le rappelle M. Vincent Lahuec, chef de projet à la direction interministérielle de la transformation publique (DITP), la France a contrairement à d’autres pays maintenu un paysage éclaté de l’évaluation. Le lancement de la Modernisation de l’action publique en 2012 a correspondu à la volonté de couvrir tout le champ de l’action publique. Les 80 évaluations réalisées à la demande de l’exécutif s’inscrivaient, en outre, dans la perspective de prendre des décisions politiques.

Aujourd’hui, l’idée de créer une nouvelle instance de coordination a suscité un débat entre les personnes entendues par les rapporteurs.

Plusieurs arguments ont été développés devant les rapporteurs en faveur d’une telle structure. Pour M. Bruno Palier, la multiplication des instances a instauré une concurrence inutile, faute de plateforme de coordination à même de formuler des commandes pertinentes et de veiller à la production de résultats susceptibles d’être traduits en recommandations. Regrettant un manque de coordination qui donne lieu à des évaluations redondantes de certains dispositifs tandis que d’autres ne sont jamais évalués, M. Brice Fabre, économiste à l’Institut des politiques publiques, défend la création d’une instance nationale de l’évaluation, dotée d’un budget annuel et d’une équipe d’experts nommée de manière la plus indépendante possible pour chaque projet. M. Vincent Lahuec voit dans une telle instance le moyen d’importer des techniques d’évaluation renouvelées et de s’extraire des choix gouvernementaux quant aux sujets évalués, et la possibilité d’une véritable programmation annuelle des évaluations. Toutefois, la mise en œuvre des préconisations issues des évaluations suppose une certaine proximité de l’EPP avec les décideurs publics.

Plusieurs intervenants se sont, au contraire, montrés défavorables à la création d’une instance nationale. M. François de Dorlodot (KPMG) a fait valoir que la grande diversité des acteurs, contributeurs très hétérogènes à l’EPP, serait difficile à réunir au sein d’une structure unique. M. Philippe Dole, inspecteur général des affaires sociales, s’est montré très réservé à l’égard d’une quelconque institutionnalisation de l’évaluation, de nature à semer la confusion dans un paysage comportant déjà plusieurs acteurs établis. Ancien coordonnateur de la commission spéciale du développement durable, M. Jean‑René Brunetière s’est également montré hostile à l’idée d’une instance nationale d’évaluation dont l’action serait à la merci de ressources budgétaires non sanctuarisées. Craignant de briser l’actuelle dynamique autour de l’évaluation, M. François Le Couturier, gérant du cabinet-conseil Itinere, a également émis de fortes réserves.

Néanmoins, il y a un consensus pour reconnaître la nécessité de capitaliser les EPP, d’identifier les besoins d’évaluation et de constituer un lieu d’échange entre les acteurs pour mieux coordonner les travaux. Ainsi, Mme Danièle Lamarque regrette la faible capitalisation des évaluations, qui conduit à des redondances sur certains sujets tandis que d’autres ne sont jamais évalués. Dans le même esprit, M. Marc Ferracci souligne que, sans être commanditaire, une instance nationale pourrait porter un regard sur la méthodologie et la qualité des évaluations, les capitaliser et les valoriser.

Afin d’éviter les doublons à l’origine d’une perte d’efficacité, d’énergie et de moyens, la mission d’information sur la simplification législative ([21]) a suggéré l’organisation d’une conférence des évaluateurs, destinée à mieux coordonner les travaux d’évaluation de l’Assemblée nationale, du Sénat, de la Cour des comptes, du Conseil économique, social et environnemental et des corps d’inspection.

Dans ce domaine, il ne faudrait pas passer sous silence l’initiative de la Société française de l’évaluation (SFE), animée par un réseau de professionnels bénévoles, qui est à l’origine de l’Observatoire de l’évaluation. Il  a vu le jour peu après le lancement de la Modernisation de l’action publique, en 2012, avec le soutien du SGMAP. En mettant les EPP recensées à disposition des experts comme du grand public, la SFE contribue à la stratégie du Partenariat pour un gouvernement ouvert que la France a rejoint en 2014. Ce travail gagnerait à être mené de manière plus régulière et plus systématique pour en asseoir la notoriété et faire de cet outil une référence incontournable tant l’enjeu est d’importance. 

Ce besoin d’agrégation des connaissances a été ressenti de la même manière au sein des instances de l’Union européenne. Pour y répondre, la Commission a décidé de créer une base de données interinstitutionnelle qui doit être ouverte à partir de 2018, accessible à la Commission, au Parlement, à la Cour des comptes, mais aussi au CESE et à la Banque européenne d’investissement.

Les rapporteurs sont donc favorables à la création d’un Haut Conseil de l’évaluation des politiques publiques, présidé par une personnalité qualifiée indépendante, et composé des représentants des commanditaires de l’évaluation (Gouvernement, Parlement) et des représentants des évaluateurs (corps dinspection, Cour des comptes, universitaires, cabinets privés, collectifs citoyens).

Il jouerait le rôle d’un observatoire et d’une conférence des évaluateurs et serait chargé de :

– donner une définition de l’EPP partagée par l’ensemble des acteurs, afin de l’inscrire dans un nouveau décret relatif à l’EPP ;

– capitaliser les évaluations en créant une base de données accessible aux évaluateurs et un portail de l’évaluation des politiques publiques permettant un accès aux évaluations par des requêtes simples. Cette capitalisation suppose d’instaurer le principe de publication systématique des rapports d’évaluation et de leur libre accès aux citoyens. Ce principe a vocation à être inscrit dans le nouveau décret relatif à l’évaluation des politiques publiques ;

– identifier et diffuser les bonnes pratiques et élaborer une « boîte à outils » de l’EPP. La complexité des concepts que manie l’EPP et l’importance stratégique qu’elle revêt dans la reconquête de l’opinion publique par le politique et l’administration demandent une montée en compétence des commanditaires d’évaluation et des parties prenantes. Le Haut conseil pourrait élaborer à cette fin une « boîte à outils » de l’EPP, sur le modèle de celle de la Commission européenne ([22]), qui présenterait les objectifs, expliquerait l’opportunité de l’EPP et en détaillerait les méthodes pour l’ensemble du cycle de l’évaluation ;

– coordonner les travaux de recherche sur l’évaluation des politiques publiques, en identifiant l’offre des universités et la demande des administrations, afin de favoriser les partenariats (cf. proposition n° 1) ;

– définir les besoins d’évaluation pour choisir les politiques publiques à évaluer et coordonner l’intervention des acteurs ;

– assurer et rendre public le suivi des recommandations des rapports d’évaluation.

Proposition n° 3 : créer un Haut Conseil de l’évaluation des politiques publiques, présidé par une personnalité qualifiée indépendante, composé des représentants de tous les acteurs de l’évaluation des politiques publiques, et chargé de :

– donner une définition de l’évaluation des politiques publiques, afin de l’inscrire dans un nouveau décret relatif à l’évaluation des politiques publiques

– capitaliser les évaluations en créant une base de données accessible aux évaluateurs et un portail de l’évaluation des politiques publiques permettant un accès par des requêtes simples

– identifier et diffuser les bonnes pratiques, afin de créer une « boîte à outils » de l’évaluation des politiques publiques

– coordonner les travaux de recherche sur l’évaluation des politiques publiques, en identifiant l’offre des universités et la demande des administrations

– définir les besoins d’évaluation pour concourir au choix des politiques publiques à évaluer et coordonner l’intervention des acteurs 

– assurer et rendre public le suivi des recommandations des rapports d’évaluation.


IV.   COMMENT LES PARLEMENTAIRES ÉVALUENT-ILS LES POLITIQUES PUBLIQUES ?

1.   Aujourd’hui, un rôle peu investi faute de temps, de moyens et d’expertise

a.   Un rôle réaffirmé

Depuis plusieurs années, au‑delà du contrôle de l’action du Gouvernement, le Parlement a cherché à se doter de moyens d’évaluer des politiques publiques. L’action des commissions permanentes, ainsi que celle des commissions d’enquête et des missions d’information, a souvent inclus implicitement cette orientation. La mise en place de l’Office parlementaire d’évaluation des politiques publiques ([23]), puis de la Mission d’évaluation et de contrôle (MEC) et, enfin, de la Mission d’évaluation et de contrôle de la sécurité sociale (MECSS) et de l’Office parlementaire d’évaluation des politiques de santé (OPEPS) ([24]) en matière de sécurité sociale et de politiques de santé, a visé à enrichir l’activité d’évaluation des commissions permanentes.

La révision constitutionnelle de juillet 2008 a exprimé dans la loi fondamentale la volonté d’aller plus loin, en donnant explicitement au Parlement la mission d’évaluer les politiques publiques. Elle s’est traduite par la création à l’Assemblée nationale du Comité d’évaluation et de contrôle des politiques publiques (CEC).

Il y a aujourd’hui un consensus – les interventions recueillies lors des tables rondes animées par les rapporteurs l’ont montré – pour reconnaître au Parlement une légitimité dans l’EPP et pour lui donner un rôle central, donc une responsabilité particulière.

Comme l’a fait observer M. Bruno Palier, professeur à l’Institut d’études politiques de Paris, les comparaisons internationales montrent que les pays où l’EPP est la mieux développée et la mieux prise en compte sont ceux où le Parlement dispose d’une agence d’évaluation indépendante dotée de moyens. Mme Katia Hober-Papazian, professeure à l’Institut de hautes études en administration publique (IDHEAP) de Lausanne, établit un lien entre la fonction représentative et la fonction évaluatrice : en tant que représentant des citoyens, le Parlement se doit de chercher à savoir si les interventions publiques répondent aux besoins de la société civile, car c’est le seul acteur qui a la légitimité pour vérifier la pertinence des politiques publiques. Cela donne une responsabilité particulière au Parlement qui doit par conséquent se doter des outils nécessaires pour évaluer les politiques publiques.

b.   Une consécration dans les textes

La France est avec la Suisse un des rares pays à avoir inscrit dans sa loi fondamentale le principe de l’évaluation des politiques publiques par le Parlement.

La mission évaluatrice du Parlement a été consacrée par la réforme constitutionnelle de 2008 : l’évaluation des politiques publiques est devenue une des missions constitutionnelles du Parlement, inscrite à l’article 24 au même titre que le vote de la loi et le contrôle de l’action du Gouvernement. Pour exercer cette mission, le Parlement bénéficie, comme le Gouvernement, de l’assistance de la Cour des comptes. Cette assistance, prévue à l’article 47‑2 de la Constitution, est précisée par l’article L. 132‑6 du code des juridictions financières qui donne la possibilité aux présidents des assemblées de saisir la Cour des comptes de demandes d’évaluation d’une politique publique.

Plusieurs dispositions organiques ou inscrites dans le Règlement d