N° 771

______

ASSEMBLÉE   NATIONALE

CONSTITUTION DU 4 OCTOBRE 1958

QUINZIÈME LÉGISLATURE

 

Enregistré à la Présidence de l’Assemblée nationale le 15 mars 2018.

RAPPORT DINFORMATION

DÉPOSÉ

en application de larticle 146-3, alinéa 6, du Règlement

PAR le comitÉ dÉvaluation et de contrÔle des politiques publiques

 

sur l’évaluation des dispositifs dévaluation des politiques publiques

ET PRÉSENTÉ PAR

M. Pierre MOREL-À-LHUISSIER et Mme valÉrie petit

Députés

——


 


—  1  —

SOMMAIRE

___

Pages

MIEUX ÉVALUER POUR MIEUX AGIR : Manifeste pour une évaluation des politiques publiques au service de la transformation de l’action publique

PROPOSITIONS DES RAPPORTEURS

LÉVALUATION DES POLITIQUES PUBLIQUES EN HUIT QUESTIONS CLÉS

I. POURQUOI FAUT-IL MIEUX ÉVALUER ?

1. Un triple enjeu : démocratique, administratif et parlementaire

2. Les motivations et les objectifs de la mission dinformation

3. La méthodologie de la mission dinformation

II. QUEST-CE QUUNE BONNE ÉVALUATION DE POLITIQUE PUBLIQUE ?

1. Une définition de lévaluation des politiques publiques

2. Les critères dévaluation

3. Un projet évaluatif quil faut piloter

a. Bien distinguer les différentes étapes de lévaluation

b. Mettre en place la bonne gouvernance

c. Lélaboration du projet évaluatif : questionner les objectifs et le champ de lévaluation

d. Formuler des conclusions et recommandations

4. Une méthode qui dépend de la finalité de lévaluation

a. Limportance de lidentification préalable des questions évaluatives

b. Comment sorienter dans le choix de la méthode dévaluation ?

c. La combinaison dune analyse quantitative et dune approche qualitative

d. Un impératif : développer lappréciation dimpact

III. QUI SONT LES ACTEURS DE LÉVALUATION DES POLITIQUES PUBLIQUES ?

1. Aujourdhui, des acteurs nombreux et faiblement coordonnés

2. Demain, un Haut Conseil de lévaluation des politiques publiques

IV. COMMENT LES PARLEMENTAIRES ÉVALUENT-ILS LES POLITIQUES PUBLIQUES ?

1. Aujourdhui, un rôle peu investi faute de temps, de moyens et dexpertise

a. Un rôle réaffirmé

b. Une consécration dans les textes

c. Un investissement limité

d. Des moyens insuffisants par rapport aux autres Parlements

2. Demain, sanctuariser le temps de lévaluation des politiques publiques au Parlement

a. Lexamen du projet de loi de règlement doit devenir le rendezvous annuel de lévaluation

b. Les semaines de contrôle en séance publique doivent être réorganisées

3. Plus de moyens dexpertise : pour une agence dévaluation au service du Parlement

a. Les bonnes pratiques observées dans les Parlements étrangers

b. La particularité du cas français

c. Doter le Parlement dune agence dévaluation autonome

V. MIEUX ÉVALUER, QUEST-CE QUE CELA SIGNIFIE ?

1. Créer un cercle vertueux de lévaluation

2. Améliorer lévaluation ex ante

3. Renforcer lévaluation ex post

4. Mieux former les acteurs publics et sensibiliser les médias

5. Soutenir linnovation pour recourir à des techniques centrées sur les utilisateurs : lexemple du design des politiques publiques

VI. LÉVALUATION DES POLITIQUES PUBLIQUES À LÉTRANGER : QUELLES SONT LES BONNES PRATIQUES ?

1. Les États-Unis : un contexte institutionnel propice à la culture de lévaluation

2. Le Royaume-Uni : des méthodes et des principes diffusés à laide de guides dévaluation

3. LUnion européenne : lanalyse dimpact comme outil damélioration de la législation

a. Lévaluation ex ante, étape liminaire de la procédure législative

b. Le contrôle qualité de lévaluation ex ante à la Commission européenne

c. Une évaluation ex post à parfaire

VII. ÉVALUATION DES POLITIQUES PUBLIQUES ET NUMÉRIQUE : LA TRANSFORMATION NUMÉRIQUE EST-ELLE UNE OPPORTUNITÉ ?

1. Le big data

a. Définition et caractéristiques

b. Les implications pour lévaluation des politiques publiques

2. Lopen data

a. Des avancées indéniables dans la mise à disposition des données publiques, grâce à la loi pour une République numérique

b. Des marges de progrès

VIII. ÉVALUATION DES POLITIQUES PUBLIQUES ET DÉMOCRATIE PARTICIPATIVE : COMMENT ASSOCIER LES CITOYENS ?

1. Améliorer la qualité et laccessibilité des évaluations de politique publique

a. Lindépendance

b. Le pluralisme

c. La transparence

2. Donner plus de place à lusager et au citoyen dans lévaluation des politiques publiques

a. Une boîte à outils potentiellement très complète

b. Les méthodes dévaluation participative

c. Faire du citoyen un acteur à part entière de lévaluation des politiques publiques

d. Les conditions dune participation citoyenne réussie

EXAMEN PAR LE COMITÉ

ANNEXE 1 : OUTILS DÉVALUATION À DESTINATION DES DÉPUTÉS

ANNEXE 1.1 : PROTOTYPAGE D’UNE AGENCE D’ÉVALUATION AU SERVICE DU PARLEMENT

ANNEXE 1.2 : SIX CAS DÉVALUATIONs DE POLITIQUE PUBLIQUE RÉUSSIEs, CLASSÉS EN FONCTION DU TYPE DE MÉTHODE UTILISÉe

ANNEXE 1.3 : CARTOGRAPHIE DES ACTEURS DE LÉVALUATION DES POLITIQUES PUBLIQUES

ANNEXE 1.4 : BIBLIOGRAPHIE ET RESSOURCES EN LIGNE SUR LÉVALUATION

ANNEXE 2 : PERSONNES ENTENDUES PAR LES RAPPORTEURS

ANNEXE 3 : ÉTUDE RÉALISÉE PAR MM. MAURICE BASLÉ, JEAN-MICHEL JOSSELIN ET BENOÎT LE MAUX

 


—  1  —

   MIEUX ÉVALUER POUR MIEUX AGIR :
Manifeste pour une évaluation des politiques publiques au service de la transformation de l’action publique

Nous, parlementaires, nous engageons à faire de l’évaluation des politiques publiques un domaine d’excellence publique et un levier de transformation politique.

La France doit changer d’ère en matière d’évaluation des politiques publiques. Si la Constitution consacre l’évaluation des politiques publiques comme l’une des trois missions fondamentales du Parlement et des parlementaires, dans les faits, ceux‑ci ne disposent pas aujourd’hui du temps, des expertises et des moyens d’évaluer efficacement les lois qui forgent les politiques publiques et transforment le quotidien de nos concitoyens. Les citoyens, quant à eux, restent encore peu associés aussi bien à l’évaluation en amont des lois et au débat sur leur pertinence qu’à l’évaluation de leur impact et au débat sur leur efficacité. Les médias français sont peu sensibilisés à ces travaux qui pourtant éclairent le débat public tandis que les scientifiques peinent à voir leurs expertises mobilisées par les acteurs institutionnels de l’évaluation.

Aujourd’hui, l’évaluation française des politiques publiques doit encore faire sa révolution comme ont su le faire d’autres pays européens ou les institutions européennes. Elle doit franchir une étape décisive vers plus d’indépendance, plus de transparence, mais aussi une meilleure gouvernance et une plus grande qualité des évaluations ex post et ex ante. Nous devons passer du discours de bonne volonté à la pratique effective et mettre en place un véritable cercle vertueux de l’évaluation : d’abord évaluer les lois et politiques existantes pour décider s’il faut ou non légiférer. Ensuite, contrôler l’efficience et la dépense publiques lors de la mise en œuvre des nouvelles lois, notamment à l’occasion du vote de la loi de règlement, et enfin, évaluer l’impact des nouvelles lois ou mesures de politiques publiques pour déterminer si elles atteignent leurs objectifs ou méritent d’être revues ou ajustées. Ce cercle vertueux ne se déploiera qu’à la condition d’une volonté et d’un consensus politique à la hauteur des trois enjeux d’une meilleure évaluation.

Un enjeu de démocratie

Mieux évaluer, c’est mieux éclairer le débat public.

Rendre plus accessibles et appropriables les évaluations de lois et de politiques publiques aux citoyens, aux scientifiques et aux médias, c’est donner à chacun des éléments de réflexion et de preuve pour se forger un avis et faire entendre sa voix dans le débat public.

C’est pourquoi nous formulons des propositions qui soutiennent une plus grande transparence et une plus grande indépendance des travaux et rapports d’évaluation, avec notamment la création d’un Haut Conseil de l’évaluation ; qui encouragent la création d’un portail de l’évaluation permettant à tous d’accéder à l’ensemble des connaissances évaluatives en matière de politiques publiques ; qui contribuent à sensibiliser les citoyens et les médias à l’intérêt de l’évaluation ; qui soutiennent la recherche scientifique sur l’évaluation des politiques publiques ; qui associent les citoyens à l’activité évaluative au travers notamment de consultations publiques.

Un enjeu de rénovation des pratiques politiques

Mieux évaluer, c’est mieux légiférer.

Évaluer les effets des lois et politiques publiques passées est le premier remède à l’inflation législative et la garantie de lois plus utiles et plus efficaces. Pour le Gouvernement comme pour les parlementaires, comprendre ce qui a fonctionné dans le passé, comment, pour qui et pourquoi, est la plus solide des bases, pour décider et élaborer une loi ou une politique susceptible d’atteindre son objectif.

C’est pourquoi nous formulons des propositions qui visent à donner une stratégie nationale d’évaluation en invitant, par exemple, le Premier ministre à présenter devant le Parlement les priorités en matière d’évaluation de politiques publiques et l’avancement des expérimentations et évaluations en cours ; qui systématisent l’évaluation en insérant une clause de revoyure et une clause d’évaluation d’impact dans les lois ; qui améliorent la qualité des évaluations ex ante et notamment des études d’impact ; qui donnent aux parlementaires des moyens effectifs de jouer leur rôle d’évaluation avec notamment la création d’une agence parlementaire de l’évaluation des politiques publiques ; qui donnent toute sa place à l’évaluation dans les débats budgétaires et dans les semaines dédiées au contrôle ; qui sensibilisent et forment les parlementaires à l’évaluation des politiques publiques.

Un enjeu de transformation de l’action publique

Mieux évaluer, c’est mieux agir.

Évaluer la mobilisation des moyens et la maîtrise de la dépense publique dans la mise en œuvre de la loi et d’une politique, est le premier moteur d’une action publique plus performante qui sait innover et faire évoluer ses modes de gestion pour s’adapter positivement au paradoxe de l’action publique moderne : comment faire mieux avec moins, dans un contexte de réduction de la dépense publique, de montée des exigences démocratiques et des attentes de Service public et d’accélération des évolutions de l’économie et de la société.

C’est pourquoi nous formulons des propositions qui visent à sensibiliser et former les agents publics à l’évaluation des politiques publiques ; qui soutiennent la mise à disposition et l’utilisation des données publiques à des fins d’analyse et d’évaluation des politiques publiques ; qui encouragent l’innovation en matière d’applications évaluatives à destination des citoyens.

Ce 15 mars 2018, nous initions ainsi un mouvement en faveur d’une nouvelle ère en matière d’évaluation des politiques publiques et invitons les citoyens, les parlementaires, les agents publics et les médias à rejoindre celui‑ci. Ceci n’est pas un rapport, c’est un Manifeste assorti de 15 propositions, d’un prototype d’agence parlementaire de l’évaluation, d’un mode d’emploi de l’évaluation en 8 questions et d’une série de 6 études de cas d’évaluations de politique publique réussies. Son objectif est de mobiliser, d’inviter à l’action et de sensibiliser à l’importance et à l’urgence de mieux évaluer nos politiques publiques. C’est une question de responsabilité politique : nous devons aux citoyens les meilleures lois et politiques publiques possibles et une meilleure évaluation est un chemin pour y parvenir.

 


—  1  —

   PROPOSITIONS DES RAPPORTEURS

1. Fixer une stratégie nationale dévaluation des politiques publiques

 Prévoir, en complément de la transmission du programme législatif du Gouvernement, une information annuelle du Parlement par le Premier ministre sur les orientations du Gouvernement en matière de transformation de laction publique et sur son programme dexpérimentations et dévaluation des lois et des politiques publiques (proposition n° 2).

2. Se doter de moyens efficaces et dacteurs indépendants

 Créer un Haut Conseil de lévaluation des politiques publiques, présidé par une personnalité qualifiée indépendante, composé des représentants de tous les acteurs de lévaluation des politiques publiques, et chargé de (proposition n° 3) :

– donner une définition de l’évaluation des politiques publiques, afin de l’inscrire dans un nouveau décret relatif à l’évaluation des politiques publiques

– capitaliser les évaluations en créant une base de données accessible aux évaluateurs et un portail de l’évaluation des politiques publiques permettant un accès par des requêtes simples

– identifier et diffuser les bonnes pratiques, afin de créer une « boîte à outils » de l’évaluation des politiques publiques

– coordonner les travaux de recherche sur l’évaluation des politiques publiques, en identifiant l’offre des universités et la demande des administrations

– définir les besoins d’évaluation pour concourir au choix des politiques publiques à évaluer et coordonner l’intervention des acteurs

– assurer et rendre public le suivi des recommandations des rapports d’évaluation.

3. Améliorer la qualité de l’évaluation ex ante et ex post et soutenir l’innovation

 Faire des études dimpact des évaluations ex ante à part entière (proposition n° 8) :

– étendre les études d’impact aux projets d’ordonnance, aux propositions de loi inscrites à l’ordre du jour et aux amendements substantiels, et compléter le contenu des études d’impact prévues pour les projets de loi d’habilitation

– enrichir le contenu méthodologique des études d’impact

– prévoir des débats en commission ou en séance publique consacrés à l’examen des études d’impact.

 Instaurer une obligation pour le Gouvernement dévaluer ex post la législation (proposition n° 9) :

– généraliser les clauses d’évaluation inscrites dans la loi, prévoyant une mesure de l’impact des dispositions adoptées et précisant les objectifs, les critères et les délais de cette mesure d’impact

– prévoir que la loi peut comporter des clauses de revoyure fixant les conditions de réexamen de tout ou partie de ses dispositions dans un délai compris entre 2 et 4 ans.

 Soutenir la recherche scientifique sur lévaluation des politiques publiques (proposition n° 1) :

– développer des formations universitaires et des programmes de recherche dédiés à l’évaluation des politiques publiques, ainsi que des collaborations universitaires internationales qui favorisent les approches comparatives

– créer des conventions entre universités et administrations permettant à des doctorants de préparer leur thèse sur l’évaluation des politiques publiques tout en acquérant une expérience administrative de terrain et à l’administration de disposer d’évaluations de qualité.

 Mettre les outils novateurs, comme le design des politiques publiques, au cœur de la transformation publique et du dialogue citoyen (proposition n° 12) :

– imaginer une campagne de sensibilisation à l’évaluation associant citoyens et acteurs publics et un rendez-vous national de l’évaluation destiné à promouvoir son utilité auprès des citoyens et à fédérer ses acteurs

– promouvoir les évaluations de politique publique centrées sur l’implication des agents et des usagers.

 À des fins dévaluation des lois et des politiques publiques, rendre la législation accessible et exploitable par des simulateurs d’impact et de coût (proposition n° 14) :

– pour la législation fiscale et sociale, élargir l’usage d’OpenFisca en prévoyant la publication des codes sources des modifications proposées via une annexe numérique jointe aux projets de loi de finances et de financement de la sécurité sociale

– pour les autres législations, confier à ETALAB la mission d’étudier l’opportunité et la faisabilité d’une transcription en codes sources accessibles

– favoriser le développement de modèles d’analyse et de simulation de politiques publiques.

● Confier à ETALAB et au programme « Entrepreneurs d’intérêt général » la conception d’une application permettant aux citoyens d’évaluer les politiques publiques du quotidien (proposition n° 13).

4. Mieux former les acteurs publics et sensibiliser les médias

 Sensibiliser et associer les médias à l’évaluation, en s’appuyant sur les ressources et les savoirs du Haut Conseil de l’évaluation des politiques publiques et sur l’accompagnement de l’agence de l’évaluation (proposition n° 11) :

– mettre à disposition des médias une synthèse des évaluations de politique publique disponibles

– concevoir un outil de sensibilisation des médias sur l’évaluation des politiques publiques.

 Former et évaluer les agents publics (proposition n° 10) :

– renforcer la place de l’évaluation des politiques publiques au sein de la formation initiale des agents publics, notamment dans le cadre des enseignements dispensés à l’École nationale d’administration et dans les instituts régionaux d’administration

– former les cadres de la fonction publique aux différentes méthodes de l’évaluation des politiques publiques

– faire du recours à l’évaluation et à ses nouvelles techniques un élément d’évaluation des cadres de la fonction publique.

5. Permettre aux parlementaires de jouer effectivement leur rôle d’évaluateur avec les citoyens

 Doter le Parlement d’une agence d’évaluation autonome, disposant de pouvoirs d’enquête et chargée de (proposition n° 7) :

– à l’initiative des commissions saisies au fond : contre-expertiser les études d’impact accompagnant les projets de loi et évaluer l’impact des propositions de loi inscrites à l’ordre du jour et des amendements substantiels

– à l’initiative des instances de contrôle ou d’évaluation : établir la faisabilité des demandes d’évaluation ex post, en proposer la méthode et en assurer la réalisation en interne ou par recours à un prestataire extérieur

– promouvoir la compétence en évaluation au sein du Parlement, en développant des programmes et des outils de formation à destination des parlementaires, de leurs collaborateurs et des services des assemblées.

 Instaurer le principe dune participation des citoyens à lélaboration et à lévaluation de la législation et des politiques publiques, en prévoyant lorganisation d’une consultation citoyenne (proposition n° 15) :

– dans les conditions de réalisation des études d’impact accompagnant les projets de loi et les propositions de loi inscrites à l’ordre du jour

– dans les clauses d’évaluation inscrites dans la loi.

 Revaloriser le débat sur le projet de loi de règlement (proposition n° 5) :

– en lui réservant un temps de séance publique sanctuarisé

– en le centrant sur l’analyse des résultats de politiques publiques ayant fait l’objet d’une évaluation ex post.

 Revoir lorganisation des semaines de contrôle (proposition n° 6) :

– consacrer une semaine de séance publique sur quatre exclusivement au contrôle de l’action du Gouvernement et à l’évaluation des politiques publiques ou à leurs suites législatives

– prévoir, lors des semaines de contrôle, une déclaration du Gouvernement sur l’état d’avancement de son programme d’expérimentations et d’évaluation de politiques publiques

– prévoir une communication à la Conférence des présidents de l’exécution du programme de travail des instances de contrôle ou d’évaluation de chaque assemblée

– au sein de chaque semaine de contrôle, réserver par priorité une séance à l’évaluation des politiques publiques.

 Former et évaluer les parlementaires, en s’appuyant sur les ressources et les savoirs du Haut Conseil de l’évaluation des politiques publiques et sur l’accompagnement de l’agence d’évaluation (proposition n° 4) :

– lancer une campagne de sensibilisation des parlementaires à l’évaluation

– concevoir des outils de formation des parlementaires à l’évaluation des politiques publiques

– proposer des indicateurs de suivi de l’activité évaluative des parlementaires pour éclairer les classements existants.


Portée normative des propositions des rapporteurs

N° de proposition

Contenu sommaire de la proposition

Niveau de norme
à modifier

1

Soutenir la recherche scientifique sur l’évaluation des politiques publiques

Mesure règlementaire

2

Prévoir une information annuelle du Parlement par le Gouvernement sur son programme d’expérimentations et d’évaluations des lois et des politiques publiques

Constitution

3

Créer un Haut Conseil de l’évaluation des politiques publiques

Mesure règlementaire

4

Former les parlementaires à l’évaluation des politiques publiques et suivre leur activité évaluative

Absence de portée normative – Pratique administrative à adapter

5

Revaloriser le débat sur le projet de loi de règlement

Constitution

6

Revoir l’organisation des semaines de contrôle

Constitution et règlements des assemblées

7

Doter le Parlement d’une agence d’évaluation autonome

Décision des bureaux des assemblées et règlements des assemblées

8

Faire des études d’impact des évaluations ex ante à part entière

Constitution et loi organique

9

Instaurer une obligation pour le Gouvernement d’évaluer ex post la législation

Constitution et loi organique

10

Former les agents publics à l’évaluation des politiques publiques

Mesure règlementaire

11

Sensibiliser et associer les médias à l’évaluation

Absence de portée normative – Pratique administrative à adapter

12

Mettre les outils novateurs au cœur de la transformation publique et du dialogue citoyen

Absence de portée normative – Pratique administrative à adapter

13

Confier à ETALAB et au programme « Entrepreneurs d’intérêt général » la conception d’une application permettant aux citoyens d’évaluer les politiques publiques du quotidien

Absence de portée normative – Pratique administrative à adapter

14

À des fins d’évaluation, rendre la législation accessible et exploitable par des simulateurs d’impact et de coût

Loi

15

Instaurer le principe d’une participation des citoyens à l’élaboration et à l’évaluation de la législation et des politiques publiques

Loi organique

 


—  1  —

   L’ÉVALUATION DES POLITIQUES PUBLIQUES
EN HUIT QUESTIONS CLÉS

I.   POURQUOI FAUT-IL MIEUX ÉVALUER ?

1.   Un triple enjeu : démocratique, administratif et parlementaire

L’évaluation des politiques publiques (EPP) est une démarche exigeante qui, parce qu’elle mobilise des techniques spécifiques, est restée confinée à un cénacle étroit de professionnels et de représentants de la haute fonction publique. Les connaissances qu’elle apporte doivent être plus largement diffusées auprès de tous ceux qui contribuent de près ou de loin à l’action publique. Elles doivent aider les représentants de la Nation, donc leurs électeurs, à se prononcer sur les grandes orientations à venir. Dans un pays démocratique, le savoir doit être à la portée de chacun car il est un instrument d’émancipation et de participation à la vie publique.

L’administration est au service de tous et cette mission universaliste explique que lui soient attribués des pouvoirs exorbitants du droit commun. Pourtant, de l’extérieur, et parfois même pour ceux qui la dirigent, l’administration est un monde complexe, opaque, voire impénétrable. L’un des mérites de l’EPP est précisément d’en décomposer les rouages, d’identifier les bonnes pratiques ou les blocages et même de les expliquer. En outre, quand elle est organisée, elle apporte aux responsables des informations utiles pour piloter leur action en détectant les changements, les écarts par rapport aux prévisions de façon à apporter les correctifs nécessaires. Elle est un outil indispensable dans un monde fluide et changeant parce qu’elle améliore la réactivité des décideurs et les aide à rendre compte de leur action auprès des citoyens de plus en plus soucieux de transparence.

L’article 24 de la Constitution attribue au Parlement la mission de voter la loi et de contrôler l’action du Gouvernement, et le charge aussi d’évaluer les politiques publiques. Pourquoi ? Parce que les travaux d’évaluation sont de nature à éclairer le législateur assuré ainsi de voter à bon escient ; également parce qu’une EPP indépendante est le seul moyen d’exercer un contrôle pertinent sur l’action gouvernementale et de permettre à la majorité parlementaire d’en justifier les choix auprès des électeurs, sur une base incontestable. Par ailleurs, les parlementaires ont aussi la responsabilité de recueillir la parole des citoyens dans leur circonscription et de les associer ainsi à leurs délibérations. Les parlementaires sont aussi des acteurs de l’évaluation.

2.   Les motivations et les objectifs de la mission d’information

Les rapporteurs sont convaincus que l’EPP est un enjeu majeur pour les sociétés démocratiques, marquées par une crise de confiance à l’égard du politique. Comme l’a expliqué M. Marc Ferracci, professeur d’économie à l’université Paris II Assas et chercheur au Laboratoire interdisciplinaire d’évaluation des politiques publiques (LIEPP) lors d’une table ronde animée par les rapporteurs, « pour réconcilier les citoyens avec lÉtat, il faut produire de linformation claire, fiable, transparente et indépendante ». C’est tout l’objectif qui doit être donné à l’EPP.

M. Bruno Palier, codirecteur du LIEPP et directeur de recherche du CNRS à Sciences Po, partage le constat des rapporteurs, voire le noircit encore. Pour lui, la crise de confiance à l’égard du politique qui secoue les sociétés libérales démocratiques réside dans l’opinion largement partagée que les élus ne se préoccupent pas des problèmes des citoyens ou qu’ils font preuve d’incompétence, au mieux d’impuissance. À ses yeux, la seule parade possible est de prouver le contraire en apportant la preuve, grâce à l’EPP, de l’impact des politiques publiques. Il y va de la régénération de nos démocraties.

À cet égard, l’EPP doit remplir deux finalités : outre l’information du public, elle doit aussi être mise au service de l’action de l’administration. En effet, l’évaluation peut servir de trait d’union entre le politique, la population qu’il représente et l’administration qu’il dirige. Pour prouver qu’il a les cartes en main, le premier doit s’emparer de l’EPP pour apporter la démonstration que le mandat qui lui a été confié par le suffrage universel se traduit concrètement dans l’action publique qu’il a la mission de moderniser et d’adapter aux besoins d’une nation moderne. Par les constats qu’elle fait et les échanges entre décideurs, acteurs et usagers qu’elle organise, elle peut se révéler un instrument d’adhésion autour de projets. L’évaluation pourrait ainsi offrir au Gouvernement engagé dans un grand projet de modernisation de l’État avec le « Comité d’action publique 2022 » ou « CAP 22 », à la fois un puissant relais auprès de l’opinion et un outil d’aide à la décision et à la responsabilisation des décideurs administratifs.

À l’initiative du groupe La République en marche, le Comité d’évaluation et de contrôle des politiques publiques (CEC) a donc décidé le 5 octobre 2017 de réaliser une évaluation des dispositifs d’EPP. Le Comité a en effet jugé utile d’ouvrir la XVe législature par une réflexion sur les enjeux, les principes et les outils de l’EPP. L’objectif était de répondre à la question : « Comment mieux évaluer les politiques publiques et en premier lieu au Parlement ? », afin de permettre à l’Assemblée nationale, et particulièrement au CEC, de franchir, de manière pérenne, un seuil en termes de qualité, de crédibilité et de visibilité de l’EPP.

Mme Valérie Petit (groupe La République en marche) et M. Pierre Morel‑À‑L’Huissier (groupe UDI, Agir et Indépendants) ont été désignés rapporteurs de cette mission d’évaluation. Le groupe de travail constitué pour les assister, en vertu de l’article 146‑3 du Règlement de l’Assemblée nationale, était composé de Mme Anne Brugnera (groupe La République en marche), M. Yves Daniel (groupe La République en marche), Mme Lise Magnier (groupe UDI, Agir et Indépendants) et M. Jacques Maire (groupe La République en marche).

La feuille de route fixée par les rapporteurs comprenait, outre l’établissement d’un état des lieux, un travail de sensibilisation des députés aux enjeux de l’EPP pour le Parlement et la définition d’une doctrine d’action sur trois points : quelles sont les conditions de réussite d’une EPP ? Quelle est la valeur ajoutée du Parlement ? De quels moyens et outils le Parlement doit‑il se doter ?

Les rapporteurs ont souhaité donner à leurs travaux une double dimension :

– une dimension évaluative autour de la question : « qu’est‑ce qu’une bonne EPP ? » afin de questionner la définition, les principes et les outils de l’EPP ;

– une dimension prospective : comment tirer les conséquences sur l’EPP des transformations constatées dans quatre domaines : le rôle accru du Parlement dans l’EPP ; l’intégration du citoyen dans l’EPP ; l’ouverture et la massification des données publiques ; le nouveau management public ?

La réflexion menée par les rapporteurs s’inscrit dans la démarche plus large de réforme engagée par le bureau de l’Assemblée nationale qui a créé sept groupes de travail, dont un est consacré aux moyens d’évaluation et de contrôle du Parlement. Il était essentiel que le CEC puisse apporter sa contribution aux travaux de ce groupe de travail.

3.   La méthodologie de la mission d’information

L’insatisfaction des rapporteurs sur le contenu et le sort des évaluations de politiques publiques les a conduits à se saisir d’une réflexion sur la manière dont il serait possible de les améliorer. Cette interrogation s’est articulée autour des points suivants : comment renforcer le pouvoir des parlementaires en matière d’évaluation ? Comment mieux associer le citoyen à l’évaluation des politiques publiques ? Comment se saisir des données publiques de l’open data pour mieux analyser l’action publique et ce faisant l’évaluer ? Comment se saisir de la volonté de modernisation de l’action publique pour améliorer la qualité et la gouvernance de l’EPP ?

Pour alimenter leur réflexion, les rapporteurs ont organisé sept tables rondes sur la définition et les critères de l’évaluation des politiques publiques ; sur ses principes et ses acteurs ; sur son processus et ses méthodes ; sur l’évolution du rôle du Parlement dans l’évaluation des politiques publiques ; sur les innovations démocratiques ; sur le big et l’open data ; et sur le rôle de l’évaluation dans le cadre du nouveau management public.

La méthode a consisté à réunir des spécialistes au profil très varié, dans le cadre de tables rondes traitant des grands enjeux de l’évaluation des politiques publiques, pour en dégager des pistes de réforme qui fassent du Parlement un acteur à part entière. Ont été entendus des représentants des grands corps d’inspection de l’administration ou ceux de cabinets de conseil, des universitaires français ou étrangers et des acteurs de la transformation publique ([1]).

En outre, les rapporteurs ont rencontré les co‑présidents de la Mission d’évaluation et de contrôle (MEC) et de la Mission d’évaluation et de contrôle des lois de financement de la sécurité sociale (MECSS), ainsi que le président et le rapporteur du groupe de travail sur les moyens de contrôle et d’évaluation. Ils ont également lancé une enquête par questionnaire auprès de l’ensemble des députés et sénateurs.

Ce tour d’horizon a été complété d’un déplacement à Bruxelles où les rapporteurs ont rencontré les responsables de l’évaluation tant à la Commission européenne qu’au Parlement et au Conseil économique et social européens.

La liste des personnes entendues par les rapporteurs figure en annexe 2. Les sept tables rondes ont fait l’objet d’un enregistrement vidéo accessible depuis cette annexe.

Les rapporteurs ont souhaité disposer d’une synthèse exhaustive des connaissances sur l’EPP réalisée à partir d’une revue de littérature scientifique et professionnelle et permettant de répondre aux questions suivantes : quelles sont les différentes définitions de l’EPP ? Quels sont les critères d’évaluation utilisés ? Quels sont les principes mis en avant pour mener une EPP ? Quelle est la cartographie des acteurs de l’EPP ? Quelles sont les étapes d’une EPP ? Quels sont les méthodes et les outils d’analyse mobilisés pour l’EPP ?

Cette revue de littérature a été réalisée par les professeurs de sciences économiques M. Maurice Baslé et M. Jean‑Michel Josselin, ainsi que par M. Benoît Le Maux, maître de conférences en sciences économiques.

À la demande des rapporteurs, les auteurs ont en outre procédé à une analyse comparative de six cas pratiques d’EPP (cf. liste ci‑dessous) selon les critères d’évaluation utilisés, les principes mis en avant pour conduire les travaux, les étapes, méthodes et les outils d’analyse mobilisés.

Les six cas d’EPP étudiés

Les six EPP étudiées, fondées chacune sur des méthodes différentes, sont les suivantes :

– une évaluation avec méthodes qualitatives : évaluation de programme de réussite éducative (domaine : éducation) ;

– une évaluation participative : évaluation des politiques de déplacement de nuit dans l’agglomération nantaise (domaine : sécurité) ;

– une évaluation expérimentale avec groupe témoin : évaluation des dispositifs d’aide à l’accès à l’emploi des jeunes diplômés (domaine : emploi) ;

– une évaluation quasi expérimentale : évaluation des effets du recrutement en contrat aidé sur la trajectoire professionnelle (domaine : emploi) ;

– une analyse d’impact budgétaire : genèse et construction du guide méthodologique de la Haute autorité de santé : évaluation de l’impact budgétaire des médicaments innovants et onéreux (domaine : santé) ;

– une analyse coûts-bénéfices généralisés : évaluation socio-économique des investissements publics du Commissariat général à l’investissement (domaine : infrastructures).

La revue de littérature et l’étude des six cas d’EPP réalisées par MM. Baslé, Josselin et Le Maux sont publiées en annexe 3.

Un atelier design, conduit par MM. Romain Beaucher et Yoan Ollivier, associés du cabinet Vraiment Vraiment, s’est tenu le 20 février 2018 pour imaginer comment mieux organiser le paysage institutionnel de l’évaluation en France.

L’objectif du design des politiques publiques est d’aider à concevoir et à mettre en œuvre des actions publiques plus pertinentes, plus soutenables et plus efficaces dans le cadre de missions axées sur la compréhension des usagers, le travail des agents et la stratégie des organisations.

Une synthèse de cet atelier figure en annexe 1.1.


II.    QU’EST-CE QU’UNE BONNE ÉVALUATION DE POLITIQUE PUBLIQUE ?

1.   Une définition de l’évaluation des politiques publiques

De la revue de littérature qu’ils ont menée, les universitaires mandatés par les rapporteurs concluent que les points de vue convergent pour définir l’EPP comme « lestimation de la valeur ajoutée dune politique publique », à partir des critères de pertinence, d’efficacité, d’efficience et de cohérence.

On dispose néanmoins de plusieurs définitions de l’EPP, de nature différente.

Le décret n° 90‑82 du 22 janvier 1990 relatif à l’évaluation des politiques publiques définissait l’EPP de la manière suivante : « lévaluation dune politique () a pour objet de rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et datteindre les objectifs qui lui sont assignés. »

M. Jean‑Claude Barbier ([2]) tente une définition sociologique, la plus vaste possible : « mettre en forme des informations à caractère évaluatif – cestàdire des connaissances construites à propos des conséquences (les résultats, les effets) des interventions que les acteurs en position de décision ont conduites. »

Mme Annie Fouquet, ancienne présidente de la Société française de l’évaluation (SFE), propose pour sa part cette définition : « lEPP a pour objet dapprécier la valeur de laction publique au regard de sa pertinence, de son efficacité et de son efficience, afin déclairer le débat public et daider à la réforme. » ([3])

Le Conseil scientifique de l’évaluation, dont la mission était, avant de disparaître, de favoriser le développement des méthodes d’évaluation et de définir une déontologie en la matière, avait publié un Petit guide de l’évaluation. Les auteurs de ce guide constatent une démarche convergente : « la collecte et le traitement dinformations sur laction publique, (que sestil passé ?), des préoccupations normatives (aton bien fait ?), et/ou des préoccupations instrumentales (comment faire mieux ?) liées au bon fonctionnement et à lefficacité des administrations et services publics. »

Au‑delà de ces différentes définitions, la littérature insiste sur le fait que l’EPP a des points communs avec d’autres démarches, dont elle se démarque pourtant car chacune d’elles analyse l’action publique sous un angle particulier :

– le contrôle permet de vérifier la conformité de l’action publique par rapport à des textes (loi, réglementation, décret ou circulaire). Lorsqu’un écart est constaté entre la pratique et la règle, la conséquence en est une sanction (amende, voire poursuites judiciaires) ;

– le pilotage ou contrôle de gestion permet de suivre l’exécution des actions. La référence n’est plus la règle juridique ou comptable, mais le programme fixé en début d’année. Périodiquement, le rapprochement entre indicateurs de suivi et objectifs permet de s’assurer du chemin parcouru. En cas d’écart, des mesures correctrices sont apportées à l’issue d’un dialogue de gestion. Une telle approche privilégie le jugement porté du point de vue de l’atteinte efficiente des objectifs ;

– l’objectif principal d’un audit est la réduction des risques que l’auditeur (externe ou interne) estime par référence aux standards d’une profession déterminée. Il n’est pas question de normes juridiques (comme dans le cas du contrôle) ou de programmes fixés à l’avance (comme dans le cas du pilotage ou du contrôle de gestion), mais du référentiel de la profession (bonnes pratiques préexistantes répertoriées) ; en cas d’écart, l’auditeur émet des alertes, des recommandations que l’opérateur peut, s’il le souhaite, ignorer.

Source : DREES, Méthodes dévaluation des politiques publiques Actes du séminaire.

M. Vincent Lahuec, économiste, chef de projet à la direction interministérielle de la transformation publique (DITP), préfère parler d’évaluations – et mettre le terme au pluriel – car les processus mis en œuvre ne répondent pas aux mêmes objectifs. S’il s’agit d’associer les parties prenantes, les évaluateurs chercheront à se placer au plus proche du terrain. S’il s’agit d’évaluations d’impact à des fins prospectives pour éclairer la prise de décision politique, la méthode utilisée sera différente, car l’identité et le rôle des parties prenantes seront différents.

En somme, le terme évaluation est polysémique, et recouvre des démarches d’inspirations fort variées. Cette pluralité de définitions montre que l’EPP se trouve à la croisée de trois logiques différentes qui doivent être conciliées :

– un enjeu scientifique : il s’agit de produire de la connaissance sur les objectifs, le contexte, les moyens, les résultats et les effets d’une politique publique en suivant une méthode éprouvée et incontestable ;

– un enjeu démocratique : l’EPP a pour objectif de rendre compte d’une politique publique à l’opinion, en donnant aux citoyens des informations construites pour apprécier ses conséquences ;

– un enjeu de réforme de l’action publique : l’EPP doit être une aide à la décision publique en vue de produire du changement, en donnant aux décideurs les informations nécessaires aux réformes qu’ils initient.

2.   Les critères d’évaluation

Les critères utilisés pour évaluer une politique publique sont classés selon une typologie distinguant la pertinence, l’efficacité, l’efficience, la cohérence et l’impact.

La mesure de la pertinence vise à répondre aux questions suivantes : l’action publique répond‑elle aux attentes exprimées ? Satisfait‑elle un besoin social avéré ? Il s’agit là du critère le plus politique, car, comme l’explique M. Bernard Perret, « sinterroger sur la pertinence dune politique, cest remettre en cause le référentiel de base constitué par ses objectifs officiels pour adopter un référentiel plus large. » ([4])

L’appréciation de l’efficacité met en regard les effets propres de l’action sous revue, et les objectifs, en éliminant les conséquences induites par d’autres facteurs tels que la conjoncture ou un événement externe. L’instruction des inspections générales ([5]) formule ainsi les questions relatives à l’efficacité : quel est l’impact propre de l’intervention publique ? Les résultats et effets constatés sont‑ils en adéquation avec les objectifs fixés initialement ? Dans quelle mesure les différents instruments mis en œuvre contribuent‑ils aux objectifs ?

L’efficience se mesure en comparant le coût de l’action publique et les résultats obtenus, en répondant aux questions : pourrait‑on obtenir un résultat au moins égal à moindre coût ? Pourrait‑on obtenir davantage de résultats à un coût équivalent ? Mme Danièle Lamarque note que la tentation est forte de ramener la mesure de l’efficience à son strict aspect économique, surtout que c’est souvent dans ce domaine que des améliorations peuvent être obtenues le plus rapidement. Elle rappelle néanmoins que l’exercice, qui suppose de disposer d’un système de gestion de qualité, ne se résume pas à une réduction des coûts ([6]). L’introduction de l’EPP pour des considérations avant tout budgétaires – comme cela a été le cas avec, successivement, la rationalisation des choix budgétaires (RCB) dans les années 1970, la révision générale des politiques publiques (RGPP) en 2007, puis, dans une moindre mesure, la modernisation de l’action publique (MAP) – a certes largement contribué à la diffusion des EPP, mais les raisons qui l’ont motivée n’ont pas manqué de susciter la défiance auprès de ceux qui ont été soumis à l’évaluation. Cet amalgame est regrettable car les deux démarches n’ont pas forcément partie liée.

La cohérence soulève la question : les objectifs, les dispositifs législatifs et réglementaires et les moyens mis en œuvre pour les atteindre forment-ils un ensemble cohérent ? Cette interrogation invite, d’une part, à regarder au-delà de l’action publique évaluée pour s’assurer que d’autres dispositifs en vigueur ne vont pas à l’encontre de l’objectif visé, et, d’autre part, à vérifier que la mise en œuvre par les acteurs de terrain est conforme à l’objectif affiché. Les écarts sont inévitables et l’une des premières tâches de l’évaluation est de les identifier et d’en trouver la nature : une déviation par rapport à des normes établies ou bien un dévoiement par rapport aux intentions initiales du législateur. En matière d’évaluation, ces écarts ne sont pas forcément des dysfonctionnements car il existe généralement plusieurs façons de résoudre un problème, ce qui peut s’expliquer par une intention initiale insuffisamment explicitée ou une inadéquation des moyens au but assigné.

La mesure de l’impact vise à tenir compte du fait qu’une politique ne produit pas que les effets attendus, qu’elle peut avoir aussi des incidences dans d’autres domaines, des « effets collatéraux » en quelque sorte, qui peuvent se révéler aussi bien bénéfiques que néfastes. Trois questions traduisent ce critère : peut-on isoler correctement l’impact propre de l’intervention publique ? Quels effets peut‑on attribuer à l’intervention publique dans l’atteinte des objectifs ? Quels effets inattendus ou indésirables peut‑on attribuer à l’intervention publique ? Une démarche équivalente peut être menée en sens inverse, consistant à relier le constat à l’intervention publique et à en quantifier l’effet. On parle alors d’imputabilité.

Ce cheminement de l’appréciation de la valeur ajoutée sociétale produite par une politique publique – cheminement conforme, notons‑le, à la définition donnée par Mme Annie Fouquet – est synthétisé dans l’étude de MM. Baslé, Josselin et Le Maux, dans le graphique suivant :

Chaîne « inputs-outputs-résultats-impact »

La démarche évaluative devra dans un premier temps confirmer la pertinence de la politique à évaluer et lui assigner des objectifs précis. Ensuite viendra la mesure de l’efficacité qui s’attachera à recenser et mesurer le plus complètement possible les effets induits par les mesures mises en œuvre ; puis celle de l’efficience consistera à s’assurer que les résultats sont optimisés au regard des moyens affectés.

3.   Un projet évaluatif qu’il faut piloter

Dans leur étude réalisée à la demande des rapporteurs, MM. Maurice Baslé, Jean‑Michel Josselin et Benoît Le Maux rappellent que l’évaluation des politiques publiques obéit à un ensemble de règles strictes qui doivent permettre de conjuguer rigueur scientifique dans l’aide à la décision publique, mais aussi opérationnalité (finalité gestionnaire), pédagogie (finalité d’apprentissage et de mobilisation des agents publics), éthique (finalité de compte rendu), ouverture au débat d’experts, au débat citoyen et préparation à l’animation des controverses (finalité informative et finalité démocratique).

a.   Bien distinguer les différentes étapes de l’évaluation

Comme l’explique M. Bernard Perret dans « Lévaluation des politiques publiques », il faut distinguer rigoureusement les différentes étapes de l’évaluation : le temps du questionnement et du choix des méthodes ; celui de la collecte et du traitement des données ; enfin celui de la formulation des réponses et des conclusions.

S. Paul, H. Milet et E. Crovella, dans « Lévaluation des politiques publiques, comprendre et pratiquer », ont schématisé les différentes étapes du processus d’évaluation.

Les différentes étapes de l’analyse évaluative

b.   Mettre en place la bonne gouvernance

Les pratiques observées diffèrent selon la nature, l’ampleur et les objectifs de l’évaluation.

Le comité de pilotage a vocation à regrouper les différents contributeurs à l’évaluation au sein desquels il est d’usage de distinguer les experts, les bénéficiaires et les acteurs.

Les différents contributeurs à une évaluation

Source : Cadrage méthodologique de l’évaluation des politiques publiques partenariales, IGA IGF IGAS, décembre 2012.

Lorsqu’il est constitué, le comité de pilotage est généralement chargé de valider le cahier des charges et il lui est rendu compte des grandes étapes de la démarche jusqu’au rendu final du jugement évaluatif. Il réunit le plus souvent les fonctions décisionnelles : élus, directions, services internes concernés, chargé d’évaluation interne, représentant du réseau partenarial, éventuellement experts associés. Dans certains cas, le comité de pilotage pourra être une instance d’orientation politique de taille restreinte, à visée stratégique et décisionnelle. Il peut aussi s’agir d’une instance largement ouverte au partenariat et aux parties prenantes, plus tournée vers la concertation, l’échange et la co‑construction.

De nombreuses déclinaisons du modèle sont possibles. Dans tous les cas, le comité de pilotage se réunira idéalement aux moments clés du processus tels que : la décision d’évaluer, la formulation finale du cahier des charges et des questions dévaluation, la réception du référentiel et du questionnement évaluatif – particulièrement si le chargé d’évaluation est externe –, les différents temps de rendu intermédiaire et le rendu final des conclusions. Le comité peut parfois être confié à une personnalité indépendante et ouvert à de nombreux partenaires et personnalités extérieurs tandis que le commanditaire est très effacé, le lien du comité et du commanditaire constituant un enjeu. Une telle instance constitue plutôt une instance d’évaluation (différente du comité de pilotage destiné à piloter l’action et non son évaluation).

Une étude comparative réalisée en 1997 à partir d’un panel de guides méthodologiques d’une dizaine de pays fait apparaître un clivage entre l’Amérique du Nord (sans comités de pilotages mais avec une référence nette à la responsabilité personnelle de l’évaluateur professionnel dans la formulation des questions et le choix des méthodes) et l’Europe et l’Australie où il est explicitement fait mention d’un comité de pilotage.

c.   L’élaboration du projet évaluatif : questionner les objectifs et le champ de l’évaluation

L’évaluation d’une politique publique correspond à un processus rigoureux, dépassant la seule description des moyens et des réalisations, et nécessite – le CESE insiste sur ce point dans son rapport sur l’évaluation des politiques publiques ([7]) – de rassembler cinq éléments :

– l’identification de la politique qui fera l’objet de l’évaluation ;

– la détermination des objectifs finaux de cette politique et éventuellement, des objectifs intermédiaires ;

– la détermination d’une méthodologie scientifique à mettre en œuvre pour cette évaluation ;

– la définition des indicateurs qui seront mobilisés pour mesurer le degré d’atteinte des objectifs ;

– le choix des acteurs participant au processus d’évaluation.

La première étape d’une EPP consiste donc en l’élaboration du projet d’évaluation qui doit s’efforcer de répondre aux questions synthétisées dans l’encadré ci‑dessous.

Huit questions clés pour élaborer le projet évaluatif

– le périmètre de la politique publique concernée est‑il clair ? Y a‑t‑il des politiques publiques connexes qui peuvent interagir avec la politique étudiée ? Si oui, comment traite‑t‑on les éventuelles interactions ?

– de quels éléments dispose‑t‑on sur la politique publique étudiée et le contexte socio-économique ?

– quelles sont les données et évaluations disponibles ? Les données disponibles sont‑elles fiables ? Contestées ? Contradictoires ? Des informations essentielles manquent‑elles ? Si oui, peuvent‑elles être réunies rapidement ? Est‑il nécessaire de lancer un programme d’étude à plus long terme ? Y a‑t‑il un problème d’accès aux données pour les organismes qui disposent des compétences pour les traiter ?

– quels sont les principaux acteurs de cette politique ? Dans quels domaines s’agit‑il d’une politique partenariale ? La répartition des compétences est‑elle claire ? Quelles sont les structures décisionnelles ? Normatives ? Au sein et en dehors de l’État ? Quels sont, parmi les acteurs, ceux dont la contribution est capitale pour l’évaluation ?

– quels sont les bénéficiaires visés par cette politique ? Disposent‑ils d’instances représentatives ? Existe‑t‑il une instance consultative concernant la politique ? Comment doit‑elle être associée à la démarche ?

– quels sont les moyens (humains, matériels, financiers) consacrés à cette politique ? Quelle est la répartition de ces moyens entre acteurs ? Les données sur les moyens sont‑elles fiables ? Précises ? Ces moyens sont‑ils stables dans le temps ?

– quelles sont les données disponibles en matière de performance ?

– quelles sont les finalités explicites de cette politique ? Y en a‑t‑il d’autres implicites ?

Source : IGA, IGF, IGAS Cadrage méthodologique de lévaluation des politiques publiques partenariales.

En outre, avant de prendre la décision, coûteuse, de procéder à une évaluation, il est indispensable de se demander si elle est réalisable : s’il est toujours possible d’approfondir l’analyse d’un problème ou de compléter les connaissances disponibles sur les effets d’une politique, il se peut que les efforts nécessaires soient disproportionnés par rapport aux bénéfices prévisibles ou aux exigences de délais imposés par la commande. Cette exigence de « parcimonie », qui est parfois citée comme l’un des principes déontologiques de l’évaluation, peut justifier la réalisation d’une étude de faisabilité, ou d’une pré-évaluation. Outre le fait qu’elle apporte souvent des éléments de réponse aux questions du commanditaire, l’étude de faisabilité permet de choisir entre différentes approches et de se prononcer en toute connaissance de cause sur l’opportunité d’entreprendre de longs et coûteux travaux de recherche. ([8])

d.   Formuler des conclusions et recommandations

Les conclusions des EPP peuvent avoir plusieurs statuts : recommandations fermes techniquement nécessaires, scénarios destinés à présenter au commanditaire un panel de choix politiques argumentés et modulables ou simples orientations devant donner lieu à de nouvelles études. Par ailleurs, il faut établir une distinction entre les préconisations qui font l’unanimité de l’instance d’évaluation et celles pour lesquelles de fortes divergences se sont manifestées. La formulation des recommandations nécessite la collaboration des services concernés. Pour être utile, efficace et adaptée, l’évaluation d’une politique publique est autant que possible un processus co‑construit. ([9])

Dans leur étude des évaluations conduites par le SGMAP, les cabinets KPMG et Quadrant Conseil ([10]) constatent que plus de la moitié des politiques publiques évaluées fait l’objet de réformes, sans pour autant que celles‑ci résultent nécessairement de l’évaluation. Réciproquement, l’absence de changements observés à la suite d’une évaluation ne signifie pas de façon certaine que le processus évaluatif n’a pas eu de contribution à la décision.

Dans son ouvrage « Lévaluation des politiques publiques », M. Bernard Perret souligne en effet que toutes les études disponibles sur l’impact de l’EPP ont des effets indirects et diffus. Loin de se limiter à la prise en compte des conclusions consignées dans un rapport, l’influence d’une évaluation emprunte de multiples canaux pendant et après son déroulement. Même en l’absence de mécanismes liant l’évaluation à la décision budgétaire, il arrive souvent qu’une ou plusieurs évaluations préparent les esprits à l’inflexion d’une politique ou à un problème émergent. La spécificité des évaluations est qu’elles visent à modifier les représentations des acteurs directement concernés et les plus à même d’améliorer la politique par leurs pratiques et leurs décisions. Ce type d’impact est de plus en plus prometteur.

Ainsi, lors de la table ronde consacrée aux principes et acteurs de l’évaluation, Mme Danièle Lamarque a relevé que de nombreuses évaluations ont conduit à changer l’action publique et les pratiques, même si, parfois, les résultats d’une évaluation sont pris en compte plusieurs années après. Ce fut en particulier le cas pour la diminution du nombre d’élèves en ZEP qui, engagée à la rentrée 2017, figurait dans une évaluation du Haut Conseil de l’évaluation de l’école réalisée plusieurs années auparavant.

4.   Une méthode qui dépend de la finalité de l’évaluation

a.   L’importance de l’identification préalable des questions évaluatives

M. Bernard Perret, dans son ouvrage consacré à l’évaluation des politiques publiques ([11]), insiste sur la nécessité de bien identifier les questions évaluatives prélalablement à la réalisation de l’évaluation : évaluer une politique publique, c’est d’abord la questionner. Ainsi, les textes méthodologiques insistent sur la nécessité de planifier le déroulement d’une évaluation et de définir, en amont, ses objectifs et les questions auxquelles elle doit répondre.

Le questionnement évaluatif doit permettre de porter un jugement sur la politique : il faut identifier les attentes du commanditaire et les retombées souhaitables de l’évaluation, et anticiper ses conséquences possibles pour tous les groupes concernés afin de prévenir d’éventuelles difficultés.

Le Petit guide élaboré par le Conseil scientifique de l’évaluation insiste également sur cette phase de questionnement : la première étape d’une EPP consiste en l’élaboration du projet d’évaluation qui recouvre l’ensemble des réflexions et négociations qui précèdent la phase technique des études d’évaluation. Il constitue une séquence allant de la formulation des problèmes et des interrogations qui motivent l’évaluation pour formuler un ensemble de questions et indiquer par quels moyens il est possible d’y répondre.

Cette indispensable phase de questionnement va permettre de choisir les méthodes et les outils évaluatifs.

b.   Comment s’orienter dans le choix de la méthode d’évaluation ?

Dans l’étude qui leur a été commandée par les rapporteurs, MM. Maurice Baslé, Jean‑Michel Josselin et Benoît Le Maux ont établi une typologie des outils majeurs de l’évaluation en construisant un arbre de décision pouvant servir de table d’orientation entre les différentes méthodes.

Arbre de décision des méthodes d’évaluation

Source : Dispositifs d’évaluation des politiques publiques et des programmes : connaissances de base, choix des méthodes, sociogrammes des acteurs et études de cas, Maurice Baslé, Jean‑Michel Josselin et Benoît Le Maux.

Selon le cheminement retracé dans ce schéma, le questionnement des évaluateurs portera d’abord sur la mesure de l’efficacité, c’est‑à‑dire sur les effets des moyens engagés, puis sur celle de l’efficience, autrement dit sur le choix des stratégies ou des instruments les plus opportuns en fonction des objectifs qui auront été privilégiés.

Les auteurs détaillent ensuite 13 grandes méthodes dont on trouvera une définition dans le tableau ci‑dessous, et qui sont mobilisées en fonction de la nature et des finalités de l’évaluation. Pour recenser les effets d’une politique, qu’ils soient observables ou attendus, les évaluateurs recourent à des méthodes qualitatives (entretiens dans le cadre de monographies ou d’une évaluation participative, ou enquête de satisfaction). Ensuite, la mesure des effets passe par leur quantification, évidemment grâce aux méthodes quantitatives. Ces deux premières étapes sont destinées à dresser le bilan des actions déjà engagées, préalable aux deux suivantes dont le but est d’envisager plusieurs scénarios pour choisir celui qui présente le meilleur « rendement ».

 


Les principales méthodes d’évaluation

Méthodes dévaluation dimpact (efficacité)

Méthodes de sélection des stratégies (efficience)

 

Recenser les effets

Quantifier les effets

Évaluer les moyens engagés

Relier les effets aux moyens engagés

Étude qualitative 

Réalisée avec des entretiens semi-directifs menés sous la forme de questionnaires. Les principaux acteurs et bénéficiaires du programme sont interrogés sur différentes dimensions de lintervention. Lapproche recense les différents points de vue et peut être complétée par une recherche documentaire ou une observation sur le terrain.

Monétisation

Estimation à partir dun échantillon de la disposition à payer des usagers (ce quils sont prêts à payer au maximum) pour une intervention donnée. On utilise des données denquêtes (questionnaires) ou des données dobservation.

Analyse financière

Similaire à celle conduite lors du choix dinvestissements privés. Calcule sur lhorizon temporel de la politique les coûts dinvestissement, les coûts et revenus de fonctionnement ; analyse également les sources de financement.

Analyse coût-bénéfice

Évalue lécart entre les effets négatifs (les coûts) et les effets positifs (les bénéfices) dune intervention. Lapproche se fonde sur les données dune analyse financière préalable (investissement, recettes et coûts de fonctionnement) auxquelles se rajoutent les effets de lintervention exprimés en équivalent monétaire.

 

 

 

 

Évaluation participative

Réalisée avec la participation active des principales parties prenantes à lexercice dévaluation (réalisation dentretiens individuels et collectifs, débats publics, etc.). Lapproche favorise lexpression de la diversité des points de vue et ladhésion des acteurs aux conclusions de lévaluation.

Expérimentation 

Répartition au hasard dindividus entre un groupe de traitement (bénéficiaire de lintervention) et de contrôle (non-bénéficiaire). Leffet de lintervention se mesure directement à partir des différences observées entre les deux groupes.

Analyse des coûts

Détermine les coûts unitaires (par bénéficiaire) associés à chaque stratégie. Ils comprennent les coûts directement associés à sa mise en œuvre et ceux liés aux événements non intentionnels quelle génère.

Analyse coût-efficacité

Les effets de lintervention sont exprimés dans leur unité dorigine (comme le nombre demplois créés, nombre de vies sauvées, etc.). Lapproche compare les différences de coût et defficacité dune stratégie à une autre. Cest la méthode de référence en évaluation médico-économique.

 

 

 

 

Enquête de satisfaction

Réalisée par sondage sur la satisfaction des usagers dune intervention publique donnée. Ceux-ci répondent à un questionnaire où ils sont amenés à se prononcer sur les conditions matérielles du service (accès à la prise en charge, horaires, délais, etc.) mais aussi sur ses aspects qualitatifs (accueil, qualité de lécoute, etc.).

Quasi-expérimentation

Comparaison dun groupe dindividus  bénéficiaires de lintervention avec un groupe de non-bénéficiaires. Ces deux groupes ne sont pas nécessairement comparables. Lapproche peut utiliser diverses méthodes permettant de réduire les différences entre les groupes et disoler leffet de lintervention.

Impact budgétaire

Examine dans quelle mesure la mise en place dune nouvelle stratégie dintervention affecte le budget global dun programme préexistant. Lapproche est adoptée par de nombreuses agences nationales dévaluation des technologies de santé.

Analyse multicritère

Évalue lensemble des effets dune intervention sur la base de critères et de pondérations choisis en concertation avec les principaux acteurs et bénéficiaires du programme. Dans sa forme la plus simple, elle consiste en la création dindicateurs composites mesurant la performance des stratégies évaluées.

 

 

 

 

 

Méthode des effets

Lapproche vise à estimer pour une zone géographique donnée lensemble des revenus et emplois locaux supplémentaires créés directement par lintervention, mais aussi de manière indirecte, par répercussion sur lensemble des secteurs économiques locaux.

 

 

Source : d’après Dispositifs dévaluation des politiques publiques et des programmes : connaissances de base, choix des méthodes, sociogrammes des acteurs et études de cas, Maurice Baslé, Jean‑Michel Josselin et Benoît Le Maux.

 


—  1  —

En fonction des objectifs visés, l’étude universitaire classe chacune des méthodes assortie d’un score appréciant son exhaustivité, sa simplicité, sa transparence et le caractère généralisable de ses conclusions. Le tableau offre en quelque sorte un arbre de décision pour guider les commanditaires dans le choix d’une méthode d’évaluation ou les personnes chargées d’en apprécier la qualité.

c.   La combinaison d’une analyse quantitative et d’une approche qualitative

Conçue pour éclairer ses commanditaires et les aider à décider, l’EPP doit s’efforcer d’estimer la valeur de l’action publique, en recueillant de l’information, en l’analysant pour l’interpréter dans un cadre rigoureux de façon à éviter la contestation grâce à une caution scientifique. Ainsi, selon M. Bernard Perret ([12]), « lessentiel du travail des évaluateurs consiste à rassembler, traiter et interpréter des informations en se soumettant aux exigences de la rigueur scientifique. » Le Petit guide de lévaluation des politiques publiques publié par le Conseil scientifique de l’évaluation ne disait pas autre chose : « Une partie du travail de lévaluateur consiste à confronter les informations collectées, à les hiérarchiser, à les pondérer et à établir entre elles des liens dintelligibilité. »

Le développement de la recherche académique en EPP a permis de faire émerger plusieurs méthodes combinant analyse quantitative et analyse qualitative.

Les informations quantitatives servent souvent d’indicateurs (données brutes, proportions, intensité d’un phénomène). Il y a une certaine porosité entre les deux types de données : les données quantitatives peuvent être issues de données qualitatives, par exemple avec l’analyse lexicale ; de même, les données quantitatives sont souvent le résultat d’une conceptualisation préalable de la réalité (variables, indices, coefficients,…).

Pour exploiter les données quantitatives, on fait appel à la statistique. Les techniques mobilisées sont le calcul des probabilités qui permet d’évaluer les chances qu’un événement ou un enchaînement d’événements se produise. L’usage des statistiques se justifie car, d’une part, il synthétise un très grand nombre de données, et, d’autre part, les décideurs n’ont pas de conception déterministe des comportements humains évoluant dans un environnement social donné. C’est de la multiplication des observations que se déduit la récurrence des événements aléatoires.

La statistique descriptive résume et synthétise l’information fournie par les données collectées qui servent à estimer les paramètres de centralité (moyenne, médiane,…) et les paramètres de dispersion (variance, écart-type), auxquels les évaluateurs doivent prêter une grande attention car la moyenne peut être trompeuse. Dans « Comment évaluer les politiques publiques », France Stratégie met d’ailleurs en garde contre une homogénéité de façade : « Bien souvent, les évaluations disponibles se contentent détudier les effets de dispositifs en moyenne sur une population donnée. Or, dans certains cas, les politiques peuvent avoir des effets très hétérogènes selon les catégories de la population concernée, les territoires ou lorientation de la conjoncture. Pour évaluer leffet dune politique publique, il est souvent pertinent daller audelà des effets moyens de celleci. » ([13]) ; ce qui milite pour les évaluations proposant des résultats différenciés. Les données quantitatives sont ensuite classées selon différents critères pour dresser des typologies et faire apparaître des corrélations entre variables.

Les données quantitatives attirent l’attention et suscitent la confiance car elles semblent posséder un fort pouvoir d’objectivation de la réalité et se prêtent mieux à la comparaison et à l’agrégation. Néanmoins, il faut tenir compte des limites de la quantification dans le domaine des sciences sociales et du caractère parfois illusoire de l’objectivité affichée compte tenu des hypothèses que les évaluateurs sont obligés de faire et de l’imprécision des données dont ils disposent.

Dans le contexte de l’évaluation, il faut également s’efforcer de construire des données qui reflètent la nature du problème à traiter, même si sa formulation est floue. Il n’est pas rare que les données soient organisées selon une nomenclature qui n’est pas calquée sur le sujet à traiter. Une évaluation peut être l’occasion d’établir des distinctions nouvelles au sein des populations étudiées, et de mettre en évidence de nouveaux critères d’analyse.

Les données qualitatives sont recueillies en interrogeant et en observant les acteurs de la politique évaluée. Elles sont descriptives et proviennent généralement de sources plus variées que les données quantitatives. Elles servent à apprécier le contexte local et l’environnement institutionnel ; de même, elles facilitent la perception et l’appropriation du dispositif par les différentes catégories d’acteurs. Utiles pour mesurer la satisfaction des bénéficiaires, elles révèlent également les conceptions et les représentations qui conditionnent les stratégies et comportement des acteurs.

L’approche qualitative invite aussi à croiser les informations subjectives obtenues de cette façon avec les informations objectives, les premières étant auparavant classées, analysées et interprétées par l’évaluateur. La triangulation des données de différentes sources accroît la fiabilité des résultats.

Toute démarche qualitative doit reposer sur un protocole rigoureux et employer des outils clairement définis (guides d’entretien, grilles d’observation,…), utilisés par des enquêteurs compétents et bien formés.

L’approche qualitative ne peut porter que sur des échantillons de taille réduite, mais reflétant la diversité des situations. Elle est très utile notamment pour construire des typologies de populations, et isoler les facteurs explicatifs déterminants pour chacune des strates repérées.

La force de l’approche qualitative réside dans ce qu’elle seule permet de comprendre les facteurs d’échec et de succès de la politique évaluée. Elle fournit des clefs de compréhension des résultats. Elle est importante pour illustrer la diversité des situations, l’hétérogénéité des pratiques et des comportements. Dans l’ouvrage précité, France Stratégie relève qu’« en amont de lévaluation dimpact, lapproche qualitative est souvent utilisée pour tester des hypothèses et repérer des effets qui devront ensuite être mesurés. Cette phase exploratoire est importante quand les dispositifs sont innovants, quand la population cible est mal connue ou que les comportements risquent dêtre inattendus. » ([14]) En outre, l’approche qualitative est facilement compréhensible par un public non spécialiste.

Les faiblesses de l’approche qualitative tiennent au fait que des échantillons larges coûtent cher et qu’en conséquence ils sont de taille réduite et donc insuffisamment représentatifs. En outre, les réponses obtenues sont parfois sujettes à caution car les personnes interrogées peuvent ne pas être totalement sincères. L’approche qualitative est limitée aussi parfois par les conditions d’accès au terrain (entreprises, individus désocialisés,…). Enfin, elle peut difficilement être utilisée pour mesurer les effets d’une intervention publique car elle ne peut pas indiquer de manière fiable ce qui se serait passé sans programme. L’évaluation subjective, par les bénéficiaires eux‑mêmes, n’est pas un critère suffisant d’appréciation d’un dispositif qui peut, malgré l’opinion favorable des intéressés, ne pas répondre à l’objectif fixé.

Dans son rapport de 2015, le Conseil économique, social et environnemental (CESE) conclut que les deux approches se complètent même si la première est souvent le fait des économistes qui exploitent des bases de données, tandis que la seconde est le résultat du travail des experts des autres sciences sociales (sociologues, politologues) qui privilégient les investigations approfondies sur des échantillons plus limités. Cette spécialisation reflète aussi des différences d’approche : les économistes cherchent à mesurer l’impact de tel ou tel paramètre sur plusieurs variables, et à établir un lien causal tandis que les chercheurs en sciences sociales s’attachent à mettre en évidence les stratégies d’acteurs et la rationalité qui sous‑tend leur comportement. La pluridisciplinarité contribue à améliorer la qualité des évaluations ([15]).

les différences entre approches quantitative et qualitative

Méthode quantitative

Méthode qualitative

Vérifie des hypothèses

Génère des hypothèses

Est généralement déductive (part d’une théorie générale pour arriver à une explication précise)

Est généralement inductive (part d’un cas précis pour arriver à une conclusion générale)

Examine un ensemble de personnes ; l’échantillonnage permet une couverture représentative de la population

Examine un ensemble d’idées ; l’approche d’échantillonnage permet une couverture représentative des comportements

Explique quoi ? combien ? et dans quelle mesure ?

Explique pourquoi ? et qu’est-ce que ça veut dire ?

Obtient des estimations numériques à partir d’un grand nombre de participants

Capte des renseignements contextuels et détaillés auprès d’un petit nombre de participants

D’après Stéphane Paul et alii Lévaluation des politiques publiques : comprendre et pratiquer.

France Stratégie relève que « lapproche qualitative permet notamment de construire des typologies de populations et disoler les facteurs explicatifs pour chaque catégorie de populations. » Et les auteurs concluent : « Les méthodes qualitatives sont particulièrement utiles lorsquil sagit dévaluer la pertinence ou lutilité dune intervention publique ou encore sa mise en œuvre. Elles sont beaucoup moins performantes pour étudier son efficacité ou son efficience. En revanche, combinées à une approche quantitative, elles offrent des clés utiles pour expliquer les résultats et illustrer la diversité des situations. La combinaison des deux méthodes peut être particulièrement profitable à la compréhension et à la mesure de limpact. » ([16])

d.   Un impératif : développer l’appréciation d’impact

Les travaux visant à quantifier les effets d’une politique publique sont appelés mesures d’impact dont le but est de reconstituer un contrefactuel solide pour établir une véritable corrélation entre la politique menée et les objectifs poursuivis. Les méthodes qu’elles emploient se classent en deux catégories principales : les méthodes « athéoriques » ou les méthodes structurelles.

Les méthodes permettant de mesurer l’impact d’une politique publique sur ses bénéficiaires directs sont dites « athéoriques » quand elles ne reposent pas sur un modèle théorique. Elles consistent à comparer un échantillon ayant bénéficié du traitement à un autre, qui n’en a pas profité, échantillon appelé groupe de contrôle ou « contrefactuel », pour mettre en évidence des corrélations ; or, les corrélations ne sont pas forcément des liens de causalité.

 Lexpérimentation contrôlée et aléatoire : ses avantages et ses limites

Pour savoir ce qui se serait passé en l’absence de politique publique et élaborer le « contrefactuel », les experts choisissent en priorité l’expérimentation, puisqu’il faudrait, dans l’idéal, soumettre un même échantillon à deux situations exclusives l’une de l’autre (bénéficier de la politique publique et en être exclu), ce qui est impossible. C’est le schéma classique de validation dans le domaine des sciences physiques et biologiques. En sciences humaines, une telle démarche suppose de constituer deux échantillons aléatoires comparables, c’est‑à‑dire en éliminant les biais de sélection, et d’en soumettre un au programme public tandis que l’autre, appelé groupe de contrôle, est maintenu à l’écart, puis de mesurer les paramètres à étudier et de comparer.

L’expérimentation présente plusieurs inconvénients :

– elle pose un problème éthique, de rupture d’égalité devant le service public et d’attachement aux droits acquis. C’est pourquoi il est possible d’accorder temporairement un droit supplémentaire à un individu mais pas de l’en priver ;

– il est pratiquement impossible de constituer deux groupes en tous points comparables, la sélection induisant déjà un biais qu’il est difficile de supprimer quand il existe des caractéristiques inobservables ou des relations de causalité réciproque ;

– un autre écueil réside dans la reproductibilité des conditions, et dans le fait que les individus modifient leur comportement en fonction du contexte (on parle d’effet Hawthorne). Ainsi, les réactions des populations ne sont pas les mêmes selon que l’individu fait partie d’une opération ponctuelle (test d’un dispositif de nature sociale par exemple) ou qu’il n’est qu’un cas parmi tous les autres dans le cadre d’un traitement de masse. De ce fait, l’expérimentation ne préfigure pas la généralisation ;

– l’expérimentation exige du temps, donc de l’argent.

Cet ensemble de contraintes explique que l’expérimentation soit rarement la pièce maîtresse d’une évaluation.

 Les autres méthodes

Lorsque l’expérimentation est impossible, il existe des palliatifs, plus ou moins sophistiqués, destinés principalement à corriger les biais de sélection entre le groupe témoin et le groupe de contrôle. Les principales méthodes quasi expérimentales sont présentées au 2.1 de l’étude de MM. Baslé, Josselin et Le Maux.

L’analyse coût-efficacité et l’analyse coût-bénéfice, proposées par France Stratégie ([17]), sont également possibles : « Lefficience dune intervention publique repose sur la combinaison des informations relatives aux coûts et aux bénéfices induits par lintervention publique. Elle peut se fonder sur lanalyse coûtefficacité ou sur lanalyse coûtbénéfice. La première cherche à calculer le coût par unité produite ([18]) (le coût dun chômeur de moins par exemple), la seconde fait appel au calcul économique public, prenant en compte tous les impacts ([19]) et les externalités. Cette dernière méthode est très utilisée pour évaluer la rentabilité économique des infrastructures de transport, mais elle tend à se diffuser aujourdhui à lenvironnement ou à la santé. »

Les deux méthodes coût-efficacité et coût-bénéfice diffèrent dans la manière où elles évaluent les bénéfices, les coûts étant mesurés de la même manière. L’analyse coût-efficacité est utile pour comparer des dispositifs qui ont un même et unique objectif tandis que l’analyse coût-bénéfice, qui tient compte d’une large gamme d’effets, sera préférée pour comparer des dispositifs visant plusieurs objectifs simultanément ou des dispositifs variés dans des domaines différents. Les deux méthodes peuvent aussi servir à déterminer si un dispositif est rentable et vaut la peine d’être financé.

L’approche structurelle, caractéristique du monde académique, vise à décomposer les effets d’un choc, en l’espèce une action publique, et à les quantifier. Elle propose une représentation de la réalité économique, fondée sur une idée a priori des mécanismes économiques à l’œuvre, dans le but d’expliciter les comportements des agents économiques face à une modification de leur environnement et les courroies de transmission des impulsions politiques. Les modèles peuvent avoir des fondements micro ou macro-économiques.

Les relations de comportement décrites par un modèle sont estimées par des techniques économétriques à partir de données chiffrées disponibles qui servent à construire des situations contrefactuelles utilisées comme repère pour quantifier les effets d’une politique publique. Les modèles maîtrisés sont les modèles de régression linéaire, une variable étant déterminée par la combinaison de paramètres affectés d’un coefficient calculé. On parle de régression multiple ou d’analyse multivariée.

L’intérêt de l’approche structurelle est de comprendre les causes des effets des changements de politique et d’interpréter les résultats. Les modèles sont utiles pour prévoir les impacts de politiques publiques déjà mises en œuvre dans des contextes donnés, et ceux de politiques nouvelles. En théorie, l’approche structurelle modélise l’ensemble des distorsions observées sur les marchés et les réponses qu’y apportent les agents économiques.

En général, il est extrêmement difficile d’évaluer l’impact des réformes globales (par exemple, l’octroi du PTZ sur le marché du logement à l’achat et à la location), mais l’approche structurelle apporte un cadre particulièrement utile lorsqu’on cherche à évaluer l’impact d’une politique dont on envisage de réformer les outils.

La faiblesse de l’approche structurelle tient à sa sensibilité aux hypothèses du modèle théorique. Dans un modèle structurel, les comportements des agents découlent des hypothèses sur lesquelles il repose, et qui ont trait à l’élasticité des variables de résultat par rapport aux différentes variables d’intérêt, par exemple de la demande par rapport au prix, et sur la constance de ces relations dans le temps. Or ces hypothèses fragilisent les estimations des paramètres, et d’autant plus qu’elles se multiplient avec la sophistication du modèle avec, à la clef, le risque de se tromper lourdement dans l’évaluation (sans avoir tellement les moyens de s’en rendre compte). Le dilemme est donc entre la simplicité qui n’offrira qu’une représentation limitée de la réalité ou la sophistication qui, à force d’hypothèses, accroît la fragilité du modèle. En outre, certains modèles ne portent pas suffisamment d’attention à l’information contenue dans les données qui constituent leur matière première, en particulier quant à leur variabilité, dont dépend l’identification des phénomènes, et à leur stabilité dans le temps. Il est indispensable, pour construire un modèle, de disposer des séries temporelles de données sur longue période de qualité acceptable.

L’approche structurelle requiert de s’interroger à la fois sur la pertinence du modèle structurel et sur la robustesse des résultats. En conséquence, les experts, en particulier ceux de France Stratégie, invitent, avant de généraliser une mesure dont l’étude d’impact est concluante, de s’entourer de multiples précautions, en particulier en combinant plusieurs approches, tant les aléas restent nombreux.

L’ensemble des personnes entendues par les rapporteurs ont souligné le besoin de dépasser l’analyse de processus en développant l’appréciation d’impact. Plusieurs intervenants ont expliqué cette distinction et l’intérêt qu’elle présente. Ainsi M. Bruno Crépon, chercheur au Centre de recherche en économie et statistiques (CREST), professeur associé à l’École nationale de la statistique et de l’administration économique (ENSAE) et à l’École Polytechnique, opère une distinction entre les deux notions :

– l’évaluation de processus consiste à vérifier que les bénéficiaires d’une intervention sont bien les bons destinataires et qu’ils ont bien bénéficié du programme comme prévu ;

– l’évaluation d’impact permet de savoir si la façon dont l’action publique a été mise en œuvre a vraiment amélioré la vie des gens en comparant un groupe de bénéficiaires à un groupe de non‑bénéficiaires.

Sachant que l’EPP ex post vise une analyse coût-bénéfice, la compréhension des coûts est donnée par l’évaluation de processus tandis que l’évaluation d’impact permet de mesurer les bénéfices.

M. Marc Ferracci et Mme Rozenn Desplatz, co‑auteurs du guide de l’évaluation publié par France Stratégie, confirment cette distinction, en relevant que la mesure d’impact a un périmètre plus étroit que l’EPP telle que la définit la SFE, et en soulignant l’intérêt qu’il y a à mener les deux démarches de front. M. Marc Ferracci a illustré ses propos avec le crédit d’impôt pour la compétitivité et l’emploi (CICE), dont la mesure d’impact a révélé des résultats décevants sur le plan économique, tandis que l’analyse de processus a mis au jour les mécanismes explicatifs. Il conseille donc de réconcilier les différentes démarches, qui se complètent.

Pour M. Stéphane Paul, inspecteur général des affaires sociales, c’est la combinaison des deux approches qui fournit les résultats les plus intéressants ; il a toutefois jugé bon de rappeler que ces évaluations sont très coûteuses. M. Philippe Dole, également inspecteur général des affaires sociales, considère nécessaire d’aller au‑delà de l’évaluation-bilan, qui ne fait qu’énumérer les moyens mobilisés et justifiés, pour passer à une évaluation d’impact, adaptée pour mesurer l’efficience. Une telle approche suppose des comparaisons qui mettent en regard le comportement des bénéficiaires et des non‑bénéficiaires grâce à l’observation de cohortes. Ce praticien ajoute, et la précision n’est pas anodine, que cette étape doit être suivie d’une large diffusion des résultats pour susciter une discussion à même de mettre en cause l’ensemble des processus. Un débat confiné entre experts ne suffira pas à améliorer les actions menées.

La mesure d’impact constitue donc l’enjeu principal de l’évaluation, mais c’est aussi la question la plus difficile à traiter d’un point de vue méthodologique.

Elle est l’objet d’un débat entre experts, les uns faisant de la méthode expérimentale une étape incontournable, tel M. Bruno Crépon qui l’utilise à l’exclusion de toute autre méthode parce qu’il y voit la condition sine qua non d’une évaluation démocratique et transparente. M. Marc Ferracci, pour sa part, considère que les expérimentations aléatoires ne sont plus forcément nécessaires : de multiples méthodes sont à présent disponibles et permettent de concevoir l’EPP dans un cadre multidimensionnel. Une politique a des effets parfois quantifiables, parfois non. Le travail des chercheurs n’est pas de décider quels sont les bons critères mais d’évaluer de la manière la plus complète possible l’impact d’une politique en menant un contrefactuel, puis de mettre à disposition du public et des décideurs politiques ces informations afin que des choix éclairés puissent être faits. Pour M. Bruno Palier, des techniques très sophistiquées ont été développées pour identifier l’impact propre des politiques publiques, mais leur mise en œuvre exige des compétences très pointues. Il est donc important de développer la culture de l’évaluation, en particulier en adaptant l’offre académique afin de garantir la qualité des évaluations. M Xavier Ragot, président de l’Office français des conjonctures économiques (OFCE), conseille aussi de solliciter des spécialistes universitaires ou para-universitaires.

En tout état de cause, ces chercheurs soulignent que ces compétences sont pratiquement inexistantes dans l’administration française qui, par tradition, confie très largement ses évaluations à ses fonctionnaires, ce qui n’est un gage ni d’indépendance, ni de compétence au vu des développements récents de l’EPP. Aussi serait‑il préférable de changer de modèle sur ce point. Les rapporteurs recommandent donc de créer en quelque sorte un écosystème de l’EPP à même de former des évaluateurs, d’en diffuser la culture au sein du monde administratif en créant des ponts avec le monde académique et en soutenant la recherche.

Proposition n° 1 : soutenir la recherche scientifique sur l’évaluation des politiques publiques :

 développer des formations universitaires et des programmes de recherche dédiés à lévaluation des politiques publiques, ainsi que des collaborations universitaires internationales qui favorisent les approches comparatives

– créer des conventions entre universités et administrations permettant à des doctorants de préparer leur thèse sur lévaluation des politiques publiques tout en acquérant une expérience administrative de terrain et à l’administration de disposer d’évaluations de qualité.


III.   QUI SONT LES ACTEURS DE L’ÉVALUATION DES POLITIQUES PUBLIQUES ?

1.   Aujourd’hui, des acteurs nombreux et faiblement coordonnés

Dans l’étude qui leur a été commandée par les rapporteurs, MM. Maurice Baslé, Jean‑Michel Josselin et Benoît Le Maux ont décrit la cartographie des acteurs de l’EPP en France et les relations qui les unissent à travers le sociogramme ci‑dessous.

Source : Dispositifs dévaluation des politiques publiques et des programmes : connaissances de base, choix des méthodes, sociogrammes des acteurs et études de cas, Maurice Baslé, Jean‑Michel Josselin et Benoît Le Maux.

Ce sociogramme rend compte de la grande dispersion des intervenants au sein desquels sont distingués les commanditaires, les prestataires et les citoyens, auxquels s’ajoutent les juridictions financières et des autorités indépendantes.

Quatre pouvoirs publics prévus par la Constitution interviennent dans l’EPP : le Gouvernement, chargé de déterminer et de conduire la politique de la Nation, le Parlement qui a une mission constitutionnelle d’évaluation des politiques publiques, la Cour des comptes qui a une mission d’assistance au Parlement et au Gouvernement dans l’évaluation des politiques publiques, et enfin le Conseil économique, social et environnemental qui a créé une délégation à la prospective et à l’évaluation des politiques publiques.

Au sein du Gouvernement, les instances d’évaluation se sont multipliées, la plupart des ministères se dotant d’une direction chargée des études et de la prospective. En outre, il existe en marge de l’administration, des agences, des conseils, des délégations qui commandent ou font des études qui ne peuvent pas toujours être qualifiées d’évaluation. Parmi les organes spécifiquement dédiés à l’EPP, figurent :

– la direction interministérielle de la transformation publique (DITP), placée sous l’autorité du ministre de l’action et des comptes publics chargé de la réforme de l’État, succède au Secrétariat général pour la modernisation de l’action publique (SGMAP), qui était depuis 2012 le principal outil du Gouvernement en matière d’EPP ;

– France Stratégie, chargée d’apporter son concours au Gouvernement pour la détermination des grandes orientations de l’avenir de la Nation et de son développement économique, social, culturel et environnemental, ainsi que pour la préparation des réformes décidées par les pouvoirs publics, notamment en participant à l’évaluation des politiques publiques ;

– les inspections générales ministérielles dont les trois principales (IGA, IGF et IGAS) ont établi en 2012 un guide de cadrage méthodologique commun de l’EPP, ainsi que le Conseil général de l’environnement et du développement durable ;

– deux directions d’administration centrale : la direction de la recherche, des études, de l’évaluation et des statistiques (DREES) qui participe à la conception, la validation et la mise en œuvre des méthodes d’évaluation des politiques sociales et évalue leurs effets structurels ; la direction de l’animation de la recherche, des études et des statistiques (DARES) qui, sur les questions de travail, d’emploi, de formation professionnelle et du dialogue social, contribue à l’évaluation des politiques publiques ;

– le Secrétariat général à l’investissement (SGI) qui a succédé au Commissariat général à l’investissement chargé du pilotage des programmes d’investissements d’avenir ;

– les autorités ou conseils qui ont des missions d’évaluation, tels la Haute Autorité de santé (HAS) ou le Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur (HCERES).

Incontestablement, cette dispersion des intervenants nuit à la lisibilité de l’évaluation des politiques publiques.

Afin de fixer une stratégie nationale de l’EPP, les rapporteurs proposent que le Premier ministre informe chaque année le Parlement des orientations du Gouvernement en matière de transformation de l’action publique, des expérimentations qu’il entend mettre en œuvre et du programme d’évaluation qu’il prévoit de réaliser. Cette information viendrait compléter la transmission du programme législatif du Gouvernement, que le rapport de décembre 2017 du groupe de travail sur la réforme de la procédure législative ([20]) propose de renforcer.

Proposition n° 2 : prévoir, en complément de la transmission du programme législatif du Gouvernement, une information annuelle du Parlement par le Premier ministre sur les orientations du Gouvernement en matière de transformation de l’action publique et sur son programme d’expérimentations et d’évaluation des lois et des politiques publiques.

2.   Demain, un Haut Conseil de l’évaluation des politiques publiques

Dans le prolongement de la circulaire du 23 février 1989 qui insiste sur « le devoir d’évaluation », présenté comme un des moyens de relégitimer l’action de l’État, grâce à une démarche pluraliste et transparente, le décret du 22 janvier 1990 a créé un Comité interministériel de l’évaluation, un Fonds national de développement de l’évaluation et un Conseil scientifique de l’évaluation. Cette tentative d’organisation de l’EPP a échoué à coordonner les travaux d’évaluation et n’a pas empêché l’éclatement des structures.

Ainsi, comme le rappelle M. Vincent Lahuec, chef de projet à la direction interministérielle de la transformation publique (DITP), la France a contrairement à d’autres pays maintenu un paysage éclaté de l’évaluation. Le lancement de la Modernisation de l’action publique en 2012 a correspondu à la volonté de couvrir tout le champ de l’action publique. Les 80 évaluations réalisées à la demande de l’exécutif s’inscrivaient, en outre, dans la perspective de prendre des décisions politiques.

Aujourd’hui, l’idée de créer une nouvelle instance de coordination a suscité un débat entre les personnes entendues par les rapporteurs.

Plusieurs arguments ont été développés devant les rapporteurs en faveur d’une telle structure. Pour M. Bruno Palier, la multiplication des instances a instauré une concurrence inutile, faute de plateforme de coordination à même de formuler des commandes pertinentes et de veiller à la production de résultats susceptibles d’être traduits en recommandations. Regrettant un manque de coordination qui donne lieu à des évaluations redondantes de certains dispositifs tandis que d’autres ne sont jamais évalués, M. Brice Fabre, économiste à l’Institut des politiques publiques, défend la création d’une instance nationale de l’évaluation, dotée d’un budget annuel et d’une équipe d’experts nommée de manière la plus indépendante possible pour chaque projet. M. Vincent Lahuec voit dans une telle instance le moyen d’importer des techniques d’évaluation renouvelées et de s’extraire des choix gouvernementaux quant aux sujets évalués, et la possibilité d’une véritable programmation annuelle des évaluations. Toutefois, la mise en œuvre des préconisations issues des évaluations suppose une certaine proximité de l’EPP avec les décideurs publics.

Plusieurs intervenants se sont, au contraire, montrés défavorables à la création d’une instance nationale. M. François de Dorlodot (KPMG) a fait valoir que la grande diversité des acteurs, contributeurs très hétérogènes à l’EPP, serait difficile à réunir au sein d’une structure unique. M. Philippe Dole, inspecteur général des affaires sociales, s’est montré très réservé à l’égard d’une quelconque institutionnalisation de l’évaluation, de nature à semer la confusion dans un paysage comportant déjà plusieurs acteurs établis. Ancien coordonnateur de la commission spéciale du développement durable, M. Jean‑René Brunetière s’est également montré hostile à l’idée d’une instance nationale d’évaluation dont l’action serait à la merci de ressources budgétaires non sanctuarisées. Craignant de briser l’actuelle dynamique autour de l’évaluation, M. François Le Couturier, gérant du cabinet-conseil Itinere, a également émis de fortes réserves.

Néanmoins, il y a un consensus pour reconnaître la nécessité de capitaliser les EPP, d’identifier les besoins d’évaluation et de constituer un lieu d’échange entre les acteurs pour mieux coordonner les travaux. Ainsi, Mme Danièle Lamarque regrette la faible capitalisation des évaluations, qui conduit à des redondances sur certains sujets tandis que d’autres ne sont jamais évalués. Dans le même esprit, M. Marc Ferracci souligne que, sans être commanditaire, une instance nationale pourrait porter un regard sur la méthodologie et la qualité des évaluations, les capitaliser et les valoriser.

Afin d’éviter les doublons à l’origine d’une perte d’efficacité, d’énergie et de moyens, la mission d’information sur la simplification législative ([21]) a suggéré l’organisation d’une conférence des évaluateurs, destinée à mieux coordonner les travaux d’évaluation de l’Assemblée nationale, du Sénat, de la Cour des comptes, du Conseil économique, social et environnemental et des corps d’inspection.

Dans ce domaine, il ne faudrait pas passer sous silence l’initiative de la Société française de l’évaluation (SFE), animée par un réseau de professionnels bénévoles, qui est à l’origine de l’Observatoire de l’évaluation. Il  a vu le jour peu après le lancement de la Modernisation de l’action publique, en 2012, avec le soutien du SGMAP. En mettant les EPP recensées à disposition des experts comme du grand public, la SFE contribue à la stratégie du Partenariat pour un gouvernement ouvert que la France a rejoint en 2014. Ce travail gagnerait à être mené de manière plus régulière et plus systématique pour en asseoir la notoriété et faire de cet outil une référence incontournable tant l’enjeu est d’importance. 

Ce besoin d’agrégation des connaissances a été ressenti de la même manière au sein des instances de l’Union européenne. Pour y répondre, la Commission a décidé de créer une base de données interinstitutionnelle qui doit être ouverte à partir de 2018, accessible à la Commission, au Parlement, à la Cour des comptes, mais aussi au CESE et à la Banque européenne d’investissement.

Les rapporteurs sont donc favorables à la création d’un Haut Conseil de l’évaluation des politiques publiques, présidé par une personnalité qualifiée indépendante, et composé des représentants des commanditaires de l’évaluation (Gouvernement, Parlement) et des représentants des évaluateurs (corps dinspection, Cour des comptes, universitaires, cabinets privés, collectifs citoyens).

Il jouerait le rôle d’un observatoire et d’une conférence des évaluateurs et serait chargé de :

– donner une définition de l’EPP partagée par l’ensemble des acteurs, afin de l’inscrire dans un nouveau décret relatif à l’EPP ;

– capitaliser les évaluations en créant une base de données accessible aux évaluateurs et un portail de l’évaluation des politiques publiques permettant un accès aux évaluations par des requêtes simples. Cette capitalisation suppose d’instaurer le principe de publication systématique des rapports d’évaluation et de leur libre accès aux citoyens. Ce principe a vocation à être inscrit dans le nouveau décret relatif à l’évaluation des politiques publiques ;

– identifier et diffuser les bonnes pratiques et élaborer une « boîte à outils » de l’EPP. La complexité des concepts que manie l’EPP et l’importance stratégique qu’elle revêt dans la reconquête de l’opinion publique par le politique et l’administration demandent une montée en compétence des commanditaires d’évaluation et des parties prenantes. Le Haut conseil pourrait élaborer à cette fin une « boîte à outils » de l’EPP, sur le modèle de celle de la Commission européenne ([22]), qui présenterait les objectifs, expliquerait l’opportunité de l’EPP et en détaillerait les méthodes pour l’ensemble du cycle de l’évaluation ;

– coordonner les travaux de recherche sur l’évaluation des politiques publiques, en identifiant l’offre des universités et la demande des administrations, afin de favoriser les partenariats (cf. proposition n° 1) ;

– définir les besoins d’évaluation pour choisir les politiques publiques à évaluer et coordonner l’intervention des acteurs ;

– assurer et rendre public le suivi des recommandations des rapports d’évaluation.

Proposition n° 3 : créer un Haut Conseil de l’évaluation des politiques publiques, présidé par une personnalité qualifiée indépendante, composé des représentants de tous les acteurs de l’évaluation des politiques publiques, et chargé de :

– donner une définition de l’évaluation des politiques publiques, afin de l’inscrire dans un nouveau décret relatif à l’évaluation des politiques publiques

– capitaliser les évaluations en créant une base de données accessible aux évaluateurs et un portail de l’évaluation des politiques publiques permettant un accès par des requêtes simples

– identifier et diffuser les bonnes pratiques, afin de créer une « boîte à outils » de l’évaluation des politiques publiques

– coordonner les travaux de recherche sur l’évaluation des politiques publiques, en identifiant l’offre des universités et la demande des administrations

– définir les besoins d’évaluation pour concourir au choix des politiques publiques à évaluer et coordonner l’intervention des acteurs 

– assurer et rendre public le suivi des recommandations des rapports d’évaluation.


IV.   COMMENT LES PARLEMENTAIRES ÉVALUENT-ILS LES POLITIQUES PUBLIQUES ?

1.   Aujourd’hui, un rôle peu investi faute de temps, de moyens et d’expertise

a.   Un rôle réaffirmé

Depuis plusieurs années, au‑delà du contrôle de l’action du Gouvernement, le Parlement a cherché à se doter de moyens d’évaluer des politiques publiques. L’action des commissions permanentes, ainsi que celle des commissions d’enquête et des missions d’information, a souvent inclus implicitement cette orientation. La mise en place de l’Office parlementaire d’évaluation des politiques publiques ([23]), puis de la Mission d’évaluation et de contrôle (MEC) et, enfin, de la Mission d’évaluation et de contrôle de la sécurité sociale (MECSS) et de l’Office parlementaire d’évaluation des politiques de santé (OPEPS) ([24]) en matière de sécurité sociale et de politiques de santé, a visé à enrichir l’activité d’évaluation des commissions permanentes.

La révision constitutionnelle de juillet 2008 a exprimé dans la loi fondamentale la volonté d’aller plus loin, en donnant explicitement au Parlement la mission d’évaluer les politiques publiques. Elle s’est traduite par la création à l’Assemblée nationale du Comité d’évaluation et de contrôle des politiques publiques (CEC).

Il y a aujourd’hui un consensus – les interventions recueillies lors des tables rondes animées par les rapporteurs l’ont montré – pour reconnaître au Parlement une légitimité dans l’EPP et pour lui donner un rôle central, donc une responsabilité particulière.

Comme l’a fait observer M. Bruno Palier, professeur à l’Institut d’études politiques de Paris, les comparaisons internationales montrent que les pays où l’EPP est la mieux développée et la mieux prise en compte sont ceux où le Parlement dispose d’une agence d’évaluation indépendante dotée de moyens. Mme Katia Hober-Papazian, professeure à l’Institut de hautes études en administration publique (IDHEAP) de Lausanne, établit un lien entre la fonction représentative et la fonction évaluatrice : en tant que représentant des citoyens, le Parlement se doit de chercher à savoir si les interventions publiques répondent aux besoins de la société civile, car c’est le seul acteur qui a la légitimité pour vérifier la pertinence des politiques publiques. Cela donne une responsabilité particulière au Parlement qui doit par conséquent se doter des outils nécessaires pour évaluer les politiques publiques.

b.   Une consécration dans les textes

La France est avec la Suisse un des rares pays à avoir inscrit dans sa loi fondamentale le principe de l’évaluation des politiques publiques par le Parlement.

La mission évaluatrice du Parlement a été consacrée par la réforme constitutionnelle de 2008 : l’évaluation des politiques publiques est devenue une des missions constitutionnelles du Parlement, inscrite à l’article 24 au même titre que le vote de la loi et le contrôle de l’action du Gouvernement. Pour exercer cette mission, le Parlement bénéficie, comme le Gouvernement, de l’assistance de la Cour des comptes. Cette assistance, prévue à l’article 47‑2 de la Constitution, est précisée par l’article L. 132‑6 du code des juridictions financières qui donne la possibilité aux présidents des assemblées de saisir la Cour des comptes de demandes d’évaluation d’une politique publique.

Plusieurs dispositions organiques ou inscrites dans le Règlement de l’Assemblée nationale, dont certaines sont antérieures à la réforme de 2008, viennent préciser la mission évaluatrice du Parlement.

Promulguée en août 2001, la loi organique relative aux lois de finances (LOLF) fait figure de texte précurseur dans la mesure où elle a dépassé la notion – restrictive – de contrôle budgétaire en consacrant celle d’évaluation. Son article 57 donne ainsi aux commissions des finances la responsabilité non seulement de suivre et de contrôler l’exécution des lois de finances, mais également celle de « procéder à lévaluation de toute question relative aux finances publiques ». Cette disposition venait tirer les conséquences de la création en 1999 d’une Mission d’évaluation et de contrôle (MEC) au sein de la commission des finances de l’Assemblée nationale.

Ce dispositif a été étendu aux finances sociales à l’occasion de la modification, intervenue en 2005, de la loi organique relative aux lois de financement de la sécurité sociale. L’article L.O. 111‑9 du code de la sécurité sociale confie ainsi aux commissions des affaires sociales le soin de procéder à l’évaluation de toute question relative aux finances de la sécurité sociale. Cet article s’est traduit par la création d’une Mission d’évaluation et de contrôle des lois de financement de la sécurité sociale (MECSS) au sein des commissions des affaires sociales des deux assemblées.

La création en 2009 du Comité d’évaluation et de contrôle des politiques (CEC) par le Règlement de l’Assemblée nationale a répondu au souhait de disposer d’un organe dédié à l’EPP. Placé sous la présidence du Président de l’Assemblée nationale, le Comité est chargé de réaliser des évaluations de politique publique, à la demande des groupes politiques ou des commissions permanentes ([25]). Son programme annuel fait une place renouvelée à l’opposition, puisque, d’une part, chaque groupe politique peut librement choisir une étude d’évaluation par an, et, d’autre part, chaque sujet est traité par deux co‑rapporteurs, dont un de l’opposition.

La dernière consécration de la fonction évaluatrice du Parlement est intervenue lors de la révision du Règlement de l’Assemblée nationale de 2014. Cette révision a institué une procédure d’évaluation de l’impact de la loi, prévue à l’alinéa 3 de l’article 145‑7 du Règlement et confiée aux commissions permanentes.

c.   Un investissement limité

Les intervenants conviés aux tables rondes animées par les rapporteurs ont unanimement relevé le manque d’implication des parlementaires dans l’EPP.

M. Olivier Rozenberg, professeur à l’Institut d’études politiques de Paris, s’est félicité que le CEC ait résisté à deux alternances, qu’il ait produit des rapports de bonne facture et développé de bonnes pratiques (externalisation d’une partie de l’expertise notamment), mais il a regretté que le travail d’EPP soit désinvesti de la part des parlementaires. Pour Mme Danièle Lamarque, membre de la Cour des comptes européenne, l’implication des parlementaires dans l’évaluation reste encore faible. Par comparaison avec d’autres pays, la fonction de contrôle et d’évaluation est limitée au sein du Parlement français qui est entré tard dans le processus d’évaluation. Si le CEC a inscrit l’évaluation au sein du Parlement, il n’a pas encore produit des résultats significatifs. Les faiblesses ont plusieurs origines : le fait majoritaire, une faible culture de la performance et de l’évaluation, un progrès grâce à la LOLF mais qui reste mal inscrit dans la pratique parlementaire, le fait que le contrôle ne soit pas valorisé dans la fonction parlementaire.

Ces propos confirment la particularité d’une EPP encore très largement dans les mains de l’exécutif.

Dans la typologie qu’il dresse ([26]), M. Antoine Bozio, directeur de l’Institut des politiques publiques, distingue deux conceptions de l’EPP :

– l’évaluation « au service du Prince » réalisée principalement par ses conseillers : les experts sont directement rattachés au Gouvernement et leurs travaux ne font pas l’objet d’une publication systématique ;

– l’évaluation destinée au débat démocratique, c’est-à-dire avant tout au citoyen : dans cette conception, les études menées sont destinées à alimenter le débat public et les instances d’évaluation sont en règle générale rattachées au Parlement.

La France relève évidemment de la première conception : notre pays se caractérise par une très forte concentration des moyens d’expertise entre les mains de l’exécutif. L’évaluation y est majoritairement confiée aux grands corps d’inspection de l’État, et elle n’est pas au cœur de leurs préoccupations qui se concentrent sur la mise en place de l’action publique et le contrôle de gestion, même s’ils sont capables de mener rapidement une mission d’évaluation pour éclairer le ministre auquel ils sont rattachés.

Dans ce contexte, le Parlement demeure tributaire de l’administration, donc du pouvoir exécutif, pour obtenir l’information qu’il souhaite. Le déséquilibre entre les pouvoirs est particulièrement marqué quand il s’agit de tester la validité des scénarios qui lui sont soumis ou de présenter des contre-propositions ayant une incidence non négligeable sur les finances publiques.

Ce constat est partagé par les parlementaires eux‑mêmes. En particulier, M. Régis Juanico a fait observer aux rapporteurs que, selon les estimations élaborées par le Laboratoire interuniversitaire de l’évaluation des politiques publiques (LIEPP), la part du Parlement dans la production d’EPP oscille entre 10 et 20 %. Cette proportion se retrouve dans la part des temps de séance publique que l’Assemblée consacre à l’évaluation et au contrôle, qui se situe entre 10 et 15 %. Le nombre de rapports d’évaluation et les moyens qui y sont consacrés sont relativement faibles et ces travaux ne sont pas assez exploités et valorisés.

d.   Des moyens insuffisants par rapport aux autres Parlements

Mme Danièle Lamarque, membre de la Cour des comptes européenne, a cité devant les rapporteurs une étude conduite en 2013 par le Parlement européen sur les pays de l’Union, selon laquelle la plupart des assemblées parlementaires des États membres disposent d’outils de recherche et d’études qui leur sont propres.

Conduite dans la perspective d’ajuster les moyens alloués aux députés européens au titre des moyens d’expertise, cette étude a en effet examiné la situation de plusieurs Parlements. Ainsi, le Bundestag allemand dispose d’un service d’études auprès duquel les députés peuvent demander des études ou rapports sur des sujets liés aux politiques fédérales. Les députés à la Chambre des communes du Royaume‑Uni peuvent compter sur plusieurs structures : outre les ressources de leur parti et des ministères, ils peuvent solliciter les services de la bibliothèque et des études de la Chambre des communes qui comptent quelque 270 employés.

En dehors de l’Union européenne, l’un des services les plus développés est le Service de recherche du Congrès américain qui compte quelque 600 personnes, sur parmi lesquelles des juristes, des économistes et des bibliothécaires, ainsi que des spécialistes des sciences sociales, naturelles et physiques, et qui était doté, en 2012, d’un budget de plus de 100 millions de dollars.

Steve Jacobs, qui a dressé en 2002 et 2015 un atlas international de l’évaluation ([27]), constate que les Parlements sont souvent à la traîne du mouvement général d’institutionnalisation de l’évaluation, et que rares sont ceux qui se préoccupent de la qualité des évaluations qu’ils commanditent et des méthodes utilisées.

Diffuser une compétence en évaluation au sein du Parlement passe par la mobilisation de moyens de conviction et de sensibilisation. Les rapporteurs sont favorables à la mise en place d’un plan de formation et d’évaluation des parlementaires, qui, en s’appuyant sur les ressources et les savoirs du Haut Conseil de l’évaluation des politiques publiques et sur l’accompagnement de l’agence d’évaluation qu’ils proposent de créer (cf. propositions n° 3 et n° 7), comporterait une campagne de sensibilisation, des outils de formation (un MOOC) et des propositions d’indicateurs de suivi de l’activité évaluative des parlementaires pour éclairer les classements existants.

Proposition n° 4 : former et évaluer les parlementaires, en s’appuyant sur les ressources et les savoirs du Haut Conseil de l’évaluation des politiques publiques et sur l’accompagnement de l’agence d’évaluation (cf. propositions n° 3 et n° 7) :

– lancer une campagne de sensibilisation des parlementaires à l’évaluation

– concevoir des outils de formation des parlementaires à l’évaluation des politiques publiques

– proposer des indicateurs de suivi de l’activité évaluative des parlementaires pour éclairer les classements existants.

2.   Demain, sanctuariser le temps de l’évaluation des politiques publiques au Parlement

La revalorisation de l’évaluation au sein du Parlement suppose d’augmenter le temps consacré à l’évaluation dans le calendrier parlementaire. Deux mesures importantes permettrait d’avancer sur ce point.

a.   L’examen du projet de loi de règlement doit devenir le rendez‑vous annuel de l’évaluation

Depuis près de vingt ans, le Parlement tente de revaloriser la loi de règlement sans y parvenir.

La revalorisation de la loi de règlement était un des corollaires du passage d’une logique de moyens à une logique de résultats et de la généralisation d’une culture de la performance dans la gestion de l’État, impulsées par la réforme de la loi organique relative aux lois de finances (LOLF) de 2001. La LOLF a en effet profondément revu le contenu du projet de loi de règlement qui est désormais accompagné de « rapports annuels de performances », conçus en miroir des « projets annuels de performances » annexés au projet de loi de finances, et destinés à rendre compte des résultats des dépenses de l’État. L’examen du projet de loi de règlement devait ainsi devenir un moment clé des débats budgétaires.

Force est de constater que cet objectif a été très largement perdu de vue.

Le déséquilibre reste en effet frappant entre les semaines entières qui sont consacrées à l’examen du projet de loi de finances initiale – pour la modification de laquelle les parlementaires disposent au final de faibles marges de manœuvre – et les quelques heures qui sont prévues pour l’examen du projet de loi de règlement. Ce déséquilibre est une spécificité française : dans la plupart des autres pays, les parlementaires consacrent beaucoup plus de temps à l’exécution budgétaire qu’aux budgets initiaux.

Cette mauvaise répartition du temps parlementaire consacré aux débats budgétaires a notamment été dénoncée en 2013 par MM. François Cornut‑Gentille et Régis Juanico, lors d’une mission que leur avait confiée le Président de l’Assemblée nationale, M. Claude Bartolone. Cette mission a conclu que l’examen du projet de loi de règlement reste un exercice très formel qui ne permet pas d’appréhender de manière efficiente les résultats de l’exécution budgétaire au travers des rapports annuels de performances. Malgré l’entrée en application de la LOLF en 2006 et les tentatives menées pour donner du relief au débat, cet examen est très rapide et ne mobilise que les membres de la commission des finances. La procédure législative se révèle inadaptée à un texte peu amendable sur le fond et dont les données ont été validées par la Cour des comptes à travers la certification des comptes de l’État.

Cantonné à une discussion entre spécialistes, le débat sur le projet de loi de règlement s’inscrit par ailleurs dans un calendrier contraint, car il est désormais de tradition de lui faire succéder le débat d’orientation des finances publiques. Le retrait des commissions permanentes du débat sur le projet de loi de règlement est patent : malgré les espoirs des auteurs de la LOLF, seuls le rapporteur général et les rapporteurs spéciaux produisent un rapport sur ce texte. D’une manière générale, depuis 2006, les ordres du jour des commissions permanentes autres que celle des finances traduisent une faible implication des députés sur les résultats de l’exécution budgétaire.

Les rapporteurs sont convaincus que seule une modification substantielle des pratiques permettra de mettre fin aux échecs successifs des tentatives de revalorisation de ce texte d’une nature particulière. Cette réforme passe par deux mesures principales :

– le temps dédié au débat sur le projet de loi de règlement doit être sanctuarisé. Comme le montre le rapport du groupe de travail sur les moyens de contrôle et d’évaluation du Parlement ([28]), cette sanctuarisation passe par l’inscription dans la Constitution d’un nombre de jours de séance incompressibles consacrés à l’examen du projet, nombre que le groupe de travail propose de fixer à vingt jours pour l’Assemblée nationale et à quinze jours pour le Sénat ;

– le débat sur le projet de loi de règlement doit être centré sur l’évaluation des résultats de quelques politiques publiques, en lien avec le budget de lÉtat – objet même de la loi de règlement – et ayant fait l’objet de travaux d’évaluation ex post. Ce débat pourrait être préparé par la rédaction de rapports d’information confiés aux commissions concernées par les politiques évaluées.

Proposition n° 5 : revaloriser le débat sur le projet de loi de règlement :

– en lui réservant un temps de séance publique sanctuarisé

– en le centrant sur l’analyse des résultats de politiques publiques ayant fait l’objet d’une évaluation ex post.

b.   Les semaines de contrôle en séance publique doivent être réorganisées

Depuis la révision constitutionnelle de 2008, l’ordre du jour des assemblées est établi en conférence des présidents par séquences de quatre semaines, dans le respect des priorités définies par l’article 48 de la Constitution.

Afin d’assurer au pouvoir exécutif la possibilité de mettre en œuvre dans des délais raisonnables les réformes législatives qu’il estime primordiales, une fraction d’ordre du jour, dans la limite de deux semaines de séance sur quatre, a été préservée au bénéfice exclusif du Gouvernement. Le Gouvernement a la faculté de déterminer les projets et propositions de loi qu’il désire voir figurer à l’ordre du jour de ces deux semaines et de fixer l’ordre dans lequel ils seront examinés. Sur cette liste de textes et sur cet ordre, ni la Conférence des présidents, ni l’Assemblée n’ont à se prononcer.

Chaque assemblée fixe l’ordre du jour des deux semaines restantes. L’une de ces deux semaines est consacrée à l’examen des textes qu’elle souhaite voir débattus. L’autre est dédiée au contrôle de l’action du Gouvernement et à l’évaluation des politiques publiques, chaque groupe d’opposition ou minoritaire ayant droit à l’inscription d’un sujet d’évaluation et de contrôle de son choix. Les semaines de contrôle ne sont cependant réservées à des activités de contrôle ou d’évaluation que par priorité, ce qui laisse à l’assemblée concernée la possibilité de consacrer tout ou partie de l’ordre du jour à l’examen de textes législatifs.

Les semaines de contrôle n’ont pas encore trouvé leur place. Elles sont toujours susceptibles d’être préemptées, au moins en partie, par des débats législatifs étrangers au contrôle ou à l’évaluation, faculté que les majorités successives ont toujours utilisée. Selon l’évaluation menée par le LIEPP, seuls 15 à 20 % du temps total de séance publique n’est pas consacré à légiférer à l’Assemblée nationale comme au Sénat. À l’Assemblée, les semaines de contrôle et d’évaluation représentent en moyenne annuelle 13 % des séances organisées et 9 % du temps de réunion en séance.

Les rapporteurs sont donc favorables à la proposition, émise par le rapport de décembre 2017 du groupe de travail sur les moyens de contrôle et d’évaluation du Parlement ([29]), de consacrer ces semaines exclusivement, et non plus par priorité, à ces activités ou à leurs suites législatives. Cette proposition suppose une modification de l’article 48 de la Constitution.

Pour permettre au Parlement de suivre l’exécution du programme annuel d’expérimentations et d’évaluation de politiques publiques du Gouvernement (cf. proposition n° 2), celui‑ci pourrait, à l’occasion des semaines de contrôle, faire une déclaration sur l’état d’avancement de son programme. En outre, l’article 47‑2 du Règlement de l’Assemblée nationale, qui prévoit actuellement que les instances de contrôle ou d’évaluation communiquent à la Conférence des présidents leur programme de travail, pourrait être complété pour prévoir une communication sur l’exécution de ce programme de travail.

Enfin, les rapporteurs proposent que, sur le modèle de la priorité donnée aux questions européennes par l’alinéa 8 de l’article 48 du Règlement de l’Assemblée ([30]), une séance de la semaine de contrôle soit spécifiquement réservée par priorité à l’évaluation des politiques publiques.

Proposition n° 6 : revoir l’organisation des semaines de contrôle :

– consacrer une semaine de séance publique sur quatre exclusivement au contrôle de l’action du Gouvernement et à l’évaluation des politiques publiques ou à leurs suites législatives

– prévoir, lors des semaines de contrôle, une déclaration du Gouvernement sur l’état d’avancement de son programme d’expérimentations et d’évaluation de politiques publiques

– prévoir une communication à la Conférence des présidents de l’exécution du programme de travail des instances de contrôle ou d’évaluation de chaque assemblée

– au sein de chaque semaine de contrôle, réserver par priorité une séance à l’évaluation des politiques publiques.

3.   Plus de moyens d’expertise : pour une agence d’évaluation au service du Parlement

a.   Les bonnes pratiques observées dans les Parlements étrangers

Les Parlements les plus avancés en matière d’EPP ont instauré des structures d’évaluation indépendantes.

Les Parlements les plus souvent montrés en exemple sont ceux du Royaume‑Uni, des États‑Unis et de la Suisse. Les expériences britannique et américaine ne sont pas intégralement transposables à la France, car une partie des compétences exercées par les agences anglo‑saxonnes recouvre celles de la Cour des comptes française. Pour autant, elles révèlent une culture parlementaire de l’évaluation dont notre pays pourrait s’inspirer. Même si elle est plus modeste dans les moyens déployés, l’expérience suisse a l’avantage d’être plus proche du contexte institutionnel français et fait partie des bonnes pratiques reconnues en matière d’EPP parlementaire. Le Parlement européen a, pour sa part, développé une structure axée sur l’évaluation ex ante.

Ces différentes expériences sont décrites dans les encadrés ci‑dessous.

Le NAO britannique

Le National Audit Office (NAO) est une instance indépendante chargée de réaliser trois types de contrôle ou d’évaluations :

– des audits financiers : contrôle de la sincérité, de la fidélité et de la régularité des dépenses des ministères et des autres organismes publics du Gouvernement, dont il certifie les comptes. En France cette mission est assurée par la Cour des comptes ;

– des audits Value for money : mesure de l’efficience et de l’efficacité des dépenses publiques sous la forme d’évaluation de performance pouvant donner lieu à des recommandations, dans la perspective d’une amélioration du fonctionnement des services publics et de la réalisation d’économies. 60 rapports par an mobilisant environ 200 personnes sont réalisés au titre des audits Value for money ;

– des évaluations portant sur la gouvernance.

Les rapports du NAO sont systématiquement transmis à la Commission de contrôle des comptes publics de la Chambre des communes. Le NAO est placé sous l’autorité d’un contrôleur et vérificateur général, nommé sur proposition conjointe du Premier ministre et du président de la Commission de contrôle des comptes publics de la Chambre des communes. Il dispose de quelque 800 personnes (essentiellement experts comptables).

 

Les GAO et CBO américains

Le Government Accountability Office (GAO) :

Le GAO évalue l’efficacité des politiques et des administrations fédérales à la demande des membres du Congrès dont il dépend exclusivement et auquel il fournit quelque 1 000 rapports par an. Il veille à la bonne exécution des programmes, contrôle l’adéquation des résultats aux objectifs prévus et émet des orientations de nature à améliorer l’efficacité des services de l’exécutif. Il s’appuie sur un guide méthodologique présentant cinq étapes : comprendre les objectifs d’un programme, identifier des questions pertinentes, définir une méthode pour traiter chaque question, identifier les sources d’information et les modalités de leur collecte, développer une démarche d’analyse des données.

Ses recommandations, destinées à améliorer l’efficacité de l’action du Gouvernement dans une logique de moindre coût, servent de base aux agences de l’exécutif qui rendent compte de leur action au Congrès.

Le GAO compte quelque 3 000 agents parmi lesquels des scientifiques, des chercheurs en sciences sociales, des informaticiens, des avocats et des experts de différentes disciplines. Il dispose de bureaux dans 11 grandes villes du pays. Il est dirigé par un contrôleur général nommé pour 15 ans par le Président des États‑Unis à partir d’une liste de candidats proposés par le Congrès.

Le Congressional Budget Office (CBO) :

Le CBO est une agence du Congrès qui réalise des évaluations économiques et budgétaires ex ante des programmes dans une perspective de contrôle des dépenses publiques.

Chaque année, le CBO, qui peut être saisi par chaque parlementaire, produit plusieurs dizaines de rapports dont le plus connu concerne le budget et les perspectives économiques qui inclut des projections budgétaires et économiques. Il réalise aussi de nombreuses estimations de coût des projets de loi, ainsi que des amendements et des propositions parlementaires.

Le CBO emploie plus de 200 agents parmi lesquels de nombreux économistes et analystes budgétaires.

 

Le CPA suisse

Créé en 1990, le CPA (Contrôle parlementaire de l’administration) est un organe spécialisé chargé d’effectuer, sur mandat des commissions parlementaires, des évaluations portant sur les résultats et les performances des politiques et des services publics.

Les missions du CPA :

Le CPA est un organe d’expertise scientifique qui travaille de manière totalement indépendante. Il intervient sur saisine des commissions parlementaires (principalement les Commissions de gestion – CdG –) des deux chambres du Parlement suisse, pour réaliser des évaluations de l’efficacité des mesures prises par les autorités fédérales. Il contrôle, sur mandat des CdG, la qualité des évaluations demandées par l’administration fédérale et leur prise en compte dans les processus décisionnels. Il établit à l’intention des CdG des exposés explicatifs succincts sur des questions spécifiques et soutient les CdG dans le suivi d’évaluations antérieures.

Les rapports remis par le CPA ne peuvent être modifiés par les commissions parlementaires auxquelles il revient, dans le cadre de leur propre rapport, de porter une apréciation politique des résultats de l’évaluation et de formuler des recommandations à l’attention du Gouvernement. Les rapports du CPA ne comportent pas de recommandations.

Lorganisation du CPA :

Entité pluridisciplinaire constituée de personnels scientifiques (6 emplois), le CPA peut interroger directement tous les services de la Confédération et obtenir d’eux tous les documents dont il a besoin, le secret professionnel ne lui est pas opposable. Le CPA peut également recourir aux services d’experts externes à l’administration.

Il coordonne ses activités avec celles des autres organes de contrôle de la Confédération et entretient des contacts avec les universités, les instituts de recherche privés et les organes publics d’évaluation suisses ou étrangers.

Le déroulement des évaluations conduites par le CPA :

– Le choix des thèmes : sont retenus chaque année deux à cinq sujets parmi les propositions faites par les membres du CPA, des CdG et d’autres commissions parlementaires. À ce stade, le CPA évalue lopportunité et la faisabilité des propositions.

– La définition du mandat : le CPA rédige un projet avec un aperçu des problématiques à traiter et propose plusieurs approches permettant ensuite aux commissions parlementaires de définir le mandat d’évaluation confié au CPA.

– La réalisation de l’évaluation : le CPA définit les questions, les critères, les méthodes utilisées en sciences économiques et sociales qui vont lui permettre de répondre aux questions évaluatives. Les données recueillies sont analysées sur la base des critères préalablement définis. Au terme de ses travaux, le CPA remet un rapport qui résume les résultats les plus importants, complété par une annexe détaillée qui contient toutes les informations et données sur lesquelles repose l’évaluation.

– L’utilisation des travaux du CPA par les commissions parlementaires : les commissions parlementaires tirent des conclusions politiques en rédigeant leur propre rapport dans lequel elles formulent des recommandations. Les rapports du CPA et de la commission parlementaire sont publiés simultanément, sur décision de cette dernière.

– Le suivi : deux à cinq ans après la publication du rapport, les commissions parlementaires demandent au Gouvernement de leur donner des indications sur la mise en œuvre des recommandations. Le CPA peut apporter son concours aux commissions parlementaires pour apprécier les effets des réformes conduites.

 

La direction de l’évaluation d’impact et de la valeur ajoutée européenne
du Parlement européen

Le Parlement européen a créé en janvier 2012 une structure autonome dédiée aux évaluations. Placée au sein de la direction générale des services de recherche parlementaire et dotée d’une soixantaine d’agents, la direction de l’évaluation d’impact et de la valeur ajoutée européenne travaille pour toutes les commissions parlementaires. Elle regroupe notamment trois unités : l’unité d’évaluation de la valeur ajoutée européenne, l’unité de l’évaluation ex ante,  et l’unité d’évaluation ex post.

En matière d’évaluation ex ante, elle a deux fonctions principales :

– évaluer les études d’impact qui accompagnent les propositions de la Commission, les compléter ou les reprendre si nécessaire. L’exécutif européen s’est engagé à fournir une synthèse de deux pages de son étude d’impact mais cela ne suffit pas à éclairer les parlementaires. Il faut donc compléter, et, pour ce travail, l’unité de l’évaluation ex ante préfère faire appel à des généralistes capables de vérifier si les lignes directrices de la Commission ont été respectées et si son approche était ou non biaisée. L’unité peut commanditer une analyse plus détaillée soit sur des points précis, soit sur la qualité même de l’étude d’impact, et s’adresse alors souvent à des experts extérieurs. Elle se charge également de faire ou de faire faire l’étude d’impact quand la Commission n’a pas eu le temps de l’établir, en dépit de l’accord inter-institutionnel ;

– évaluer l’impact des amendements substantiels déposés par les parlementaires.

L’évaluation ex post s’est révélée plus difficile à développer. Les interlocuteurs que les rapporteurs ont rencontrés au Parlement européen ont rappelé que les clauses d’évaluation inscrites dans la législation constituent la condition sine qua non de la réalisation de l’évaluation ex post. Or, au‑delà de l’écueil que représente la collecte d’une information fiable dispersée dans les États membres, celle‑ci se heurte au décalage entre la durée de la mandature et le temps de l’évaluation.

b.   La particularité du cas français

Le Parlement français ne dispose pas encore d’une instance d’évaluation autonome susceptible d’établir une séparation entre le commanditaire « maître d’ouvrage » et l’évaluateur « maître d’œuvre ».

Cette situation est perçue par plusieurs observateurs comme une entorse au principe d’indépendance de l’évaluateur, ce qui a conduit M. Bernard Perret, ancien coordonnateur de la mission d’appui à l’évaluation du Conseil général de l’environnement et du développement durable, et M. Marc Ferracci, professeur à l’université de Panthéon‑Assas, à conclure l’un et l’autre devant les rapporteurs que le rôle des parlementaires ne devrait pas être de réaliser eux‑mêmes les évaluations, mais de les commanditer, d’en définir les objectifs et d’en diffuser les résultats auprès des citoyens.

Les deux assemblées ont néanmoins développé des pratiques intéressantes qui vont dans le sens du recours à une expertise indépendante.

Au même titre que le Parlement, la Cour des comptes a vu sa mission constitutionnelle s’étoffer, en droit sinon en fait, à l’occasion de la révision constitutionnelle de juillet 2008 : aux termes de son article 47‑2, « Elle assiste le Parlement et le Gouvernement […] dans lévaluation des politiques publiques ».

La loi n° 2011‑140 du 3 février 2011 tendant à renforcer les moyens du Parlement en matière de contrôle de l’action du Gouvernement et d’évaluation des politiques publiques a ultérieurement précisé dans le code des juridictions financières la portée de cette disposition constitutionnelle. En particulier, l’article L. 132‑6 donne la possibilité aux présidents de chaque assemblée de commander des évaluations de politique publique à la Cour des comptes. Ainsi, depuis 2012, le CEC confie à la juridiction financière deux évaluations par an.

En outre, la Cour, sans avoir fait le choix – à la différence, donc, de l’Assemblée – de créer en son sein une entité spécifiquement chargée de conduire les évaluations de politiques publiques, a adapté ses normes professionnelles à sa nouvelle mission.

Concrètement, la mission d’assistance de la Cour aux besoins spécifiques du CEC se déroule selon le schéma suivant :

– l’établissement d’une feuille de route définie par les rapporteurs du CEC en accord avec les membres de la Cour des comptes chargés de l’évaluation ;

– la réalisation de l’évaluation ou, le cas échant, de l’enquête évaluative, par la Cour, selon sa propre procédure et la présentation devant le CEC, par le Premier président, des conclusions des travaux de la Cour ;

– l’établissement par les rapporteurs du CEC de leurs propres conclusions, à partir de celles de la Cour et de leurs travaux complémentaires autonomes, le tout donnant lieu à la publication d’un rapport sous le timbre du CEC comprenant en annexe la contribution de la Cour des comptes.

Le CEC a également recours à des marchés pour la commande d’évaluations externes.

Ainsi, ont été réalisées, en 2015, une étude relative à l’impact de la carte scolaire sur la mixité sociale des établissements d’enseignement, et, en 2016, une évaluation du non‑recours aux minima sociaux et aux soins des personnes en situation de précarité sociale. Ces deux études illustrent bien l’apport d’une expertise extérieure. En l’occurrence, dans les deux cas, le volet quantitatif de l’étude demandée comprenait la mise au point d’outils statistiques ad hoc présentés dans les encadrés suivants.

Évaluation de l’impact de la carte scolaire sur la mixité sociale des établissements d’enseignement : création d’un indice statistique pour le CEC

Dans le cadre de la mission qui lui avait été confiée par le CEC pour évaluer l’impact de la carte scolaire sur la mixité sociale des établissements d’enseignement dans deux agglomérations, le cabinet prestataire a eu recours aux services de deux experts statisticiens afin de créer, pour les besoins propres du CEC, un indice statistique particulier.

Il s’agit d’un indice original conçu pour mesurer l’écart de mixité sociale entre un établissement et son quartier d’implantation, dénommé « indice d’écart normalisé ». Plus précisément, cet indice exprime un écart de composition en pourcentage entre ces éléments. L’échelle géographique retenue est celle du grand quartier, au sens de l’INSEE. L’appréciation de la composition sociale s’appuie sur un découpage de la population en quatre catégories : A (très favorisée), B (favorisée), C (moyenne) et D (très défavorisée).

L’indice d’écart normalisé teste l’existence de liens entre la composition sociale des grands quartiers et celle des établissements d’enseignement qu’ils hébergent. L’encadré suivant en précise les modalités de calcul et d’interprétation.

 

Évaluation de l’accès aux droits sociaux et mesure du non-recours aux prestations : une modélisation des taux de couverture par département

Les rapporteurs du CEC chargés de l’évaluation de l’accès aux minima sociaux et aux soins souhaitaient disposer d’une méthode permettant de mesurer localement le non‑recours à ces prestations dans deux départements, c’est‑à‑dire l’écart entre la population bénéficiaire de ces prestations et la population éligible. Ils ont mandaté un cabinet prestataire à cette fin.

Devant le manque de données de terrain directement disponibles, l’experte statisticienne recrutée par le prestataire pour les besoins de cette analyse quantitative a mis au point un modèle de régression linéaire permettant d’estimer l’ampleur du phénomène de non-recours par département métropolitain et par prestation, à partir d’une comparaison entre le taux de couverture ([31]) de cette prestation dans le département considéré et le taux de couverture attendu ou théorique pour ce département, compte tenu de ses caractéristiques socio-démographiques.

Outre le volet quantitatif, les études commandées comprennent un important volet qualitatif, détaillé dans les documents constitutifs de l’appel d’offres, qui se traduit par des entretiens sur le terrain avec toutes les parties prenantes de la politique évaluée, que ce soit sous la forme de rendez‑vous individuels, d’enquêtes en ligne, de focus groups ou de toute autre technique appropriée proposée par le prestataire et approuvée par les rapporteurs au cas par cas.

Créée en 2014, la Délégation aux entreprises est chargée d’informer le Sénat sur la situation et les perspectives de développement des entreprises, de recenser les obstacles à leur développement et de proposer des mesures visant à favoriser l’esprit d’entreprise et à simplifier les normes applicables à l’activité économique. Dans le cadre de ses activités, la délégation a procédé, sur la période récente, à plusieurs analyses d’impact.

Au printemps 2015, elle a lancé un marché pour la réalisation d’études d’impact portant sur des dispositions législatives à venir concernant les entreprises. Les études demandées concernaient soit des articles de projets de loi soumis au Sénat (délai d’étude de 4 à 10 semaines), soit de propositions de loi à l’initiative de la délégation (délai d’étude de 16 semaines). Dans le cadre de ce marché, deux études décrites ci‑dessous ont été réalisées.

Étude sur la proposition de loi relative au devoir de vigilance des sociétés mères
et des entreprises donneuses d’ordre

Ce texte instaure une obligation de vigilance des sociétés mères à l’égard de leurs filiales, de leurs sous-traitants et de leurs fournisseurs. L’objet est d’empêcher la survenance de dommages portant atteinte aux droits humains et à l’environnement et d’obtenir des réparations pour les victimes.

Avant la deuxième lecture de ce texte devant le Sénat – qui l’avait rejeté en première lecture –, la Délégation a demandé au prestataire des statistiques descriptives permettant :

– d’identifier et caractériser les entreprises ainsi que le nombre d’emplois concernés ;

– d’analyser la nature et le nombre des filiales et sous-traitants localisés à l’étranger et de caractériser les risques pour ces activités.

Les auteurs de cette étude, présentée le 27 septembre 2016, ont fondé leurs travaux sur des données issues du répertoire SIRENE (répertoire des entreprises), de la base LIFI / ESANE (données sur les liaisons financières entre les entreprises), de l’enquête CAM (recours à des filiales et des sous-traitants étrangers), et de l’enquête européenne OFATS (échanges et activités à l’étranger des groupes et leurs échanges internationaux).

S’il était impossible de réaliser une étude d’impact précise de la proposition de loi en raison de la difficulté d’évaluation des effets de la complexité juridique sur l’emploi ou sur l’activité économique, les auteurs ont conclu que la proposition de loi concernait une forte part de l’emploi salarié en France (près de 30 %), et des entreprises qui réalisent plus de 50 % de leur chiffre d’affaires à l’exportation, un périmètre assez large d’entreprises, principalement dans le secteur industriel, et des emplois plutôt basés dans les grands centres d’emploi.

 

Étude d’impact prospective sur les effets attendus de quatre réformes
relatives à la transmission d’entreprise en France dans le cadre du rapport
de la Délégation aux entreprises, « Moderniser la transmission d’entreprise en France : une urgence pour l’emploi dans nos territoires » (n° 440 - février 2017)

Cette étude, réalisée en trois mois et présentée le 8 novembre 2016 devant la Délégation aux entreprises, avait pour objet d’évaluer les effets de quatre projets de réforme tendant à favoriser la reprise et la transmission d’entreprises.

Les auteurs de l’étude se sont appuyés sur de nombreuses études et baromètres parus notamment dans le Bulletin officiel des annonces civiles et commerciales (BODACC), les études réalisées par les syndicats interprofessionnels des conseils en fusion-acquisition, celles de la direction générale du Trésor, les études régulièrement publiées par le groupe BPCE l’Observatoire (Banque Populaire - Caisse d’Épargne) sur les transmissions d’entreprise et une étude spécifique de l’Unedic sur l’impact du dispositif d’aide à la reprise ou à la création d’entreprise. D’autres données n’ont pas été accessibles comme les données retraitées par le cabinet Altarès pour le cabinet du Premier ministre.

La délégation a également lancé un appel d’offres pour réaliser une étude sur la réforme du prélèvement à la source de l’impôt sur le revenu. Réalisée par des avocats fiscalistes et des économistes, l’étude a porté sur le coût de la réforme pour les entreprises.

c.   Doter le Parlement d’une agence d’évaluation autonome

L’ensemble des intervenants aux tables rondes animées par les rapporteurs sont tombés d’accord sur la nécessité de doter le Parlement d’une structure de recherche et d’étude autonome. Cette structure doit être en mesure d’apporter au Parlement des compétences humaines et des moyens financiers pour qu’il dispose de la capacité d’évaluer les politiques publiques de manière indépendante et qu’il occupe ainsi une place charnière entre l’évaluation et la prise de décision.

Les rapporteurs proposent donc de doter le Parlement d’une agence d’évaluation sur laquelle les instances chargées d’une mission d’évaluation – à l’Assemblée nationale, il s’agit des commissions, du CEC, des délégations et de l’OPECST – auraient un droit de tirage. Cette proposition permettrait d’établir une séparation entre l’évaluateur (l’agence en question) qui dans un premier temps remettrait son étude, et le commanditaire (l’instance parlementaire qui a passé commande) qui en tirerait dans un second temps des conclusions politiques dans son propre rapport. Les parlementaires auraient ainsi la responsabilité de travailler avec une équipe d’évaluateurs et d’apporter leurs compétences politiques.

Dotée de crédits d’études, cette agence serait une structure autonome rattachée au Parlement, issue principalement du monde académique et composée :

– d’un conseil scientifique reflétant la diversité des disciplines relevant de l’évaluation des politiques publiques, désigné pour une durée limitée ;

– d’une équipe d’experts regroupant des compétences pluri-disciplinaires (économistes, sociologues, statisticiens, scientifiques, data-scientists, spécialistes de la démocratie participative…), recrutée par appels d’offres pour une durée limitée. Ces experts pourraient être soit des fonctionnaires détachés, soit des contractuels.

Cette agence serait compétente à la fois pour l’évaluation ex ante et pour l’évaluation ex post. Ex ante, elle serait chargée de réaliser, à la demande des commissions saisies au fond, la contre-expertise des études d’impact des projets de loi déposés par le Gouvernement et l’évaluation de l’impact des propositions de loi inscrites à l’ordre du jour et des amendements substantiels. S’agissant de l’évaluation ex post, elle aurait pour fonctions d’établir la faisabilité des demandes émises par les instances disposant d’un droit de tirage, de proposer une méthode d’évaluation et de faire réaliser l’évaluation en interne ou par un prestataire extérieur.

En outre, cette agence serait chargée de renforcer les compétences des parlementaires, de leurs collaborateurs et des services des assemblées, en développant des formations à l’évaluation et des outils d’aide à la décision pour définir le programme d’évaluations et choisir les méthodes.

Pour fonctionner, cette agence doit pouvoir accéder aux données du Gouvernement et aux outils nécessaires pour exploiter ces données. Comme l’a expliqué aux rapporteurs M. Pascal Rivière, chef de l’inspection générale de l’INSEE, ces données et ces outils sont de nature différente selon que l’on se situe ex post ou ex ante :

– ex post, l’information est déjà disponible et il faudra y avoir accès afin de mesurer les effets des politiques publiques par comparaison à un groupe témoin, dont il conviendra de vérifier la représentativité et l’absence de biais ;

– ex ante, on se situe dans la modélisation, ce qui supposera d’avoir accès à deux types de modèles :

À cette fin, il serait nécessaire de doter l’agence de pouvoirs comparables à ceux des rapporteurs des commissions d’enquête : possibilité d’exercer leurs missions sur pièces et sur place et d’obtenir tous les renseignements nécessaires de nature à faciliter ces missions ; habilitation à se faire communiquer tout document de service, à l’exception de ceux revêtant un caractère secret, concernant la défense nationale, les affaires étrangères, la sécurité intérieure ou extérieure de l’État, et sous réserve du respect du principe de la séparation de l’autorité judiciaire et des autres pouvoirs. Comme l’a montré le rapport du groupe de travail sur les moyens de contrôle et d’évaluation de décembre 2017 ([32]), il sera sans doute nécessaire d’introduire dans la Constitution une disposition généralisant l’attribution de ces pouvoirs à l’ensemble des instances parlementaires chargées d’une mission d’évaluation.

Rôle de l’agence d’évaluation dans le travail parlementaire

G:\01 évaluations en cours\Évaluation politiques publiques\rapport\shema agence VP image.png

Proposition n° 7 : doter le Parlement d’une agence d’évaluation autonome, disposant de pouvoirs d’enquête et chargée de :

– à l’initiative des commissions saisies au fond : contre-expertiser les études d’impact accompagnant les projets de loi et évaluer l’impact des propositions de loi inscrites à l’ordre du jour et des amendements substantiels

– à l’initiative des instances de contrôle ou d’évaluation : établir la faisabilité des demandes d’évaluation ex post, en proposer la méthode et en assurer la réalisation en interne ou par recours à un prestataire extérieur

– promouvoir la compétence en évaluation au sein du Parlement, en développant des programmes et des outils de formation à destination des parlementaires, de leurs collaborateurs et des services des assemblées.

La proposition avancée par le Président de l’Assemblée nationale, M. François de Rugy, de rattacher France Stratégie au Parlement permettrait d’atteindre le but recherché par les rapporteurs.

Comme le montre l’encadré ci‑dessous, hors organismes associés, le Commissariat général à la stratégie et à la prospective était doté en 2016 d’un budget de 12,5 millions d’euros (montant exécuté en 2016), dont 8,5 millions d’euros de dépenses de personnel et 4 millions d’euros de dépenses de fonctionnement, notamment pour financer des études. Le nombre de ses emplois budgétaires était de 95,8 EPT au 31 décembre 2016, dont une quarantaine d’experts permanents et une quinzaine de conseillers scientifiques.

France Stratégie a d’ores et déjà une expérience dans l’évaluation de mesures législatives, puisqu’elle est chargée de l’évaluation du crédit d’impôt compétitivité emploi (CICE) depuis 2015, du crédit d’impôt recherche (CIR) depuis 2016 et, depuis 2017, des mesures contenues dans les ordonnances réformant le code du travail.

France Stratégie et son réseau

● Les missions :

Héritière du Commissariat au Plan fondé en 1946, France Stratégie est un organisme de réflexion, d’expertise et de concertation, autonome, rattaché au Premier ministre. Chargée d’inventer les politiques publiques de demain et d’animer le débat public, France Stratégie a quatre missions :

– évaluer les politiques publiques par l’analyse et la production de diagnostics ;

– débattre avec des parties prenantes issues de la recherche, de la sphère publique, des partenaires sociaux et de la société civile ;

– anticiper les défis et les mutations par l’élaboration de scénarii de moyen et long terme ;

– renouveler le débat et l’action publics.

 

● Les organismes associés :

France Stratégie travaille en réseau avec sept organismes associés à compétences sectorielles :

– le Conseil d’analyse économique (CAE), constitué d’économistes universitaires et de chercheurs reconnus qui réalisent des analyses économiques ;

– le Centre d’études prospectives et d’informations internationales (CEPII) qui  produit études, recherches, bases de données et analyses sur les grands enjeux de l’économie mondiale ;

– le Conseil d’orientation pour l’emploi (COE), lieu de débat entre les principaux acteurs du marché du travail qui a pour objectif d’établir des diagnostics et de formuler des propositions de réforme ;

– le Conseil d’orientation des retraites (COR) dans le cadre duquel s’organise la concertation entre les principaux acteurs du champ des retraites, qui suit l’évolution des régimes et fait des propositions pour assurer leur solidité financière et leur fonctionnement solidaire ;

– le Haut Conseil pour l’avenir de l’assurance maladie (HCAAM), instance de réflexion et de propositions portant sur les évolutions envisageables des politiques d’assurance maladie ;

– le Haut Conseil de la famille, de l’enfance et de l’âge (HCFEA) qui apporte aux pouvoirs publics une expertise prospective sur les questions liées à la famille et à l’enfance et à l’adaptation de la société au vieillissement ;

– le Haut Conseil du financement de la protection sociale (HCFi-PS), chargé d’établir un état des lieux du système de financement de la protection sociale et de formuler des propositions d’évolution.

En 2018, France Stratégie accueillera en outre le Conseil national de la productivité prévu dans chaque État membre de la zone euro par le Conseil européen du 20 septembre 2016.

● Organisation et moyens :

Par le décret du 24 mars 2017, France Stratégie a vu ses règles de fonctionnement actualisées. Ce décret prévoit d’une part qu’une charte, approuvée par le Premier ministre, précise les principes établissant l’autonomie et la responsabilité éditoriale de l’institution et, d’autre part, la coordination du réseau des organismes associés autour d’une programmation annuelle des travaux.

France Stratégie est composée d’une équipe de plus de 40 experts permanents (économistes, juristes, ingénieurs, sociologues, politistes…), de 15 conseillers scientifiques qui travaillent au sein de quatre départements sectoriels, et de 20 agents affectés aux fonctions support (RH, finances, affaires intérieures et archives).

Le budget exécuté de France Stratégie et de son réseau pour 2016 est retracé dans le tableau suivant.

Source : réponse au questionnaire du rapporteur spécial des crédits des services du Premier ministre – projet de loi de finances pour 2018


V.   MIEUX ÉVALUER, QU’EST-CE QUE CELA SIGNIFIE ?

1.   Créer un cercle vertueux de l’évaluation

L’EPP recouvre des temporalités variées. On distingue en effet trois grandes catégories d’évaluation, ex ante, in itinere, ex post :

– l’évaluation ex ante est une évaluation prospective, avant même l’élaboration d’un dispositif, et qui a pour objectif d’en apprécier a priori les effets. Il s’agit de formuler un diagnostic de départ, de prévoir l’adéquation aux besoins du dispositif envisagé, et de définir les référentiels et les outils de mesure qui permettront d’apprécier le degré de réalisation des objectifs ;

– l’évaluation in itinere ou évaluation intermédiaire est effectuée tout au long du déroulement d’une politique, d’un programme, d’une action. Instrument de pilotage, elle vise à s’assurer que l’on reste bien sur la trajectoire prévue et propose d’éventuelles actions correctives en termes de cohérence et de pertinence, ainsi que les premières appréciations sur l’efficacité de la politique considérée. L’évaluation intermédiaire porte sur un moment précis, fournit en quelque sorte une photographie, un bilan de la politique examinée ;

– l’évaluation ex post est effectuée a posteriori, à la fin ou après la fin d’une action publique. Il s’agit d’une étude qui vise à tirer rétrospectivement les enseignements d’une politique parvenue à maturité, à mesurer les impacts globaux d’un dispositif étudié et suffisamment ancré dans le temps pour permettre le travail d’évaluation. Ce type d’évaluation permet aussi d’apprécier le niveau de convergence et/ou de divergence constaté entre les résultats effectivement obtenus et les objectifs initialement fixés.

Les conséquences de ces différentes temporalités doivent pouvoir être tirées dans le processus d’élaboration de la loi. Celui‑ci aurait en effet avantage à s’organiser autour d’un « cycle vertueux de l’évaluation », passant d’une analyse a priori au moment de la préparation de la loi à une analyse a posteriori au stade de la mesure de son impact en vue d’une nouvelle réforme législative qui fera à son tour l’objet d’une évaluation a priori et ainsi de suite.

Les instances européennes ont synthétisé ce cycle vertueux dans le schéma ci‑dessous.

Le cycle vertueux européen

L’évaluation est une procédure désormais solidement ancrée dans le fonctionnement de l’Union européenne. Le premier accord interinstitutionnel dénommé « Mieux légiférer » remonte à 2003, et l’évaluation ex ante y était déjà présentée comme un moyen d’aboutir à une réglementation plus adaptée aux besoins. L’actuelle Commission Juncker a repris le flambeau en présentant en mai 2015 un nouveau paquet « Mieux légiférer », suivi d’un nouvel accord interinstitutionnel adopté le 13 avril 2016.

En substance, le cycle de production de la législation européenne repose sur deux piliers :

– l’évaluation précède toute initiative législative ;

– la production législative suit un cycle continu de la conception à la mise au point, et de l’application à la révision.

En France, ce cercle vertueux n’est pas encore complètement transcrit dans les normes qui régissent la fabrique de la loi : si, depuis 2009, il existe une évaluation ex ante des projets de loi (les études d’impact), ce dispositif mérite d’être amélioré et aucune procédure d’évaluation ex post de la législation n’est prévue.

2.   Améliorer l’évaluation ex ante

Près de dix ans après leur institution en 2009, le contenu des études d’impact, qui ne sont obligatoires que pour les projets de loi, ne répond pas aux attentes des parlementaires, tous sont d’accord sur ce point. D’ailleurs, le Sénat a adopté le 7 mars dernier une proposition de loi organique visant à améliorer la qualité des études d’impact des projets de loi. Son rapporteur, M. Jean‑Pierre Sueur, recommande que ces études comportent des évaluations faites par des organismes indépendants, afin de renforcer l’objectivité de l’information du Parlement sur les conséquences des projets de loi, et que le délai d’examen des études d’impact soit allongé, pour qu’une contre-expertise soit menée. Il considère que « limpact de la loi est justement lobjet du débat parlementaire ». L’accord des deux chambres sur l’importance des études d’impact renforce la légitimité de leurs demandes en la matière.

Les études d’impact sont prévues par la loi organique n° 2009‑403 du 15 avril 2009 qui, sur le fondement du troisième alinéa de l’article 39 de la Constitution introduit par la révision de 2008, fait obligation au Gouvernement de transmettre au Parlement une étude d’impact des projets de loi au moment de leur dépôt. Le contenu des études d’impact est défini par le texte organique qui énumère huit rubriques dont deux (évaluation des conséquences économiques, financières, sociales et environnementales ; évaluation des conséquences des dispositions envisagées sur l’emploi public) ressortissent de l’EPP (cf. encadré ci‑dessous).

Contenu des études d’impact
(article 8 de la loi organique n° 2009‑403 du 15 avril 2009)

– l’articulation du projet de loi avec le droit européen en vigueur ou en cours d’élaboration, et son impact sur l’ordre juridique interne ;

– l’état d’application du droit sur le territoire national dans le ou les domaines visés par le projet de loi ;

– les modalités d’application dans le temps des dispositions envisagées, les textes législatifs et réglementaires à abroger et les mesures transitoires proposées ;

– les conditions d’application des dispositions envisagées dans les collectivités régies par les articles 73 et 74 de la Constitution, en Nouvelle-Calédonie et dans les Terres australes et antarctiques françaises, en justifiant, le cas échéant, les adaptations proposées et l’absence d’application des dispositions à certaines de ces collectivités ;

– l’évaluation des conséquences économiques, financières, sociales et environnementales, ainsi que des coûts et bénéfices financiers attendus des dispositions envisagées pour chaque catégorie d’administrations publiques et de personnes physiques et morales intéressées, en indiquant la méthode de calcul retenue ;

– l’évaluation des conséquences des dispositions envisagées sur l’emploi public ;

– les consultations qui ont été menées avant la saisine du Conseil d’État ;

– la liste prévisionnelle des textes d’application nécessaires.

L’instauration des études d’impact a donné des résultats pour le moins décevants, qui ont été relevés par la mission d’information sur la simplification législative, présidée par Mme Laure de la Raudière et dont le rapporteur était M. Régis Juanico ([33]), dont une grande partie des travaux était centrée sur les moyens juridiques d’améliorer la qualité des études d’impact. Cette analyse est corroborée par plusieurs rapports publics du Conseil d’État qui ont dénoncé les carences des études d’impact.

Ces carences tiennent à un manque d’objectivité : les études d’impact sont préparées par le ministre porteur d’un projet de loi sans que le Parlement soit en mesure d’apporter un regard critique. De fait, la place accordée aux études d’impact lors des débats parlementaires est encore trop faible. En outre, la qualité de ces études est encore rarement invoquée dans le cadre du contrôle de la constitutionnalité de la loi : du 1er septembre 2009 (date d’entrée en vigueur de la loi organique du 15 avril 2009) jusqu’à la fin de la XIVème législature, seules huit saisines du Conseil constitutionnel ont invoqué le manque de qualité de l’étude d’impact. De même, la procédure instituée en 2009 pour sanctionner l’absence d’étude d’impact ou l’indigence de celle‑ci a été très peu mise en œuvre. Elle n’a été utilisée qu’une seule fois, par la conférence des présidents du Sénat, et, en l’espèce, le refus d’inscription à l’ordre du jour du projet de loi en cause a donné lieu, de la part du Conseil constitutionnel saisi par le Premier ministre qui contestait ce refus, à une fin de non‑recevoir ([34]).

Les rapporteurs sont convaincus de la nécessité de renforcer la légitimité, la qualité et le contrôle de l’évaluation ex ante : pour qu’elles jouent pleinement leur rôle, les études d’impact doivent devenir des évaluations ex ante à part entière. Cela suppose plusieurs modifications du dispositif actuellement en vigueur :

– les études d’impact doivent couvrir l’ensemble des initiatives appelées à modifier la législation, ce qui suppose d’en étendre le champ aux projets d’ordonnance, aux propositions de loi inscrites à l’ordre du jour et aux amendements substantiels. En outre, les projets de loi d’habilitation, actuellement soumis à des études d’impact au contenu allégé, devraient faire l’objet d’une véritable évaluation d’impact ;

– les études d’impact doivent donner des arguments factuels (evidence based) pour montrer les insuffisances de la législation existante et justifier les bénéfices attendus des mesures proposées. À cette fin, elles doivent contenir :

– la présentation et la discussion des études dimpact, en présence du ministre concerné, doivent faire lobjet de débats spécifiques en commission ou en séance publique, en amont de la discussion générale des projets.

Proposition n° 8 : faire des études d’impact des évaluations ex ante à part entière :

– étendre les études d’impact aux projets d’ordonnance, aux propositions de loi inscrites à l’ordre du jour et aux amendements substantiels, et compléter le contenu des études d’impact prévues pour les projets de loi d’habilitation

– enrichir le contenu méthodologique des études d’impact

– prévoir des débats en commission ou en séance publique consacrés à l’examen des études d’impact.

3.   Renforcer l’évaluation ex post

Lors des tables rondes animées par les rapporteurs, MM. Bernard Perret et Maurice Baslé ont affirmé l’un et l’autre qu’une évaluation de politique publique s’attachait systématiquement à en cerner les impacts et les effets, directs ou indirects. Les missions du Parlement en font donc une exigence en tant que mode de contrôle du Gouvernement, exigence d’autant plus nécessaire que des évaluations solidement étayées et concluantes lui serviront ensuite à voter une loi mieux calibrée. Cependant, pour être évaluée, une politique doit être « évaluable », ce qui implique que les parlementaires veillent à inscrire dans les textes des dispositions allant dans ce sens.

Or, aucune obligation n’existe ex post : la phase d’évaluation de l’impact de la loi n’est pas prévue dans le processus législatif.

Les rapporteurs proposent de combler cette lacune en généralisant les clauses d’évaluation inscrites dans la loi, prévoyant une mesure de l’impact des dispositions adoptées et précisant les objectifs, les critères et les délais de cette mesure d’impact. Il conviendrait en outre de favoriser l’inscription dans la loi de clauses de revoyure fixant les conditions de réexamen de tout ou partie de ses dispositions. Comme le montre le rapport du groupe de travail sur les moyens de contrôle et d’évaluation du Parlement de décembre 2017, cette proposition passe par une modification de la Constitution ([35]).

Proposition n° 9 : instaurer une obligation pour le Gouvernement d’évaluer ex post la législation :

 généraliser les clauses dévaluation inscrites dans la loi, prévoyant une mesure de limpact des dispositions adoptées et précisant les objectifs, les critères et les délais de cette mesure dimpact

 prévoir que la loi peut comporter des clauses de revoyure fixant les conditions de réexamen de tout ou partie de ses dispositions dans un délai compris entre 2 et 4 ans.

4.   Mieux former les acteurs publics et sensibiliser les médias

La promotion et l’amélioration de l’EPP doivent faire partie du chantier de la transformation publique, en prenant toute leur place dans la modernisation de la formation des agents publics.

Cette évolution passe en particulier par l’application d’un principe de responsabilité (accountability en anglais) qui est au cœur du nouveau management public (NMP). Ce principe soumet l’activité des managers publics aux instructions du pouvoir politique en imposant une information systématique sur l’emploi des ressources et les résultats obtenus. Dans cette logique, les managers publics disposent d’une large marge de manœuvre pour gérer leur service en contrepartie de quoi leur responsabilité est accrue au titre de la performance et du résultat. Les managers sont évalués sur la base d’indicateurs et peuvent être pénalisés s’ils n’atteignent pas leurs objectifs. Le principe d’accountability s’appuie sur certains instruments, comme le plan ou contrat de gestion qui définit les attributions de chaque acteur, les objectifs et les moyens alloués ([36]).

Ce principe suppose d’adapter en conséquence la formation des agents.

Sous-directeur de la synthèse statutaire, de la gouvernance et des partenariats, direction générale de l’administration et de la fonction publique, M. Xavier Maire a ainsi indiqué aux rapporteurs qu’un schéma directeur de formation a été établi, à l’échelle interministérielle, pour sensibiliser les encadrants aux nouvelles techniques de management et à l’utilisation d’outils innovants, tel le prototypage dans le cadre d’objectifs très opérationnels. Il a rappelé que la DGAFP est une direction d’état-major garante du statut de la fonction publique et de son évolution qui, depuis le décret du 22 décembre 2016, a le statut de DRH de l’État avec la mission de définir une doctrine RH et de la diffuser dans les différents ministères. À ce titre, elle élabore des guides et de nouveaux référentiels.

Les rapporteurs souhaitent que la refonte en cours des formations des agents publics soit l’occasion de renforcer l’apprentissage des principes et des méthodes de l’EPP, en particulier dans les enseignements dispensés à l’École nationale d’administration et dans les instituts régionaux d’administration. En outre, la formation continue et l’évaluation des cadres de la fonction publique doivent donner plus de place au recours à l’EPP et à l’utilisation des nouvelles techniques.

Proposition n° 10 : former et évaluer les agents publics :

– renforcer la place de l’évaluation des politiques publiques au sein de la formation initiale des agents publics, notamment dans le cadre des enseignements dispensés à l’École nationale d’administration et dans les instituts régionaux d’administration

– former les cadres de la fonction publique aux différentes méthodes de l’évaluation des politiques publiques

– faire du recours à l’évaluation et à ses nouvelles techniques un élément d’évaluation des cadres de la fonction publique.

Par ailleurs, l’enjeu démocratique que constitue l’évaluation de politiques publiques nécessite que les médias s’emparent de cette discipline pour contribuer à la diffusion de la culture de l’évaluation et pour faire connaître les conclusions des évaluations menées.

Lors d’un table ronde animée par les rapporteurs, M. Marc Ferracci a insisté sur l’importance de l’implication des médias : le citoyen, pour se réconcilier avec l’action publique, a besoin d’une information claire et transparente sur l’impact des politiques publiques ; réhabiliter l’évaluation nécessite donc une acculturation des citoyens mais aussi des médias.

Les rapporteurs formulent une proposition dans le sens d’une sensibilisation et d’une association des médias à l’évaluation : en s’appuyant sur les ressources et les savoirs du Haut Conseil de l’évaluation des politiques publiques et sur l’accompagnement de l’agence de l’évaluation qu’ils proposent de créer (cf. propositions n° 3 et n° 7), une synthèse des évaluations de politique publique disponibles pourrait être mise à disposition des médias et un outil de sensibilisation (un vademecum sur l’évaluation des politiques publiques par exemple) pourrait être conçu à leur attention.

Proposition n° 11 : sensibiliser et associer les médias à l’évaluation, en s’appuyant sur les ressources et les savoirs du Haut Conseil de l’évaluation des politiques publiques et sur l’accompagnement de l’agence de l’évaluation (cf. propositions n° 3 et n° 7) :

– mettre à disposition des médias une synthèse des évaluations de politique publique disponibles

– concevoir un outil de sensibilisation des médias sur l’évaluation des politiques publiques.

5.   Soutenir l’innovation pour recourir à des techniques centrées sur les utilisateurs : l’exemple du design des politiques publiques 

Depuis une trentaine d’années, le modèle d’une administration détentrice d’un monopole de l’intérêt général est contesté, et il est devenu important, pour les nouveaux acteurs publics, de justifier les politiques qu’ils mettent en œuvre au regard de leurs bienfaits attendus. Cette évolution a fait naître une nouvelle façon de concevoir et de conduire les politiques publiques. L’administration s’est, dans un premier temps, bâtie sur le respect de la règle et des procédures, l’État se dotant, en conséquence, d’un appareil de contrôle performant (en particulier les juridictions financières et les inspections générales). Désormais, sous l’influence des pratiques du secteur privé, elle va progressivement inclure le critère de résultats pour juger de son action ([37]).

Ainsi, la nouvelle conception des politiques publiques débouche sur l’émergence d’un nouveau management public (NMP) qui tend à l’organisation la plus efficace possible de l’appareil administratif, en utilisant des concepts inspirés du secteur privé, tels que l’orientation-client, la responsabilisation des managers, la transparence, la mesure de la performance ou la participation.

Le NMP modifie significativement l’action publique en s’appuyant sur des pratiques industrielles ou commerciales (design, gestion de processus, gestion de projet), pédagogiques (gestion de groupe), ou des approches d’analyse des politiques publiques (suivi et évaluation, en particulier). Ce nouveau contexte oblige à repenser le rôle du décideur public et ses relations avec les agents et les autres parties prenantes.

Cette évolution trouve sa traduction dans le programme de transformation de l’administration baptisé « Action publique 2022 », lancé par le Gouvernement en octobre 2017, dont l’objectif est d’interroger en profondeur les missions exercées par la puissance publique.

Action publique 2022

Cette démarche recouvre trois objectifs :

– améliorer la qualité du service rendu aux usagers, notamment en développant la relation de confiance avec les administrations ;

– offrir un environnement de travail modernisé aux agents publics, en les impliquant pleinement dans la définition et le suivi des transformations ;

– accompagner la baisse des dépenses publiques, avec un objectif de – 3 points de PIB d’ici 2022.

La démarche repose sur six principes clefs, issus notamment de l’expérience des précédents mouvements de réforme :

– un périmètre étendu à toutes les administrations publiques : l’État et ses opérateurs, les administrations de sécurité sociale, les collectivités territoriales ;

– une responsabilisation des ministères en tant que « chefs de file » des politiques publiques qu’ils conduisent ;

– la priorité donnée à la transformation numérique des administrations, notamment pour atteindre l’objectif fixé par le président de la République de 100 % de services publics dématérialisés à l’horizon 2022 ;

– la mobilisation de 700 millions d’euros sur les 5 années à venir pour la transformation publique, dont 200 millions d’euros dès 2018 ;

– l’implication des agents publics et des usagers du service public tout au long de la démarche, pour recueillir leurs propositions ;

– un portage politique par le Président de la République et le Premier ministre.

Le programme « Action publique 2022 » est organisé en deux phases :

– une première phase de diagnostic ouvert et partagé d’octobre 2017 à mars 2018 avec :

  • une revue des missions et de la dépense publique, menée par les ministres et par un comité indépendant (Comité Action Publique 2022 ou CAP22),

  • cinq chantiers interministériels « boîtes à outils »,

  • un Forum de l’action publique impliquant usagers et agents publics ;

– après les arbitrages du Président de la République et du Premier ministre, s’engagera, à partir de mars 2018, une phase d’élaboration puis de mise en œuvre opérationnelle des plans de transformation.

Le Forum de l’action publique a été lancé le 24 novembre 2017 afin de faire des agents publics et des usagers les premiers contributeurs de la transformation publique. D’une durée de trois mois, il repose sur deux piliers :

– un pilier numérique, avec une plateforme de consultation en ligne ouverte à tous pour donner une opportunité de parole libre aux Français – qu’ils soient agents ou usagers du service public – sur l’avenir des services publics ;

– un pilier territorial, avec une série de rencontres sur l’ensemble du territoire qui donneront l’occasion à des membres du Gouvernement, élus locaux, acteurs de terrain (chefs d’entreprise, associations, agents publics, etc.) ou encore étudiants, de débattre sans cloisonnement et de contribuer aux réflexions de manière innovante.

Le programme de transformation de l’action publique doit s’appuyer sur des techniques innovantes susceptibles d’impliquer les agents et les usagers, conformément à des principes clefs du plan « Action publique 2022 ». En particulier, le recours au design des politiques publiques aurait le mérite de développer des techniques centrées sur la participation des utilisateurs (agents publics et usagers du service public).

Cette méthode, initiée par le laboratoire d’innovation du gouvernement danois MindLab créé en 2000, consiste à appliquer les principes du design à la fabrique des politiques publiques, depuis la prise de décision jusqu’à l’impact de cette politique sur les bénéficiaires.

Par ses techniques créatives et une façon différente d’aborder les projets, le design des politiques publiques permet de mobiliser l’intelligence et l’expertise des agents et des usagers. Démarche globale de conception au croisement des arts, des techniques et des sciences humaines, il propose, par la visualisation, des solutions différentes pour améliorer l’usage d’un service et la qualité de vie en prenant en compte la réalité des usagers. À partir du regard des utilisateurs, le design associe ces derniers à la recherche, en rendant visuels et compréhensibles des problèmes complexes, et en testant des solutions innovantes à l’aide de prototypes et d’essais.

Le design des politiques publiques repose sur quatre principes ([38]) :

– l’observation et l’immersion (rencontrer et se mettre à la place de l’usager) ;

– la co‑construction de solutions entre les agents et les usagers, en faisant appel à leur créativité (ateliers de travail, expositions publiques…) ;

– plutôt que d’imaginer le déploiement à grande échelle d’une solution innovante, le design privilégie le test et des adaptations progressives. Tester, expérimenter à peu de frais, c’est aussi reconnaître le droit à l’erreur et l’adaptation permanente du service rendu ;

– le recours à des outils créatifs pour rendre visibles et tangibles des choses complexes – un processus administratif, un ensemble de données... – au moyen d’illustrations, de schémas, de maquettes mêlant ressources numériques et écritures manuscrites.

Les acteurs du design des politiques publiques sont des designers, des sociologues, des architectes et des urbanistes, des professionnels des réseaux sociaux, des vidéastes-ethnologues, des journalistes participatifs et des philosophes, mais également les agents publics et les usagers.

En s’appuyant sur les pratiques du terrain, l’exercice consiste à dialoguer avec les usagers et à partager les points de vue grâce aux techniques de représentation et de matérialisation, en les mettant rapidement à l’épreuve de la réalité au travers de tests.

Mmes Brigitte Menguy et Delphine Gerbeau ([39]) présentent les trois étapes qui permettent d’appliquer la méthode du design aux politiques publiques afin d’impulser créativité, décloisonnement des structures et travail collectif dans des services opérationnels :

– limmersion a vocation à se placer « dans la peau de l’usager » dont les besoins sont définis : durant cette séquence, de deux à sept jours, organisée avec des designers et les agents du service concerné, les usagers sont écoutés, les lieux photographiés, les objets dessinés afin de ressentir le contexte et les problématiques du service public à réformer. Selon Benoît Landau, chargé de mission « innovation publique » à l’ex‑SGMAP, « en se mettant dans la peau de lusager, en dessinant son parcours, lagent va pouvoir identifier les problèmes qui lui étaient jusqualors, de par sa position, invisibles, et des pistes de solutions vont lui apparaître parfois très rapidement » ;

– lintelligence collective : cette phase rassemble une pluralité d’acteurs issus d’organisations et de métiers différents (agents, utilisateurs, associations, chercheurs, entreprises, experts…), sans prendre en compte leur position hiérarchique, pour mettre en synergie les éléments récoltés durant la phase d’immersion ; les acteurs effectuent de la co‑conception ;

– le prototypage permet ensuite de concrétiser le projet et d’imaginer des propositions qui, sans être nécessairement abouties, seront expérimentées auprès des usagers et permettront de constater rapidement si telle proposition fonctionne ou pas, ce qui évite des investissements inutiles. À l’issue de cette séquence, des propositions sont faites aux élus, qui restent décisionnaires.

L’association « La 27e région » présentée dans l’encadré ci‑dessous utilise le design pour des projets d’accès aux services publics, qu’il s’agisse de services en ligne, de lieux d’accueil ou d’équipements (établissements scolaires, médiathèques, équipements culturels).

L’expérience de La 27e région

Le laboratoire de transformation publique La 27e région est une association soutenue par l’Association des régions de France, la Caisse des dépôts et consignations et neuf régions, dont l’objectif est d’outiller les décideurs publics pour concevoir des politiques publiques plus attractives.

Constatant que les grandes écoles forment les futurs élus et agents publics à de nombreuses compétences, la connaissance des institutions, la comptabilité publique, la gestion de projet aux enjeux du numérique mais ne leur apprennent pas à mettre en doute ces enseignements ni à les faire évoluer au regard des pratiques réelles, les initiateurs de ce laboratoire se sont interrogés sur la manière d’outiller les décideurs publics pour qu’ils soient en mesure de (re)concevoir des politiques publiques plus attractives.

La 27e région produit et partage des connaissances et des propositions d’intérêt général, conduit des programmes de « recherche-action » visant à tester des méthodes innovantes avec les acteurs publics. Elle mobilise des compétences issues du design, de la conception créative et des sciences sociales (ethnographie, sociologie de terrain, observation participante) dont le point commun est de s’appuyer sur l’expérience des utilisateurs, agents et citoyens pour réinterroger les politiques publiques.

Lors d’une table ronde animée par les rapporteurs, M. Julien Defait, designer à « La 27e région », a présenté un bilan de son expérience. Soucieuse de faire évoluer un management encore empreint d’une trop forte culture gestionnaire et d’une insuffisante prise en compte de l’humain, « La 27e région »  s’efforce de promouvoir des modes de management plus créatifs et inventifs dans la perspective de rendre l’administration plus « désirable ». L’action publique doit retrouver son rôle de garant de l’accès au droit et de lutte contre les inégalités, en s’appuyant sur des métiers réinventés. À cette fin, le projet « Les éclaireurs » réinterroge les rituels de l’action publique à l’aide de chercheurs et de praticiens concernés par une mission administrative précise. À l’appui de témoignages et de retours d’expérience, les designers essaient de réinventer des fonctionnements et des scénarios nouveaux.

Le programme prospectif « Les éclaireurs » de la 27e région

La 27e région a développé un programme prospectif appelé Les Éclaireurs pour imaginer l’administration de demain.

Dans cette perspective, dix sujets, formulés de manière à susciter le débat, mais relevant d’une problématique plus large (l’évaluation des politiques publiques, la participation citoyenne, l’achat public…), ont été retenus afin de proposer de nouveaux modes de fonctionnement de l’action publique.

Les travaux commencent par la constitution dun groupe de 8 à 15 personnes – chercheurs, experts et praticiens du champ concerné – pour participer à un atelier créatif d’un jour et demi. Accompagnés par une équipe de designers et de spécialistes de l’action publique, ils identifient les grandes controverses du sujet choisi puis imaginent des outils et solutions innovants.

À l’issue de cette séquence, l’équipe s’efforce de traduire les propositions de scénario, sous la forme d’une courte vidéo et d’un livret lors d’une restitution publique au cours de laquelle les participants choisissent la solution qu’ils souhaitent expérimenter. Un kit de test est ensuite remis aux administrations partenaires afin qu’elles expérimentent le scénario retenu.

La première problématique traitée portait sur la manière de faire évoluer les pratiques évaluatives. Réunis dans le cadre d’un atelier d’une journée et demie, sept participants venus d’horizons différents ont décrypté les enjeux de l’évaluation et imaginé de nouvelles façons d’y répondre. L’équipe des Éclaireurs a ensuite construit un scénario autour d’un nouveau processus d’évaluation des politiques publiques destiné à créer confiance, curiosité et adhésion, à faciliter la mise en œuvre des préconisations et à éviter que les travaux des évaluateurs ne restent lettre morte.

Des propositions ont ainsi été formulées pour optimiser le recueil de données, la diffusion et l’enrichissement du rapport d’évaluation intermédiaire, la traduction des préconisations en actions, la diffusion du rapport final et du plan d’action.

Dans le cadre d’une mise en situation réelle, un prototype de mini‑studio a, par exemple, été créé afin de permettre aux chargés d’évaluation de communiquer leurs observations tout au long du processus, au moyen de courtes vidéos réalisées à l’aide de téléphones mobiles ou de tablettes numériques.

Le dialogue entre évaluateurs et designers a conduit à formuler des propositions pour organiser des événements dédiés à l’évaluation et pour revoir les relations des évaluateurs avec la presse.

Les Éclaireurs se sont également penchés sur la mise en œuvre des nouveaux schémas régionaux daménagement, de développement durable et dégalité des territoires, issus de la loi NOTRe, afin den faire des outils de projets appropriables, ouverts et réellement utilisés.

Ce travail, conduit avec le concours des régions Bretagne, Normandie et du ministère de la transition écologique et solidaire, a commencé par une série de questionnements : Comment faire du processus d’élaboration des schémas une véritable conversation interdisciplinaire et inter-administrations ? Comment passer d’une vision fondée sur les infrastructures à une vision fondée sur les usages ? Comment rendre compatible la fonction planificatrice du schéma avec un besoin d’adaptation continue ?

Une quinzaine de participants représentatifs de la diversité des parties prenantes du schéma régional ont ensuite participé à un atelier d’un jour et demi pour imaginer de nouvelles modalités d’élaboration du schéma. Une fois les propositions retravaillées, le scénario retenu sera prototypé et testé en 2018.

Les rapporteurs voient dans le développement de ces nouvelles techniques novatrices le moyen de renouveler l’EPP. Elles méritent en particulier d’être davantage utilisées pour trouver les vecteurs capables de sensibiliser les citoyens et les acteurs publics à l’évaluation, et pour impliquer les agents et les usagers dans l’EPP.

Proposition n° 12 : mettre les outils novateurs, comme le design des politiques publiques, au cœur de la transformation publique et du dialogue citoyen :

– imaginer une campagne de sensibilisation à l’évaluation associant citoyens et acteurs publics et un rendez-vous national de l’évaluation destiné à promouvoir son utilité auprès des citoyens et à fédérer ses acteurs

– promouvoir les évaluations de politique publique centrées sur l’implication des agents et des usagers.

VI.   LÉVALUATION DES POLITIQUES PUBLIQUES À LÉTRANGER : QUELLES SONT LES BONNES PRATIQUES ?

Les pays anglo‑saxons et l’Union européenne ont développé des méthodes d’évaluation dont la France gagnerait à s’inspirer.

1.   Les États-Unis : un contexte institutionnel propice à la culture de l’évaluation

Ainsi que le relève M. Bernard Perret ([40]), les États‑Unis conservent une avance par rapport aux pays européens, leurs évaluations, de bonne qualité, mobilisant plus de personnels et suscitant souvent des débats autour des méthodes.

Selon lui, cette dynamique trouve son origine dans :

– la faible légitimité des interventions publiques qui doivent répondre à des objectifs précis en termes de moyens et de durée, ce qui facilite l’évaluation ;

– la rivalité entre les pouvoirs législatif et exécutif, ce dernier étant doté de faibles moyens permanents, ce qui ouvre un espace à l’évaluation ;

– l’influence de la recherche en sociologie, psychologie, sciences de l’éducation qui accordent une place importante à l’observation empirique, au recueil de données quantifiables et à la modélisation des comportements individuels ;

– des programmes publics qui sont souvent évalués exclusivement sur les avantages matériels, tangibles dont bénéficient les citoyens concernés.

Alors que, dans les années 1960, l’évaluation aux États‑Unis était basée sur l’expérimentation et l’analyse quantitative, les méthodes d’évaluation sont aujourd’hui variées et intègrent les méthodes qualitatives et participatives, dans un contexte de pratique évaluative foisonnante.

Selon l’étude menée en 2013 par le cabinet conseil Deloitte ([41]), les évaluations menées au niveau fédéral se caractérisent par une forte implication des parties prenantes et s’efforcent de respecter les principes de séparation du commanditaire et de l’évaluateur, de neutralité, de qualité et les standards internationaux d’évaluation.

Les évaluations conduites par le GAO (Government Accountability Office) dans le cadre de la revue des programmes sont conduites en cinq étapes : comprendre les objectifs, développer des questions pertinentes, définir une méthode pour chaque question, identifier les sources d’information et les modalités de leur collecte, développer une démarche d’analyse des données.

L’OMB (Office Management and Budget) a, pour sa part, développé une méthodologie d’autoévaluation des programmes (Program Assessment Rating Tool  PART) qui s’appuie sur un questionnaire en 25 points permettant une notation qualitative.

2.   Le Royaume-Uni : des méthodes et des principes diffusés à l’aide de guides d’évaluation

Au Royaume‑Uni, les méthodes et principes d’évaluation jugés pertinents sont diffusés dans le cadre de guides méthodologiques dont le Green Book du HM Treasury qui édicte des règles applicables aux évaluations ex ante et ex post, le Magenta Book qui présente les outils analytiques et les bonnes méthodes évaluatives ou le Better Regulation Executives Impact Assessment Tool dont l’objectif est d’aider à la mesure d’impact des interventions publiques.

Les processus d’évaluation sont généralement conduits en huit étapes consistant à : définir les objectifs de la politique et les résultats attendus, considérer les conséquences de la mise en œuvre de la politique au regard de la faisabilité de l’évaluation, identifier les objectifs et questions de l’évaluation, sélectionner une approche d’évaluation, identifier les données nécessaires, identifier les ressources nécessaires et les modalités de gestion, conduire l’évaluation et enfin, utiliser et diffuser les résultats de l’évaluation.

3.   L’Union européenne : l’analyse d’impact comme outil d’amélioration de la législation

Les instances européennes ont réorganisé leur procédure d’examen des textes depuis une quinzaine d’années, afin de « mieux légiférer », selon les termes mêmes du programme de réformes engagées. Il s’agissait d’abord de légiférer moins dans le souci de respecter les principes de subsidiarité et de proportionalité, autrement dit de n’adopter des règles de droit européennes que lorsque le niveau national est inopérant et insatisfaisant. Le dernier accord interinstitutionnel « Mieux légiférer » du 12 avril 2016, conclu entre la Commission européenne, le Parlement européen et le Conseil de l’Union européenne, désigne l’analyse d’impact comme un des outils à la disposition des institutions pour les aider à prendre des décisions éclairées et tendre vers l’objectif d’une législation claire, simple et efficace.

a.   L’évaluation ex ante, étape liminaire de la procédure législative

L’un des buts du nouvel accord est de généraliser l’étude d’impact tout au long de la procédure législative. Aussi le nouvel accord a‑t‑il élargi la gamme des instruments soumis à étude d’impact de la part de la Commission : « La Commission procédera à une analyse dimpact de ses initiatives législatives et non législatives, de ses actes délégués et de ses actes dexécution qui sont susceptibles davoir une incidence économique, environnementale ou sociale importante ». Il s’agit désormais d’une obligation et non plus d’une faculté.

En revanche, le Parlement et le Conseil peuvent, « lorsquils le jugent approprié », effectuer « des analyses dimpact des modifications substantielles quils apportent à la proposition de la Commission ».

Critères de qualité des analyses d’impact européennes

Les propositions de la Commission – et par définition les analyses d’impact qui les accompagnent – doivent respecter les obligations établies par le traité eu égard (entre autres) :

– aux droits fondamentaux, dont ceux consacrés par la charte des droits fondamentaux, la non‑discrimination et la citoyenneté européenne (article 6 du traité sur l’Union européenne et articles 10 et 18 du traité FUE) ;

– aux exigences du cadre financier pluri-annuel (CFP) et des procédures budgétaires (article 310, paragraphe 4, du traité FUE) ;

– au principe de précaution (article 191, paragraphe 1, du traité FUE) ;

– aux charges qui peuvent résulter de l’absence d’action dans le domaine de la politique environnementale (article 191, paragraphe 3, du traité FUE) ;

– aux exigences liées à la promotion d’un niveau d’emploi élevé, à la garantie d’une protection sociale adéquate, à la lutte contre l’exclusion sociale ainsi qu’à un niveau élevé d’éducation, de formation et de protection de la santé humaine (article 9 du traité FUE) ;

– aux exigences liées à la protection des consommateurs (article 12 du traité FUE) ;

– aux conditions nécessaires à la compétitivité de l’industrie de l’Union (article 173 du traité FUE) ;

– aux incidences sur les pays en développement (article 208 du traité FUE).

Parmi les exigences posées par le Parlement figurent également :

– une consultation publique transparente et ciblée, associant les autorités régionales et locales ;

– une démarche rigoureuse, objective et exhaustive ;

– un choix suffisant de scénarios et d’options stratégiques (en ce compris l’option consistant à ne rien faire) ;

– une justification des options retenues au regard des principes de subsidiarité et de proportionnalité ;

– une analyse équilibrée des incidences dans les piliers économique, social et environnemental et sur la santé publique ;

– une consultation plus approfondie des parties prenantes avant même la préparation de l’analyse d’impact pour pallier une éventuelle absence de méthode ou de données ;

– la prise en considération d’autres critères d’évaluation tels que :

  . les incidences en dehors de l’Union, y compris sur le commerce international ;

  . les incidences sur les quatre libertés du marché intérieur (« test du marché unique ») ;

  . les conséquences pour les PME et les microentreprises (test PME) ;

  . les effets régionaux et locaux ;

  . les incidences en termes de charges administratives ;

  . l’objectif d’assurer une application efficace dans les États membres ;

  . dans la mesure du possible, des critères qualitatifs tels que les incidences sur les groupes sociaux vulnérables (étalonnage des performances sociales) ou l’égalité des genres.

Source : Parlement européen, conférence des présidents de commission, Guide pratique des analyses d’impact, Lignes directrices à l’intention des commissions.

b.   Le contrôle qualité de l’évaluation ex ante à la Commission européenne

En 2006, une instance unique a été créée au sein de la Commission pour vérifier la qualité des études d’impact produites par l’ensemble des services. Le contrôle était relativement strict puisque, en 2013, 40 % des études présentées pour la première fois avaient été rejetés. Elles doivent alors être revues de façon à respecter les critères requis.

Les avis de ce comité, transformé depuis le 1er juillet 2015 en comité d’examen de la réglementation (cf. ci‑dessous) sont transmis en même temps que les projets au Parlement et au Conseil et sont publiés. Sous la Commission précédente, il est arrivé qu’un projet soit communiqué au Parlement assorti d’un avis négatif du comité d’analyse d’impact, mais il s’agit d’une exception.

Le Comité d’examen de la réglementation de la Commission européenne (CER)

Dès 2006, la Commission avait créé en interne une instance unique, le comité d’analyse d’impact, pour vérifier la qualité des études d’impact produites par l’ensemble des services. Le contrôle était relativement strict puisque, en 2013, 40 % des études présentées pour la première fois avaient été rejetés. En cas de refus, les études doivent être revues de façon à respecter les critères requis.

Pour lui garantir une plus grande indépendance, ce comité qui comptait uniquement des fonctionnaires des services, a été transformé en comité d’examen de la réglementation le 1er juillet 2015. S’il est toujours présidé par un directeur général, il se compose désormais de trois fonctionnaires qui se consacrent à cette tâche à temps plein, et de trois experts provenant de l’extérieur. M. Thomas Delahais ([42]) a indiqué aux rapporteurs, au cours d’une des tables rondes, que, la première année, le comité avait conclu que 70 % des études qui lui avaient été soumises n’étaient pas capables de définir l’opportunité d’une action de la Commission européenne.

Les avis du CER se rangent en trois catégories :

– avis négatif : l’étude retourne d’où elle vient pour être améliorée ;

– avis positif avec des réserves : l’avis tout comme les réserves sont publiés après que la direction qui en est à l’origine a expliqué les mesures qu’elle a prises pour y remédier, ou les raisons pour lesquelles il n’est pas possible de faire mieux, puis le tout est transmis au Parlement ;

– avis positif : l’étude d’impact est transmise avec le projet au Parlement.

La Commission, si elle le juge utile, par exemple dans le cas d’une modification substantielle d’un projet, peut procéder à des études complémentaires de sa propre initiative, ou à la demande du Parlement ou du Conseil. L’étude complémentaire est soumise aux mêmes règles de publicité.

c.   Une évaluation ex post à parfaire

L’accord interinstitutionnel est plus lacunaire, s’agissant des évaluations ex post. Il se contente de rendre possible leur réalisation : « Dans le cadre du cycle législatif, les évaluations de la législation et des politiques existantes, fondées sur lefficacité, leffectivité, la pertinence, la cohérence et la valeur ajoutée, devraient servir de base aux analyses dimpact des différentes options envisageables pour la mise en œuvre dautres actions. Pour soutenir ces processus, les trois institutions conviennent de fixer, le cas échéant, des exigences en matière dinformation, de suivi et dévaluation dans la législation […]. Sil y a lieu, ces exigences peuvent contenir des indicateurs mesurables pour servir de base à la collecte déléments attestant limpact de la législation sur le terrain. »


VII.   ÉVALUATION DES POLITIQUES PUBLIQUES ET NUMÉRIQUE : LA TRANSFORMATION NUMÉRIQUE EST-ELLE UNE OPPORTUNITÉ ?

Les personnes entendues par les rapporteurs ont souligné les conséquences du phénomène récent de massification des données sur la manière de concevoir et de mener l’EPP. Ils y voient une triple opportunité :

– une extension du champ de l’EPP : alors que l’EPP reste une pratique d’experts, elle sera fatalement bousculée par le dynamisme dont font preuve les civic tech, qui mettent les potentialités offertes par les nouvelles technologies au service de la démocratie, que ce soit en informant les citoyens ou en sollicitant leur avis. M. François de Dorlodot, associé chez KPMG, considère que l’arrivée des données massives élargira substantiellement le champ de l’EPP, qui est encore à court de données dans bien des domaines, et qu’elle fera davantage appel aux consultations citoyennes ;

– une EPP plus ouverte et continue : M. Henri Verdier, directeur interministériel du numérique et du système d’information et de communication, estime qu’à l’ère de la donnée omniprésente, l’EPP se pose en des termes nouveaux parce que l’enjeu est désormais de partager des référentiels, des modèles, d’organiser des voies de retour rapides, de permettre à des gens de se coaliser, et de partager plus bas dans l’échelle de l’organisation du savoir autrefois réservé à la hiérarchie : « il faut trouver une évaluation plus distribuée, ouverte et continue » au service de politiques publiques plus rationnelles ;

– un lien entre l’administration et la société civile : Mme Suzanne Vergnolle, administratrice de l’association Regards Citoyens, voit dans le big data un moyen d’instaurer une véritable collaboration entre société civile et acteurs publics en lui fournissant un vrai pouvoir d’évaluation des politiques publiques.

La massification des données dans un contexte politique recouvre deux notions bien distinctes : le big data, c’est‑à‑dire la production de données de toute sorte qui échappe presque entièrement aux États et l’open data qui, au contraire, les concerne exclusivement puisqu’il s’agit de la mise à disposition des données qu’ils collectent et conservent.

1.   Le big data

a.   Définition et caractéristiques

Le phénomène du big data, ou « mégadonnées », se caractérise par la multiplication sans précédent non seulement des données, mais aussi de leurs producteurs, parmi lesquels le secteur privé est largement dominant. Les spécialistes définissent le phénomène des mégadonnées par quatre critères, les quatre V, à savoir :

– le volume : à elles seules, les unités de mesure donnent le vertige, ou perdent toute signification pour le profane, on parle d’une production annuelle supérieure à 1 zettaoctet (1024 octets) et il ne s’agit là que d’un flux ;

– la variété puisque les sources sont multiples. Les principales sont le web (journaux d’accès, réseaux sociaux, e‑commerce, indexation, stockage de documents, de photos, de vidéos, linked data, etc.), l’internet et les objets communicants (puces RFID, réseaux de capteurs, journaux des appels en téléphonie) ; les sciences (génomique, astronomie, physique subatomique, climatologie) ; les données commerciales (historique des transactions dans une chaîne d’hypermarchés) ; les données personnelles (par exemple, les dossiers médicaux) ; enfin les données publiques (open data) ;

– la vélocité dans la mesure où les données peuvent être collectées en continu pour être traitées en temps réel ;

– la variabilité des données dont le format et le sens peuvent évoluer au fil du temps si bien que leur stabilité n’est pas toujours garantie.

M. Benoît Simon, directeur associé du cabinet Planète publique et membre de la Société française de l’évaluation, a présenté la typologie de l’évaluateur suédois Kim Forss. Il distingue quatre types de données : les données non structurées stockées intentionnellement (on les trouve sur les réseaux sociaux ou via les mobiles) ; les données non structurées stockées non intentionnellement (les cookies, les données liées aux transactions bancaires, etc.) ; les données tirées des algorithmes, qui vont permettre de faire de limagerie ou de la triangulation, etc. ; et enfin, les données de l’open data (les statistiques, les publications scientifiques, etc.).

b.   Les implications pour l’évaluation des politiques publiques

Il en résulte un bouleversement de la manière de mener une EPP à trois titres :

– le big data apporte une masse d’informations à la disposition des évaluateurs qui retracent des comportements effectivement observés (et il n’est plus besoin d’interroger les personnes à ce propos, sinon sur leur motivation), et qui sont obtenues en continu ;

– les individus bénéficiaires, directs ou indirects, des politiques publiques peuvent aussi se transformer en pourvoyeurs de données, voire en évaluateurs ;

– les données peuvent être mobilisées à chacune des étapes de l’évaluation : cadrage, mesure d’impact ou pilotage. L’évaluation in itinere notamment se trouve dotée d’un outil supplémentaire puisque les données peuvent être exploitées en temps réel, réduisant ainsi les délais nécessaires aux ajustements et facilitant l’adoption de stratégies plus agiles.

Cette opportunité est cependant conditionnée par la capacité des évaluateurs à accéder et à traiter les « mégadonnées ». M. Benoît Simon a d’ailleurs souligné que la disponibilité des trois premières catégories identifiées par Kim Forss était pour le moins problématique ([43]), ce qui constitue un frein non négligeable à leur utilisation. Il s’agit par ailleurs de données de contexte, c’est‑à‑dire qu’elles ne sont pas directement reliées à une politique publique ou à un type de bénéficiaire. Ces données pourraient donc être utilisées notamment pour l’estimation d’impact, en particulier en amont, à condition qu’elles soient exploitables. M. Pascal Rivière, chef de l’inspection de l’INSEE, n’attend pas grand‑chose du big data pour la statistique publique, et l’EPP en général, compte tenu de la rigueur qui leur est demandée. Les données sont un outil supplémentaire, selon M. Henri Verdier, pour sophistiquer les questions posées dans le cadre d’une évaluation, en remontant aux causes des phénomènes que les politiques entendent améliorer. M. Simon conclut que les données ne suppriment en rien le questionnement qui est la raison d’être de l’évaluation.

2.   L’open data

L’open data, quant à lui, consiste à mettre à disposition des autres administrations et du public au sens le plus large l’ensemble des données collectées dans la sphère publique.

a.   Des avancées indéniables dans la mise à disposition des données publiques, grâce à la loi pour une République numérique

L’ouverture des données publiques est un des axes forts de la loi du 7 octobre 2016 pour une République numérique (LRN), puisqu’elle devient la règle par défaut. « Il sagit de mettre à disposition des citoyens, des acteurs de la société civile et de léconomie, les données produites, collectées ou détenues dans le cadre dune mission de service public et den autoriser la réutilisation à des fins privées ou commerciales », précise le Conseil national du numérique dans son avis relatif au projet de loi.

La LRN marque le passage à une culture de la diffusion spontanée des informations publiques. En effet, comme le souligne Mme Lucie Cluzel-Métayer dans son analyse du texte, « la loi oblige les administrations ([44]) à publier en ligne les documents administratifs quelles détiennent et à les communiquer aux personnes qui en font la demande (CRPA ([45]), art. L. 3111), par courrier électronique si le format le permet (CRPA, art. L. 3119). Elle leur impose, en outre, dès lors quils sont disponibles sous format électronique, de publier en ligne les documents qui ont déjà fait lobjet dune communication, ceux qui figurent au répertoire, mais aussi les bases de données et les données, mises à jour de façon régulière, dont la publication présente un intérêt économique, social, sanitaire ou environnemental (CRPA, art. L. 31211). » ([46])

Pour faciliter l’accès des chercheurs aux données de certaines administrations, telles que la Caisse nationale des allocations familiales (CNAF) ou l’Agence centrale des organismes de sécurité sociale (ACOSS) qui ne font pas partie de la statistique publique, ces administrations pourront désormais consulter le comité du secret statistique ([47]), quand il s’agira de « traitements à des fins de recherche ou détude présentant un caractère dintérêt public ». Le comité pourra recommander le recours à « une procédure daccès sécurisé aux données présentant les garanties appropriées », son avis devant tenir compte « des enjeux attachés aux secrets protégés par la loi, notamment la protection de la vie privée et la protection du secret industriel et commercial », ainsi que « de la nature et de la finalité des travaux pour lexécution desquels la demande daccès est formulée ». Ce passage par le comité du secret statistique, en leur fournissant une caution juridique et technique, incitera les administrations à autoriser l’accès à leurs bases de données.

La LRN affirme le principe de la libre réutilisation des informations contenues dans les documents communicables. S’il subsiste des exceptions comme dans le cas où la communication n’est pas un droit, la LRN étend la règle aux données des services publics industriels et commerciaux. Ainsi, toutes les données de l’INSEE sont désormais accessibles gratuitement depuis le 1er janvier dernier avec la mise à disposition gratuite du répertoire des entreprises SIRENE®. La mise à disposition des données est d’ailleurs devenue au fil du temps une activité à part entière de l’INSEE, alors que sa partie recherche s’est émancipée avec la création de l’établissement public Groupe des écoles nationales d’économie et de statistique. L’INSEE n’a plus le monopole d’accès aux données.

Toutes les administrations devront apporter leur concours au SPD. Il s’agit d’un service visant à mettre à la disposition de tous des données de référence, en vue de faciliter leur réutilisation. Son rôle est, non pas de créer de nouvelles données, mais d’offrir à tous une ressource fiable, authentifiée par la puissance publique. Ses modalités sont définies dans le décret n° 2017‑331 du 14 mars 2017, qui précise l’organisation de la mission de service public relative à la mise à disposition des données de référence en dressant la liste de ces données, en en fixant les critères de qualité et en précisant le rôle des administrations concernées.

La loi facilite l’appariement des données, notamment à partir du numéro d’inscription (NIR) au répertoire national d’identification des personnes physiques, qui est nécessaire pour mener certains travaux de recherche. Une simple déclaration auprès de la Commission nationale de l’informatique et des libertés (CNIL) suffit désormais pour les travaux de statistique publique, qui se transforme en autorisation pour les travaux de recherche scientifique ou historique. Il fallait auparavant, pour ces derniers, un décret en Conseil d’État.

Lutilisation du numéro dinscription au répertoire (NIR)

L’article 34 de la loi pour une République numérique donne la possibilité d’utiliser le NIR, le numéro de sécurité sociale crypté, ce qui permet le croisement de bases de données de nature très diverse et offre une source d’information extraordinairement riche.

Toute personne née en France métropolitaine et dans les départements d’outre-mer (DOM) est inscrite au répertoire national d’identification des personnes physiques (RNIPP). L’inscription à ce répertoire entraîne l’attribution du numéro d’inscription au répertoire (NIR) qui est utilisé notamment par les organismes d’assurance maladie, c’est pourquoi il est communément appelé numéro de sécurité sociale. Il donne donc accès à quantité d’informations confidentielles, relatives à la santé, aux droits à la retraite et aux prestations familiales. Les données triées sur ce critère offrent donc une masse d’informations considérables aux administrations et aux chercheurs en sciences sociales.

Les informations doivent pouvoir être utilisées à des fins de recherche mais après un traitement assurant que les individus composant les échantillons ne peuvent pas être identifiés. Aussi les appariements autorisés se font-ils après un cryptage du NIR à partir d’une clef d’appariement non signifiante (CSNS), propre à chaque projet de recherche.

Les résultats de travaux de recherche financés à plus de 50 % par des fonds publics pourront être mis en ligne en libre accès par leurs auteurs, après une période d’embargo de six à douze mois. Cette mesure facilitera la libre diffusion de résultats de recherche, qui était auparavant souvent restreinte et concentrée par les éditeurs. La loi autorise également la fouille de textes et de données en ligne, une pratique essentielle dans le cadre notamment de recherches en sciences humaines et sociales, pratique jusqu’ici interdite et qui doit permettre à la France de rattraper son retard sur ce sujet.

Élargissement du dispositif daccès des chercheurs aux données,
prévu par la loi pour une République numérique

L’État, ses établissements publics, les collectivités territoriales et leurs groupements disposent d’un patrimoine de données de très grande valeur. La partie open data est mise à disposition des personnes extérieures à l’administration, notamment pour les besoins de la recherche scientifique. Mais de nombreuses bases de données comportent des secrets protégés par la loi (vie privée, secret industriel et commercial, etc.) : elles ne peuvent alors être publiées en ligne que sous une forme agrégée ou fortement anonymisée. Le contenu exhaustif de ces bases de données n’est donc pas communicable, mais il le devient à l’expiration des délais de libre communicabilité des archives publiques : l’article L. 213‑2 du code du patrimoine fixe ces délais, et la disposition de la loi CADA codifiée à l’article L. 311‑8 du code des relations entre le public et l’administration (CRPA) prévoit l’articulation entre le CRPA et le code du patrimoine.

Avant l’expiration des délais de libre communicabilité des archives publiques, la consultation de documents non-communicables est néanmoins possible : elle peut être autorisée en vertu de l’article L. 213‑3 du code du patrimoine par l’administration des archives après accord de l’autorité qui a produit les documents. La demande doit être motivée et elle est satisfaite « dans la mesure où lintérêt qui sattache à la consultation des documents ne conduit pas à porter une atteinte excessive aux intérêts que la loi a entendu protéger ». 85 % des demandes faites dans le cadre de cette procédure d’accès anticipé aux archives publiques reçoivent aujourd’hui un accord.

Cette procédure, suivie par près de 3 500 personnes chaque année (chercheurs, généalogistes professionnels ou citoyens ordinaires devant faire valoir des droits), a été complétée dans le cas des grandes bases de données utilisées à des fins de recherche ou d’étude présentant un intérêt public, afin d’éviter un trop grand nombre de refus. Des administrations comme la CNAF, la CNAV ou l’ACOSS n’ont pas le statut de service statistique ministériel et ne pouvaient pas utiliser la procédure prévue pour la communication aux chercheurs des données statistiques : elles rencontraient ainsi certains freins pour développer l’accès des scientifiques à leurs données.

Afin de sécuriser les producteurs de ces grandes bases de données, la loi pour une République numérique a prévu une évaluation des demandes par un comité d’expertise et les conditions techniques d’un accès sécurisé aux données. Les administrations peuvent désormais émettre des avis favorables aux projets de recherche ou d’étude présentant toutes les garanties requises.

Le Comité du secret statistique, compétent pour les données couvertes par le secret statistique (article 6 bis de la loi du 7 juin 1951) et pour les données fiscales (article 104 de la loi du 22 juillet 2013 sur l’enseignement supérieur et la recherche), joue désormais le rôle de ce comité d’expertise : il peut être saisi dans le cadre d’un accès anticipé aux bases de données publiques, à la demande de l’administration productrice des données ou de l’administration des archives.

Ces dispositions sont de nature à transformer en profondeur les conditions de travail des chercheurs surtout que, depuis 2011, le centre d’accès sécurisé aux données (CASD) leur permet d’accéder à distance aux données individuelles de l’INSEE, des ministères de la justice, de l’éducation, de l’agriculture, des finances pour les données fiscales, et de la santé, sous réserve de respecter les règles de confidentialité applicables aux données personnelles. En effet, le boîtier CASD permet l’accès depuis l’extérieur. Autrement dit, il n’est pas nécessaire de se rendre dans une data room pour avoir accès aux informations.

Fonctionnement du CASD

Source : CASD.

À l’interface entre les producteurs qui déposent leurs données et leurs utilisateurs, le CASD propose un équipement garantissant un accès ultra-sécurisé et confortable aux données qui lui sont confiées, et permet leur appariement. Donnant accès à 247 sources de données, il a depuis son lancement géré ou hébergé 556 projets mobilisant 412 institutions utilisatrices et 1 519 utilisateurs.

M. Pascal Rivière a expliqué aux rapporteurs que ce centre, mis en place à l’initiative de l’INSEE, était unique au monde, et avait d’ailleurs été pris comme référence dans un rapport récent du Sénat américain.

b.   Des marges de progrès

C’est à la racine qu’il faut introduire la notion d’évaluation. M. Henri Verdier a rappelé ce qui paraît une évidence, à savoir que jusqu’à présent, les politiques publiques ne sont généralement pas conçues pour être évaluées. M. Benoît Simon, rompu à l’exercice de l’EPP, a enfoncé le clou en déclarant qu’il avait mesuré combien les données de réalisation étaient encore lacunaires dans les systèmes d’information publics. D’une part, les bases ne sont pas toujours remplies correctement, à partir pourtant des mêmes définitions ; d’autre part, les systèmes d’information changent au fil des années et il n’est pas toujours possible de reconstituer les historiques, donc d’avoir un jeu de données stabilisées sur ce qu’a été concrètement l’action publique.

M. Henri Verdier constate que l’offre de données partagées croît mais que les demandes d’EPP ne s’en sont pas encore vraiment emparées. Les administrations ne s’intéressent pas suffisamment aux données disponibles. De fait, beaucoup d’évaluations ne sont pas très quantitatives. Les évaluateurs n’ont pas toujours le réflexe ou les outils intellectuels ou technologiques pour utiliser ces masses de données. C’est sans doute pourquoi l’EPP est restée en marge de l’élan imprimé par les tenants de lopen government qui sont convaincus que la transformation numérique sera un vecteur de transparence démocratique, de collaboration et d’intelligence collectives.

M. Maurice Baslé écrit dans son étude que « les évaluations produisent des connaissances notamment sous la forme de données administratives, dentretiens enregistrés ou retranscrits, de données denquête ou dexpérimentation, de comptes rendus de conférence de consensus. Ces “données pour évaluer” doivent être ouvertes, structurées et utilisées. Les évaluateurs doivent en conséquence disposer de plateformes ou de datathèques pour tirer parti de lintelligence contenue dans les masses de données de suivi. »

L’acculturation à l’évaluation passe aussi, comme l’a souligné Mme Vergnolle, par la création de passerelles entre l’État et les citoyens. Ils sont en effet, dans tous les cas de figure, des parties prenantes des EPP et méritent d’y être impliqués plus systématiquement. Or les nouvelles technologies leur offrent l’opportunité d’y jouer un rôle plus actif. C’est pourquoi il serait souhaitable, et cela entre tout à fait dans les missions d’ETALAB, de concevoir une application permettant aux citoyens d’évaluer les politiques publiques dont ils sont les usagers quotidiens. Les entrepreneurs d’intérêt général pourraient être appelés à prêter main forte à un tel projet. Ce programme, lancé par le Président de la République en 2016 pour favoriser l’engagement citoyen au sein de l’administration, permet de recruter, pour dix mois, des talents extérieurs à l’administration (onze en 2017 et vingt-sept en 2018), sélectionnés par un jury en fonction de leurs compétences numériques d’exception. Ils sont invités à relever des défis d’intérêt général (neuf en 2017 et treize en 2018) lancés par les ministères.

Proposition n° 13 : confier à ETALAB et au programme « Entrepreneurs d’intérêt général » la conception d’une application permettant aux citoyens d’évaluer les politiques publiques du quotidien. 

Au cours des tables rondes, il est apparu que, même si les intentions étaient clairement affichées et les progrès incontestables, il restait du chemin à parcourir. M. Henri Verdier a reconnu que la donnée n’est pas toujours en ligne, que quand elle l’est, le public ne sait pas toujours qu’elle existe ; et que le chantier qui l’attend est immense. M. Xavier Ragot, président de l’Office français des conjonctures économiques, considère que l’accès aux données pour l’évaluation est problématique en France. L’INSEE et le Trésor ont des contraintes de confidentialité qui rendent difficile l’accès aux données pour les évaluateurs même pour des sujets aussi importants que l’investissement des collectivités locales.

Les États‑Unis ont institué une commission ad hoc, la Commission on Evidence-Based Policymaking, dont les membres étaient nommés par les responsables de la majorité et de l’opposition du Congrès. Elle a été dissoute après avoir remis son rapport en septembre 2017. Elle préconise la création d’un service public de la donnée, pour centraliser les données publiques et les rendre accessibles à tous ceux qui contribuent à améliorer la décision publique. La question du lien et de la fusion des fichiers administratifs à des fins d’évaluation est en effet essentielle, comme l’a relevé M. Stéphane Jacobzone, conseiller à la direction de la gouvernance publique de l’OCDE.

Un autre problème réside dans la mise à disposition des codes sources. Alors que depuis la loi pour une République numérique, elle est de droit, il a fallu des actions en justice pour obtenir celui d’APB et celui de l’impôt sur le revenu. Dans le domaine fiscal, ETALAB a pris l’initiative de lancer OpenFisca, un micro‑simulateur des impôts et prestations en faveur des ménages, développé en partenariat avec France Stratégie, l’Institut d’économie publique (groupement d’intérêt scientifique entre le CNRS, l’EHESS et l’université d’Aix-Marseille) et l’IPP. Accessible à tous, il rend compte du système socio-fiscal et mesure notamment les effets redistributifs des réformes. Il s’agit d’un moteur open source, réutilisable librement et gratuitement, qui essaie de coder la loi et la doctrine socio-fiscale dans le but de faire des simulations et de construire des nouveaux services.

M. Simon Chignard, conseil stratégique de la mission ETALAB, a expliqué aux rapporteurs qu’OpenFisca est un outil qui, à condition que le projet de loi de finances soit formaté pour être compréhensible par le logiciel, permet de faire des évaluations a priori et de visualiser les impacts selon les règles envisagées. Il faut ouvrir non seulement les données mais aussi les codes et les modèles car la décision ne se nourrit pas que des données, elle a besoin aussi de tester différentes règles.

Le Sénat a voulu prendre l’initiative au cours de la discussion du projet de loi de finances pour 2018, en adoptant un amendement du président de la commission des finances, M. Vincent Eblé, qui demandait la communication du code source des mesures fiscales soumises au Parlement par le Gouvernement. Il faisait valoir que l’accès à cette information permettrait à la fois de tester les hypothèses sur lesquelles elles reposaient et de faciliter l’élaboration de contre-propositions alternatives. Le Gouvernement, de son côté, a expliqué que les codes sources étaient finalisés après le vote de la loi de finances, et que l’amendement était irréaliste, même s’il en comprenait l’intention et en approuvait l’objectif. L’article a été supprimé par amendement gouvernemental en deuxième lecture à l’Assemblée, aboutissant à un statu quo.

Les rapporteurs ne peuvent que reprendre cette initiative à leur compte afin de progresser dans la communication des codes sources des mesures fiscales et sociales contenues dans les projets de loi de finances et de financement de la sécurité sociale. Plus largement, ils souhaitent que soit confiée à ETALAB la mission d’étudier les conditions d’un accès aux codes sources d’autres législations. Certaines sont déjà codées et il faudrait étudier l’intérêt qu’il y aurait à rendre leurs codes sources disponibles. D’autres n’ont pas encore été transcrites en langage informatique susceptible de rendre les simulations possibles et il faudrait donc vérifier la faisabilité d’une telle transcription.

 

Proposition n° 14 : à des fins d’évaluation des lois et des politiques publiques, rendre la législation accessible et exploitable par des simulateurs d’impact et de coût :

– pour la législation fiscale et sociale, élargir l’usage d’OpenFisca en prévoyant la publication des codes sources des modifications proposées via une annexe numérique jointe aux projets de loi de finances et de financement de la sécurité sociale

– pour les autres législations, confier à ETALAB la mission d’étudier l’opportunité et la faisabilité d’une transcription en codes sources accessibles

– favoriser le développement de modèles d’analyse et de simulation de politiques publiques.


VIII.   ÉVALUATION DES POLITIQUES PUBLIQUES ET DÉMOCRATIE PARTICIPATIVE : COMMENT ASSOCIER LES CITOYENS ?

1.   Améliorer la qualité et l’accessibilité des évaluations de politique publique

Dans son rapport publié en 2015 ([48]), le Conseil économique, social et environnemental (CESE) voit dans l’évaluation un moyen, pour la puissance publique, de rendre compte aux citoyens de ce qu’elle fait. Il insiste donc sur la nécessité de présenter de façon synthétique et didactique les résultats de l’évaluation des politiques publiques, d’organiser des débats autour de ces résultats et d’en assurer la communication de façon fidèle et impartiale.

Pour remplir sa fonction auprès de l’opinion publique, l’EPP doit être guidée par un certain nombre d’exigences qui se traduisent par des principes et des règles d’organisation. Trois principes font l’objet d’un consensus et figurent dans la charte de la SFE.

a.   L’indépendance

Dans son rapport, le CESE souligne que l’évaluation d’une politique publique n’est pas un exercice neutre : elle est en soi un acte politique. Dès lors, se pose la question de son indépendance. Une approche multidisciplinaire et multicritères, une pluralité d’expertises – pour prendre en compte les différents aspects de la réalité sociale, pour définir et mettre en œuvre les orientations décidées – sont donc considérées comme des éléments clé de la consolidation du statut de l’évaluation.

La charte de la SFE fait référence à la notion de distanciation, ainsi définie : « Lévaluation est conduite de façon impartiale. Les personnes participant au processus dévaluation à titre professionnel informent les autres partenaires de tout conflit dintérêt éventuel. Le processus dévaluation est conduit de façon autonome par rapport aux processus de gestion et de décision. Cette autonomie préserve la liberté de choix des décideurs publics. »

Dans « Les cinq défis de lévaluation » ([49]), le Premier  président de la Cour des comptes met l’indépendance des évaluateurs au niveau des principes essentiels : l’évaluateur n’est ni un juge, ni un contrôleur, car il est à la recherche de voies concrètes de progrès, après avoir souligné les aspects négatifs mais aussi positifs des dispositifs évalués. Il convient donc de positionner les évaluations entre deux conceptions, l’une trop stricte, l’autre trop lâche : la première, qui exige une séparation rigide entre évaluateur et évalué, interdit toute forme d’évaluation par l’administration, ou sous l’égide de celle‑ci, de politiques publiques relevant de son champ d’action ; la seconde, consistant à considérer comme telle tout travail qui se définit comme une évaluation, sans s’interroger sur sa nécessaire objectivité (évaluations trop soumises au pouvoir exécutif, évaluations insatisfaisantes du point de vue méthodologique…).

Une note du Conseil d’analyse économique ([50]) insiste également sur l’indépendance des évaluateurs en ces termes : pour que l’évaluation des politiques publiques soit utile, il importe que ses résultats soient crédibles, que les hypothèses soient présentées de manière transparente, sans que l’on puisse soupçonner que certaines ont été cachées. La difficulté est alors de faire collaborer les partenaires institutionnels et scientifiques tout en préservant l’indépendance de l’évaluation. Il existe des conflits d’intérêts évidents lorsque l’évaluation est réalisée par les administrations, ministères, directions ou établissements publics en charge de concevoir ou d’appliquer une politique publique.

Selon cette note, l’évaluation devrait s’appuyer sur un triptyque formé d’un coordonnateur, des administrations concernées et d’experts indépendants :

– la coordination de l’évaluation devrait être assurée par une institution extérieure au pouvoir exécutif. Quel que soit le choix du commanditaire institutionnel, celui‑ci devra s’assurer que la pluralité des approches est bien respectée, et contrôler que toutes les mesures aptes à faciliter les évaluations ont bien été prises (en particulier l’accès aux données). Il devra également organiser la confrontation et la diffusion des résultats. Le choix des organismes évaluateurs doit se faire par le biais d’appels d’offres publics et être effectué de façon transparente ;

– les administrations concernées doivent apporter leur expertise institutionnelle. Les services statistiques des ministères ont des compétences techniques en matière d’évaluation et peuvent participer utilement aux débats sur les résultats. Mais ils doivent faciliter la réalisation d’une évaluation indépendante, notamment en ouvrant un accès complet et éclairé aux données ;

– les experts doivent apporter leur compétence scientifique en tant qu’évaluateurs. Leur indépendance doit être assurée, entre autres, par leur rotation, de manière à éviter toute captation en fonction des résultats d’évaluations passées. Les experts doivent se soumettre aux contraintes liées au secret statistique et être transparents quant à leurs activités annexes pouvant engendrer des conflits d’intérêts. Il est primordial qu’ils collaborent avec les autres disciplines, notamment dans les phases préparatoires et celles de diffusion des résultats.

Les points de vue qui se sont exprimés lors de la table ronde consacrée aux principes et acteurs de l’évaluation témoignent néanmoins d’approches différentes quant au statut des évaluateurs. Selon M. Bruno Palier, co‑directeur du Laboratoire interdisciplinaire d’évaluation des politiques publiques (LIEPP), la mesure de l’impact d’une politique publique ne doit pas être du ressort de l’exécutif à qui il appartient de la mettre en œuvre. Mme Delphine Corlay, inspectrice des affaires sociales, en revanche, met en avant la connaissance de l’outil administratif et un accès facilité aux informations propres aux inspections dont les recommandations sont adaptées aux capacités de mise en œuvre de l’administration. Chargée du contrôle qualité de l’audit à la Cour des comptes européenne, Mme Danièle Lamarque considère, pour sa part, qu’au-delà du statut de l’évaluateur, l’indépendance est un enjeu de culture, de capacité à se poser des questions, d’éviter les préjugés ; c’est aussi un enjeu de collégialité et d’ouverture au pluralisme des points de vue. Personne ne naît indépendant et aucun recrutement ne permet de le devenir obligatoirement.

b.   Le pluralisme

Une définition du pluralisme figure dans la charte de l’évaluation de la SFE : « Lévaluation sinscrit dans la triple logique du management public, de la démocratie et du débat scientifique. Elle prend en compte de façon raisonnée les différents intérêts en présence et recueille la diversité des points de vue pertinents sur laction évaluée, quils émanent dacteurs, dexperts, ou de toute autre personne concernée. Cette prise en compte de la pluralité des points de vue se traduit  chaque fois que possible  par lassociation des différentes parties prenantes concernées par laction publique ou par tout autre moyen approprié. »

Dans son rapport de 2015 ([51]), le CESE insiste sur la nécessité de favoriser la pluralité des points de vue et d’intégrer les parties prenantes (décideurs, bénéficiaires et agents) dans le processus évaluatif. Il prône leur présence dans les comités de pilotage, de suivi, d’accompagnement, en fonction de la nature des politiques. Il juge également indispensable de veiller à la pluridisciplinarité des méthodologies et des approches de l’évaluation dans ces comités.

Dans son article « Lévaluation de politique publique : une pratique damélioration du fonctionnement des institutions publiques en tension entre efficience et pluralisme », M. Laurent Barbut pose le problème de la manière dont les acteurs doivent être associés aux EPP : doit‑on se limiter aux acteurs gestionnaires (élus, techniciens) ou associer les bénéficiaires et/ou usagers, voire les citoyens à la formulation d’un jugement sur une politique publique ? Cette question, précise‑t‑il, soulève des enjeux d’ordre éthique liés au fonctionnement de la démocratie et d’ordre méthodologique (comment organiser en pratique une telle association ?). Il ajoute que la production de connaissance partagée et mise en débat a un coût en termes de durée, difficilement compatible avec la rapidité du temps politique. Les tendances observées témoignent d’un souci de rendre les évaluations plus « utiles » au décideur, ce qui se fait au détriment de la finalité de production de connaissance, de transparence démocratique et de formation des citoyens.

Le rapport KPMG‑Quadrant Conseil consacré à l’évaluation de la démarche globale d’EPP menée dans le cadre de la modernisation de l’action publique ([52]) a apprécié la manière dont le SGMAP s’est efforcé de respecter le pluralisme. Il  considère que les EPP ont intégré des moyens de recueillir le point de vue des acteurs des politiques évaluées. Toutefois, cette tendance favorable trouve ses limites : à l’exception des évaluations portant sur l’éducation ou la santé, dans lesquelles les équipes ont cherché à associer plus étroitement les parties prenantes, l’association de ces dernières aux EPP est restée au stade de la consultation. Dans 62 % des évaluations, un comité de pilotage ouvert comprenant des représentants des usagers et/ou des observateurs indépendants (chercheurs ou experts) a été mis en place pour suivre l’évaluation. Cette ouverture constitue une évolution significative au regard de la pratique des missions d’inspection. Toutefois, ces comités de pilotage ont davantage été des instances de suivi de l’avancement des travaux que d’orientation et de validation. De ce point de vue, le processus d’évaluation semble avoir été plus pluraliste que partenarial. Certaines parties prenantes ont ainsi souligné la faible incidence sur le déroulement des travaux de leur présence au comité de pilotage ou d’évaluation, leur niveau limité d’association à l’orientation des travaux.

Lors de la table ronde consacrée aux critères de l’évaluation, M. Thomas Delahais, associé au cabinet Quadrant Conseil, a établi un lien entre indépendance et utilité de l’EPP : un rapport d’évaluation n’est utile à la décision que s’il recueille la confiance des parties prenantes, laquelle est subordonnée à la prise en compte de tous les points de vue et à des données incontestables. L’implication des acteurs d’une politique publique dans tout le processus d’évaluation est nécessaire à l’évolution de cette politique.

c.   La transparence

Selon la charte de la Société française de l’évaluation, les règles à respecter pour garantir la transparence sont les suivantes : « La présentation des résultats dune évaluation saccompagne dun exposé clair de son objet, de ses finalités, de ses destinataires, des questions posées, des méthodes employées et de leurs limites, ainsi que des arguments et critères qui conduisent à ces résultats. La diffusion publique des résultats dune évaluation est souhaitable. Les règles de diffusion des résultats sont établies dès le départ. Lintégrité des résultats doit être respectée, quels que soient les modalités ou les supports de diffusion retenus. »

Dans le même esprit, le CESE ([53]) voit dans l’évaluation un moyen, pour la puissance publique, de rendre compte aux citoyens de ce qu’elle fait. Il insiste donc sur la nécessité de présenter de façon synthétique et didactique les résultats de l’évaluation des politiques publiques, d’organiser des débats autour de ces résultats et d’en assurer la communication de façon fidèle et impartiale.

Le rapport KPMG‑Quadrant Conseil cité plus haut revient sur la prise en compte du principe de transparence par le SGMAP et ses limites. Il relève ainsi que près de 80 % des rapports d’évaluation étudiés ont été publiés (à titre d’exemple, la page concernant l’EPP portant sur l’engagement citoyen international des jeunes a été visitée 10 522 fois et celle relative aux logements vacants 4 028 fois). Une visibilité a été donnée à ces publications, notamment au cours de deux séminaires organisés par le SGMAP, le 6 novembre 2014 et le 19 mai 2016. Par ailleurs, des retombées dans la presse ont été constatées pour de nombreuses évaluations. Ce taux de publication est supérieur à celui constaté à l’échelle française par le baromètre de la SFE, selon lequel 47 % des évaluations étudiées ont fait l’objet d’un rapport ou d’une synthèse en ligne. Pour les évaluations commandées par l’État et analysées dans le cadre du baromètre, des documents sont accessibles en ligne dans 70 % des cas.

Le rapport « Principes de lévaluation des politiques publiques en France et mise en perspective pour une modernisation des pratiques » réalisé en 2014 par le cabinet Deloitte relève, à l’appui de comparaisons internationales, l’importance de la transparence dans le processus évaluatif, le citoyen étant directement impacté par les politiques publiques. En Espagne, une stratégie de communication est mise en œuvre dès le début d’une évaluation avec l’identification des utilisateurs potentiels et leurs caractéristiques ; les résultats sont systématiquement communiqués afin de favoriser leur utilisation par les décideurs publics et le développement d’une culture d’évaluation au niveau national. De même, aux États‑Unis, sous l’impulsion du président Obama, les administrations ont été invitées à rendre publiques le plus de données possibles, sous réserve de ne pas porter atteinte à la vie privée des citoyens.

Pour M. Marc Ferracci, professeur en sciences économiques à l’université Panthéon-Assas, la préservation de l’indépendance de l’EPP nécessite l’application d’un principe de transparence qu’il propose de formaliser par une clause de publication lors du lancement des évaluations.

Les experts consultés par les rapporteurs ont de manière unanime souligné l’importance de donner toute sa place à un principe nouveau : la participation, pour faire émerger un nouveau type d’évaluation centré sur la question : comment sont perçues et vécues les politiques publiques par les citoyens ?

2.   Donner plus de place à l’usager et au citoyen dans l’évaluation des politiques publiques

Malgré la nécessité d’un renouveau démocratique, la France est encore en retard en matière de participation citoyenne, retard dont se sont fait l’écho plusieurs participants aux tables rondes animées par les rapporteurs.

Ainsi M. François de Dorlodot (KPMG) regrette une pratique de l’EPP centrée sur l’expertise et où la consultation des parties prenantes ne saurait s’apparenter à une consultation des citoyens. Le numérique et les civic tech révolutionnent la participation citoyenne, laquelle, grâce à ces vecteurs, connaît une nouvelle dynamique dont l’EPP gagnerait à se saisir.

Spécialiste de l’ingénierie de la concertation et responsable de plusieurs projets de démocratie participative, M. Loïc Blondiaux est encore plus sévère : l’évaluation participative est, de son point de vue, réduite à de rares exemples sans lendemain. Les exercices participatifs qui se multiplient aujourd’hui se tiennent, pour l’essentiel, en amont du processus de décision et presque jamais en aval. L’évaluation participative reste donc à inventer.

Tirant les enseignements des évaluations menées au titre de la Modernisation de l’action publique, M. Vincent Lahuec rappelle que les parties prenantes, initialement absentes du processus évaluatif, y sont aujourd’hui associées. Toutefois, elles n’interviennent jamais au moment du choix d’une thématique d’évaluation, ni de son cadrage. Lors la phase d’élaboration du diagnostic, aucun lien n’est établi entre le diagnostic fait par les évaluateurs et celui des parties prenantes. Cependant, si l’atelier citoyen constitue un bon outil dans une perspective d’association des parties prenantes, les questions d’utilité, de cohérence et d’efficience auxquelles doit répondre une évaluation ne sont pas forcément présentes dans l’esprit des personnes consultées. Les indicateurs de satisfaction renseignés par les citoyens doivent donc nécessairement être complétés par d’autres.

La France accuse ainsi un certain retard par rapport aux instances européennes qui, suite au nouveau paquet « Mieux légiférer » présenté en mai 2015, ont adopté le 13 avril 2016 un accord interinstitutionnel qui prévoit de renforcer les consultations publiques : « La Commission mènera, avant ladoption dune proposition, des consultations publiques dune manière ouverte et transparente, en veillant à ce que les modalités et les délais dont elles seront assorties permettent une participation la plus large possible. La Commission encouragera en particulier la participation directe des PME et des autres utilisateurs finals aux consultations. Il sagira notamment de consultations publiques sur linternet. Les résultats des consultations du public et des parties intéressées sont communiqués sans tarder aux deux colégislateurs et rendus publics. »

a.   Une boîte à outils potentiellement très complète

La participation en évaluation peut s’apprécier à l’aune de deux critères : la diversité des participants (ou largeur de la participation) et la profondeur de la participation portant sur le degré d’implication des participants ([54]).

Sherry Arnstein a défini en 1969 une échelle de la participation citoyenne qui reste aujourd’hui encore la référence en la matière : le degré 0 de la participation consiste à simplement informer les citoyens d’une décision, tandis que la participation maximale consiste à déléguer le pouvoir aux citoyens.

À cette aune, il n’est pas possible de qualifier de « participative » une évaluation qui collecte des données auprès du public au moyen d’un questionnaire, par exemple. S’il est indispensable de consulter ses bénéficiaires dès lors que l’on aborde les questions de l’efficacité ou de l’impact d’une politique, ceux‑ci ne participent réellement que s’ils sont a minima consultés en amont sur les questions qui leur seront posées, et s’ils sont a minima destinataires de l’analyse des données pour la valider.

Au‑delà des évaluations conçues sans processus de participation, plusieurs familles d’évaluations participatives se sont développées ([55]) :

– lévaluation coproduite associe les acteurs en charge de la définition et de la mise en œuvre d’un programme à la coproduction d’une grande partie, parfois même de l’ensemble des étapes de son évaluation ; elle a pour objectif de garantir son utilisation par les acteurs de la politique évaluée. Cela suppose une sensibilisation initiale des acteurs à l’évaluation, d’autant plus conséquente qu’ils réalisent des tâches techniques. Le point de vue des bénéficiaires ou des non‑bénéficiaires est bien entendu recueilli dans la phase de collecte de données sans que ceux-ci soient considérés comme des participants à l’évaluation ;

– lévaluation pluraliste a pour finalité de prendre en compte la diversité des appréciations sur un programme public et de parvenir à une appréciation du programme négociée entre ces différents points de vue. Elle associe en conséquence une grande diversité de parties prenantes du programme ainsi que des représentants des citoyens, mais à seulement deux étapes : en amont (identification des questions évaluatives et des critères sur lesquels s’appuiera le jugement de valeur), et en aval (validation de l’analyse des données). L’évaluateur pilote l’évaluation, et réalise seul les phases techniques. Il est le garant de l’équilibre entre les points de vue des uns et des autres, et veille pour cela à l’expression des groupes d’intérêt les moins habitués aux jeux de pouvoir ;

 lévaluation émancipatrice préconise d’associer tous les porteurs d’intérêt à la totalité des phases de l’évaluation. Son but est de donner les moyens aux bénéficiaires d’une action publique d’acquérir de la connaissance, donc du pouvoir à l’occasion de l’évaluation de façon à se prendre en charge durablement. L’amélioration de l’action publique est donc secondaire par rapport à « l’encapacitation » (« empowerment ») des bénéficiaires. Ce type d’évaluation reste très minoritaire en France.

Synthétisant les travaux de la Société française de l’évaluation consacrés à l’évaluation participative (Journée détude de la SFE – décembre 2013), Mme Hélène Millet et M. François Mouterde soulignent que les citoyens peuvent être associés à des titres différents selon leur situation vis‑à‑vis de la politique évaluée, leur apport potentiel à l’évaluation variant en fonction de ce positionnement :

– ils peuvent être bénéficiaires d’une politique sociale, usagers d’une nouvelle ligne de transports en commun, riverains d’un espace public récemment réaménagé… Ils sont alors les publics cibles de la politique évaluée, et la prise en compte de leur expérience et de leur point de vue est évidemment nécessaire à l’évaluation ;

– ils peuvent être associés au processus évaluatif en tant que représentants associatifs, représentants de corps intermédiaires. On parle dans ces cas de « citoyens organisés », et leurs prises de parole interviennent à d’autres stades du processus évaluatif et selon d’autres modalités, plutôt en tant que membres d’un groupe de travail ou d’un comité de pilotage ;

– ils peuvent être associés à l’évaluation de façon en partie aléatoire, par exemple par tirage au sort ; dans un cas de cet ordre, ils n’ont a priori pas d’autre lien direct avec la politique évaluée que leur fait d’être interlocuteurs du débat public, et le sens de leur intervention est vraisemblablement plus en rapport avec des enjeux d’ordre démocratique qu’avec des enjeux de type strictement évaluatif. On parle usuellement alors de « citoyens lambda », ou de « citoyens ordinaires ».

Mme Hélène Millet et M. François Mouterde concluent que les « publics usagers » du service public ou de l’action publique apporteront d’abord leur expertise d’usage, c’est‑à‑dire leur expérience individuelle du quotidien en situation concrète et leurs échanges collectifs à ce propos. Par exemple, alors que l’expert médical, pour lutter contre un risque important d’épidémie, concevra une grande campagne de vaccination dans des centres collectifs spécialisés, l’usager potentiel de ces centres fera valoir la réticence croissante des populations vis‑à‑vis de la vaccination, la crainte d’effets secondaires importants et la nécessité de passer par le médecin traitant généraliste, interlocuteur de confiance habituel de la population.

Selon les critères d’évaluation, cela signifie que les usagers seront plus à l’aise sur des questions d’efficacité, d’efficience et de cohérence interne que sur des registres plus stratégiques comme la pertinence, la cohérence externe ou l’utilité sociale. En sens inverse, les « publics citoyens », plus détachés des contingences d’exécution du service public et plus attachés à la logique d’action globale, seront plus à l’aise sur ces registres plus stratégiques, touchant aux objectifs de l’action publique : pertinence, cohérence externe et utilité sociale.

Dans les deux cas cependant, tant pour les « publics usagers » que pour les « publics citoyens », deux effets communs paraissent susceptibles de résulter de l’implication dans l’analyse de la politique publique : l’introduction d’une dynamique de débat et la capacité à faciliter le compromis.

Mme Hélène Millet et M. François Mouterde identifient ainsi trois stades d’association des citoyens :

Les publics cibles de la politique évaluée (bénéficiaires, usagers, ayants droit, habitants ou riverains...) sont ceux à qui il est nécessaire que l’évaluation s’adresse pour approcher au plus près, en bout de chaîne, les fonctionnements de la politique et ses effets. Dans cet objectif, les relations qui s’instaurent à l’occasion de l’évaluation sont de l’ordre du recueil de témoignages, par le biais d’enquêtes par questionnaires, animation de focus groups, réalisation d’entretiens... Il s’agit de recueil de données à des fins d’évaluation, mais pas encore d’association à l’analyse de l’action publique. La prise en compte des publics à ce stade se situe donc en deçà des pratiques participatives.

Pour les parties prenantes associées à cette étape du processus, il s’agit de dépasser le stade du témoignage ou du point de vue, pour en venir à un regard plus global et plus analytique sur le fonctionnement de la politique considérée dans son ensemble et dans son déroulement. Il est envisageable que les citoyens associés à ce stade soient issus des publics cibles de la politique évaluée, et il peut arriver qu’ils aient été tirés au sort. Dans le cas le plus général, les citoyens mis en situation de participer à l’évaluation, sont plutôt des « citoyens organisés », membres d’associations, de conseils de quartier... Il ne s’agit plus d’une phase d’enquêtes de terrain, mais plutôt de groupes de travail, de panels, voire de jurys citoyens.

Il est envisageable que la formulation du jugement évaluatif se construise dans le cadre d’échanges ou de débats animés par un chargé d’évaluation. Pour en arriver là, il faut a priori d’une part une volonté politique solide, et d’autre part un travail préalable avec les citoyens associés, d’autant plus approfondi qu’ils ne sont pas issus des rangs des parties prenantes instituées.

b.   Les méthodes d’évaluation participative

Le guide élaboré par le Conseil scientifique de l’évaluation ([56]) distingue les enquêtes, le suivi d’un panel et l’entretien. S’ajoutent la pratique des conférences de consensus, celle des jurys citoyens et le recours aux consultations citoyennes.

Selon le guide élaboré par le Conseil scientifique de l’évaluation, un bon questionnaire comprend une majorité de questions fermées (qui n’admettent qu’un petit nombre de réponses, généralement moins de cinq), et quelques questions ouvertes, qui permettent à la personne interrogée de s’exprimer plus longuement et plus librement. Les questions fermées ont pour objet de constituer une information quantitative, les questions ouvertes une information plus qualitative mais pouvant cependant être exploitée.

On distingue quatre types de question : les questions de souhait ou d’intention (ce que veut la personne interrogée) ; les questions de connaissance (ses informations et opinions) ; les questions de comportement (ce qu’elle fait) ; les questions d’attributs ou de statut (ce qu’elle est).

La formulation des questions d’opinion ne doit pas induire de biais (ne pas suggérer implicitement une réponse) et respecter la sensibilité des personnes interrogées. Les réponses proposées doivent être équilibrées. Si l’on veut connaître, par exemple, la satisfaction d’une personne vis‑à‑vis d’une mesure, il faut que la personne interrogée ait le choix entre un nombre égal de réponses positives et négatives.

Le suivi d’un panel (par exemple d’un groupe d’individus bénéficiant d’une mesure sociale) vise à appréhender les effets de l’action publique dans leur dimension temporelle. La technique consiste à répéter la même enquête auprès d’un même échantillon, à intervalles réguliers (6 mois ou plus), pendant une durée totale de plusieurs années. On peut ainsi saisir l’impact d’une intervention publique sur la trajectoire sociale des individus. Outil de base pour l’évaluation des politiques sociales, le suivi d’un panel se heurte à plusieurs difficultés pratiques :

– les contraintes de temps et de coût ;

– la difficulté de constituer un échantillon représentatif et de conserver cette représentativité au cours du temps. Il faut en effet obtenir des personnes un accord de principe pour se soumettre à des interrogations répétitives, prévoir des procédures de remplacement des personnes qui disparaissent du panel… Dans le cas de l’évaluation du RMI, le panel des bénéficiaires est passé de 2 000 à 1 000 en deux ans, à cause de défections.

Initiées au Danemark dans les années 1980, les conférences de consensus sont certainement le plus connu des dispositifs destinés à répondre aux défis démocratiques posés par l’évolution des sciences et des technologies.

Le principe de ces conférences est de placer un panel de citoyens « profanes » au centre du processus d’évaluation d’un choix de politique scientifique ou technologique aux conséquences sociales incertaines ou controversées. Les conférences proprement dites consistent en un dialogue public organisé sur plusieurs jours entre les citoyens et divers experts permettant ensuite aux citoyens de rédiger avis et recommandations, destinés aux décideurs et au grand public. Ce dialogue public est précédé d’une période de formation et d’information, plus ou moins longue, car il s’agit de mettre des citoyens ordinaires en position de dialoguer de manière constructive et informée avec les experts, puis de tirer de ce dialogue les éléments nécessaires à une prise de position argumentée sur la question posée, ayant en vue l’intérêt général.

La sélection du panel ne vise pas forcément la représentativité mais une diversité suffisante pour que l’avis ne soit pas biaisé en un sens ou un autre. Les panélistes sont, sinon toujours rémunérés, du moins dédommagés pour leur participation au processus, lequel requiert de leur part un investissement significatif.

Dans l’esprit de la plupart des organisateurs, ces conférences ont essentiellement pour fonction de renforcer et élargir le processus de délibération qui précède toute prise de décision politique, et en particulier de le faire sortir du traditionnel face‑à‑face entre élus, experts et lobbies. Mais ce contournement des mécanismes traditionnels de la démocratie représentative n’est pas forcément toujours positif. L’expérience prouve en effet que les pouvoirs publics espèrent parfois que les conférences de consensus leur permettront de neutraliser ou ignorer les acteurs organisés de la société civile en faisant appel à un « citoyen ordinaire » assimilé à la « majorité silencieuse ».

Ainsi, certains voient dans les conférences de consensus un moyen de mesurer l’acceptabilité sociale de telle ou telle technologie. D’autres privilégient à l’inverse la fonction de démocratisation de la prise de décision, à travers l’inclusion du point de vue des citoyens ordinaires et la transparence des arguments échangés par les experts et les lobbies.

En France, la première conférence de citoyens (initialement appelée conférence de consensus) a été organisée en 1998 par l’Office parlementaire des choix scientifiques et technologiques, sur l’utilisation des OGM en agriculture et dans l’alimentation, avec le concours de 15 citoyens. Depuis, le Conseil national d’évaluation du système scolaire (Cnesco) a développé une expérience des conférences de consensus particulièrement intéressante (cf. encadré ci‑dessous). En décembre dernier, le Sénat et le Gouvernement ont lancé une conférence de consensus sur le logement avant le dépôt du projet de loi annoncé par le Gouvernement. Le Gouvernement a mis en débat l’intégralité de l’avant-projet de loi et le Sénat créé une plateforme afin d’éclairer le débat public et de recueillir les contributions des acteurs, en vue de l’enrichissement du futur projet de loi et du débat parlementaire.

Les conférences de consensus du Conseil national dévaluation du système scolaire

Le Conseil national d’évaluation du système scolaire (Cnesco) a été créé en 2013 afin de réaliser, de manière indépendante, des évaluations scientifiques et participatives du système scolaire. Il est composé d’une majorité d’experts scientifiques, de parlementaires et de membres du Conseil économique, social et environnemental.

Le Cnesco a constitué un réseau de plus de 200 chercheurs et experts internationaux associés ainsi qu’un partenariat avec 12 universités et laboratoires de recherche ; il associe également les acteurs de l’école à ses travaux notamment dans le cadre de conférences de consensus qui permettent à un jury d’acteurs de terrain, de formuler des constats et recommandations après avoir entendu des experts et débattu autour des travaux de la recherche. Ces travaux sont ensuite diffusés aux professionnels de l’éducation et, le cas échéant, enrichis par la réalisation de supports de formation.

Ainsi, en 2016, le Cnesco a organisé une conférence de concensus intitulée : « Lire, comprendre, apprendre : comment soutenir le développement de compétences en lecture ? » qui a été conduite en cinq étapes :

– le Cnesco et l’Institut français de l’éducation ont, en premier lieu, établi un état des lieux des acquis des élèves en lecture, des synthèses de la littérature scientifique sur la lecture numérique, sur l’activité de compréhension en lecture et des pratiques pédagogiques, sur l’acculturation à l’écrit ;

– un jury de dix‑huit membres représentant la diversité des parties prenantes et constitué dans le cadre d’un appel à candidatures, a ensuite pris connaissance du point de vue des experts sur un certain nombre de sujets puis élaboré des questions dans la perspective des séances publiques ;

– lors de deux journées de séances publiques, les experts ont présenté leurs analyses scientifiques puis le jury et le public ont débattu avec chaque expert, afin d’approfondir la réflexion. Au terme des discussions, le jury a formulé des recommandations ;

– les conclusions des débats ont été diffusées au public et aux acteurs de la communauté éducative ;

– le suivi des recommandations s’effectue par le biais d’enquêtes, la rédaction de rapports, la veille thématique, la création d’un réseau d’experts et de praticiens sur le sujet.

La prochaine conférence de consensus organisée en 2018 par le Cnesco sera consacrée à la thématique : « Écrire et rédiger : comment guider les élèves dans leurs apprentissages ? ».

Le jury citoyen, né dans les années 1970 en Allemagne et aux États‑Unis, est devenu un standard de la démocratie participative : des citoyens sont tirés au sort afin de travailler sur des recommandations de politique publique destinées aux élus ou à certains services publics.

Le jury citoyen, qui peut faire l’objet de nombreuses variantes, s’organise autour de cinq principes :

– il est, dans la plupart des cas, commandité par une institution publique (quartiers, villes, cantons, départements, régions, États et Union européenne) ;

– le groupe de citoyens est constitué par tirage au sort ;

– des phases d’information et de délibération alternent : lors des premières, des experts et des représentants d’intérêts organisés présentent leur point de vue sur la question en débat ; lors des secondes, les participants travaillent entre eux, souvent à l’aide de questions ouvertes auxquelles ils apportent leurs réponses collectives. Le dernier jour étant consacré à la rédaction de propositions ;

– l’avis citoyen est remis à l’autorité mandataire lors d’une cérémonie officielle : l’autorité s’engage alors à prendre en compte ou à rejeter après motivation les recommandations des participants ;

– le processus est accompagné par un tiers neutre chargé de préparer le programme, d’inviter les intervenants, d’animer le jury et de réaliser le compte rendu des débats avant de mettre en forme l’avis.

Ce modèle est très pertinent lorsque le mandataire cherche à connaître le point de vue des participants sur une question pour laquelle il a prévu d’agir. Il est moins adapté quand il s’agit d’explorer des futurs possibles ou de mettre en mouvement les acteurs du territoire sur un sujet précis.

Une consultation citoyenne prend généralement la forme de questions destinées à recueillir des contributions libres (production d’un document présentant une analyse ou une opinion sur tout ou partie d’un état des lieux ou sur des scénarios d’évolution) émanant de citoyens qui ne sont pas présélectionnés. Cela suppose de disposer de moyens logistiques pour coder les expressions des citoyens, les interpréter et en tenir compte. Trois expériences de consultation citoyenne sont décrites ci‑dessous.

La consultation citoyenne sur le projet de loi pour une République numérique

Le projet de loi pour une République numérique a fait l’objet d’une consultation citoyenne novatrice lancée en septembre 2015 et permettant à de nombreux contributeurs de se prononcer sur les articles de l’avant‑projet de loi.

Cette consultation, qui a rassemblé 21 000 contributeurs et recueilli 147 000 votes, a permis d’atteindre de nouveaux publics – 60 % des contributeurs avaient moins de 35 ans – et l’implication de diverses communautés telles que les associations de personnes handicapées ou encore les adeptes de jeux vidéo.

Si 80 % des votes et avis ont été positifs, cette consultation a également permis d’identifier les oppositions ou questionnements suscités par certains articles, et de faire émerger de nouvelles propositions pour améliorer le texte. Le projet de loi a ainsi été enrichi de 5 nouveaux articles et 90 modifications portant sur des articles du projet initial.

 

Lexpérience de consultation citoyenne menée par le CEC
dans le cadre de lévaluation de laction publique en faveur de légalité
entre les femmes et les hommes

Une consultation citoyenne sur l’impact de la loi du 4 août 2014 pour l’égalité réelle entre les femmes et les hommes a été menée par le CEC en octobre 2016 avec le concours de l’association Regards citoyens. Le questionnaire soumis aux participants comportait des questions « fermées » (les internautes étant guidés dans le choix de leurs réponses) et des questions « ouvertes » (les internautes étant invités à déposer leurs observations dans des espaces de contribution libre).

À l’analyse statistique des réponses aux questions fermées, d’autres manières de faire « parler » les réponses, en particulier celles apportées aux questions ouvertes ont été utilisées. L’association Regards citoyens s’est illustrée dans ces deux dimensions de l’analyse, en s’adjoignant des compétences spécifiques.

L’exploitation statistique des résultats obtenus aux questions fermées a été complétée par une analyse statistique plus élaborée, par « populations » de répondants telles qu’identifiées par l’association Regards citoyens au moyen d’une méthode dénommée « clusterisation k‑mean » (partitionnement en k‑moyennes) qui permet de faire émerger, pour chaque thème, des groupes de personnes ayant un comportement similaire. En effet, l’analyse des données sur la plateforme Opendata de l’Assemblée nationale a permis d’établir un suivi de chaque répondant repéré par son identifiant anonymisé et donc un lien entre ses différentes réponses aux questions portant sur un même thème ; en rapprochant les parcours de l’ensemble des répondants de façon à faire émerger des groupes significatifs, on parvient à établir des profils de répondants. C’est ainsi qu’ont pu être identifiées entre deux et huit populations par thème.

L’analyse statistique des réponses aux questions fermées a été complétée par une analyse quantitative des réponses aux questions ouvertes, visant selon l’association Regards citoyens, à mesurer le degré de qualification et d’engagement des contributeurs puis à formuler diverses hypothèses sur le profil des répondants.

La démonstration a donc été faite que, même dans le cadre d’une consultation citoyenne fort éloignée de la méthodologie propre aux enquêtes d’opinion, il était possible de tirer, par l’analyse statistique, des conclusions utiles, à la condition toutefois de ne pas solliciter à l’excès les résultats obtenus pour caractériser des populations qui n’existeraient que dans l’imagination de l’analyste.

L’association Regards citoyens a également procédé à deux types d’analyse des réponses aux questions ouvertes :

– la méthode dite TF‑IDF (Term Frequency – Inverse Document Frequency) a été utilisée, ainsi qu’un logiciel libre ad hoc, ce qui a permis de mesurer le poids de tel terme ou de telle expression au sein des documents analysés afin d’identifier des problèmes liés au thème commenté, des publics types ou des solutions suggérées aux difficultés rencontrées ;

– une analyse communautaire a été réalisée avec deux autres collectifs citoyens (les associations PbSolving et DemocracyOS France), consistant en une « production participative » ou une analyse communautaire, équivalents possibles en français de l’expression crowdsourcing qui désigne le recours à l’intelligence, au savoir‑faire et à la créativité du plus grand nombre pour sous‑traiter ce qu’une seule entité n’a pas les moyens de faire seule. Cette méthode, déjà utilisée pour le projet de loi pour une République numérique, a mobilisé environ 400 internautes chargés d’analyser les contributions soumises par les personnes ayant répondu aux questions ouvertes du questionnaire. Ces 400 internautes bénévoles et anonymes mobilisés par les trois associations précitées ont passé au tamis l’ensemble des contributions libres, chacun en analysant au moins une, le plus disponible en ayant analysé pas moins de 230. En outre une soirée réunissant physiquement une vingtaine de personnes, baptisée « crowdsourcing party », a été organisée pour se livrer au même exercice.

 

La consultation citoyenne de lAssemblée nationale
sur la manière de promouvoir la participation des citoyens à la vie politique

Dès le début de la XVe législature, le Président de l’Assemblée nationale a exprimé la volonté de profondément réformer le fonctionnement de l’Assemblée. Le 20 septembre 2017, le Bureau de l’Assemblée a arrêté la feuille de route de sept groupes de travail, l’un d’eux portant sur la démocratie numérique et les nouvelles formes de participation citoyenne.

Dans le cadre de ses travaux, ce groupe de travail, présidé par Mme Cécile Untermaier et dont la rapporteure est Mme Paula Forteza, a lancé une consultation citoyenne sur la manière de promouvoir la participation citoyenne dans la vie politique.

La consultation s’est déroulée en ligne du 6 octobre au 8 novembre 2017, à l’aide d’une plateforme déployée sur le site de l’Assemblée nationale, les contributions, anonymisées, étant accessibles en open data.

Un comité scientifique a été constitué afin de garantir la neutralité et de valider la méthodologie pour mettre en valeur les propositions les plus abouties et les plus populaires. Une charte de la consultation a été publiée.

Des ateliers thématiques ont ensuite été organisés le 25 novembre 2017, permettant aux contributeurs sélectionnés d’exposer leurs propositions aux membres du groupe de travail. La restitution finale de ces ateliers a été retransmise en direct sur le portail vidéo de l’Assemblée nationale.

Un rapport de synthèse a été établi par Open Source Politics à la demande de l’Assemblée ; il comporte une analyse statistique de la consultation, une analyse de la terminologie des contributions et une sélection de 15 contributions commentées.

c.   Faire du citoyen un acteur à part entière de l’évaluation des politiques publiques

Aujourd’hui, l’idée d’aller au‑delà des usagers directs pour impliquer le plus grand nombre de citoyens est largement partagée.

Directeur conseil de Cap Collectif, concepteur d’applications participatives, M. Thibaut Dernoncourt constate que le système représentatif qui, antérieurement, se suffisait à lui‑même, ne fonctionne plus. Il suggère trois orientations pour combler le déficit de crédibilité de l’EPP : en premier lieu, il conviendrait d’organiser le cadre dans lequel les consultations sont conduites, afin d’éviter la confusion née d’un trop grand morcellement ; ensuite, coupler des dispositifs présentiels et numériques pour atteindre les citoyens de tous les territoires ; enfin, faire interagir les citoyens et les élus pour traduire concrètement les propositions citoyennes. L’appréciation de l’effet d’une mesure nécessite de solliciter non pas un panel, mais un grand nombre de citoyens. Le travail avec des citoyens formés aux méthodes de l’évaluation participative gagnerait à être conduit avec un grand nombre de citoyens, ce que les outils numériques permettent d’envisager.

Auteur d’un ouvrage de référence sur l’évaluation des politiques publiques, M. Bernard Perret constate que, si des acquis importants ont déjà été enregistrés dans l’implication des parties prenantes, la question de la participation citoyenne est plus complexe, en particulier lorsqu’il s’agit de politiques publiques nationales.

Spécialiste de la conduite des EPP, M. Stéphane Paul pointe la difficulté d’identifier le citoyen pertinent pour la politique évaluée, en évitant les « technocrates de la représentation » qui, à force d’intégrer les contraintes de l’administration, finissent par s’éloigner des préoccupations des usagers. La véritable participation des usagers consiste par exemple à accepter qu’ils participent à la définition des questions évaluatives et à prendre en compte leur parole tout au long du processus de l’évaluation.

Gérant de l’entreprise Open Source Politics, M. Valentin Chaput plaide pour la diversification des méthodes pour permettre aux différents niveaux de connaissance de s’exprimer. Outre le recours aux questionnaires avec un processus d’échange autour des réponses, des ateliers collectifs et participatifs ou des jurys citoyens peuvent être juxtaposés afin d’atteindre un public aussi divers que possible.

Prenant acte des progrès de la France dans la prise en compte des citoyens, en particulier au niveau local, M. Henri Jacot, membre de la Société française de l’évaluation, relève qu’elle gagnerait à s’appuyer sur les nouveaux outils technologiques pour valoriser la participation citoyenne.

Pour M. Loïc Blondiaux, les différents degrés d’implication des citoyens dans l’EPP font appel à des outils spécifiques. Ainsi, la conduite du processus évaluatif par des citoyens impartiaux et disposant des outils nécessaires suppose de tirer au sort des citoyens à qui on donnera la mission et les moyens d’enquêter sur une politique publique. La procédure du jury citoyen est particulièrement efficace et robuste à cet effet car elle donne le temps au citoyen d’entrer dans la logique des politiques, de s’informer, d’auditionner des experts et, in fine, de produire un avis sur ces politiques.

Mme Delphine Corlay, inspectrice des affaires sociales, en conclut quune mission dévaluation qui ne ferait pas appel au citoyen serait vouée à léchec. Lenjeu se situe à chacune des étapes de lEPP et lémergence dun principe de participation aboutit donc à donner aux citoyens une place à chaque stade de lEPP.

Pour M. Marc Ferracci, le citoyen doit être intégré à chaque étape pertinente du processus. En effet, si l’évaluation elle‑même doit être pratiquée par des personnes qui en maîtrisent les méthodes, il est possible d’intégrer les citoyens au moment de la définition des objectifs et des questions évaluatives, et lors de la discussion autour des résultats. Chargé du pilotage du programme d’évaluation au SGMAP, M. Clément Lacouette‑Fougère relève que les citoyens peuvent aussi devenir les mandataires de l’évaluation, comme cela se fait en Suisse ; ils peuvent également commenter et coproduire les recommandations des EPP.

Les rapporteurs sont partisans d’adopter une démarche résolument volontariste, inspirée de la règle appliquée par la Commission européenne, consistant à prévoir une obligation de procéder à une consultation publique à chaque stade du cycle législatif : ex ante, avant l’adoption d’une loi au moment de l’élaboration de l’étude d’impact, et ex post, au moment de l’évaluation de la loi. Ex ante, l’article 8 de loi organique n° 2009‑403 du 15 avril 2009 comprend un alinéa qui prévoit que les études d’impact exposent les consultations qui ont été menées pour élaborer le projet de loi. Il convient de modifier cet alinéa pour instaurer le principe d’une consultation citoyenne et de prévoir le même principe dans les conditions de réalisation des études d’impact que les rapporteurs souhaitent voir accompagner les propositions de loi inscrites à l’ordre du jour (cf. proposition n° 8). S’agissant de l’évaluation de l’impact de la loi après son adoption, les clauses d’évaluation que les rapporteurs proposent de systématiser (cf. proposition n° 9) doivent prévoir la réalisation d’une consultation citoyenne.

Proposition n° 15 : instaurer le principe d’une participation des citoyens à l’élaboration et à l’évaluation de la législation et des politiques publiques, en prévoyant l’organisation d’une consultation citoyenne :

– dans les conditions de réalisation des études d’impact accompagnant les projets de loi et les propositions de loi inscrites à l’ordre du jour (cf. proposition n° 8)

– dans les clauses d’évaluation inscrites dans la loi (cf. proposition n° 9).

d.   Les conditions d’une participation citoyenne réussie

Pour être réussie, une participation citoyenne demande que plusieurs conditions soient réunies. Les spécialistes des méthodes d’évaluation soulignent les avantages et limites de l’évaluation participative en termes de validité de l’évaluation, d’utilisation de ses résultats, de co-construction de l’action publique, de contribution à la démocratie participative et en termes de coût et de bénéfice attendus. Ces avantages et ces limites sont synthétisés dans l’encadré ci‑dessous, extrait d’un article de Mme Béatrice Plottu et M. Éric Plottu.

Avantages et limites de l’évaluation participative

1. Validité externe de l’évaluation

(+) Le jugement évaluatif construit à partir d’une multiplicité d’opinions informées confère aux projets évalués une plus grande légitimité.

(–) Associer des acteurs ne possédant aucune compétence et expérience en matière d’évaluation, et n’ayant qu’une vision partielle des enjeux de l’action publique évaluée peut affaiblir la qualité de l’évaluation par rapport à un processus reposant sur une démarche scientifique.

2. Utilisation des résultats de l’évaluation

(+) L’adhésion des acteurs aux conclusions de l’évaluation sera d’autant plus forte qu’ils ont eux‑mêmes contribué à leur élaboration. La mise en œuvre des recommandations en sera facilitée.

(–) La participation des parties prenantes peut desservir le processus évaluatif, si l’incompétence et le manque d’expérience des acteurs en matière d’évaluation les conduisent à produire des conclusions de mauvaise qualité qui ne pourront alors pas être utilisées.

3. Co-construction de l’action publique

(+) La mise en évidence entre acteurs des points de convergence et des zones de désaccord vont permettre d’avancer dans la construction collective de décisions.

(–) Le processus participatif peut aboutir au statu quo ou à une décision peu ambitieuse et peu novatrice.

4. Contribution à la démocratie participative

(+) L’évaluation participative, en cherchant à donner voix au chapitre à ceux qui sont traditionnellement exclus du débat public enrichit celui‑ci. Par ailleurs, en participant au processus évaluatif, le citoyen se trouve mieux informé et impliqué.

(–) Si la confrontation des points de vue est insuffisamment encadrée, les groupes d’acteurs les plus puissants risquent d’imposer leurs points de vue aux plus faibles. On aboutit alors à la situation paradoxale où les plus faibles se trouvent exclus d’un processus dont la finalité était précisément de les faire entendre.

5. Coût de la participation et bénéfice sociétal attendu

(+) Dès lors que les conclusions de l’évaluation auront été largement discutées en amont, on peut s’attendre à ce que leur mise en œuvre suscite moins de résistances. Le coût d’une évaluation participative (information, formation, accompagnement des acteurs) est compensé par les coûts évités liés aux retards et blocages engendrés par un processus non participatif.

(–) L’évaluation participative a un coût souvent jugé prohibitif par rapport à des bénéfices supposés  difficilement quantifiables de la participation. De plus, l’évaluation étant un exercice contraint dans le temps, les phases préparatoires sont généralement négligées, l’évaluation participative a alors toutes les chances de ne pas délivrer les bénéfices que l’on en attend.

Source : Contraintes et vertus de lévaluation participative, Béatrice et Éric Plottu.

À l’appui des résultats d’une enquête réalisée en 2012 auprès d’une vingtaine de commanditaires locaux, Mme Hélène Clot dans « La commande dévaluation participative : une pratique hétérogène » ([57]) définit ainsi les conditions qui favorisent une mobilisation efficace :

– une attention portée au recrutement des participants : la plupart des commanditaires s’attachent à toucher les usagers directement mais les relais associatifs sont également utilisés ;

– la préparation en amont dans le cadre, par exemple, d’une formation préalable ;

– les sujets qui doivent être en adéquation avec les préoccupations des participants ;

– le sens donné à la participation en particulier son utilité ;

– la qualité de l’animation : les compétences mais aussi l’engagement des animateurs ;

– la définition d’un cadre de fonctionnement : le rôle attendu des personnes sollicitées doit être clairement explicité.

La participation des citoyens au processus de l’évaluation va aussi de pair avec l’implication des médias qui ont assurément un rôle central à jouer en termes de valorisation de l’EPP et d’acculturation des citoyens. En outre, la mobilisation des citoyens n’est utile et efficace que si le temps, les moyens d’expertise, de communication et de connaissance sont suffisants et l’utilité de leur participation, établie. Dès lors qu’ils en sont convaincus, ils peuvent se mobiliser avec intensité et efficacité. Dans le cas contraire, ils ne s’impliqueront pas.

 


—  1  —

   EXAMEN PAR LE COMITÉ

Le Comité a procédé à l’examen du présent rapport d’information lors de sa réunion du jeudi 15 mars 2018. Au cours de cette réunion, il a autorisé la publication du présent rapport.

Les débats qui ont eu lieu au cours de cette réunion sont accessibles sur le portail vidéo du site de l’Assemblée nationale à l’adresse suivante :

http://www.assemblee-nationale.tv/video.5693385_5aaa424dd9912.comite-d-evaluation-et-de-controle-des-politiques-publiques--evaluation-des-dispositifs-d-evaluatio-15-mars-2018

 


—  1  —

ANNEXE 1 :
OUTILS D’ÉVALUATION À DESTINATION DES DÉPUTÉS

ANNEXE 1.1 : PROTOTYPAGE D’UNE AGENCE D’ÉVALUATION AU SERVICE DU PARLEMENT

IMAGINONS !
L’AGENCE DU PARLEMENT POUR L’EVALUATION DES POLITIQUES PUBLIQUES

Compte rendu de l’atelier de design organisé le 20 février 2018 à l’Assemblée nationale et animé par l’équipe de l’agence Vraiment Vraiment

1. Cadrage

Le 20 février 2018, à la demande des députés Valérie Petit et Pierre Morel-À-L’Huissier, membres du Comité d’évaluation et de contrôle des politiques publiques de l’Assemblée nationale et co-rapporteurs de la mission d’information sur l’évaluation des dispositifs d’évaluation des politiques publiques, s’est déroulée une séance de travail animée par Yoan Ollivier et Romain Beaucher (Vraiment Vraiment) et réunissant des élus, des personnalités qualifiées, des collaborateurs parlementaires et un représentant de la DITP.

Cette séance de design faisait suite à la proposition formulée par les rapporteurs de création d’une agence parlementaire de l’évaluation des politiques publiques, une proposition qui figure aujourd’hui parmi les15 propositions finales présentées à l’issue de la mission d’information.

Cette séance a permis de dessiner les contours d’une « entité » définie par sa fonction, à savoir proposer une offre de service/d’accompagnement/d’expertise/support à la disposition des parlementaires pour renforcer leurs capacités en matière d’évaluation des politiques publiques.

Durant la séance, nous n’avons pas préempté la « forme » ou le « nom » que pourrait prendre cette nouvelle entité. Soulignons néanmoins qu’il est apparu indispensable, au cours des discussions, qu’elle soit produite dans des conditions d’indépendance intellectuelle par rapport aux différents acteurs parlementaires (groupes politiques) et extérieurs (exécutif, autres acteurs de l’évaluation de politiques publiques, etc.).

2. Design

Afin d’éviter la création d’une nouvelle structure sans avoir imaginé et testé finement ses usages et son fonctionnement, avec des délais forcément longs de mise en place et le risque d’une non-pertinence partielle ou de dysfonctionnements rédhibitoires, nous recommandons d’adopter une logique de prototypage. Certaines « briques » de l’offre de service peuvent d’ailleurs être prototypées et testées très rapidement, avec peu de moyens, améliorant très vite le travail des parlementaires et permettant d’affiner la vision d’une future « Agence du Parlement pour l’évaluation des politiques publiques. »


3. Vocation de l’agence

a) Partir des besoins des parlementaires : l’agence répond à une série de besoins d’évaluation aujourd’hui non satisfaits

Nous avons listé un certain nombre de cas dans lesquels les parlementaires sont susceptibles d’avoir recours à cette offre de service, étant entendu que ces besoins sont aujourd’hui insuffisamment couverts alors même que l’évaluation est supposée constituer, en théorie et selon la Constitution, un tiers de l’activité des parlementaires (art. 24).

– Cas d’un parlementaire

▪ Pour préparer le travail sur un projet de loi ;

▪ Pour préparer une proposition de loi ;

▪ Pour réaliser une étude d’impact ;

▪ Pour rédiger un amendement ou une proposition à visée évaluative ;

▪ Pour contre-expertiser une étude d’impact du Gouvernement ;

▪ Pour évaluer une loi dans le cadre d’une mission d’information ou d’enquête par exemple ;

▪ Pour évaluer une politique publique dans le cadre d’une mission d’information ou d’enquête par exemple ;

▪ Pour évaluer une loi à l’occasion des débats budgétaires ;

▪ Pour évaluer des amendements parlementaires ou du Gouvernement particulièrement signalés.

– Cas d’un groupe politique du Parlement.

À chacun de ces cas doivent correspondre des « droits de tirage » particuliers sur les différentes « briques » de l’offre de service, en veillant aux droits de l’opposition (y compris interne aux groupes politiques ?).

b) Sensibiliser et mobiliser les parlementaires : l’Agence soutient la montée en compétence des parlementaires en matière d’évaluation

Il s’agit d’informer et de mobiliser les parlementaires, en leur donnant envie de (mieux) jouer leur rôle en matière d’évaluation des politiques publiques.

En partant d’un groupe de « parlementaires pionniers » motivés, une campagne « engagez-vous » pourrait être lancée sous un format qui casse les clichés de l’évaluation rébarbative, mettant en valeur l’intérêt pour les parlementaires de s’intéresser au sujet, pour :

– Mieux voter (avec une connaissance plus précise et documentée des effets du vote) ;

– Vérifier l’effet du travail parlementaire sur le territoire ;

– Mieux faire le lien entre le travail en circonscription et le travail à l’Assemblée nationale, en faisant « remonter » de façon outillée et donc opérationnelle les préoccupations repérées en circonscription ;

– Outiller les temps de rencontre avec les citoyens pour mieux prendre en compte la parole citoyenne ; etc.

Afin de passer outre certaines réticences, il conviendra de donner à voir des exemples intéressants d’évaluation de politiques publiques et de proposer aux parlementaires qui les ont menées de les présenter et de désacraliser la donnée/la science (à articuler, et non à substituer, à l’intuition politique).

4. Les « services » offerts par l’agence : interlocuteur ressource pour les parlementaires

Il s’agit de proposer aux parlementaires un interlocuteur unique clairement identifié, qui puisse apporter des éléments thématiques et/ou méthodologiques sur l’évaluation des politiques publiques.

a) Accompagner la « prise de connaissance » d’un sujet

Il s’agit de permettre aux parlementaires de disposer rapidement d’une vision exhaustive et opérationnelle du matériel existant sur un sujet donné. Cela inclut :

– La mise à disposition de bases de données (abonnement) ;

– La mise à disposition des évaluations disponibles sur un sujet donné (et, le cas échéant, des suites qui y ont été données) ;

– La mise à disposition des méta-évaluations disponibles sur un sujet donné ;

– La mise en réseau des parlementaires en fonction de leurs thèmes de travail / expertise ;

– Le recensement des travaux en cours ou à venir.

b) Aider à la formulation d’un besoin d’évaluation

Il s’agit d’aider les parlementaires à traduire leur intuition politique en besoin d’évaluation et de leur proposer des éléments méthodologiques leur permettant de créer les conditions d’une évaluation utile. Concrètement, cela pourrait se traduire par :

– Une aide à la formulation des « bonnes » questions, ou « comment rendre évaluable un questionnement à partir d’une intuition et d’une expertise de terrain ? » ;

– Une aide au décodage et à la cartographie des problématiques, des parties prenantes, des pièges, etc. ;

– Un soutien méthodologique sur l’évaluation des politiques publiques.

c) Outiller les parlementaires qui souhaitent s’engager personnellement dans une démarche évaluative de terrain

Les parlementaires ont de multiples opportunités de collecter des données (rendez‑vous en permanence, réunions citoyennes, rencontres avec des administrations de leur circonscription, visites diverses, etc.) : ils le font d’ailleurs sans cesse, et s’en servent pour nourrir leur intuition politique.

Il s’agit ici de leur proposer des outils et un accompagnement pour favoriser, systématiser et rendre plus robuste de travail de collecte, comme par exemple :

– Un « arbre à décision » permettant, à partir d’un sujet donné, d’aider le parlementaire à identifier les approches les plus pertinentes ;

– Des outils pour documenter utilement les remontées qualitatives de terrain ;

– Des outils pour mener des consultations massives ;

– Des outils pour tirer le meilleur parti et documenter les visites terrain ;

– Des outils pour proposer à des acteurs locaux de participer à l’évaluation (« évaluation distribuée », qui permet de mobiliser la « multitude », agents, citoyens, élus locaux, etc.) ;

– Des outils pour la mobilisation locale des parties prenantes autour d’un sujet ;

– Des outils pour les temps de rencontre avec les citoyens (comment faire mieux que du « participatif ») ;

– Des formats de restitution ergonomiques et vivants (vidéo ? son ? photographie ? etc.)

– Des outils de capitalisation.

d) Animer un réseau d’expertise au service des parlementaires

Il s’agit de structurer et d’animer un réseau d’expertise thématique et méthodologique externe. Cela passe par :

– Une veille des experts / expertises (y compris « émergent-e-s ») ;

– La capacité à contractualiser avec des acteurs tiers variés ;

– La capacité à critiquer la production de ces acteurs externes ;

– La capacité d’exiger de ces acteurs externes des formats qui ne soient pas « étouffants » (tant au fond que sur la forme) et permettent, au contraire, aux parlementaires d’exercer leur rôle (logique de scénarios, par ex.).

e) Fournir une expertise et mener des évaluations

Il s’agit de disposer de ressources propres permettant de mener des évaluations, éventuellement en lien avec des acteurs externes. Cela semble particulièrement important par exemple pour :

– Construire des modèles de simulation complémentaires ou alternatifs à ceux des administrations d’Etat, de la Sécurité sociale ou des collectivités locales ;

– Réaliser les études d’impact des propositions de lois et des amendements.

f) Construire et entretenir une relation de qualité avec les parties prenantes de l’évaluation

 Construire et entretenir une relation de qualité avec les administrations d’Etat

Il s’agit de mettre en place les bonnes conditions d’exercice du rôle d’évaluateur des politiques publiques des parlementaires, dans le respect de la séparation des pouvoirs. Cela passe notamment par :

– La mise en œuvre d’un pouvoir réaffirmé et garanti d’accès aux données et aux outils/modèles pour faire tourner ces données ;

– Un travail collaboratif sur certaines étapes de l’étude d’impact.

 Construire et entretenir une relation de qualité avec les administrations de la Sécurité sociale

 Construire et entretenir une relation de qualité avec les administrations et les élus des collectivités locales

 Construire et entretenir une relation de qualité avec les autres acteurs publics de l’évaluation des politiques publiques


g) Produire des formes attractives / opérationnelles / lisibles

L’intérêt suscité par les évaluations des politiques publiques (comme processus et comme résultat) et leur utilité dépendent en partie d’une amélioration de leur format. L’ergonomie des livrables (au-delà du « rapport ») permet une plus grande diffusion non seulement au sein des parlementaires mais aussi, le cas échéant, auprès de tous les acteurs potentiellement intéressés par un sujet donné. Une attention particulière pourra donc être portée aux formats, en fonction des usages.

5. Ressources humaines, gouvernance et mise en place progressive de l’agence

En matière de ressources humaines, il a été souligné que cette offre de service devait être produite par :

– Des profils divers (chercheurs, juristes, agents publics, etc.)

– Des contractuels / des fonctionnaires détachés

– Avec une montée en puissance progressive.

En matière de gouvernance de cette offre de service, les principales questions sont :

– Celle du degré d’autonomie par rapport aux élus

– Dans le cas d’une structure ad hoc, celle de sa direction : une personne nommée par les présidents de groupe des deux chambres ? Les présidents des deux chambres ? Le président de l’Assemblée Nationale ?

– Celle des droits de tirage en fonction des différents cas listés en introduction.

NB : Afin d’éviter la création d’une nouvelle structure sans avoir imaginé et testé finement ses usages et son fonctionnement, avec des délais forcément longs de mise en place et le risque d’une non-pertinence partielle ou de dysfonctionnements rédhibitoires, nous recommandons d’adopter une logique de prototypage. Certaines « briques » de l’offre de service peuvent d’ailleurs être prototypées et testées très rapidement.

 

 


ANNEXE 1.2 : SIX CAS D’ÉVALUATIONs DE POLITIQUE PUBLIQUE RÉUSSIEs, CLASSÉS EN FONCTION DU TYPE DE MÉTHODE UTILISÉe

1) Évaluation qualitative : évaluation du programme de réussite éducative

Objet : mesurer la pertinence et l’efficacité de l’accompagnement individualisé des élèves en difficulté dans les quartiers prioritaires de la politique de la ville

Méthode : qualitative à partir d’entretiens semi-directifs avec les principaux acteurs et bénéficiaires. Les données recueillies peuvent être complétées par des observations sur le terrain ou des recherches documentaires.

Résultat : l’évaluation a mis en évidence la diversité des modes d’organisation et  dressé une typologie des élèves qui conditionne le résultat : profitent véritablement du dispositif ceux qui connaissent des difficultés passagères ou ceux dont les difficultés viennent d’un problème précis et identifié ; en revanche, l’accompagnement individualisé n’améliore pas les résultats des élèves aux difficultés multiples et sérieuses.

2) Évaluation participative : adaptation de l’offre nocturne de transports publics dans l’agglomération nantaise

Objet : identifier les usages et les besoins de déplacements nocturnes et évaluer l’efficience du service public

Méthode : participative tout au long de la démarche d’évaluation par consultation des acteurs économiques (restaurants, bars, discothèques, taxis…), des opérateurs de transport, et des usagers qui ont rendu un avis évaluatif et des recommandations ; consultation des usagers invités à télécharger une application de géolocalisation et entretiens de façon à analyser les fréquentations et les usages.

Résultat : 33 propositions dont la faisabilité a été étudiée par les services de la ville

3) Évaluation expérimentale : les dispositifs d’aide à l’accès à l’emploi des jeunes diplômés

Objet : mesurer l’efficacité de l’accompagnement par les agences d’intérim des jeunes diplômés au chômage depuis plus de six mois pour leur faire obtenir un emploi stable

Méthode : expérimentale par composition aléatoire du groupe de traitement et du groupe de contrôle et prise en compte de possibles effets d’éviction entre les jeunes bénéficiaires et les jeunes non bénéficiaires d’une part, et entre les jeunes bénéficiaires et les autres demandeurs d’emploi, d’autre part.

Résultat : le dispositif est plutôt efficace pour les jeunes hommes ; l’effet d’éviction ne s’observe pas pour les femmes, mais il est fort dans les zones en récession, si bien que le nombre d’emplois nets créés est négligeable au regard des moyens déployés.

4) Évaluation quasi expérimentale : les effets du recrutement en contrat aidé sur la trajectoire professionnelle

Objet : mesurer l’effet des contrats destinés à des personnes éloignées de l’emploi, qui leur assurent à la fois un travail et une formation ou un accompagnement professionnels, sur leur insertion professionnelle ultérieure

Méthode : quasi expérimentale par observation d’un groupe de traitement et d’un groupe de contrôle (non soumis à traitement) constitués par appariement par score de propension. Pour que la comparaison soit valable, il faut que les individus qui les composent aient un profil aussi proche que possible. Les caractéristiques jugées les plus déterminantes sont affectées d’un coefficient et synthétisées dans le score final.

Résultat : L’étude conclut à un effet positif des contrats aidés du secteur marchand et à un effet nul, voire négatif, des contrats aidés dans le secteur non marchand.

5) Analyse dimpact budgétaire : genèse et construction du guide méthodologique de la Haute Autorité de santé sur l’impact budgétaire

Objet : comprendre comment construire une analyse d’impact budgétaire de la prise en charge de médicaments innovants et onéreux, dans un contexte où l’analyse coût-efficacité du médicament ne suffit plus : compte tenu du prix de ces thérapies, la décision ne peut se fonder seulement sur l’amélioration de la qualité de vie des patients ; il faut également intégrer le coût financier de la prise en charge de la population souffrant de la pathologie traitée.

Méthode : revue scientifique sur le sujet et méta-évaluation des analyses d’impact budgétaire conduites précédemment ; et consultation publique

Résultat : guide méthodologique de l’analyse d’impact budgétaire pour les instances chargées d’examiner les nouveaux médicaments

6) Analyse coût-bénéfice : évaluation des investissements publics du Commissariat général à l’investissement

Objet : l’évaluation porte sur les investissements d’avenir supérieurs à 20 millions d’euros hors taxe. Les projets sont évalués par les bénéficiaires et, lorsque l’investissement dépasse 100 millions, ces évaluations socio-économiques sont soumises à une contre-expertise du CGI.

Méthode : il s’agit d’apprécier, au‑delà du coût actualisé (investissement initial et coûts de fonctionnement actualisés), la valeur ajoutée socio-économique du projet en monétisant les avantages non marchands qu’il procurera à la société.

Résultat : méta-analyse de l’application de la méthode aux projets portés par les ministères

Source : d’après Dispositifs dévaluation des politiques publiques et des programmes : connaissances de base, choix des méthodes, sociogrammes des acteurs et études de cas, Maurice Baslé, Jean‑Michel Josselin et Benoît Le Maux.


ANNEXE 1.3 : CARTOGRAPHIE DES ACTEURS DE LÉVALUATION DES POLITIQUES PUBLIQUES

Sociogramme simplifié des acteurs del’évaluation en France

Source : Dispositifs dévaluation des politiques publiques et des programmes : connaissances de base, choix des méthodes, sociogrammes des acteurs et études de cas, Maurice Baslé, Jean‑Michel Josselin et Benoît Le Maux.


ANNEXE 1.4 : BIBLIOGRAPHIE ET RESSOURCES EN LIGNE SUR LÉVALUATION

Articles

Abraham Jocelyne et Brillet Franck, « Lolf : de l’esprit de la loi à l’émergence de nouveaux principes de GRH », Politiques et management public, Vol 26/2, 2008.

Alventosa Jean-Raphaël, « L’évaluation des politiques publiques a-t-elle un avenir ? », Revue française de finances publiques, n° 106, 2009, avril, p. 301-334.

Avril Pierre, « L’introuvable contrôle parlementaire (suite) », Jus Politicum, n° 3, 2009.

Avril Pierre, « Le contrôle. Exemple du Comité dévaluation et de contrôle des politiques publiques », Jus Politicum, n° 6 [http://juspoliticum.com/article/Le-controle-Exemple-du-Comite-d-evaluation-et-de-controle-des-politiques-publiques-368.html].

Barbut Laurent, Berriet-Solliec Marielle et Peguy Thomas, « L’évaluation de politique publique : une pratique d’amélioration du fonctionnement des institutions publiques en tension entre efficience et pluralisme », Pouvoirs Locaux, n° 99 IV/Décembre 2013-Janvier 2014, p. 15.

Barbier Jean-Claude, « Les sources intellectuelles de lévaluation des politiques publiques », Politiques et management public, Vol 31/1 | 2014 [http://pmp.revues.org/6947].

Baslé Maurice, « Méta évaluation des politiques publiques et qualité des évaluations », Revue française dadministration publique 2013/4 (N° 148), p. 1017-1027.

Baudu Aurélien, « L’évaluation parlementaire, problème ou solution ? », Revue française de finances publiques, n° 113, 2011, p. 131.

Berland Nicolas, « Piloter la performance publique avec des indicateurs Conditions et modalités d’usage », Revue française de finances publiques, n° 137, 2017, p. 53.

Bozio Antoine, « L’évaluation des politiques publiques : enjeux, méthodes et institutions », Revue française déconomie 2014/4 (Volume XXIX), p. 59-85.

Bozio Antoine et Romanello Lucile, « Évaluation des politiques publiques : le bilan contrasté du quinquennat », Les notes de lInstitut des Politiques Publiques, n° 25, mars 2017.

Bouvard Michel, « La mesure de la performance », Revue française de finances publiques, n° 91, 2005, septembre, p. 31-37.

Braconnier Patrice et Cauquil Guy (Dir) ; préface de Michel Rocard. Lévaluation des politiques publiques : le développement dune nouvelle culture, Paris : SCEREN : CNDP, 2010.

Bret Emilie, « Évaluation de politiques publiques, appropriation et participation citoyenne : peut-on innover dans l’implication des citoyens dans un travail d’évaluation de politiques publiques ? », Gestion et finances publiques, n° 7, 2011, p. 472.

Brunetière Jean-René, « Les indicateurs de la loi organique relative aux lois de finances (LOLF) : une occasion de débat démocratique ? », Revue française dadministration publique n° 117, 2006, p. 95-111.

Brunetière Jean-René, « Indicateurs, évaluation et typologie des objectifs : contrôle de gestion et performance sociale », Revue française dadministration publique n° 148, 2013, p. 967-976.

Calmette Jean-François, « La loi organique relative aux lois de finances (LOLF) : un texte, un esprit, une pratique », Revue française dadministration publique, n° 117, 2006, p. 43-55.

Chanut Véronique, Bournois Frank, « Repenser la recherche en management : que peut nous apprendre l’évaluation des politiques publiques ? », Recherches en Sciences de Gestion 2012/2 (N° 89), p. 119-136.

Chauvey Jean-Noël, « L’intérêt du balanced scorecard dans l’évolution des modes de contrôle et d’évaluation des départements français », Politiques et management public, vol. 24, n° 2, 2006, juin, p. 69-90.

Chauvière Michel, « Esquisse d’une sociologie critique de la nouvelle norme d’évaluation », Revue française dadministration publique n° 148, 2013, p. 849‑858.

Chifflot Nicolas, « Projet de loi relatif au statut de Paris – De la qualité des études d’impact des projets de loi », Procédures n°11, novembre 2016.

De Clausade Josseline, Urvoas Jean-Jacques, Warsmann Jean-Luc, « La qualité de la loi en débat », Constitutions, 2010, p.195.

Devaux-Spatarakis Agathe, « L’évaluation “basée sur la théorie”, entre rigueur scientifique et contexte politique », Politiques et management public, Vol 31/1 | 2014.

Djezzar Laurent et Gateau-Leblanc Céline, « Évaluation des politiques publiques : contribution à l’élaboration d’un guide », La Gazette des communes, des départements, des régions, 2008, 30 juin, p. 197-256, Cahier détaché, n° 2.

Elkaïm Joël, « Politiques publiques : évaluer avant de réformer », La Tribune, Septembre 2014 [http://www.latribune.fr/opinions/tribunes/20140919trib45480a29d/politiques-publiques-
evaluer-avant-de-reformer.html
].

Favoreu Christophe, « Réalité et caractéristiques du modèle nordique de gestion de la performance locale », Revue Française de finances publiques, n° 114, 2011, p. 213.

Ferrier Catherine, « Évaluation des politiques publiques dans le cadre de la modernisation de l’action publique : démarche, bilan et perspectives », Regards, n° 44, 2013, novembre, p. 13-18.

Gallié Émilie-Pauline, Glaser Anna et Pallez Frédérique, « Une analyse comparative des évaluations de politiques de clusters en Europe : vers deux modèles idéal-typiques », Politiques et management public, Vol 31/1 | 2014.

Gibert Patrick, « L’évaluation de politique : contrôle externe de la gestion publique ? », Revue française de gestion, n° 147, 2003, novembre-décembre, p. 259-273.

Grezil Ghislaine, « À qui et à quoi servent les évaluations de politiques publiques ? », Pouvoirs locaux, n° 76, 2008, mars, p. 27-32.

Hayez Philippe, « La Cour des comptes : du contrôle à l’évaluation », Revue française dadministration publique 2015/3 (N° 155), p. 707-711.

Ientile-Yalenios Jocelyne et al., « Le Nouveau Management Public conduit-il à un rapprochement public-privé ? Une analyse à partir des procédures d’évaluation du personnel », Gestion et management public 2016/2 (Volume 4 / n° 4), p. 121-137.

Isaïa Henri, « Évaluation des politiques publiques et appréciation de leur pertinence », Revue française de finances publiques, n° 81, 2003, mars, p. 337‑361.

Jacob Steve, « Trente ans d’évaluation de programme au Canada : l’institutionnalisation interne en quête de qualité », Revue française dadministration publique 2006/3 (n° 119), p. 515-531.

Jugnot Stéphane, « L’évaluation sous tension : l’exemple des effets sur l’emploi des “35 heures” », La Revue de lIRES n° 77 2013-2, p. 39-78.

Lacouette‑Fougère Clément, Lascoumes Pierre, « L’évaluation : un marronnier de l’action gouvernementale ? », Revue française dadministration publique 2013/4 (n° 148), p. 859875.

Lamarque Danièle, « L’évaluation des politiques publiques locales par les chambres régionales des comptes : jusqu’où ? », Revue française de finances publiques, n° 85, 2004, février, p. 59-65.

Lamarque Danièle, « L’évaluation de politiques publiques : le quatrième métier de la Cour des comptes : le rapport de la formation professionnelle tout au long de la vie », Gestion et finances publiques : la revue, n° 7, 2009, juillet, p. 562-566.

Lascombe Michel et Vandendriessch Xavier, « La loi organique relative aux lois de finances (LOLF) et le contrôle des finances publiques », Revue française dadministration publique n° 117, 2006, p. 131-148.

Le Groupe d’intérêt scientifique (GIS) Démocratie et participation, « Participation du public, décision, démocratie participative », Vie des réseaux, La lettre de lInSHS, mai 2015.

Le Clainche Michel, « Le point sur... : la modernisation de l’action publique (MAP) n’est pas la poursuite de la RGPP », Revue française dadministration publique n° 145, 2013, p. 203-208.

Linsolas Roger, « Contrôle des organismes et évaluation des politiques : le rôle de l’IGAS », Informations sociales, n° 126, 2005, août, p. 104-111.

Lions Gwendoline, « Le déploiement de l’évaluation des politiques publiques au sein d’une collectivité : l’exemple du Conseil général des Côtes d’Armor », Revue française dadministration publique, n° 148, 2013, p. 895-898.

Martin Guillermo, « L’évaluation peut-elle échapper au risque technocratique », Pouvoirs Locaux, n° 88 1/2011.

Matyjasik Nicolas, « Des évaluations de politiques publiques et des consultants : émergence d’un champ professionnel et segmentation des rôles », Revue française dadministration publique n° 148, 2013, p. 907-921.

Maury Suzanne, « La LOLF est-elle un bon moyen d’évaluer les politiques publiques ? », LActualité juridique. Droit administratif (AJDA), n° 25, 2008, 14 juillet, p. 1366-1372.

Migaud Didier, « Les cinq défis de lévaluation », Revue française dadministration publique 2013/4 (N° 148), p. 849-858.

Milet Hélène, Warin Philippe, « La prise en compte des publics dans l’évaluation des politiques publiques », Revue française dadministration publique 2013/4 (N° 148), p. 991-1002.

Minonzio Jérôme. « Steve Jacob. Institutionnaliser l’évaluation des politiques publiques. Étude comparée des dispositifs en Belgique, en France, en Suisse et aux Pays-Bas ». In : Recherches et Prévisions, n° 85, 2006. p. 102-104.

Mottier Lopez Lucie, « De la mesure à l’évaluation collaborative en éducation », Revue française dadministration publique 2013/4 (N° 148), p. 939-952.

Nioche Jean-Pierre, « Les trois paradigmes de l’évaluation des politiques publiques face à l’obligation de rendre des comptes et de rendre compte », Revue française dadministration publique 2016/4 (N° 160), p. 1227-1240.

Nioche Jean-Pierre, « L’évaluation des politiques publiques et la gestion en France. Un rendez-vous manqué ? », Revue française de gestion, n° 245, 2014, novembre-décembre, p. 71-84.

Oltra-Oro Stéphanie, « L’évaluation des politiques publiques : un art au service du Politique », Revue française de finances publiques, n° 128, 2014, p. 161.

Perret Bernard, « Évaluation et statistiques : une coopération difficile », Regards sur lactualité, n° 346, décembre 2008, p. 45-51.

Perret Bernard, « L’évaluation des politiques publiques : entre culture du résultat et apprentissage collectif », Esprit, n° 350, 2008, décembre, p. 142-159.

Picavet Olivier, « Les caractéristiques des évaluations réalisées par les corps d’inspection dans le cadre de la Modernisation de l’action publique », Revue française dadministration publique 2015/3 (N° 155), p. 713-722.

Plottu Béatrice, Plottu Éric, « Contraintes et vertus de l’évaluation participative », Revue française de gestion 2009/2 (n° 192), p. 31-58.

Pontier Jean-Marie, « Études d’impact : l’interprétation en retrait de leur exigence par le Conseil constitutionnel – l’exemple de la délimitation des régions », La Semaine Juridique Administrations et Collectivités territoriales n° 48, 2014.

Rouaud Pascale et Sulzer Emmanuel, « Les démarches dévaluation en question », BREF. Bulletin de recherches sur lemploi et la formation, n° 281, 2011, janvier, p. 1-4. Bref Céreq [http://www.cereq.fr/index.php/publications/Cereq-Bref/Les-demarches-d-evaluation-en-question].

Roux, Sébastien, « Approches structurelles et non structurelles en micro-économétrie de l’évaluation des politiques publiques », Revue française déconomie (RFE), vol 30, n° 1, 2015, p. 13-65.

Servière Samuel-Frédéric, « Pour une évaluation pluraliste des politiques publiques », Fondation iFRAP, mars 2013 [http://www.ifrap.org/etat-et-collectivites/pour-une-evaluation-
pluraliste-des-politiques-publiques
].

Siné Alexandre et Veillet Isabelle, « La performance, un outil et une démarche indispensables au pilotage des politiques publiques », Regards sur lactualité, n° 335, novembre 2007, p. 21-35.

Staes Patrick ; Thijs Nick, « Le management de la qualité : un instrument de réglementation européenne “par le bas” », Revue française dadministration publique, n° 119, 2006, p. 493‑513.

Tourmen Claire, « Les compétences des évaluateurs de politiques publiques », Formation emploi, n° 104, 2008, octobre-décembre, p. 53-65.

Trosa Sylvie, « L’évaluation des politiques publiques », Paris : Institut de lentreprise (Les notes de benchmarking international ; janvier 2004).

Trosa Sylvie, « L’évaluation, ailleurs, où en est-on? », Gestion & finances publiques : la revue, n° 1, 2010, janvier, p. 47-51.

Trosa Sylvie, « Performance et évaluation », Gestion et finances publiques, n° 8‑9, 2010, p. 590.

Trosa Sylvie et Annie Bartoli, « Performance et évaluation : le sens est-il mécanique ou construit ? Peut-on se passer d’interprétation humaine des chiffres et des résultats ? », Le management par le sens au service du bien public, Paris : SCEREN, CNDP, 2011, p. 213-224.

Trosa Sylvie, « La LOLF, les RGPP et l’évaluation des politiques publiques : bilan et perspectives », Revue française de finances publiques, n° 121, 2013, p. 243.

Wirths Damien, « Les clauses d’évaluation sectorielles : outils d’ajustement ou de stratégie politique ? Le cas de l’interdiction de la mendicité à Lausanne », Gestion et management public 2016/2 (Volume 4 / n° 4), p. 53-74.

Dossiers

« Du contrôle à l’évaluation : l’évolution des fonctions d’inspection », Revue française dadministration publique 2015/3, n° 155.

Entretien avec Maryvonne de Saint‑Pulgent et Patrick Gérard du Conseil d’État, propos recueillis par Lise Perrin, « La semaine du droit, l’entretien », La Semaine Juridique, n° 40, 2016.

« Évaluer les politiques publiques pour améliorer l’action publique : [dossier] », Perspective gestions publiques, n° 28, 2008, septembre.

« Évaluation des politiques familiales et sociales : [dossier] », Informations sociales, n° 150, 2008, novembre-décembre, p. 4-173.

« La métamorphose des corps dinspection : du contrôle à lévaluation », Appel à contribution, Calenda, Publié le jeudi 16 mai 2013 [http://calenda.org/248339].

« L’évaluation de l’action publique : pour quand ? », Politiques et management public, vol. 20, n° 4, 2002, décembre, p. I-V - p. 1-50.

« Lévaluation de politiques et de programmes publics : [dossier] », Télescope. Observatoire de ladministration publique, vol. 13, n° 1, 2006, printemps-été, p. 1103 [http://www.telescope.enap.ca/Telescope/22/Index_des_numeros.enap].

« L’évaluation des politiques publiques : état de l’art et controverses », École nationale dadministration, Centre dexpertise et de recherche administrative (CERA) ; sous la direction dAnnie Fouquet, Strasbourg ; Paris : ENA, 2013, p. 835-1027 (Revue française dadministration publique, n° 148).

« L’évaluation des politiques publiques [dossier] » / édité par Véronique Chanut et Danièle Lamarque, Politiques et management public vol. 31 n° 1 2014, janvier‑mars.

« N’ayez plus peur de l’évaluation [dossier] », Pouvoirs locaux, n° 57, 2003, juin (II), p. 33‑124.

Ouvrages

Alventosa Jean-Raphaël, Les outils du management public, Paris : LGDJ, 2012.

Arnaud Serge ; Boudeville, Nicolas, Évaluer des politiques et programmes publics, Paris : Ed. de la Performance, 2004.

Barbéris Isabelle (coord.), Lidéologie de lévaluation : la grande imposture, Paris : PUF, 2009.

Baron Gaëlle ; Matyjasik, Nicolas (Dir.) ; avant-propos de Jean-Paul Delevoye ; postface de Didier Migaud, Lévaluation des politiques publiques : défi dune société en tension / dixièmes Journées de lévaluation, Paris : L’Harmattan, 2012.

Baslé Maurice, Connaissance et action publique, Paris : Economica, 2010.

Baslé Maurice, « Économie, conseil et gestion publique : suivi et évaluation des politiques publiques et des programmes », Economica, 2008.

Bertrand Arnaud (Dir.), Lévaluation des politiques publiques : performances et transparences : baromètre 2005, Paris : Ernst & Young, 2005.

Bion Jean-Yves ; Moqua, Patrick, Balisage dune démarche dévaluation de politique publique / Centre détudes sur les réseaux, les transports, lurbanisme et les constructions publiques, Lyon : CERTU, 2004.

Bouhadana Irène ; préface de Michel Bouvier, Les commissions des finances des assemblées parlementaires en France : origines, évolutions et enjeux, Paris : LGDJ, 2007.

Boussaquet Laurie ; Jacquot Sophie ; Ravinet, Pauline ; préface de Pierre Muller, Dictionnaire des politiques publiques 2ème éd., Paris : Presses de Sciences‑Po, 2006.

Catteau Damien ; préface de Xavier Vandendriessche, La LOLF et la modernisation de la gestion publique : la performance, fondement dun droit public financier rénové, Paris : Dalloz, 2007.

Huron David ; Spindler, Jacques (coord), Le management public en mutation, Paris : L’Harmattan, 2008.

Institut Louis Favoreu (Aix-en-Provence, Bouches-du-Rhône) ; Magnon, Xavier, Chevontian, Richard ; Stéfanini Marte (Dir.), Pouvoir exécutif et Parlement : de nouveaux équilibres ? : limpact de la révision constitutionnelle du 23 juillet 2008 sur le rééquilibrage des institutions / journées détudes décentralisées organisées dans le cadre de lAssociation française de droit constitutionnel, 13 décembre 2010 à lUniversité de Perpignan et 16 décembre 2010 à lUniversité PaulCézanne, Aix-en-Provence : Presses universitaires d’Aix-Marseille, 2012.

Jacob Steve, Institutionnaliser lévaluation des politiques publiques : étude comparée des dispositifs en Belgique, en France, en Suisse et aux PaysBas, Bruxelles : PIE-Peter Lang, 2006.

Jacob Steve ; Varone Frédéric ; Genard Jean-Louis (Dir), Lévaluation des politiques au niveau régional, Bruxelles : PIE-Peter Lang, 2007.

Jacot Henri ; Fouquet Annie ; préface d’Eric Monnier, Le citoyen, lélu, lexpert : pour une démarche pluraliste dévaluation des politiques publiques / septièmes journées françaises de lévaluation, Lyon, 2005, Paris : L’Harmattan, 2007, p. 231-238.

Khnijer Nour-Eddine : Hertzog Robert (Dir.) Évaluation des politiques publiques en mode LOLF / ENA, Promotion Marie Curie, 2011-2012 ; Université Paris Dauphine. Strasbourg ; Paris : ENA, 2012.

Lévaluation des politiques publiques en Europe : cultures et futurs = Policy and programme evaluation in Europe : cultures and prospects : Colloque de Strasbourg 2008, Paris : L’Harmattan, 2009.

Lamarque Danièle, Lévaluation des politiques publiques locales, Paris : LGDJ, 2004.

Larhlid Amal, Lévaluation des politiques publiques au Maroc au prisme dune comparaison avec la France ; sous la direction de Patrick Hassenteufel ; ENA, Direction de la Formation, CIC-CIAP, 2009-2010, Strasbourg ; Paris : ENA, 2010, p. 68-73.

Morita Yuki ; Herzog, Robert (Dir.), Lévaluation des politiques publiques au Japon / ENA, Promotion Romain Gary, 2003-2005, Strasbourg ; Paris : ENA, 2005. (Master en administration publique : Cycle international long) [www.ena.fr/index.php/content/download/2824/45656/
µversion/1/file/Morita.pdf
].

Mouterde François ; Trosa Sylvie (Dir), Les nouvelles frontières de lévaluation, 1989-2009 : vingt ans dévaluation des politiques publiques en France, et demain ? / neuvièmes journées françaises de lévaluation, Marseille, juin 2009, Paris : L’Harmattan, 2010.

Ndiaye Abdoulaye ; Mangenot Michel (Dir.), Contribution à la mise en place dun dispositif de coordination et de pilotage de lévaluation des politiques publiques au Sénégal, Paris : ENA, 2015.

Offredi Claudine ; Ravoux Françoise (Dir.), La notion dutilité sociale au défi de son identité dans lévaluation des politiques publiques, Paris : L’Harmattan, 2010.

Paul Stéphane ; Milet Hélène ; Crovella Elise ; Lévaluation des politiques publiques Comprendre et pratiquer, Paris, Presses de l’EHESP, 2016.

Potier Vincent ; Bencivenga Magali, Évaluation des politiques locales : évaluation interne et externe, principes et dispositifs, méthodes, Paris : Le Moniteur, 2005.

Rochet Claude, Conduire laction publique : des objectifs aux résultats, Paris : CampusPress : Macmillan : Pearson Education, 2003.

Ruprich-Robert Christophe et Bencivenga Magali, Évaluation des politiques publiques : nouveau guide pratique, Voiron : La lettre du cadre territorial, 2002.

Spenlehauer Vincent, Lévaluation des politiques publiques, avatar de la planification Grenoble : Université de Grenoble 2 ‑ Pierre Mendès-France : Institut d’études politiques de Grenoble, 1998.

Sinnassamy Christophe, Le management public : organisation, gestion et évaluation des politiques publiques, Paris : Berger-Levrault, 2014.

Tirera Lamine, Du Commissariat général du plan au Centre danalyse stratégique : stratégie de réforme dune administration de mission, Paris : L’Harmattan, 2007.

Trosa Sylvie, Le guide de la gestion par programmes : vers une culture du résultat, Paris : Ed. d’Organisation, 2002.

Trosa Sylvie (Dir), Évaluer les politiques publiques pour améliorer laction publique : une perspective internationale / publié par Ministère de léconomie, de lindustrie et de lemploi ; Ministère du budget, des comptes publics, de la fonction publique et de la réforme de lÉtat, Paris : Comité pour l’histoire économique et financière de la France : IGPDE, 2009.

Université de Rennes I, Innover dans les pratiques. Livre blanc : le suivi-évaluation pour un pilotage optimisé de laction publique, 2008 [https://www.mgdis.fr/didacticiel/images/phases/
MGDIS_livreblanc_2008.pdf
].

Vollet Dominique et Hadjab Farid, Manuel de lévaluation des politiques publiques, Versailles : Editions Quae, 2008.

Guides et rapports publics :

Battesti Jean-Pierre et Bondaz Marianne ; Marigeaud Martine (et al.), Cadrage méthodologique de lévaluation des politiques publiques partenariales : guide, Inspection générale de ladministration, Inspection générale des finances, Inspection générale des affaires sociales, décembre 2012 [http://www.ladocumentationfrancaise.fr/rapports-publics/124000683-guide-cadrage-methodologique-de-l-evaluation-des-politiques-publiques-partenariales].

Bureau Dominique et Mougeot Michel, « Performance, incitations et gestion publique : rapport » / Conseil danalyse économique (CAE) ; commentaires Philippe Mongin ; compléments. Frédérique Bousquet, Alain Coulomb, JeanLuc Gaffard...[et al]. Paris : La Documentation française, 2007 [http://www.cae-eco.fr/Performance-incitations-et-gestion-publique.html].

Caisse nationale des allocations familiales - Rencontre sur lévaluation des politiques publiques : séminaire des chargés détudes, Vichy 14 et 15 novembre 2006, Paris : CNAF, 2007 (Dossier détude n° 98) [http://www.caf.fr/sites/default/files/cnaf/Documents/Dser/
dossier_etudes/dossier_98_-_seminaire.pdf
].

Confédération suisse, Rapport annuel 2016 du Contrôle parlementaire de ladministration, Annexe au rapport annuel 2016 des Commissions de gestion et de la Délégation des Commissions de gestion des Chambres fédérales, 26 janvier 2017.

Conseil d’analyse économique, Évaluation des politiques publiques, « Les notes du conseil d’analyse économique », n° 1, Février 2013.

Conseil économique, social et environnemental, Promouvoir une culture de lévaluation des politiques publiques : avis / du Conseil économique, social et environnemental sur le rapport présenté par Nasser Mansouri-Guilani, au nom de la délégation à la prospective et à lévaluation des politiques publiques, Paris : Ed. des Journaux officiels, 2015 [http://www.lecese.fr/travaux-publies/promouvoir-une-culture-de-l-valuation-des-politiques-publiques].

Conseil d’État, Consulter autrement, participer effectivement, Colloque du Conseil d’État du 20 janvier 2012, à l’Ecole nationale d’administration.

Conseil d’État, Consulter autrement, participer effectivement, Principales propositions du Rapport public 2011.

Conseil d’État, Consulter autrement, participer effectivement, Colloque du Conseil d’État sur le rapport public 2011, Intervention de Jean-Marc Sauvé, vice‑président du Conseil d’État.

Conseil scientifique de l’évaluation, Petit guide de lévaluation des politiques publiques, Paris, la Documentation française, 1996.

Cornut-Gentille François et Eckert Christian, Rapport dinformation sur lévaluation de la révision générale des politiques publiques (RGPP), Comité d’évaluation et de contrôle des politiques publiques, Assemblée nationale, XIIIe législature, n° 4019.

Cour des comptes, Chambres régionales et territoriales des comptes, « Recueil des normes professionnelles », septembre 2017.

De la Raudière Laure et Juanico Régis, Rapport dinformation au nom de la mission dinformation sur la simplification législative, Assemblée nationale, n° 2268.

De Amorim Aude, Cavelier Bernadette, Ruleta Michael, Yard Yves, Guide de lévaluation, Ministère des Affaires Etrangères, juin 2005.

Délégation interministérielle à l’aménagement et à la compétitivité des territoires, « Évaluation et territoires / DIACT ; sous la direction de Sandrine Haas et Emmanuel Vigneron », Paris : la documentation française, 2007.

Desplatz Rozenn et Ferraci Marc, Comment évaluer limpact des politiques publiques ? Un guide à lusage des décideurs et praticiens, France Stratégie, septembre 2016.

DREES, Méthodes dévaluation des politiques publiques, Actes du séminaire, 2011.

Ministère de la fonction publique, Cadre dauto-évaluation des fonctions publiques / Délégation à la modernisation de la gestion publique et des structures de lÉtat (DMGPSE), Paris : Ministère de la Fonction publique, de la réforme de lÉtat et de laménagement du territoire, 2006 [http://www.fonction-publique.public.lu/fr/publications/brochures/caf/brochure-CAF.pdf].

Mission dévaluation et de contrôle : évaluation et prospective : quelle organisation  ? : rapport dinformation sur les organismes publics dévaluation et de prospective économiques et sociales / présentées par Georges Tron ; par la commission des finances, de léconomie générale et du plan ; en conclusion des travaux dune mission dévaluation et de contrôle constituée le 21 janvier 2003 ; président Yves Deniaud, Paris : Assemblée nationale, 2003 (rapport dinformation  876) Annexes [http://www.assemblee-nationale.fr/12/pdf/rap-info/i0876.pdf].

National Audit Office, Annual report and accounts 2016-17, Highlights, 2017.

OCDE, Vers de meilleures pratiques de lévaluation, Guide des meilleures pratiques à suivre pour lévaluation et document de référence, Service de la gestion publique, 1999.

OCDE, Perspectives de lOCDE sur la politique de la réglementation, 2015.

OCDE, Panorama des administrations publiques, 2017.

Organisation internationale des Institutions supérieures de contrôle des finances publiques (INTOSAI), Déclarations de Lima et Mexico, 2013.

Secrétariat du Conseil du Trésor du Canada, La fonction dévaluation au gouvernement du Canada, Ebauche, juillet 2004.

Sénat, Placer lévaluation des politiques publiques au cœur de la réforme de lÉtat : rapport dinformation sur lévaluation des politiques publiques en France, fait par Joël Bourdin, Pierre André, Jean-Pierre Plancade ; au nom de la délégation du Sénat pour la planification. Paris : Sénat, 2004 (rapport n° 392) [http://www.senat.fr/rap/r03-392/r03-392.html].

Sénat, Législation comparée, La simplification, Direction de l’initiative parlementaire et des délégations, 2016.

Société française de l’évaluation, Évaluation, action publique territoriale et collectivités : actes des 3èmes journées de la Société française de lévaluation. Tome 1 / Jérôme Dupuis, Maurice Baslé, Sylviane Le Guyader. Paris : L’Harmattan, 2002.

Société française de l’évaluation, Évaluation, action publique territoriale et collectivités : actes des 3èmes journées de la Société française de lévaluation. Tome 2 / Jérôme Dupuis, Maurice Baslé, Sylviane Le Guyader. Paris : L’Harmattan, 2002.

Société française de l’évaluation, Voisinages : de la confusion à la complémentarité, évaluation, audit de performance, pilotage de la performance, management par la qualité, Les cahiers de la SFE, n° 4, juin 2009.

Société française de l’évaluation, Lévaluation participative : de la prise en compte des publics au pouvoir dagir citoyen, coordonné par Hélène Milet, Les cahiers de la SFE, n° 9, décembre 2015.

Société française de l’évaluation, Le défi de la révolution foudroyante du numérique Big Data et Open Data, quels enjeux pour lévaluation ?, Table-ronde n° 3 : Utilisation et interprétation des données dans les évaluations participatives, journée d’étude du 22 septembre 2016.

Rapports de cabinets de conseil

Deloitte, Regards croisés sur la démarche dévaluation des politiques publiques, Benchmark international, octobre 2013.

Deloitte, Regards croisés sur la démarche d’évaluation des politiques publiques, Principes de l’évaluation des politiques publiques en France et mise en perspective pour une modernisation des pratique, septembre 2014.

KPMG, Quadrant Conseil, « Évaluation de la démarche globale d’évaluation des politiques publiques menée dans le cadre de la modernisation de l’action publique », février 2017.

 

 


—  1  —

 

ANNEXE 2 :
PERSONNES ENTENDUES PAR LES RAPPORTEURS

1. Auditions :

        M. Patrick Hetzel et Mme Amélie de Montchalin, co‑présidents de la Mission d’évaluation et de contrôle (MEC) ;

        M. Gilles Lurton et Mme Annie Vidal, co-présidents de la Mission d’évaluation et de contrôle des lois de financement de la sécurité sociale (MECSS) ;

        MM. Jean‑Noël Barrot et Jean‑François Eliaou, respectivement président et rapporteur du groupe de travail sur les moyens de contrôle et d’évaluation.

2. Tables rondes :

La vidéo de chaque table ronde est accessible à partir du lien rattaché au titre.

        M. JeanRené Brunetière, ancien coordonnateur de la commission spéciale du développement durable au sein du Conseil général de lenvironnement et du développement durable ;

        M. François Lecouturier, gérant du cabinet Itinere ;

        M. Philippe Dole, inspecteur général des affaires sociales ;

        M. Brice Fabre, économiste à l’Institut des politiques publiques ;

        Mme Rozenn Desplatz, chargée de mission sur l’évaluation des politiques publiques à France Stratégie ;

        M. Thomas Delahais, associé, cabinet Quadrant Conseil.

        Mme Danièle Lamarque, membre de la Cour des comptes européenne, chargée du contrôle qualité de l’audit ;

        M. Bruno Palier, professeur à l’Institut d’études politiques de Paris (Laboratoire interdisciplinaire d’évaluation des politiques publiques - LIEPP) ;

        Mme Delphine Corlay, inspectrice des affaires sociales, secrétaire générale déléguée du Comité interministériel du handicap, en charge du plan autisme et des autres plans d’actions interministériels ;

        M. François de Dorlodot, responsable du département secteur public KPMG en France ;

        M. JeanMichel Fourniau, chercheur à lIFSTTAR, membre de Démocratie & participation.

        M. Stéphane Paul, inspecteur général des affaires sociales ;

        M. Bernard Perret, ingénieur des ponts et chaussées, ancien coordonnateur de la mission d’appui à l’évaluation du Conseil général de l’environnement et du développement durable ;

        M. Clément Lacouette‑Fougère, chargé au sein du secrétariat général pour la modernisation de l’action publique (SGMAP) du pilotage du programme d’évaluation des politiques publiques ;

        M. Maurice Baslé, professeur émérite CREM CNRS Université Rennes 1 ;

        M. Marc Ferracci, professeur en sciences économiques à luniversité de PanthéonAssas ;

        M. Bruno Crépon, chercheur au Centre de recherche en économie et statistiques (CREST), professeur associé à l’École nationale de la statistique et de l’administration économique (ENSAE) et à l’École Polytechnique.

        M. Régis Juanico, député ;

        M. Xavier Ragot, président de l’Observatoire français des conjonctures économiques (OFCE) ;

        M. Olivier Rozenberg, professeur à l’Institut d’études politiques de Paris (Laboratoire interdisciplinaire d’évaluation des politiques publiques - LIEPP) ;

        M. Stéphane Jacobzone, conseiller, direction de la gouvernance publique de l’OCDE ;

        Mme Katia Horber‑Papazian, représentante de la Société suisse d’évaluation auprès du Réseau francophone de l’évaluation, professeure à l’Institut de hautes études en administration publique (IDHEAP).

        Mme Ilaria Casillo, vice‑présidente de la Commission nationale du débat public ;

        Mme Béatrice Plottu, directrice de recherche à la Faculté de droit, d’économie et de gestion de l’université d’Angers ;

        M. Loïc Blondiaux, professeur de science politique à luniversité Paris I Panthéon‑Sorbonne ;

        M. Henri Jacot, membre de la Société française d’évaluation ;

        M. Thibaut Dernoncourt, directeur conseil chez Cap Collectif ;

        M. Valentin Chaput, gérant de l’entreprise Open Source Politics.

         M. Henri Verdier, administrateur général des données, directeur interministériel du numérique et du système d’information et de communication de l’État ;

        M. Simon Chignard, conseil stratégique de la mission ETALAB ;

        M. Pascal Rivière, chef de l’Inspection générale de l’INSEE ;

        M. Benoît Simon, membre de la Société française de l’évaluation ;

        Mme Suzanne Vergnolle et M. Tangui Morlier, administrateurs de l’association Regards Citoyens ([58]) ;

        M. Émile Gabrié, chef du secteur régalien et collectivités locales, accompagné de Mme Tiphaine Havel, conseillère pour les questions institutionnelles et parlementaires, Commission nationale de l’informatique et des libertés (CNIL).

        M. Vincent Lahuec, économiste, chef de projet à la direction interministérielle de la transformation publique (DITP) ;

        M. Xavier Maire, sous‑directeur de la synthèse statutaire, de la gouvernance et des partenariats, direction générale de l’administration et de la fonction publique, ministère de l’action et des comptes publics ;

        M. Julien Defait, designer à l’association « La 27e région ».

3. Déplacement à Bruxelles le 25 janvier 2018 :

        Mme Anne Bucher, présidente du comité dexamen de la réglementation, Secrétariat général

        Mme Isabelle Schömann, membre du comité d’examen de la réglementation

        M. Vassili Lelakis, membre du comité d’examen de la réglementation

        Mme Antonina Cipollone, cheffe de l’unité Évaluation, législation affûtée et performante, direction de l’amélioration de la réglementation et du programme de travail, Secrétariat général

        M. Jorge Pegado Liz, membre du groupe activités diverses et auteur du rapport sur une réglementation intelligente

        M. Denis Meynent, vice-président du groupe des travailleurs (affilié à la CGT) et auteur du rapport « programme REFIT »

        M. Philippe Cuisson, chef de l’unité Évaluation des politiques

        M. Anthony Teasdale, directeur général

        M. Étienne Bassot, directeur du service de recherche pour les députés

        M. Wolfgang Hiller, directeur de lévaluation de limpact et de la valeur ajoutée européenne

        M. José Luis Rufas Quintana, chef de l’unité Évaluation ex post, direction de l’évaluation de l’impact et de la valeur ajoutée européenne

        Mme Alexia Maniaki-Griva, cheffe de l’unité Évaluation ex ante, direction de l’évaluation de l’impact et de la valeur ajoutée européenne

4. Atelier design le 20 février 2018 :

        MM. Romain Beaucher et Yoan Olivier, associés du cabinet Vraiment Vraiment

        M. Thomas Delahais, associé, cabinet Quadrant Conseil

        M. Clément Lacouette‑Fougère, chargé de mission à la Direction interministérielle de la transformation publique (DITP)

        Mme Danièle Lamarque, membre de la Cour des comptes européenne, chargée du contrôle qualité de l’audit.

 


—  1  —

 

 

 

 

 

 

 

 

 

ANNEXE 3 :
ÉTUDE RÉALISÉE PAR MM. MAURICE BASLÉ, JEAN-MICHEL JOSSELIN
ET BENOÎT LE MAUX

Cette étude peut être consultée sur le site de l’Assemblée nationale à l’adresse suivante :

http://www.assemblee-nationale.fr/15/pdf/rap-info/i0771.pdf

 


([1]) Le pilotage de la transformation de l’action publique a été modifié par le décret du 20 novembre 2017 qui a scindé le secrétariat général pour la modernisation de l’action publique (SGMAP) entre la direction interministérielle de la transformation publique (DITP) et la direction interministérielle du numérique et du système d’information et de communication (DINSIC).

([2]) Les sources intellectuelles de l’évaluation des politiques publiques in Politiques et management public 31/1 janvier-mars 2014.

([3]) DREES, Méthodes d’évaluation des politiques publiques, actes du séminaire, 2011.

([4]) B. Perret, Lévaluation des politiques publiques, Ed. La Découverte.

([5]) Inspection générale de l’administration, Inspection générale des finances, Inspection générale des affaires sociales, Cadrage méthodologique de lévaluation des politiques publiques partenariales, déc. 2012.

([6]) D. Lamarque, Contrôle et évaluation de la gestion publique - Enjeux contemporains et comparaisons internationales, Ed. Bruylant.

([7]) Avis du Conseil économique, social et environnemental, Promouvoir une culture de lévaluation des politiques publiques, sept. 2015.

([8]) Conseil scientifique de l’évaluation, Petit guide de lévaluation des politiques publiques, Paris, la Documentation française, 1996.

([9]) S. Paul, H. Milet et E. Crovella, Lévaluation des politiques publiques, comprendre et pratiquer, Presses de l’EHESP, 2016.

([10]) KPMG et Quadrant conseil, Évaluation de la démarche globale dEPP menée dans le cadre de la modernisation de laction publique, février 2017.

([11]) B. Perret, Lévaluation des politiques publiques, Ed. La Découverte.

([12]) B. Perret, op. cit.

([13]) Rozenn Desplatz, Marc Ferracci, Comment évaluer limpact des politiques publiques ? Un guide à lusage des décideurs et praticiens, France Stratégie, sept. 2016.

([14]) Rozenn Desplatz, Marc Ferracci, op. cit.

([15]) Avis du Conseil économique, social et environnemental, Promouvoir une culture de lévaluation des politiques publiques, sept. 2015.

([16]) R. Desplatz, M. Ferracci, op. cit.

([17]) R. Desplatz, M. Ferracci, op. cit.

([18]) Ou output.

([19]) Ou outcome.

([20]) Première conférence des réformes, propositions des groupes de travail, décembre 2017, p. 111 et 112.

([21]) Assemblée nationale, rapport d’information n° 2268, octobre 2014.

([22]) La boîte à outils de la Commission européenne a été conçue dans le cadre du programme REFIT. Elle récapitule les marches à suivre pour tous les types d’évaluations menées au sein de la Commission : études d’impact, vérification de la transposition et de la conformité à la loi européenne, suivi des actions, évaluations et bilans de santé de la législation, modalités de consultation des parties prenantes, pilotage des programmes et méthodes d’analyse coût-bénéfice et présentation des données quantitatives.

([23]) Supprimé en 2000.

([24]) Cet office a été supprimé par la loi du 15 juin 2009.

([25]) Le Règlement de l’Assemblée nationale prévoit également que le CEC peut être saisi par le président de la commission saisie au fond ou par le Président de l’Assemblée pour donner son avis sur une étude d’impact accompagnant un projet de loi déposé par le Gouvernement. Cette compétence est cependant restée lettre morte, le CEC ne disposant pas des moyens d’expertise requis pour donner un tel avis.

([26]) Antoine Bozio, Lévaluation des politiques publiques : enjeux, méthodes et institutions, Revue française d’économie, n° 2014/4.

([27]) Steve Jacobs, Sandra Speer, Jan-Eric Furub, The institutionalization of evaluation matters : updating the international atlas of evaluation 10 years later.

([28]) Première conférence des réformes. Propositions des groupes de travail, décembre 2017, p. 223 et 224.

([29]) Ibid.

([30]) Cet alinéa dispose qu’une séance dans le cadre de la semaine de séance sur quatre réservée au contrôle de l’action du Gouvernement et à l’évaluation des politiques publiques est consacrée par priorité aux questions européennes.

([31]) Le taux de couverture rapporte le nombre de bénéficiaires d’une prestation à la population générale.

([32]) Première conférence des réformes, Proposition des groupes de travail, p. 194 et 195.

([33]) Rapport d’information n° 2268 du 9 octobre 2014.

([34]) Décision n° 2014‑12 FNR du 1er juillet 2014, rendue à propos de la présentation du projet de loi relatif à la délimitation des régions, aux élections régionales et départementales et modifiant le calendrier électoral.

([35]) Première conférence des réformes, Propositions des groupes de travail, p. 219.

([36]) Catherine Fallon, Joêl Ficet, Crise de la démocratie et nouveau management public, 2017

([37]) Quadrant Conseil, Nouveaux modes de conception des politiques publiques, 2016.

([38]) Quadrant Conseil, Nouveaux modes de conception des politiques publiques, 2016.

([39]) Brigitte Menguy et Delphine Gerbeau, Faire du design de service public, oui, mais comment ?, La Gazette des communes, 25 juillet 2017.

([40]) B. Perret, Lévaluation des politiques publiques, Ed. La Découverte.

([41]) Regards croisés sur la démarche dévaluation des politiques publiques – Benchmark international, Deloitte octobre 2013.

([42]) Associé au cabinet Quadrant Conseil, chargé de la méta-évaluation des travaux du Secrétariat général pour la modernisation de l’action publique (SGMAP).

([43]) Se poserait au moins la question de leur coût d’acquisition puisque ces données sont produites le plus souvent par de grands groupes privés.

([44]) Toutes les administrations de plus de 50 agents (décret n° 2016‑1922) à l’exception des collectivités locales de moins de 3 500 habitants.

([45]) Code des relations entre le public et l’administration.

([46]) Lucie Cluzel-Métayer, « La loi pour une République numérique : lécosystème de la donnée saisi par le droit » in AJDA n° 6, 20 février 2017, p. 340.

([47]) Le comité du secret statistique veille au respect des règles du secret statistique et donne son avis sur les demandes de communication de données individuelles collectées par voie d’enquête statistique ou transmises au service statistique public, à des fins d’établissement des statistiques. Il remplit le même rôle pour les données fiscales (article L. 135 D du livre des procédures fiscales). Les compétences du comité du secret statistique sont fixées par la loi n° 51‑711 du 7 juin 1951 sur l’obligation, la coordination et le secret en matière de statistiques.

([48]) Conseil économique, social et environnemental, Promouvoir une culture de lévaluation des politiques publiques : avis sur le rapport présenté par Nasser Mansouri-Guilani, au nom de la délégation à la prospective et à l’évaluation des politiques publiques, septembre 2015.

([49]) Didier Migaud, Les cinq défis de lévaluation, Revue Française d’administration publique 2013/4, n° 148, p. 849-858.

([50]) Conseil d’analyse économique, Évaluation des politiques publiques, Les notes du Conseil d’analyse économique, n° 1, février 2013.

([51]) Conseil économique, social et environnemental, Promouvoir une culture de lévaluation des politiques publiques : avis sur le rapport présenté par Nasser Mansouri-Guilani, au nom de la délégation à la prospective et à l’évaluation des politiques publiques, septembre 2015.

([52]) Évaluation de la démarche globale dEPP menée dans le cadre de la modernisation de laction publique, KPMG Quadrant conseil, février 2017.

([53]) CESE, op. cit.

([54]) Gaëlle Baron, Évaluation pluraliste, évaluation participative, questce que la participation en évaluation ?, Les Cahiers de la SFE n° 9, décembre 2015.

([55])  Gaëlle Baron, Évaluation pluraliste, évaluation participative, questce que la participation en évaluation ?, Les Cahiers de la SFE n° 9, décembre 2015.

([56]) Conseil scientifique de l’évaluation, Petit guide de lévaluation des politiques publiques, Paris, la Documentation française, 1996.

([57]) Les cahiers de la SFE n° 9, décembre 2015.

([58]) Cette association a procédé à son enregistrement au répertoire des représentants d’intérêts géré par la Haute Autorité pour la transparence de la vie publique.