Pour sa rencontre annuelle entre les membres de son Conseil d’Administration, de son Conseil Scientifique et l’équipe opérationnelle qui s’est tenue le 21 juin, IDEA a choisi d’aborder la question de l’évaluation d’impact des politiques publiques. Pour aborder ce thème d’envergure, IDEA avait ouvert la réunion à des personnalités qualifiées issues de la Cour des comptes européenne, de la Chambre des députés, de l’Observatoire de la formation ou encore de l’Université.

Les « 4 présentations »

Pour enrichir le débat, 4 présentations ont précédé les discussions. Sandra Debu (Banque de France – Direction générale des statistiques, des études et de l’international) a prononcé le premier exposé. Elle est coauteure d’une étude de France Stratégie, qui offre un aperçu des pratiques et des enjeux au niveau international des évaluations d’impact des politiques publiques. Après avoir rappelé que ces évaluations, qui mesurent les effets attribuables à une politique, constituaient un outil pour éclairer la décision publique dans un contexte de défiance citoyenne et de ressources contraintes, elle a présenté les résultats d’une étude bibliométrique recensant quelque 7 500 articles scientifiques d’évaluations d’impact, portant sur 7 pays : les Etats-Unis, le Canada, l’Allemagne, la France, les Pays-Bas, le Royaume Uni et la Suède. Si les Etats-Unis demeurent le plus important producteur d’études d’impact (en valeur absolue, avec près de 2 900 articles), les « petits » pays nordiques semblent également bien « tirer leur épingle du jeu » (Norvège, Danemark, Suède, en tête pour le nombre d’articles par million d’habitants). En France, un réveil plus tardif pourrait, notamment, expliquer le retard relatif en termes de production. S’agissant des thématiques les plus couvertes, on retrouve d’une part un premier groupe (Canada, Royaume-Uni, Pays-Bas, États-Unis) orienté prioritairement vers la santé et l’éducation et d’autre part un second groupe (Allemagne, France, Suède), nettement plus préoccupé par les questions relatives au marché du travail. A ce niveau, il semble que les acteurs nationaux pionniers dans la réalisation des évaluations d’impact aient une forte influence sur l’orientation nationale. Sandra Debu a enfin donné un aperçu des principaux acteurs qui produisent ces évaluations : grandes université du pays (Royaume-Uni et Etats-Unis), organismes de recherche indépendants (Royaume-Uni, Suède, Pays-Bas, Allemagne) ou acteurs plus proches des milieux administratifs (France). Ce « tropisme administratif » en France a apparemment pour effet une plus faible ouverture aux chercheurs et au final de faibles retombées pratiques des études effectuées. Pour conclure, Sandra Debu a présenté les questions sous-jacentes d’une étude plus qualitative à paraître sur les (bonnes) pratiques concrètes et la place des évaluations d’impact dans la décision.

Ensuite, Stéphanie Musialski (Société Luxembourgeoise de l’Evaluation et de la Prospective (SOLEP)) a axé sa présentation sur la pratique de l’évaluation au Luxembourg. Elle a tout d’abord présenté la principale mission de la SOLEP, qui consiste à promouvoir les techniques, pratiques et compétences en matière d’évaluation, par le biais de formations et ateliers notamment. Rappelant la présence de la Cour des Comptes Européenne et du groupe Banque Européenne d’Investissement au Luxembourg, elle a souligné qu’il s’agissait des deux principaux organes « évaluateurs » européens. Une distinction préalable importante doit être effectuée entre l’audit financier ou de conformité, l’audit de performance axé sur la relation entre inputs et outputs (avec les notions d’efficacité, d’économie et d’efficience) et enfin l’évaluation, qui implique soit des méthodes d’analyse qualitatives, soit des évaluations quantitatives d’impact (à l’instar de France Stratégie). Au Luxembourg, la Cour des comptes nationale pratique l’audit de performance mais pas l’évaluation, par exemple. Par ailleurs, il existe des méthodes d’analyse quantitative (économétriques, centrées sur les outcomes) et qualitatives (indicateurs de pilotage, centrées sur les outputs). Au Luxembourg, peu d’évaluations d’impact quantitatives sont conduites, bien que le LISER commence à en réaliser. Même si une vision globale de la situation est une gageure au Grand-Duché, Les principaux domaines d’évaluation sont a priori la coopération et l’aide au développement (Ministère des affaires étrangères et Luxdev), le marché du travail, la cohésion économique et sociale (fonds structurels européens), le logement, la santé et l’éducation – où une « Bildungsbericht »[1] est élaborée tous les trois ans en collaboration avec l’Université du Luxembourg (). La prochaine livraison, attendue pour 2021, portera d’ailleurs sur l’évaluation des réformes (impact sur l’échec scolaire, notamment).

En guise d’illustration, Mireille Zanardelli (IGSS), a montré comment les données administratives pouvaient être exploitées, dans le respect de la législation en vigueur sur la confidentialité des données, dans l’évaluation des politiques publiques. Le Ministère du travail a ainsi mis en place la plateforme Luxembourg Microdata Platform on Labour and Social Protection, à destination de chercheurs experts, qui renferment un nombre considérable de données individuelles (avec des millions de lignes) qui sont cependant pseudonymisées. Ces données administratives proviennent des Institutions de Sécurité Sociale et recouvrent notamment les caractéristiques sociodémographiques des individus affiliés, le type d’affiliation, les caractéristiques des emplois et des entreprises, les prestations sociales liquidées (avec les dates de début d’une prestation, ce qui permet de pister son impact), les absences au travail et les liens familiaux. Elles permettent de reconstituer les trajectoires des personnes couvertes sur 16 ans. En termes d’évaluation, ces données permettent d’identifier des changements de situation et leur impact possible sur la trajectoire d’un individu. Songeons par exemple à l’évaluation des effets du congé parental sur l’activité, le salaire ou encore le temps de travail d’une personne. Il est, en outre, possible d’enrichir les données en les interconnectant avec d’autres sources de données, notamment administratives, pour évaluer les effets des politiques actives de l’emploi par exemple (ADEM). De même il est possible de les rapprocher de données d’enquêtes, ce qui permet d’enrichir la compréhension des comportements mais limite la taille de l’échantillon. Ces données administratives doivent cependant être retraitées en fonction de l’objet de recherche. Par exemple, elles se rapportent aux individus affiliés à la sécurité sociale et non directement à l’emploi (donc présence d’affiliés volontaires non actifs et de demandeurs d’emplois ; à l’inverse les fonctionnaires européens ne sont pas couverts). Par ailleurs, les liens familiaux doivent parfois être recoupés avec les codes postaux (pseudonymisés…) afin de traiter le cas des familles recomposées.

Michela Bia (LISER) a effectué la dernière présentation, consacrée à ce « cas concret » qu’est le projet EvaLab4Lux d’évaluation des politiques actives du marché du travail, les programmes de formation notamment. Il s’agit, sur la base des données administratives (fichers de la sécurité sociale de l’IGSS et données de l’ADEM), d’observer la trajectoire de chaque employé avant et après un programme de formation (formation en langues, par exemple), du point de vue de l’emploi, de la rémunération et des compétences professionnelles. Il s’agit d’études systématiques, relevant résolument des évaluations d’impact. Ces études s’imposent, étant donné notamment le coût significatif des programmes en faveur de l’emploi et l’importance, d’un point de vue social, d’outils permettant de concevoir des interventions aussi efficaces que possible. L’évaluation devient en ce sens un aspect fondamental de l’élaboration des politiques publiques. Les études précitées mêlent des aspects quantitatifs et qualitatifs (des entretiens individuels avec les promoteurs, portant sur les modalités de suivi des bénéficiaires de mesures, par exemple) et sont extrêmement techniques, car il s’agit de neutraliser l’incidence sur les résultats de variables telles que le niveau d’éducation, par exemple. Ont été évalués par le LISER en particulier les interventions qui ciblent les demandeurs d’emploi, dont les caractéristiques personnelles ont été disséquées (secteur, genre, nationalité, âge, situation familiale, niveau de formation, langues, employabilité, trajectoires d’emploi, de chômage, de RMG, etc.). L’évaluation de l’incidence de la formation s’effectue 3, 6 et 18 mois après cette dernière. Les résultats obtenus – un premier groupe de 5 projets a été analysé en juin 2017 et une synthèse des résultats globaux mais aussi projet par projet a été effectuée en novembre 2018 – sont généralement assez positifs en termes de trajectoires ultérieures des individus étudiés ((ré)intégration du marché du travail, notamment). Ainsi, entre la moitié et les trois-quarts des bénéficiaires auraient été sous contrat en décembre 2016.

La discussion générale

La parole a ensuite été donnée aux invités. Rolf Tarrach, ancien recteur de l’Université de Luxembourg, a interrogé les intervenantes sur la qualité de l’évaluation d’impact face à la multiplicité des études, compte tenu notamment de la difficile interprétation du sens de la causalité des résultats. Pour Sandra Debu, un bon papier doit être honnête, aussi créer des répertoires d’intervention pourrait permettre de répondre aux impératifs de qualité et de quantité. Son équipe a recouru à cette fin à de multiples outils statistiques et une seule étude ne suffit pas.

Pierre Ahlborn, administrateur délégué de la Banque de Luxembourg, a demandé comment augmenter le recours aux évaluations d’impact au Luxembourg. Après avoir rappelé que l’Université était jeune, Stéphanie Musialski a souligné que de nombreux projets étaient en cours avec plus de données mises à disposition et plus de collaborations avec le secteur public. Selon elle, il convient de focaliser les évaluations sur les politiques les plus coûteuses et les politiques les plus sensibles, ainsi que de favoriser la publication des résultats des évaluations pour mieux la « promouvoir » en adaptant les messages aux publics visés. Par ailleurs, un organe ad hoc pourrait faciliter l’évaluation de la qualité des évaluations tout en assurant une meilleure diffusion de leurs résultats. Une telle entité pourrait par ailleurs établir une priorité entre les différents champs possibles de l’évaluation d’impact, en fonction des objectifs ciblés.

Selon Mireille Zanardelli, les évaluations sont bien prévues dans la loi mais pas anticipées : l’évaluateur doit être impliqué aussi rapidement que possible afin d’éviter que l’on se rende compte trop tardivement que des données manquent. Michel Wurth en a appelé au développement d’une « culture de l’évaluation systématique », dès la définition de la politique publique, invitant IDEA à réfléchir à la diffusion de cette culture – étant entendu que cette culture de l’évaluation relève de l’évidence dans les entreprises privées. Selon Stéphanie Musialski, dans l’administration la culture évoluera avec l’arrivée de nouveaux fonctionnaires.

Le débat a ensuite évolué sur la volonté des responsables politiques de promouvoir l’évaluation. Claude Frieseisen, Secrétaire général de la Chambre des Députés, a rappelé la volonté de l’Institution de promouvoir en son sein une expertise propre d’évaluation des politiques publiques soulignant que la « boucle législative » gagnerait à intégrer cette dimension, bien que des freins puissent subsister. Marc Wagener, Directeur des affaires économiques de la Chambre de Commerce, a interrogé la manière dont il conviendrait de renforcer cette « culture de l’évaluation » au sein de la sphère publique.

Danièle Lamarque, membre française de la Cour des comptes européenne, est intervenue sur la diversité des classements entre pays en fonction des critères retenus : degré de décentralisation, poids du Parlement, rôle des sociétés d’évaluation, présence de centres de recherche sont autant de facteurs susceptibles d’influer sur la culture de l’évaluation avec comme maître mot la pluridisciplinarité. Marc Hostert, chef de cabinet à la Cour des Comptes européenne, a rebondi sur la culture administrative en vigueur dans un pays, mettant en avant le cas du Danemark où l’avant dernier article de chaque projet de loi comprend une « review clause » portant sur l’atteinte des objectifs. Il a également mentionné la logique de « better regulation » de l’OCDE.

Sur la diffusion de la culture, Sandra Debu a révélé quelques résultats préliminaires de l’étude qualitative à venir : il importe d’attirer des personnes avec des compétences « d’évaluation » dans les carrières de fonctionnaires, de rendre publics les résultats des évaluations et de créer des référentiels de standards d’impact (une sorte de guide de la qualité des évaluations). Philippe Poirier, Professeur, Titulaire de la Chaire de recherche en études parlementaires de la Chambre des Députés du Luxembourg, a interrogé la nature de l’évaluation : dans la conception de l’évaluation, son internalisation/externalisation doit être pensée. Selon lui, la pluralité des acteurs peut complexifier le processus notamment avec le renforcement du rôle des acteurs privés.

Erna Hennicot Schoepges a ensuite soulevé la question des études d’impact des structures (gouvernance). En réponse, Sandra Debu a mentionné l’exemple suédois, jugé très intéressant, avec une logique d’agences d’évaluation indépendantes des administrations.

Enfin, Michel Beine, Professeur d’économie à l’Université du Luxembourg, a rappelé que dans une majorité des cas, pour faire de l’évaluation des politiques publiques on exploitait des données non expérimentales et que les méthodes étaient très complexes, impliquant des techniques économétriques loin d’être immédiates.

S’il n’est pas possible de rendre parfaitement compte de la richesse des nombreuses interventions, IDEA remercie toutes les personnes qui ont participé à cette session et ainsi ouvert de nouvelles pistes très prometteuses pour ses futurs travaux.

 


[1] Voir pour la plus récente: http://www.men.public.lu/catalogue-publications/themes-transversaux/statistiques-analyses/bildungsbericht/2018/de.pdf

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *