Auteur :

Dr. François-Xavier Borsi
Administrateur, SOLEP asbl
Economiste et Senior Manager, KPMG Luxembourg

Avant-propos

La crise sanitaire que connaissent actuellement le Luxembourg et quasiment toute la communauté internationale est exceptionnelle par sa nature, son ampleur, sa vitesse de propagation et l’intensité des réponses apportées par les pouvoirs publics. Au Grand-Duché comme ailleurs, il s’est agi de mettre en place, dans l’urgence, un stratégie sanitaire inédite (de confinement strict / déconfinement) assortie d’un programme massif de stabilisation de l’économie nationale : pour sauver un grand nombre de vies, « il aura ainsi fallu en passer par des mesures déclenchant une crise économique majeure »[1]. Nul ne sait encore quand ou comment la communauté internationale, singulièrement les membres de l’Union européenne (dont le Luxembourg) en sortira, ni comment les économies vont pouvoir concrètement et durablement redémarrer, ni si les conditions de ce redémarrage seront soutenables au sens du développement durable.

A l’instar de beaucoup d’observateurs, nous pouvons imaginer que le choc de la crise sanitaire et économique constituera une épreuve, sans doute au moins à court et moyen termes, pour nos appareils de production et nos modèles de développement, pour nos institutions et nos politiques publiques. Et comme toute crise conduit nécessairement à s’adapter, à changer et à (se) transformer, il est légitime de s’interroger sur la manière dont ces politiques publiques (et, partant, les décideurs) vont devoir faire face et évoluer pour en tirer un maximum les leçons de manière constructive pour l’avenir et de futures interventions publiques. Et pour décliner une telle réflexion sur ce qu’il devient galvaudé d’appeler « l’après-crise » ou « l’après-Covid », peut-être pourrait-on envisager au moins deux types de questionnements.

D’abord peut-on continuer comme avant ; n’est-il pas temps de modifier en profondeur notre référentiel en matière de politiques publiques…changer de paradigme compte-tenu des risques globaux que nos communautés perçoivent et/ou évaluent et dont on sait maintenant qu’ils peuvent se matérialiser à tout moment sous la forme d’accidents collectifs et de crises induites majeurs, que ce soit en matière énergétique, migratoire ou environnementale pour ne citer que ces exemples ?

Ensuite, dans un contexte si incertain (pour ne pas dire particulièrement anxiogène), où les objectifs économiques, sociaux, environnementaux, démocratiques paraissent souvent contradictoires, comment dessiner le futur sans prendre le risque de se tromper lourdement ? Comment également mettre en œuvre, comme il le faut et pas autrement (certains diraient de manière optimale), des politiques publiques dont le rôle et l’impact, on le ressent et on le mesure par exemple en matière de santé en ces temps de difficultés sanitaires aigues, sont majeurs pour le bien-être des populations et pour faire tenir nos sociétés ?

La SOLEP asbl pense que l’une des réponses réside dans notre capacité à opérer un saut qualitatif sensible en matière de qualité et d’efficience de la gouvernance publique au service de l’intérêt général. Un tel saut passe notamment, à ses yeux, par un renforcement de notre capacité collective à éclairer, concevoir, adapter, optimiser et mettre en œuvre de manière appropriée des politiques publiques de qualité. Et l’une des conditions de ce renforcement est une bonne pratique (une pratique éclairée) de l’évaluation des politiques publiques, laquelle exige que l’on puisse à la fois parfaitement démystifier, comprendre et expliciter ce qu’il y a derrière cette notion-même.

Quelques rappels-clés sur l’évaluation des politiques publiques.

Fondamentalement une évaluation consiste à apporter un éclairage sur une action publique en en mesurant et en en qualifiant les effets à la lumière de principes d’analyse et de critères définis et pris en compte pour l’exercice de jugement visé. La boîte à outils de l’évaluation permet d’identifier et expliciter la logique d’intervention de l’action considérée, en partant des éléments intrants (ressources, moyens) qui sont « injectés » dans cette action et en déclinant les éléments de réalisations, de résultats et d’impact (intermédiaires ou globaux) qui en découlent.

Le schéma ci-après décrit de manière concise en quoi une bonne lecture de la logique d’intervention permet de comprendre au mieux la nature des travaux d’évaluation qui nous intéressent (audit, contrôle, monitoring, évaluation) selon le focus de compréhension que l’on souhaite avoir à travers l’exercice (s’intéresser seulement aux outputs, ou n’apprécier que les outcomes, etc.). Il permet aussi de mettre en exergue quelques-uns des critères-clés des approches évaluatives que la littérature met en évidence et qui permettent aux évaluateurs et aux décideurs d’objectiver (de manière certes imparfaite) les effets et les impacts de l’action en question en mettant en regard les objectifs visés et les résultats atteints. On cite souvent la pertinence, l’efficacité et l’efficience comme critères-clés communément admis par les praticiens. L’émergence d’une nouvelle génération d’évaluateurs et les discussions internationales récentes amènent à considérer avec de plus en plus d’importance des critères de soutenabilité/durabilité (en particulier en lien aux « Objectifs du développement durable » (ODD) énoncés dans le Programme 2030 et l’Accord de Paris) et des critères d’éthique dans les analyses[2].

Schéma : approche cartographique du concept d’évaluation

Source : présentation SOLEP (2019)

Evaluer les politiques publiques pour un saut qualitatif en matière de qualité de la gouvernance publique

– Des enjeux relatifs à l’évaluation des politiques publiques…

S’agissant de la pratique au Luxembourg, la taille du pays n’a pas forcément aidé à historiquement prioriser sur la structuration et la coordination administrative autour des questions d’évaluation. Le Luxembourg n’est pas encore reconnu en Europe comme un pays où les pratiques évaluatives sont systématiques et relèvent d’une culture publique profondément ancrée. Pour autant, sous l’impulsion de quelques acteurs sensibles à l’intérêt des démarches et logiques sous-jacentes, la SOLEP a commencé à la fin des années 2000 un travail de sensibilisation progressif (conférences, ateliers, échanges au sein de l’écosystème national) qui la conduit à faire le constat d’une certaine maturité pour envisager des initiatives plus marquées à l’adresse d’un public de plus en plus large, avec pour cibles, entre autres, les fonctionnaires de l’administration gouvernementale ainsi que le législateur luxembourgeois. Car au-delà des principes mêmes de l’évaluation, plusieurs enjeux sont en effet de nature à particulièrement intéresser les acteurs nationaux, et plus encore s’il s’agit de vivre un saut qualitatif en matière de gouvernance publique suite à une crise comme celle que nous vivons actuellement au niveau mondial. L’évaluation des politiques publiques, sans aller nécessairement jusqu’à sa généralisation, pose des questions en lien avec la compétitivité de l’économie, la soutenabilité de ses finances publiques, le développement durable, la santé, le secteur social, mais aussi l’optimisation de l’action publique, l’efficacité de l’appareil administratif, l’augmentation des capacités des structures existantes ou encore du tissu associatif.

En tant qu’économie dynamique de la donnée et face à l’enjeu précité des compétences évaluatives, le Luxembourg peut aussi capitaliser sur les opportunités qu’offrent le développement rapide des outils d’analyse dits « Big Data », avec la perspective de favoriser un enrichissement des analyses quantitatives et qualitatives[3].

– …aux enjeux du renforcement de la gouvernance publique…

L’évaluation a connu, notamment en Europe (Allemagne, France, Royaume-Uni, Suède), un mouvement d’institutionnalisation progressive de la pratique marquée en faveur des pouvoirs exécutifs et des structures administratives ou juridictionnelles (Cour des comptes et institutions de contrôle de la dépense publique, services d’évaluation dans les ministères) davantage que d’autres acteurs (institutions parlementaires, organismes de recherche, think tanks, bureaux d’études…). En dehors des questions de coopération et d’aide au développement, l’évaluation est finalement assez peu ancrée dans l’élaboration et la conduite des politiques publiques, restant prioritairement perçue comme un instrument au service de la réforme de l’État et de la performance des organisations publiques.

Or la crise risque de fortement et durablement ébranler et fragiliser nos sociétés ainsi que nos institutions et systèmes démocratiques. Elle peut aussi abîmer (durablement) la qualité de nos politiques publiques en créant des rigidités cognitives et de l’aveuglement stratégique pour les décideurs trop concentrés par le très court terme. Il importe donc, au-delà du traitement de l’urgence sanitaire et économique à laquelle il a fallu immédiatement répondre[4], de favoriser la mise en place d’un cadre de réflexion, d’analyse et de prise de décision qui se prête à penser au mieux l’après-crise en s’appuyant utilement sur les leçons à tirer.

Parmi les enseignements sur lesquels nous pourrons bâtir l’après-crise, sans doute doit-on évoquer la nécessité, plus que jamais, de nous doter d’une gouvernance publique propice à mieux anticiper les menaces et les disruptions, mais aussi à favoriser et renforcer notre capacité collective à changer, corriger innover, nous adapter, améliorer l’agilité stratégique des pouvoirs publics.

La gouvernance publique, et plus précisément son efficience, est un ingrédient incontournable du développement durable d’un territoire[5]. Elément de souveraineté des pouvoirs publics qui affecte directement potentiellement les conditions générales de compétitivité dudit territoire, les conditions de développement qualitatif de ses ressources et les conditions de bien-être de sa population et de ses forces vives, elle en garantit l’attractivité en établissant toute une série d’avantages (économiques, institutionnels, sociaux et démocratiques…) précieux aux yeux des acteurs du territoire et dont la qualité se mesure à l’aune de leur caractère soutenable. Elle revêt autant de dimensions nécessaires à une prise de décision optimale, vertueuse et qualitative que l’analyse de la situation et des enjeux (ce qui est nécessaire au développement), la justesse de l’intuition et de la volonté d’agir (ou de réagir) ou encore la prise de risque indispensable à la conduite du changement. Sur toutes ces dimensions, l’évaluation des politiques publiques peut s’avérer utile et décisive, en raison notamment de sa grille de lecture (les critères) et des méthodologies crédibles (tableaux de bord, prospectives et analyses ex ante, analyses économétriques d’impact…) sur lesquelles elle s’appuie.

Comment concrètement appréhender et mieux réfléchir et agir vis-à-vis des impératifs à la fois de soutenabilité, d’efficacité et de pertinence des politiques publiques ? En octobre 2015, la SOLEP a livré au Gouvernement et à la société civile un rapport de prospective territoriale baptisé « Luxembourg 2030 », lequel s’était appuyé sur un exercice de prospective citoyenne méthodique, participatif et impliquant tant des experts que des citoyens. Et de ce point de vue, l’initiative prise au début de l’année 2020 par France Stratégie sur les « Soutenabilités » semble des plus inspirantes[6]. Partant du constat des fragilités, des vulnérabilités et des failles que nos modèles de développement laissent entrevoir de nombreuses et plus ou moins prévisibles conséquences sociales, économiques, politiques et géopolitiques de la crise en cours, cette initiative consiste à interroger ces modèles et à penser leur impératif de soutenabilité et leurs conséquences dès la sortie de crise. L’enjeu principal, auquel souscrit volontiers la SOLEP, est de refonder le référentiel de nos politiques publiques, ce à quoi aide indubitablement l’évaluation.

Propositions autour de l’évaluation en ces temps de crise

– Les recommandations récentes de la SOLEP demeurent d’actualité

La SOLEP avait, préalablement aux élections législatives de fin 2018, sensibilisé les parlementaires luxembourgeois de tous bords à des recommandations qui lui paraissent, dans le contexte de la réflexion sur l’après-crise, plus que jamais pertinentes et constructives. Ces recommandations s’articulent notamment autour de la préoccupation de définir des politiques publiques proactives et promouvoir une évaluation plus systématique et de qualité des politiques publiques, pour renforcer la pertinence et l’efficacité desdites politiques, leur impact positif du point de vue de ce que l’on appelle l’intérêt général, et la responsabilité des décideurs vis-à-vis des citoyens et des générations futures.

        1. Clauses évaluatives dans la loi

A la connaissance de la SOLEP, peu de lois récentes prévoient de façon explicite une clause évaluative dans leur dispositif. Or comme en Allemagne fédérale, le recours aux clauses évaluatives mériterait d’être systématisé, notamment pour tout projet de réforme soit sensible (la clause évaluative étant ainsi considérée comme un compromis à l’issue de négociations parlementaires), soit coûteux, soit expérimental (comme par exemple avec la loi sur les sociétés d’impact sociétal).

        2. Publicité des évaluations

Il est vrai que, sauf intérêt sécuritaire et/ou national majeur, la « bonne pratique » à l’international consiste à publier le contenu de toute évaluation ou, à défaut, au moins un résumé exécutif sincère – comme c’est d’ailleurs déjà le cas avec « Lux-Development » au niveau luxembourgeois. La SOLEP comprend néanmoins que, mis à part LuxDev, il existe une certaine appréhension à publier les évaluations, ou même à les annoncer (l’on parle alors, non pas de « publication », mais de « publicité » des évaluations). La préférence va clairement dans le sens d’une analyse des conclusions des évaluations à huis clos, par exemple en réunions tripartites ou, en cas de systématisation de clauses évaluatives dans la loi, en commissions parlementaires. De l’expérience des membres de la SOLEP, il faut en effet du temps pour que la publication des résultats des évaluations fasse son chemin. Un tel shift dans la culture administrative ne peut s’effectuer du jour au lendemain. La SOLEP recommande dans un premier temps la publicité des évaluations, qu’elles soient annoncées dans la loi au moyen de clauses évaluatives ou répertoriées dans un planning des évaluations tenu par exemple par un organe central d’évaluation. La publicité des évaluations contribuerait à structurer les activités en la matière et à renforcer la transparence et la responsabilité.

        3. Utilité d’un organe central d’évaluation

La SOLEP observe qu’à ce jour la conduite d’évaluations se fait de manière ad hoc au Luxembourg, à l’initiative de certains ministres ou de leurs administrations, et ce de façon plus ou moins formalisée. Afin de normaliser une pratique d’évaluation de qualité au Luxembourg, la création d’un organe central d’évaluation, même de taille modeste, mériterait d’être envisagée. A défaut de mener elle-même des évaluations, une telle unité pourrait en commanditer selon un degré de priorisation donné. Par exemple, les politiques les plus coûteuses et/ou sensibles/visibles (mobilité, aménagement du territoire, logement, nouvelles technologies, éducation et culture pour ne citer que ces grands sujets) pourraient être évaluées en priorité, particulièrement si celles-ci ne l’ont jamais été. La commande d’évaluations plutôt que la conduite-même de celles-ci permet une certaine souplesse et rapidité d’exécution. Dans un pays de taille modeste comme le Luxembourg, la commande d’évaluations permettrait en outre le recrutement d’experts indépendants les plus à la pointe dans leurs domaines. Un tel organe se verrait enfin confier la mission de sensibiliser à l’évaluation et de renforcer les connaissances et capacités à tous les niveaux de l’administration en prévoyant a) comme précité, la publicité des évaluations avec la tenue d’un planning officiel de celles-ci, b) le contrôle qualité des évaluations menées en dehors de sa supervision directe, c) la dissémination de bonnes pratiques en matière d’évaluation, d) la publication de lignes directives d’ordres méthodologique, éthique et procédural, e) l’adoption de définitions uniformes, f) l’organisation de formations de pointe à destination des administrations, g) l’assurance de la prise en compte des résultats des évaluations dans le développement des politiques publiques, et, ou encore dans un second temps, h) la centralisation et la communication dans un langage compréhensible des leçons d’évaluation. En somme, un organe central d’évaluation pourrait être rattaché au parlement et/ou à l’exécutif en tenant compte des avantages et inconvénients de chaque approche, comme notamment une relative lenteur d’établissement et des processus décisionnels au parlement (mais un ancrage démocratique fort) comparée à une certaine rapidité d’exécution sous l’exécutif (mais un caractère pérenne plus fragile en cas de changement de majorité).

        4. Sensibiliser, toujours

La SOLEP constate qu’au Luxembourg la prospective peut être perçue, à tort, comme une forme d’activité subjective de prédiction, tandis que l’évaluation est encore trop souvent perçue comme un audit, ou du moins comme un exercice à visée « punitive ». Il est important, aux yeux de la SOLEP, de ne pas confondre audit – qui teste la conformité de l’action avec le cadre légal, réglementaire et/ou contractuel dans lequel elle s’inscrit – et évaluation qui, elle aussi, revêt des approches parfois assez distinctes (évaluation de la performance, évaluation stratégique, évaluation d’impact…), même si l’objectif intrinsèque de l’évaluation est de rendre compte, il est aussi et surtout celui de l’éclairage et de l’apprentissage, sans lesquels l’on ne peut sereinement réformer. La SOLEP insiste sur l’importance de sensibiliser, de renforcer les connaissances, voire de former, y compris auprès des décideurs et des partenaires sociaux.

– Des pistes de travail pour le moyen et long terme

La SOLEP, en tant que société de prospective et à la fois société d’évaluation, peut se prévaloir d’une certaine originalité à l’échelle des sociétés européennes qui lui permet de favoriser un dialogue méthodologique et multidisciplinaire entre ses membres qui peut être porteur d’innovation, notamment en ces temps de réflexion sur « l’après ». Elle formule donc ici une proposition concrète dont elle espère qu’elle retiendra l’intérêt des forces vives luxembourgeoises et de la Grande-Région, à savoir le lancement, dès l’été 2020 et en collaboration étroite avec le Gouvernement, d’un nouvel exercice national et grand-régional de réflexion prospective méthodique et démocratique impliquant experts et citoyens qui a) favorise un redémarrage (un rebond) qui tienne compte des erreurs du passé et anticipe les risques d’écueil pour l’avenir, b) permette d’évaluer (voire réévaluer) nos priorités et nos besoins, c) intègre une réflexion sur et une prise en compte de l’évaluation des politiques publiques comme ingrédient indispensable de la bonne gouvernance publique pour le futur, d) autorise la participation du plus grand nombre des composantes de la société luxembourgeoise et de la Grande-Région, et e) exige l’implication, l’engagement, l’imagination et l’écoute. Le tout, dans le souci du long terme et le respect d’un certain nombre d’engagements et d’éléments démocratiques et sociaux qui nous sont chers collectivement.

Dr. François-Xavier Borsi
Administrateur, SOLEP asbl
Economiste et Senior Manager, KPMG Luxembourg

---

[1] Gilles de Margerie, Commissaire général de France Stratégie (2020).

[2] Des meilleurs critères pour des meilleurs évaluations – Définitions adaptées et principes d’utilisation, Réseau du CAD de l’OCDE sur l’évaluation du développement (EvalNet), décembre 2019.

[3] Cf. conférence “Big Data Analytics & Evaluation – Data Privacy, Use and Ethics” (mars 2019).

[4] Programme de stabilisation de l’économie nationale (Ministère de l’Economie, Gouvernement luxembourgeois, mars 2020).

[5] « Intégration économique et juridique et attractivité des juridictions – Une approche en termes de concurrence institutionnelle » (Borsi, 2011, Editions Universitaires Européennes).

[6] Cf. www.strategie.gouv.fr

Pour télécharger le billet invité