L’ÉVALUATION DES POLITIQUES PUBLIQUES

1 Évaluer une politique publique consiste à en mesurer les effets propres et à porter un jugement de valeur sur ceux-ci  [1]. Toute évaluation procède d’une double ambition. D’une part, elle représente une démarche scientifique qui cherche à identifier les effets directement imputables aux activités politico-administratives plutôt que dépendant de facteurs contextuels. À ce niveau se pose la question des méthodes d’analyse utiles pour isoler et quantifier les changements induits par les politiques publiques auprès de la société civile. D’autre part, elle s’inscrit dans un processus politique d’appréciation des actions menées par l’État. La définition des questions de l’évaluation, le choix des critères d’appréciation (efficacité, efficience, pertinence, …) et les stratégies de valorisation des résultats de l’analyse représentent ici les principaux enjeux.

2 L’évaluation livre ou devrait livrer des informations fiables et régulières sur la contribution des politiques publiques à résoudre des problèmes collectifs, à satisfaire des besoins sociétaux reconnus, et sur les aptitudes des institutions bureaucratiques à allouer de manière efficiente les ressources de l’État ou à gérer la production des prestations administrative. Idéalement, ces informations sur l'efficacité et l’efficience sont valorisées pour contrôler la légalité et l’opportunité des décisions administratives, pour motiver les responsables d’un programme d’action étatique, pour en réorienter les instruments d’intervention, pour légitimer le budget d’une agence, pour communiquer les résultats de l’action publique aux groupes sociaux concernés ou pour amorcer un processus d’apprentissage entre plusieurs institutions. L’appréciation des effets des interventions étatiques et de l’allocation optimale des ressources administratives reposent sur le postulat que la légitimité des politiques publiques ne peut se fonder sur les seuls principes démocratiques encadrant leur adoption et supportés par les citoyens. Au-delà de cette légitimation démocratique (dite primaire), l’action publique cherche à renforcer sa légitimité (dite secondaire) par la qualité des prestations fournies aux acteurs sociaux (nouvellement appelés clients). De là découle la nécessité d’évaluer les effets et les coûts de l’action publique.

3 Le besoin d’évaluer les politiques publiques se fait d’autant plus pressant que la modernisation du secteur public s’oriente vers une gestion de la performance. La crise des finances publiques, le mécontentement des citoyens vis-à-vis des prestations administratives, le développement des technologies d’information et de communication, etc. sont les arguments généralement avancés pour souligner la nécessité de transformer l’action publique. Les solutions préconisées par les tenants de la Nouvelle gestion publique (par exemple contrats de prestations, indicateurs de performance et comptabilité analytique) impliquent toutes une plus grande transparence sur les effets de l’action publique, donc une évaluation de ceux-ci. Il en va de même pour la libéralisation (mise en concurrence), voire la privatisation (vente des actifs), de certains services publics et le contrôle des obligations de service universel (qualité, accessibilité et prix) qui en découle.

LA SITUATION EN BELGIQUE …

4 Dans le cadre d’un projet de recherche  [2] d’appui scientifique à la modernisation de la fonction publique, financé par les Services des affaires scientifiques, techniques et culturelles (SSTC), nous réfléchissons aux modalités d’institutionnalisation de cette pratique en Belgique. Nous avons tout d’abord établi un état des lieux de la situation au niveau fédéral. Cette première étape a permis, à l’aide d’une enquête quantitative auprès des organismes publics fédéraux, d’esquisser les contours de la pratique évaluative à ce jour  [3]. Cette enquête a été réalisée auprès d'organismes fédéraux afin d’analyser la pratique effective de l'évaluation des politiques publiques, son utilité politique et ses perspectives de développement. Le questionnaire de l’enquête a été administré par voie postale et envoyé de façon personnalisée, le 15 février 2001, à 174 personnes que nous avons sélectionnées de manière à assurer la meilleure représentation possible de tous les organismes publics au niveau fédéral  [4]. Les personnes interrogées se trouvent au sommet de la hiérarchie des institutions concernées. En effet, il s'agit des secrétaires et directeurs généraux, des chefs de cabinet, des présidents des partis politiques, des syndicats et d’autres organismes, des administrateurs délégués, etc. Suite à l'envoi d'un rappel, le 15 mars 2001, le taux de réponse moyen a atteint 45%.

5 Comme nous le montrent en partie les résultats de cette enquête, le terme « évaluation » recouvre parfois des réalités différentes tant d’un point de vue sémantique que méthodologique. À notre avis, et pour en accroître le développement, il faut éviter que l’évaluation ne soit perçue comme une procédure technocratique cautionnant certaines orientations politiques. De même, il ne sert pas à grand chose de commander des évaluations coûteuses qui ne sortiront pas des tiroirs de l'administration publique (car elles remettent trop radicalement en cause une politique ou un programme d’action ou elles ne formulent pas de recommandations applicables ou réalistes). En fait, l'évaluation se situe idéalement entre le contrôle des interventions étatiques et l'apprentissage collectif  [5]. Elle constitue à la fois un bilan critique de la politique qui a été conçue et mise en œuvre et la base d'une modification des pratiques antérieures vers plus de pertinence et d'efficacité en premier lieu. Quelle est en effet l’utilité d’une évaluation si elle ne permet pas un ajustement des procédures tendant à atteindre un objectif politique légitimé par des décideurs élus démocratiquement ?

6 Les sept enseignements majeurs tirés de l’analyse descriptive des données collectées lors de notre enquête sont :

• 56% des organismes publics dont les représentants ont répondu à notre enquête recourent à l’évaluation comme outil de gestion et de pilotage des politiques publiques. Ce taux très élevé indique que la pratique effective de l’évaluation s’avère largement supérieure à ce qui est communément admis dans la littérature et le secteur public en général ;
• les évaluations réalisées portent généralement sur un programme d’action. Elles sont menées de manière ex post par un évaluateur interne à l’organisation qui recourt à des méthodes qualitatives et quantitatives, tout en impliquant l’administration et les fonctionnaires concernés dans le processus. Les résultats des évaluations sont publiés pour un large public et très souvent pris en compte (dans 92% des cas, selon les répondants). D’ailleurs, ils induisent des modifications à la marge, tant sur la politique publique évaluée que sur l’organisation en charge de sa mise en œuvre ;
• l’importance cruciale de la qualité de la méthodologie appliquée ainsi que de la clarté du mandat politique donné aux responsables de l’évaluation sont deux préoccupations partagées par l’ensemble des organismes publics interrogés. En effet, la rigueur méthodologique ainsi que l’intérêt et le soutien des acteurs politico-administratifs et des usagers de la politique sont deux conditions du succès de toute évaluation ;
• enfin, en consacrant une partie du budget d’une politique publique à son évaluation et en octroyant aux acteurs politico-administratifs les compétences légales ou réglementaires nécessaires, l’évaluation pourrait, selon ceux qui n’en font pas (encore), se développer ;
• le renforcement de l’évaluation des politiques publiques au niveau fédéral est une volonté partagée par 88% des répondants, peu importe qu’ils réalisent déjà ou non des évaluations ;
• en ce qui concerne l’institutionnalisation de l’évaluation, deux modalités ont la faveur de tous les acteurs interrogés : la création d’un Conseil fédéral de l’évaluation (sans parlementaires fédéraux)  [6] et le renforcement de l’évaluation au sein des ministères administratifs ;
• la minorité qui refuse de renforcer l’évaluation au niveau fédéral souhaite ne pas accroître les contraintes inhérentes à la conduite des politiques publiques, ne pas développer une méthode dont les résultats ne sont pas pris en compte et, finalement, ne pas empiéter sur le budget opérationnel pour financer l’évaluation.

… PAR RAPPORT À D’AUTRES PAYS

7 Plus ou moins récemment, l’évaluation des politiques publiques est apparue dans nombre de pays occidentaux comme un nouvel outil de pilotage des actions de l'État  [7]. Les raisons motivant son développement sont à peu près partout identiques allant d’un souci de rationalisation budgétaire en passant par la (re)légitimation des pouvoirs publics ou encore une volonté de moderniser la fonction et les entreprises publiques afin de pouvoir « concurrencer » le secteur privé dans les actuelles perspectives de libéralisation voire de privatisation de pans entiers du service public. De plus, certains pays européens (France, Suisse, etc.), dans lesquels l’évaluation était déjà présente au sein des administrations, ont pris des mesures tendant à son institutionnalisation  [8]. En la matière, la Belgique accuse un certain retard malgré le développement récent d’initiatives telles que la création d’une Société wallonne de l’évaluation et de la prospective (Swep)  [9] et le rôle joué par la Cour des comptes dans le secrétariat de la Société européenne d’évaluation (SEE). Depuis 1998, la Cour des comptes s’est vu attribuer une nouvelle compétence en matière du bon usage des deniers publics lui permettant d’opérer, à côté des traditionnels contrôles de légalité et de régularité, un contrôle de l’efficacité, de l’efficience et de l’économie (mais pas de l’opportunité ou de la pertinence des politiques publiques)  [10].

8 Des réflexions scientifiques ont également lieu lors de colloques ou journées d’études rassemblant un nombreux public et permettant de rendre compte de pratiques qui se développent en Belgique.

MÉTA-ÉVALUATION

9 Ce numéro du Courrier hebdomadaire présente une partie des résultats de la deuxième phase d’une recherche financée par les Services des affaires scientifiques, techniques et culturelles (SSTC). Afin de vérifier empiriquement les enseignements de notre précédente étude, nous comparons six évaluations, dont les objets, les contextes, les commanditaires et les évaluateurs varient sensiblement. Cette évaluation d’évaluations est mieux connue sous le vocable de méta-évaluation  [11]. Selon certains auteurs, cette pratique représente « le summum puisqu’elle évalue l’évaluation, l’objective et la rend autocritique. Elle tend d’ailleurs à devenir une nouvelle discipline qui peut être réalisée de différentes manières »  [12]. Sans vouloir entrer dans des considérations trop pointues, il apparaît tout de même que la méta-évaluation permet une réflexion et une mise en cohérence d’un processus évaluatif souvent considéré comme fragmenté par ses participants. Ainsi, en nous référant à Stufflebeam, nous pouvons définir la méta-évaluation comme une démarche de collecte et d’interprétation d’informations descriptives et normatives à propos de l’utilité, de la faisabilité et de l’exactitude d’une évaluation afin d’en identifier les principales forces et faiblesses  [13]. La méta-évaluation poursuit donc une double ambition qui est à la fois récapitulative (dresser un bilan) et endoformative (amorcer un processus d’apprentissage).

10 L'objectif de notre méta-évaluation ne consiste pas à « classer » les six évaluations mentionnées ci-dessus selon leur rigueur scientifique, leur utilité politique, leur rapport coûtbénéfice, etc. Nous visons plutôt à identifier quelques tendances dominantes en matière de pratique évaluative au niveau fédéral. Plus particulièrement, nous cherchons à cerner les principaux facteurs qui facilitent, ou qui empêchent, la qualité des évaluations entreprises jusqu'ici. Les enseignements découlant de cet exercice comparatif devraient, par la suite, nous permettre d'ébaucher des pistes réalistes pour renforcer voire, si besoin est et volonté politique il y a, institutionnaliser plus avant l'évaluation en Belgique. Cette réflexion sur l’institutionnalisation de l’évaluation des politiques publiques fera l’objet de la troisième étape de notre projet.

11 Pour chaque évaluation considérée dans notre analyse, nous avons procédé à la lecture des principaux documents disponibles (par exemple rapport d'évaluation, documents parlementaires et coupures de presse y relatifs). Ensuite, nous avons reconstruit le processus d’évaluation en recourant à des entretiens semi-directifs avec des représentants des évalués, des évaluateurs et des commanditaires de l'évaluation. Enfin, nous avons soumis l’étude de cas réalisée aux personnes interviewées  [14] afin de nous assurer que notre récit s’avère conforme à la réalité vécue par nos différents interlocuteurs. Nous retraçons brièvement, de manière aussi objective et exhaustive que possible, le déroulement de chacune des évaluations envisagées. Pour cela, nous reconstruisons, à l’aide des informations recueillies lors des entretiens, les démarches évaluatives afin de permettre ensuite une analyse interprétative et explicative.

12 Chacune des études de cas s'articule en six sections : le contexte et l'objet de l'évaluation, le cahier des charges, la démarche, le rapport, le suivi politique et une brève appréciation partielle de notre part. Afin d’illustrer les relations entre les acteurs durant le processus d’évaluation, chaque section comporte un schéma récapitulatif dont les flèches représentent les interactions existantes ou non durant le processus évaluatif. Enfin, pour permettre au lecteur de disposer d’un aperçu synthétique des cas présentés, chaque section se termine par une grille récapitulative qui reprend les principaux acteurs impliqués par l’évaluation, la périodicité, le coût, etc. et qui répertorie les évaluations selon leurs principales dimensions (ex ante, concomitante, ex post  [15], récapitulative/formative  [16], black-box, (non)-causale  [17]) de l’évaluation.

1.1. CONTEXTE ET OBJET DE L’ÉVALUATION

13 La coopération au développement repose entre autres sur un système de subsidiation de projets et de programmes. Les projets gérés par les ONG, qui constituent l’objet de cette évaluation, sont définis, par l’arrêté royal du 2 avril 1991 relatif à l'agrément de fédérations des organisations non gouvernementales en matière de coopération au développement  [18], comme les actions directes qui visent à améliorer l’épanouissement socio-éco-nomique de la population locale et les actions indirectes qui constituent un soutien à l’organisation du partenaire non gouvernemental local lors de l’exécution de ses activités de développement.

14 Concrètement, c’est l’octroi de crédits ruraux par les ONG qui est au centre de l’évaluation réalisée entre 1993 et 1995. Cette mission « ne met pas tant l’accent sur l’octroi direct de services financiers aux groupes les plus pauvres de la population, mais davantage sur le développement d’organismes financiers durables qui soient en mesure et disposés à se tourner vers ces groupes »  [19].

15 Il existe deux modalités de co-financement. Le co-financement par programme débute aux environs de 1991 afin de développer un instrument plus flexible et d’éviter les faiblesses du système de financement par projets. Seules des ONG jugées « professionnelles » avaient dans cette première phase accès au financement par programme. Cependant, l’AGCD  [20] n’a pas maintenu les critères de sélection initiaux et les ONG bénéficiaires du financement par programme ne disposaient pas toutes des qualités requises.

16 De plus, cette sélection crée une certaine jalousie parmi les ONG non retenues. Étant donné que lois et règlements en vigueur au début des années 1990 ne permettent pas de développer une vision cohérente de la coopération non gouvernementale et créent deux modalités de co-financement (par projets et par programmes) qui ne sont pas accessibles à toutes les ONG, le secrétaire d’État à la Coopération au développement Réginald Moreels (CVP), qui privilégie l’action volontariste opte pour un système unique de co-financement par programme.

17 Ainsi, la législation régulant la coopération au développement est profondément modifiée en 1997  [21] et 1999  [22] afin d’éviter les interprétations contradictoires et de garantir l’utilisation pratique et l’application de la réglementation par l’administration et les ONG  [23]. Un certain nombre d’observateurs estiment que ce changement n’est pas le plus opportun étant donné qu’il arrive que des ONG ne disposent pas des compétences requises à la préparation et à la mise en œuvre d’un programme.

1.2. CAHIER DES CHARGES DE L’ÉVALUATION

18 Le rapport d’évaluation a comme cadre normatif les arrêtés royaux du 12 mars 1991 relatifs à l’agrément, l’octroi et la subsidiation d’organisations non gouvernementales (ONG) et de fédérations en matière de projets dans les pays en voie de développement  [24]. Ces textes réglementent la coopération bilatérale indirecte des ONG belges. En ce qui concerne l’évaluation, l’arrêté royal du 12 mars 1991 consacre un chapitre aux questions de contrôle et d’évaluation. Son article 22 précise :

19

« En plus des évaluations internes par les ONG et des contrôles de l’Administration générale de la coopération au développement (AGCD), cette dernière, ainsi que les fédérations organisent annuellement des évaluations conjointes des activités de cofinancement. Le
Ministre détermine les modalités d’application du présent article. Les rapports des évaluations conjointes sont discutés à la Commission de concertation des projets (CCP) qui donne des avis au Ministre, aux fédérations ainsi qu’aux ONG concernées. Les évaluations conjointes sont à charge du budget prévu pour le cofinancement. »

20 Selon le rapport au Roi, « le chapitre six traite des contrôles et des évaluations. Bien entendu, l’AGCD effectue les contrôles nécessaires et les ONG effectuent leurs évaluations propres. À ceci vient s’ajouter le principe d’évaluation conjointe à exécuter ensemble par les pouvoirs publics et les ONG. Ces évaluations n’ont pas pour objectif le contrôle mais bien la possibilité de tirer ensemble des leçons pour l’avenir. »  [25] Ainsi, les évaluations conjointes se distinguent des contrôles et évaluations organisés uniquement par l’AGCD ou par les ONG. En effet, les évaluations conjointes encouragent l’amélioration des situations existantes par la participation, à la démarche évaluative, de tous les acteurs concernés. Cette forme particulière d’évaluation participe de la réforme du système de co-financement puisqu’elle implique un glissement de l’évaluation ex ante (dans le cas d’un co-financement de projets) vers l’évaluation ex post (dans le cas d’un co-financement de programmes). De plus, ces évaluations conjointes sont conçues comme un outil d’apprentissage pour toutes les parties concernées (y compris l’AGCD).

21 Le cadre général  [26] de l’évaluation conjointe AGCD-ONG qui nous intéresse ici est approuvé par la CCP le 1^er février 1995. Au sujet des modalités organisationnelles de l’évaluation, il spécifie que :

22

• chaque année au moins deux évaluations conjointes spécifiques doivent être organisées  [27] ;
• elles peuvent être confiées à des experts indépendants. Ces derniers sont désignés après un appel lancé par l’AGCD en respectant les procédures et barèmes, utilisés par l’AGCD en cette matière. Le choix des experts indépendants est fait par le Ministre sur avis de la CCP ;
• des représentants de l’AGCD et des ONG, désignés par les fédérations, participent aux évaluations ;
• les frais de ces évaluations sont à la charge du budget du cofinancement  [28] »  [29].

23 Comme le prévoit le cadre réglementaire, dont nous avons parlé, l’évaluation conjointe implique que l’AGCD et les ONG soient commanditaires des évaluations c’est-à-dire qu’elles en négocient les objectifs et les modalités. Ainsi, l’évaluation est guidée par un cahier des charges très précis contenu dans les termes de références généraux. Ce document organisé en six parties détaillées fournit des informations sur :

• les évaluations conjointes AGCD-ONG ;
• les systèmes de crédit dans les activités économiques du secteur rural ;
• l’objectif général de l’évaluation qui est d’analyser les caractéristiques spécifiques de ce type de projets, d’en identifier les facteurs de réussite et d’échec et d’étudier le traitement de ce type de dossiers par les ONG, l’AGCD et le cofinancement en général ;
• la méthodologie et l’approche de l’évaluation qui est divisée en trois phases  [30]
  (inventaire des projets de crédits – élaboration d’un cadre conceptuel et analyse des dossiers – préparation et évaluation d’un nombre d’études de cas) ;
• l’objet de l’évaluation qui concerne les activités d’appui à l’octroi de crédits aux activités économiques dans le secteur rural ;
• le déroulement de l’évaluation.

24 Ce texte est rédigé par le comité de pilotage  [31] institué par la CCP composée d’une vingtaine de membres (experts – AGCD – ONG). Concrètement, c’est ce comité qui soumet les propositions de décisions qui sont ensuite entérinées par la CCP. Il est responsable du suivi et du déroulement de l’évaluation.

25 Plus particulièrement, l’objet de l’évaluation tel que le conçoivent les commanditaires porte « aussi bien [sur] les projets spécifiques de crédit que [sur] les programmes de crédit réalisés dans le cadre des projets plus vastes. Seront considérés comme projets de crédits, les actions qui visent à contribuer au développement et à la diversification des initiatives économiques de base, à l’accroissement des revenus monétaires des bénéficiaires et à l’émergence de nouveaux acteurs de développement. »  [32]

26 La troisième phase de l’évaluation fait l’objet de termes de référence spécifiques. Les principaux objectifs de cette phase sont d’analyser les résultats (succès, échec) des projets de crédit, de formuler des réflexions et recommandations et d’en encourager l’appropriation par les parties concernées. C’est dans une perspective explicative que les termes de référence contiennent les hypothèses dont la validité doit être testée empiriquement par l’évaluation. L’accent est mis sur trois critères (l’analyse du groupe-cible, la durabilité financière et l’impact institutionnel des actions de crédit) et trois catégories de variables explicatives (les facteurs contextuels, la politique de crédit et les caractéristiques du système de crédit et la technologie financière c’est-à-dire les procédures utilisées dans le processus de crédit).

1.3. DÉMARCHE DE L’ÉVALUATION

27 Cette évaluation se déroule en trois phases dont le calendrier  [33] peut se résumer comme ceci :

• phase 1 : inventaire des projets de crédits par le biais d’une enquête auprès de toutes les ONG et des fonctionnaires du service ONG à l’AGCD (1993) ;
• phase 2 : élaboration d’un cadre conceptuel afin de donner un aperçu des conceptions sur la thématique et d’analyser les différentes méthodes utilisées par les gestionnaires des ONG dans le traitement des projets (1993) ;
• phase 3 : évaluation des cas :
  • juin-juillet 1994 : sélection des équipes d’évaluateurs  [34] ;
  • juin-septembre 1994 : préparation des études de terrain ;
  • septembre-octobre 1994 : analyse du contexte ;
  • octobre-décembre 1994 : étude de terrain et rapports intermédiaires ;
  • janvier-février 1995 : phase de synthèse ;
  • mars 1995 : restitution.

28 La première phase dresse un inventaire des projets de crédits dans le cadre du cofinancement belge par le biais d’une enquête auprès des ONG et des fonctionnaires ONG de l’AGCD.

29 La deuxième phase consiste à élaborer un cadre conceptuel pour l’analyse des dossiers afin d’identifier les caractéristiques des programmes, à prendre connaissance de l’évolution thématique du champ à travers une étude de la littérature théorique et à proposer un échantillon des projets qui feront l’objet d’une analyse plus poussée.

30 Le cadre conceptuel qui guide l’évaluation se base sur celui d’une évaluation antérieure sur la durabilité de projets pour laquelle South Research avait collaboré avec H. Couderé du Département Tiers Monde de l’Université d’Anvers (UFSIA) ainsi que des recommandations de l’OCDE et plus particulièrement, du Comité d'aide au développement (CAD). Le CAD développe des critères, principes et lignes directrices pour l’évaluation de programmes  [35] dont il est fait référence par les différents acteurs de cette évaluation.

31 Ce travail conceptuel et méthodologique est considéré par les participants comme un facteur de succès de l’évaluation, en comparaison avec les autres évaluations conjointes  [36] pour lesquelles la qualité scientifique était remise en question et non partagée par l’ensemble du groupe. Cette réussite semble due à la précision des termes de référence et à la volonté d’aboutir de la part des partenaires. De plus, cet exercice s’appuie sur des recherches antérieures (évaluations ou projets scientifiques du professeur Renard du Centre pour le Tiers Monde de l’UFSIA) qui ont permis de développer un véritable « modèle de durabilité ».

32 Enfin, c’est au cours de la troisième phase que sont évalués les projets significatifs retenus précédemment. Ceci de manière originale puisque l’évaluation associe, pour chaque projet, un expert du Nord et son homologue du Sud. Concrètement, South Research réunit, lors d’un séminaire d’une semaine, l’ensemble des évaluateurs participant à cette troisième phase pour leur expliquer la méthodologie à appliquer afin de garantir une certaine harmonisation de la démarche, des concepts et des rapports intermédiaires. De plus, cet atelier permet aux évaluateurs de faire connaissance entre eux.

33 Les évaluations de terrain sont réalisées entre fin 1994 et début 1995. « En tout, quinze projets ont été évalués, dont douze sont soutenus par onze ONG belges différentes et sont (ou étaient) cofinancés par l’AGCD ; six en Amérique du Sud (3 au Pérou, 3 en Bolivie) ; 5 en Afrique occidentale (1 au Sénégal, 3 au Burkina-Faso et 1 au Togo, près de la frontière avec le Burkina-Faso) et 4 aux Philippines. Un certain nombre de programmes de crédit courent depuis plus de dix ans, d’autres sont plus récents. En tout cas, l’activité de crédit était suffisamment développée pour en justifier l’évaluation et pour permettre un jugement sur la durabilité financière et institutionnelle des programmes. »  [37]

34 Parmi les quinze projets retenus trois sont des expériences intéressantes en matière de crédits qui ne sont pas appuyées par l’AGCD ou les ONG belges mais qui permettent d’élargir le processus d’apprentissage et de réflexion en s’appuyant sur des success stories.

35 Sur le terrain, et principalement auprès des ONG, l’évaluation a été perçue comme un contrôle qui risquait de mettre en évidence les faibles résultats de certains projets. Cependant, d’un point de vue politique, il n’en était rien étant donné que d’autres mécanismes de contrôle étaient possibles. La volonté affichée était plutôt de tirer des leçons de la pratique et d’alimenter la concertation entre les ONG et les pouvoirs publics. Le processus participatif permet de surmonter la crainte de contrôle des ONG grâce à la restitution et aux contacts permanents et soutenus. De plus, le découpage en phases impose un travail de restitution intermédiaire qui garantit la visibilité du travail tout en restant maîtrisable par les différentes parties.

36 Ensuite, l’évaluateur de South Research rédige un rapport de synthèse qui s’appuie sur les dix-huit rapports intermédiaires (un par évaluation de terrain et un par région) qui sont préalablement discutés et validés avec les interlocuteurs du Nord et du Sud.

37 En ce qui concerne l’énoncé des recommandations, l’arrêté ministériel du 1^er juillet 1991 prévoit que « la CCP, sur base des conclusions de ces évaluations, formule des avis sur les orientations politiques à appliquer dans la mise en œuvre du cofinancement »  [38]. En pratique, il apparaît que les recommandations ont été formulées par l’asbl South Research elle-même. C’est d’ailleurs ce qui est formellement prévu dans les termes de référence de la troisième phase  [39].

38 Le schéma suivant représente les relations entre les différents intervenants que nous avons identifiées lors de la démarche d’évaluation.

Figure 1

Les relations entre les acteurs durant le processus

Figure 1 : Les relations entre les acteurs durant le processus Cabinet du ministre de la Coopération Comité de concertation des projets South Research Experts ONG belges ONG étrangères AGCD Administration de Destinataires de la Sphère politique mise en œuvre politique Évaluateur Autres intervenants

Les relations entre les acteurs durant le processus

1.4. RAPPORT D’ÉVALUATION

39 Le rapport d’évaluation a pour objet les systèmes d’octroi de crédits pour les activités économiques du secteur rural et analyse en particulier « le rôle joué par les ONG en matière d’octroi de crédits ruraux et examine leur attitude face aux récents développements »  [40]. Il se divise en quatre grandes parties qui présentent le contexte de l’octroi de crédits ruraux, les caractéristiques des quinze projets de crédit évalués, les principaux résultats des projets individuels et l’explication comparative de ces résultats. À l’issue de cette analyse, une vingtaine de pages (soit le quart du rapport) est consacrée à la formulation de conclusions et de recommandations adressées à des acteurs précis (AGCD, ONG spécialisées en crédit, ONG non spécialisées, ONG belges, …) concernant les programmes de crédit.

40 Ce rapport assure une très grande transparence en ce qui concerne le processus de l’évaluation. En effet, à la suite du rapport de synthèse sont compilées six annexes  [41] parmi lesquelles se trouvent les résumés des quinze rapports d’évaluation de projet.

Tableau 2

Analyse du contenu du rapport

Tableau 2 : Analyse du contenu du rapport la conception de laAnalyse et conclusions politiquesur la mise en œuvre de la politique les effets de la politique Nature des recommandations formulées par l’évaluateur L’évaluation s’intéresse à la conception du cofinancement même si cette partie n’est pas la plus détaillée du rapport. Le rapport analyse en détail le nombre de crédits octroyés, le contexte de l’octroi de crédits ruraux et le travail des ONG dans les pays étudiés ainsi que l’influence de l’AGCD lors de la mise en œuvre. Le rapport mesure l’efficacité des programmes de crédits et les avantages économiques au niveau des groupes cibles, et il s’intéresse à la durabilité financière et institutionnelle des projets dans les régions concernées (test empirique du « modèle de durabilité »). Les conclusions sont très critiques et les recommandations très précises (par ex. rôle de l’AGCD et des ONG) et débouchent sur une réflexion quant à l’élaboration d’une technologie de crédit adaptée et à l’amélioration du système de cofinancement.

Analyse du contenu du rapport

1.5. SUIVI POLITIQUE DE L’ÉVALUATION

41 Il n’existe pas de stratégie de valorisation préalablement définie. Ainsi, en fin de compte, les budgets demandés pour l’organisation d’un séminaire ou la publication du rapport ne sont pas octroyés par l’AGCD. Il semble que certaines personnes de l’AGCD sont « gênées » par les conclusions critiques du rapport et donc peu enclines à sa diffusion. Toutefois, les discussions et le processus de validation que nous avons mis en évidence encouragent la ré-appropriation graduelle des résultats par les différents acteurs sans qu’il n’existe de volonté – auprès de l’AGCD ou des fédérations d’ONG – de coordonner cette initiative.

42 Selon le rapport annuel 1997 de l’AGCD sur les pratiques évaluatives, cette évaluation « a permis à l’AGCD d’estimer les difficultés liées au lancement de programmes de crédit dans les Pays en développement. Un workshop sur les micro-crédits est organisé par l’AGCD les 3 et 4 février 1998 en présence notamment des représentants des ONG et des experts qui ont réalisé l’évaluation. Les différentes contraintes liées à ce type de programmes y sont présentées et discutées au cours de débats. Ce workshop débouche sur l’élaboration d’une note politique et de lignes directrices claires qui, d’une part, permettent de sélectionner les programmes ayant le plus de chances de réussir et, d’autre part, aident le personnel de l’AGCD à mieux préparer, suivre et évaluer ces programmes. »  [42]

43 Par ailleurs, ce rapport donne lieu à des réactions indirectes diverses. En effet, « cette évaluation a servi de référence aux concertations qui ont mené à la rédaction d’un article 3bis dans l’arrêté ministériel du 25 septembre 1998, portant mesures d’exécution de l’arrêté royal du 18 juillet 1997 relatif à l’agrément et à la subvention d’ONG de développement et de leurs fédérations »  [43]. De plus, cette évaluation permet une réflexion sur la révision du co-financement des ONG ; l’inspecteur des finances auprès du Ministère des Affaires étrangères et de la Coopération au développement y fait du reste fréquemment référence. Enfin, cette évaluation est citée dans l’ouvrage Searching for impacts and methods : NGO evaluation synthesis study édité par le Ministère des Affaires étrangères de Finlande en 1997.

1.6. APPRÉCIATION

44 Ce rapport d’évaluation ainsi que son processus d’évaluation constituent un exemple d’évaluation qui correspond largement aux principaux standards professionnels en la matière. De plus, l’originalité du caractère conjoint – qui pourrait être mis en parallèle avec les évaluations dites pluralistes – semble être un facteur de succès en ce qui concerne l’appropriation des résultats par les ONG et les acteurs concernés.

45 Toutefois, comme nous le mentionnions au début de cette étude de cas, cette innovation de l’arrêté royal du 12 mars 1991 a été supprimée. À l’heure actuelle, l’évaluation de la politique de coopération au développement est répartie en deux catégories distinctes. Primo, les ONG ont l’obligation de consacrer 1 % cent des moyens qui leur sont alloués pour commanditer une évaluation. Pour ce faire, le service évaluation de l’administration de la coopération au développement a publié en avril 1999 un manuel de l’évaluation  [44] qui est un guide non contraignant pour les ONG qui organisent les évaluations comme elles le souhaitent. Secundo, au sein de l’administration, un évaluateur spécial a été mis en place afin de centraliser la gestion des évaluations.

46 En un mot, nous considérons qu’il s’agit d’une très bonne expérience qui a permis la rédaction d’un rapport de qualité mais qui n’a été que faiblement valorisé politiquement. De plus, la pratique (de l’évaluation conjointe) ne s’est pas institutionnalisée en raison d’un réaménagement de l’évaluation en matière de coopération au développement. La volonté de changement est partagée tant par l’AGCD pour qui le système était trop laborieux que par les ONG qui se méfiaient d’un processus sur lequel elles n’avaient pas suffisamment de prises.

Grille récapitulative Titre de l’évaluation Auteur du rapport final (évaluateur) Commanditaire Évalués Base légale et réglementaire Niveau étatique concerné par la politique Objet de l’évaluation (mesure, programme, politique) Contexte de l’évaluateur (public/privé, interne/externe) Durée de l’évaluation Fréquence de l’évaluation Coûts de l’évaluation Dimension de l’évaluation temps (ex ante, concomitante, ex post) récapitulative/formative black-box, (non-)causale mise en œuvre/effets Type de comparaison avant/après politique avec/sans politique régions Méthodes et techniques de collecte des infos/données primaires/secondaires rapports internes, partiels Crédit : ONG’s crédibles ? Rapport de synthèse de l’évaluation conjointe AGCD-ONG. Les systèmes de crédit dans les activités économiques dans le milieu rural South Research (Dirk Van Esbroeck) Administration générale de la coopération au développement – ONG avec un financement de l’AGCD ONG belges et étrangères AR 12 mars 1991 relatif à l'agrément et à la subsidiation d'organisations non gouvernementales et de fédérations en matière de projets dans les pays en voie de développement, Moniteur belge, 20 avril 1991 Fédéral et partenaires internationaux Quinze projets d’octroi de crédit Privé/externe +/- 24 mois - 166.000 € (6.700.000 BEF) Ex post / concomitante Récapitulative et endoformative Causale Mise en œuvre et effets (efficacité = durabilité financière et institutionnelle) Par phase du projet ONG belges et non belges Entre régions, pays, ONG (nord-sud, belgesinternationales) et entre projets (types de crédits) Primaires (entretiens) et secondaires (analyse de dossiers y compris comptables selon une grille préétablie par South-Research) Dix-huit rapports intermédiaires

1.7. SOURCES DE L’ÉTUDE DE CAS

47 D. VAN ESBROECK, Crédit : ONG’s crédibles ? Rapport de synthèse de l’évaluation conjointe AGCD-ONG. Les systèmes de crédit dans les activités économiques dans le milieu rural, Leuven, South Research, septembre 1995,82 p.

Entretiens :

48 Kris Paneels : conseiller à la direction générale de la coopération internationale (12 novembre 2001).

49 Jean-Michel Swaelens : chef de cabinet adjoint du cabinet de la coopération au développement  [45] (14 novembre 2001).

50 Dirck van Esbroeck : consultant chez South Research (5 novembre 2001).

Documents légaux et réglementaires :

51 Arrêté royal du 12 mars 1991 relatif à l'agrément, l'octroi d'allocations et la subsidiation de personnes, d'organisations non gouvernementales et de fédérations en matière d'envoi de coopérants ONG, Moniteur belge, 20 avril 1991.

52 Arrêté royal du 12 mars 1991 relatif à l'agrément et à la subsidiation d'organisations non gouvernementales et de fédérations pour les activités d'éducation en matière de coopération au développement, Moniteur belge, 20 avril 1991.

53 Arrêté royal du 12 mars 1991 relatif à l'agrément et la subsidiation d'organisations non gouvernementales et de fédérations en matière de projets dans les pays en voie de développement, Moniteur belge, 20 avril 1991.

54 Arrêté royal du 2 avril 1991 relatif à l'agrément de fédérations des organisations non gouvernementales en matière de coopération au développement, Moniteur belge, 20 avril 1991.

55 Arrêté royal du 18 juillet 1997 relatif à l’agrément et à la subvention d’organisations non gouvernementales de développement et de leurs fédérations, Moniteur belge, 27 août 1997.

56 Loi du 25 mai 1999 relative à la coopération internationale belge, Moniteur belge, 1^er juillet 1999.

Autres publications :

57 AGCD – Service évaluation, Rapport annuel 1997 de l’AGCD sur l’évaluation, Bruxelles, 1998, tableau 1, p. 8.

58 AGCD – Service évaluation, Rapport annuel 1998 du service évaluation de l’AGCD, Bruxelles, 1999.

59 Algemeen Bestuur van de Ontwikkelingssamenwerking, Handleiding van de evaluatie (draft 2), Brussel, april 1999.

60 OCDE-CAD, Pratiques efficaces pour mener une évaluation conjointe associant plusieurs donneurs, [[http :// www. oecd. org/ pdf/ M00021000/ M00021650. pdf](consulté le 23 novembre 2001).

2.1. CONTEXTE ET OBJET DE L’ÉVALUATION

61 La déclaration gouvernementale prononcée par le Premier ministre, Guy Verhohfstadt (VLD), le 14 juillet 1999, devant le Parlement, met entre autres l’accent sur la simplification administrative et l’évaluation de la législation. Les ambitions affichées par le nouveau gouvernement sont claires et quantifiables :

62

« La surabondance de lois et règlements ébranle la sécurité juridique et le sentiment de justice des citoyens. Trop de dispositions légales et réglementaires freinent la créativité des citoyens et des entreprises et leur sens de l'initiative.
Le gouvernement fédéral diminuera de 10%, au cours des deux années à venir, la charge administrative des citoyens et des entreprises pour réduire d'un quart l'ensemble des formalités et obligations d'ici la fin de la législature. Pour pouvoir contrôler ces objectifs quantitatifs, le gouvernement mettra en place des instruments de mesure. Dans la foulée, le gouvernement s'attellera à développer et à introduire des directives générales en vue d'une normalisation et d'une simplification.
Enfin, le gouvernement, avec le parlement et en collaboration avec le bureau de coordination du Conseil d'État, procédera à une évaluation de la législation. Celle-ci est un moyen d'améliorer l'efficience, l'adhésion citoyenne et la qualité juridique de la législation. Cette évaluation de la législation permettra de juger leur fonctionnement et leur efficacité, de sorte qu'elles puissent être revues et, au besoin, abrogées. »  [46]

63 Ces priorités s’inscrivent dans le prolongement du travail de la législature précédente qui, en 1998, a créé l’Agence pour la simplification administrative (Asa)  [47]. Cette agence est rattachée aux services du Premier ministre en raison, notamment, des missions particulières qui lui sont attribuées et qui visent, entre autres, la stimulation et la coordination des initiatives de simplification prises par différents départements en faveur des entreprises. Ses missions générales consistent à élaborer et appliquer une méthode permettant de chiffrer le coût de la contrainte administrative imposée aux entreprises par les administrations fédérales, proposer une méthodologie pour réduire le coût de cette contrainte, coordonner les initiatives de simplification administrative au sein des administrations fédérales et organiser la collaboration entre les administrations fédérales, communautaires et régionales. Plus spécifiquement, pour des missions particulières, elle est chargée, sous l'autorité du ministre qui a les classes moyennes dans ses attributions, d'élaborer la fiche d'impact administratif, déterminer les modalités de son utilisation et créer un guichet PME informatisé à accès universel, en étroite collaboration avec le secteur des PME  [48].

64 En son sein est constitué un comité d'orientation, composé de seize membres  [49] (huit francophones et huit néerlandophones), qui élabore, avec les services de l'ASA, le programme annuel de travail, approuve le rapport annuel, établit le règlement d'ordre intérieur et fait des propositions concernant le fonctionnement de l'Agence  [50]. Outre le directeur général et le directeur général adjoint, le personnel de l’ASA comprend huit chargés de mission détachés des ministères ou des organismes publics fédéraux ainsi que quatre agents d’exécution. Pour la mise en œuvre de ses missions spécifiques, l'ASA peut recruter des experts pour une durée déterminée.

65 C’est dans le but de mesurer l’avancement du travail effectué par l’ASA ainsi que leurs effets auprès des PME que le gouvernement estime nécessaire de mener une réflexion relative à la construction d’indicateurs pertinents.

2.2. CAHIER DES CHARGES DE L’ÉVALUATION

66 Il n’y a pas formellement de cahier des charges propre à cette évaluation puisque c’est le Premier ministre qui, comme nous allons le voir, enjoint le Bureau fédéral du Plan (BFP) de répondre à la demande de la commissaire du gouvernement à la simplification administrative Anne André-Léonard (PRL). Les demandes du commanditaire sont donc formulées en cours de processus.

67 Il faut tout de même mentionner que la demande formulée à l’intention du BFP concerne uniquement la mesure des charges qui pèsent sur les entreprises et non sur le citoyen comme le prévoit la déclaration gouvernementale. Ce choix résulte d’une discussion avec l'ASA et le cabinet de la commissaire du gouvernement à la simplification administrative durant laquelle le BFP explique qu’il lui est difficile, du point de vue de la rigueur méthodologique, de prendre en compte ce type de considérations.

2.3. DÉMARCHE DE L’ÉVALUATION

68 Le calendrier de cette évaluation peut se résumer comme ceci :

• 29 septembre 1999 : lettre de demande de la commissaire du gouvernement à la simplification administrative ;
• 12 novembre 1999 : réponse du commissaire du BFP sur le principe de sa collaboration ;
• 7 décembre 1999 : envoi de la note préparatoire du BFP relative à l’évaluation des charges administratives en Belgique ;
• semaine du 13 décembre 1999 : réunion avec l’ASA et le cabinet de la commissaire du gouvernement à la simplification administrative ;
• 31 mars 2000 : rapport final.

69 Le travail d’évaluation est commandé au BFP par la commissaire du gouvernement à la simplification administrative. Toutefois, dans un premier temps, la BFP ne répond pas à cette demande étant donné qu’elle est relativement floue. Plus tard, le Premier ministre demande au BFP de donner une suite à la demande de la commissaire du gouvernement. Un représentant du BFP prend dès lors contact avec le cabinet de la commissaire du gouvernement à la simplification administrative pour préciser une demande peu claire et qui semble essentiellement motivée par la volonté de recourir à un organisme relativement neutre pour évaluer les réalisations du gouvernement par rapport à l’objectif précis contenu dans la déclaration gouvernementale de juillet 1999. Ainsi, la désignation du BFP semble être motivée par la volonté de ne pas s’adresser à l’ASA avec laquelle la commissaire du gouvernement a un conflit  [51]. Ce choix s’explique également par l’enjeu du dossier et la nécessité pour le Gouvernement de bénéficier d’un évaluateur indépendant, rigoureux et jouissant d’une bonne réputation. De plus, le BFP est préféré à un consultant privé parce qu’il représente une garantie en matière de transparence quant à la méthodologie utilisée.

70 Le BFP est un organisme d’intérêt public qui, selon la loi du 21 décembre 1994 portant des dispositions sociales et diverses  [52], est chargé d'analyser et de prévoir l'évolution socioéconomique ainsi que les facteurs qui déterminent cette évolution, et d'évaluer les conséquences des choix de politiques économiques et sociales en vue d'en améliorer la rationalité, l'efficacité et la transparence. Il procède également à des analyses structurelles à moyen et à long termes, principalement dans les domaines économiques, sociaux et environnementaux. « À la demande des Chambres législatives, du Conseil central de l'économie ou du Conseil national du travail, il peut procéder à toute autre forme d'évaluation des politiques économiques, sociales et écologiques arrêtées par l'autorité fédérale. »  [53]

71 L’accent comparatif est privilégié par l’Asa qui souhaite, dans une perspective d’étalonnage (benchmarking), situer le niveau atteint en Belgique par rapport à d’autres pays. Ceci résulte du fait que la Belgique participe à une enquête réalisée dans le cadre du comité de la gestion publique (Puma) de l’OCDE. Ce sont d’ailleurs les données récoltées à cette occasion par le Ministère de l’Agriculture et des Classes moyennes, qui servent de point de départ à l’analyse du BFP. Toutefois, il apparaît, très vite, aux experts du BFP, que ces chiffres sont insatisfaisants et ne permettent pas de rendre compte de la situation belge. La participation de la Belgique à l’enquête PUMA n’est pas remise en question pour autant mais, dans un deuxième temps, il est demandé au BFP de réfléchir à l’organisation d’une enquête particulière qui aurait lieu tous les deux ans afin de permettre une comparaison diachronique. Nous reviendrons sur cette étape dans l’analyse du suivi politique de l’évaluation.

72 Le BFP procède, tout d’abord, à une recherche documentaire comparée pour recueillir des informations concernant des méthodologies similaires dans d’autres pays. Il y a peu d’exemples en la matière si ce ne sont les pratiques des Pays-Bas (Mistral) et de l’OCDE. Ensuite, durant quelques mois, le BFP exploite les données de l’enquête OCDE, portant sur les charges administratives de l’année 1998, menée par le Ministère de l’Agriculture et des classes moyennes. Par ailleurs, une autre partie du travail consiste à prévoir les effets économiques d’une réduction de 10% des charges administratives. Pour ce faire, les outils de simulation traditionnels du BFP, qui lui permettent de mesurer les effets quantitatifs des politiques économiques sont utilisés. Toutefois, ceux-ci s’avèrent peu satisfaisants.

73 Pratiquement, des contacts sont organisés entre le BFP et le comité d’orientation de l’ASA  [54]. Ces rencontres ont pour but de permettre le suivi du travail effectué et de garantir une compréhension mutuelle du processus. Les experts du BFP présentent un prérapport au cabinet de la commissaire du gouvernement à la simplification administrative qui le notifie au Conseil des ministres. Enfin, comme c’est la règle pour tous les documents publiés par cette institution, le rapport de l’économiste chargé de cette étude fait l’objet d’une analyse de la part de la direction du BFP. Elle détermine le message que le BFP entend transmettre à l’extérieur. Même si le rapport ne contient finalement que peu de recommandations, il aborde des thèmes centraux comme la réflexion sur le processus d’analyse d’impact de la réglementation (AIR)  [55] pour les décisions ministérielles. Sur ce point, la proposition du BFP est bien accueillie par l’ASA, tandis que le Conseil des ministres préfère que cette démarche soit mise en sommeil. C’est notamment pour cette raison que le rapport final porte essentiellement sur la simplification administrative et la recherche d’indicateurs permettant de la mesurer. En effet, le gouvernement estime que la troisième partie relative à l’analyse d’impact de la réglementation ne doit plus faire l’objet de recherche ultérieure et qu’étant donné que le chiffre fourni par l’évaluation ne rencontre pas les ambitions gouvernementales de 1999, il convient de se doter d’un instrument de mesure propre au niveau belge.

74 Le schéma suivant représente les relations entre les différents intervenants que nous avons identifiées lors de la démarche d’évaluation.

Figure 2

Les relations entre les acteurs durant le processus

Figure 2 : Les relations entre les acteurs durant le processus Cabinet du ministre de la Fonction publique Cabinet du Premier ministre Cabinet du ministre des Affaires économiques Autres pays (Pays-Bas, USA, France) Cabinet de la commissaire du gouvernement à la simplification administrative Bureau fédéral du Plan OCDE Ministère de l’agriculture et des classes moyennes Agence pour la simplification administrative Entreprises Citoyens Administration de Destinataires de la Sphère politique mise en œuvre politique Evaluateur Autres intervenants

Les relations entre les acteurs durant le processus

2.4. RAPPORT D’ÉVALUATION

75 Le rapport final est divisé en trois parties qui décrivent l’évaluation des charges administratives pesant sur les entreprises, le processus de simplification et les analyses d’impact de la réglementation. Ce rapport est suivi de sept annexes qui présentent respectivement le système néerlandais d’évaluation (modèle Mistral), les catégories de charges administratives couvertes par l’enquête, la méthodologie de l’estimation des coûts de la réglementation, les intervalles de confiance des résultats, les meilleures pratiques dans l’élaboration du guide de l’analyse d’impact de la réglementation (AIR), la liste récapitulative d’un guide australien et le Draft report to Congress on the costs and benefits of federal regulations de l’Office of management and budget américain.

76 Le rapport final qui constitue l’objet de notre analyse, est transmis par le BFP, le 31 mars 2000, au Commissariat du gouvernement à la simplification administrative, au Premier ministre et au ministre des Affaires économiques. À partir de ce moment, le BFP considère que son travail est public. Ainsi, le rapport est mis à la disposition de ceux qui en font la demande et est consultable sur internet  [56]. Nous constatons donc que le BFP préserve son indépendance et souhaite bénéficier des mêmes marges de liberté que pour ses autres travaux en restant propriétaire des résultats c’est-à-dire en se réservant le droit de les diffuser même s’ils ne « plaisent » pas forcément au commanditaire.

Tableau 1

Analyse du contenu du rapport

Tableau 1 : Analyse du contenu du rapport la conception de laAnalyse et conclusions politiquesur la mise en œuvre de la politique les effets de la politique Nature des recommandations formulées par l’évaluateur Ce rapport constitue une première réflexion sur le processus de simplification administrative. Il s’interroge sur la manière de concevoir un indice d’évaluation pertinent, sans analyser ni la conception, ni la mise en œuvre de la politique de simplification administrative. Il analyse une partie des effets économiques en prévoyant les conséquences d’une réduction de 10% des charges administratives des entreprises. Il s’agit donc d’une réflexion sur l’évaluation (étude de faisabilité, évaluabilité et assessment) plutôt que d’une évaluation proprement dite.

Analyse du contenu du rapport

2.5. SUIVI POLITIQUE DU RAPPORT

77 Le rapport du BFP donne lieu à de nombreuses réactions sur lesquelles nous allons nous attarder. Sur ce point, le BFP souligne qu’il est important d’opérer une distinction entre son travail et les suites données. Il estime que son rôle se limite à fournir des informations permettant d’éclairer l’ASA et le Conseil des ministres dans les choix et orientations à prendre pour l’avenir.

78 Au niveau gouvernemental, la commissaire du gouvernement à la simplification administrative souhaite que le BFP poursuive le travail entamé. Mais elle se heurte à une opposition du Conseil des ministres qui n’accorde au BFP qu’un « mandat » en ce qui concerne la réflexion sur les aspects macro-économiques  [57]. En juillet 2000, la commissaire du gouvernement remet une note au Conseil des ministres dans laquelle elle expose la nécessité de disposer d’un instrument de mesure précis et objectif, c’est-à-dire qui permette de quantifier tous les types de charges administratives (qu’elles concernent les entreprises, les particuliers ou les administrations) et de distinguer les charges administratives imposées par l’autorité fédérale ou d’autres niveaux de pouvoir, qui fasse usage d’une unité de mesure universelle et objective, qui soit utilisable dans la pratique, qui garantisse la possibilité de reproduire toutes les mesures dans le temps et qui permette d’établir immédiatement la situation de départ des charges administratives au moment de l’installation de l’actuel gouvernement. Aucun des instruments de mesure disponibles (enquête OCDE et Mistral néerlandais) ne satisfait à toutes ces conditions. Le gouvernement décide de s’adresser au BFP pour développer un outil propre et procéder à la mesure de la simplification administrative (uniquement les charges pesant sur les entreprises et les indépendants) de manière régulière (tous les deux ans) afin de pouvoir comparer sur le long terme. Ainsi, une convention est conclue entre le BFP et l’ASA  [58]. La signature de cette convention se justifie pour deux raisons. Tout d’abord, il n’est pas possible à l’Asa, tant pour des raisons de cadre du personnel que pour des questions de ressources financières ou de compétences statistiques et économétriques, de réaliser ce travail en interne. Ensuite, étant donné que cette mission ne rentre pas dans les attributions classiques du BFP, celui-ci ne sait pas effectuer ce travail sur ses propres ressources.

79 Étant donné l’enjeu politique de l’objet de l’évaluation, il est intéressant de constater que des réactions parlementaires se sont manifestées avant la publication du second rapport du BFP. Des questions parlementaires sont régulièrement posées afin de savoir où en est le travail gouvernemental par rapport à l’objectif qu’il s’est fixé. Le ministre de la Fonction publique répondant, en octobre 2001, à une de ces questions considère qu’un changement de cap en matière de simplification administrative est visible à travers le rapport annuel de l’ASA même « s’il n’est pas encore possible de déterminer de manière précise l’ampleur de la diminution des charges administratives au cours des deux dernières années. Le gouvernement, soutenu en ceci par le comité d’orientation de l’ASA, estimait beaucoup plus important d’élaborer des propositions concrètes de simplification plutôt que de consacrer toute son énergie à évaluer la situation existante. » Par ailleurs, le ministre fait remarquer que « la simple estimation du « nombre de formalités et d’obligations supprimées » par rapport au « nombre de formalités et d’obligations existant à l’origine » n’est pas un indicateur fiable en matière de simplification administrative » étant donné qu’elle ne coïncide pas toujours avec la perception des intéressés  [59].

80 En effet, à la demande d’Unizo (Unie van Zelfstandige Ondernemers), le bureau d’étude Marketing Development sonde un échantillon représentatif des PME flamandes sur l’évolution des charges administratives. Il ressort de cette étude que pour 59% des PME, les charges administratives s’alourdissent et que 88% des PME ne croient plus du tout à la promesse du gouvernement d’une simplification administrative.

2.6. APPRÉCIATION

81 La démarche de cette évaluation semble chaotique surtout en ce qui concerne les objectifs qu’elle poursuit qui ne sont pas clairs pour les commanditaires. En réalité, l’évaluation reflète les difficultés intrinsèques à la compétence de la simplification administrative et à sa configuration institutionnelle (volonté centralisatrice d’une matière qui requiert vraisemblablement une certaine décentralisation). De plus, le gouvernement est extrêmement attentif aux résultats chiffrés de l’évaluation qui déterminent l’atteinte ou non de l’objectif qu’il s’est fixé dans sa déclaration gouvernementale de 1999.

82 En conclusion, l’évaluation ne peut apparaître comme la panacée qui garantit la cohérence de l’action publique et qui permet de surmonter les problèmes de coordination mais semble au contraire refléter voire exacerber les difficultés et/ou frustrations préexistantes.

83 Toutefois, l’importance accordée à la réflexion méthodologique et théorique doit être soulignée. Cet élément devra être pris en considération lors d’une éventuelle analyse des rapports d’évaluation ultérieurs.

Tableau récapitulatif Titre de l’évaluation Auteur du rapport final (évaluateur) Commanditaire Évalués Base légale et réglementaire Niveau étatique concerné par la politique Objet de l’évaluation (mesure, programme, politique) Contexte de l’évaluateur (public/privé, interne/externe) Durée de l’évaluation Coûts (pers./an) de l’évaluation et ratio par rapport à l’objet évalué. % estimé La simplification des procédures administratives pesant sur les entreprises Bureau fédéral du Plan (Chantal Kegels) Premier ministre Administrations fédérales (représentées par l’Agence pour la simplification administrative) Aucune Fédéral Charges administratives pesant sur les entreprises belges Public – externe 4 à 5 mois 0,33 ETP / an

Dimension de l’évaluation temps (ex ante, concomitante, ex post) récapitulative/formative black-box, (non-)causale mise en œuvre / effets Type de comparaison avant/après politique avec/sans politique régions Méthodes et techniques de collecte des infos/données primaires/secondaires rapports internes, partiels ex ante / concomitante / ex post formative black-box effets Le rapport offre une réflexion sur la recherche d’un instrument de simulation et de comparaison. La simulation de l’effet d’une diminution de 10% des charges administratives permet une comparaison avec/sans la politique. - secondaires (données des enquêtes de l’OCDE)

2.7. SOURCES DE L’ÉTUDE DE CAS

84 Bureau fédéral du Plan, La simplification des procédures administratives pesant sur les entreprises, Bruxelles, mars 2000,54 p.

Entretiens :

85 Alain Huart : ancien chef de cabinet de la commissaire du gouvernement à la simplification administrative (par téléphone le 14 février 2002).

86 Chantal Kegels : Bureau fédéral du Plan (13 décembre 2001).

87 Dominique De Vos : directrice adjointe de l’Agence pour la simplification administrative (20 décembre 2001).

Documents légaux et réglementaires :

88 Loi du 21 décembre 1994 portant des dispositions sociales et diverses, Moniteur belge, 23 décembre 1994.

89 Loi-programme du 10 février 1998 pour la promotion de l’entreprise indépendante, Moniteur belge, 21 février 1998.

90 Arrêté royal du 23 décembre 1998 relatif à l’Agence pour la simplification administrative, Moniteur belge, 8 janvier 1999.

91 Arrêté royal du 20 juillet 1999 portant nomination du commissaire du gouvernement chargé de la simplification administrative et déterminant sa mission, Moniteur belge, 27 juillet 1999.

92 Arrêté ministériel du 24 novembre 1999 portant nomination des membres du comité d’orientation de l’agence pour la simplification administrative, Moniteur belge, 8 décembre 1999.

93 Arrêté royal du 10 avril 2000 modifiant l’arrêté royal du 23 décembre 1998 relatif à l’Agence pour la simplification administrative, Moniteur belge, 18 avril 2000.

Documents parlementaires :

94 Question n° 126 de M. Yves Leterme du 6 août 2001, QRVA 50/094,9 octobre 2001.

95 Questions n° 83 et 97 de M. Geert Bourgeois du 3 septembre 2001, QRVA 50/095,16 octobre 2001.

3.1. CONTEXTE ET OBJET DE L’ÉVALUATION

96 La politique de l’emploi qui, en Belgique, relève de différents niveaux de pouvoir (État fédéral et entités fédérées) est mise en œuvre par de nombreuses administrations fédérales et régionales qui ne coordonnent pas toujours leurs efforts. Ainsi, aboutit-on à une multiplication des mesures qui proviennent de différents niveaux, y compris européen, sans volonté prioritaire d’harmonisation ou de centralisation.

97 Au niveau européen, l’objectif d’un socle social est contenu dans plusieurs directives ou règlements communautaires et a été complété par un processus de coordination ouverte qui trouve sa consécration dans la déclaration du Conseil européen de Lisbonne qui ambitionne de porter, aux environs de 2010, le taux d’emploi en Europe à un niveau proche de 70%. Afin de rencontrer cet objectif, la Belgique doit créer 828.000 emplois au cours de la prochaine décennie. Les grandes orientations relatives au marché du travail et à la stratégie européenne de l’emploi sont initiées lors du Conseil européen de Luxembourg qui lance le processus éponyme (rapport conjoint, lignes directrices, recommandations).

98 Au sein des différents États membres, la mise en œuvre des lignes directrices est analysée lors de la rédaction annuelle de plans d’action nationaux. Les services de la Commission européenne établissent ensuite à l’aide des indicateurs disponibles un rapport leur permettant de situer le degré de réalisation des différentes politiques ou stratégies nationales. C’est dans le but de dresser un inventaire et d’opérer un état des lieux de la situation belge que cette évaluation (2000) se focalise sur les mesures de la politique fédérale de l’Emploi mises en œuvre par le Ministère fédéral de l’Emploi et du Travail (MET). L’évaluation ne se focalise pas uniquement sur les initiatives d’un seul gouvernement mais s’intéresse à l’ensemble des politiques d’emploi fédérales en vigueur au moment de l’évaluation  [60]. Il s’agit donc également des mesures décidées par les gouvernements antérieurs et dont hérite le gouvernement en place. Ainsi, « dans certains domaines, la Belgique satisfait largement aux exigences européennes, parfois mieux que ses voisins. Dans d’autres, le bilan est moins positif mais certaines initiatives d’ampleur relativement limitée permettraient de redresser la barre. Dans d’autres enfin, le bilan est nettement négatif. Comme on le devine, certaines des recommandations pointent tout particulièrement ces domaines. »  [61]

3.2. CAHIER DES CHARGES DE L’ÉVALUATION

99 Cette évaluation ne résulte pas d’une demande émanant d’un commanditaire externe mais est le fruit de la volonté du secrétaire général du MET, Michel Jadot, qui, en arrivant à son poste, en 1994, entend bénéficier d’une vue d’ensemble des mesures mises en œuvre par son département tout en disposant, au cours de cet exercice, d’une certaine autonomie voire indépendance vis-à-vis de l’extérieur. Sur ce point, il y a une très forte détermination à s’affranchir du pouvoir politique et plus particulièrement du cabinet du ministre de l’Emploi et du Travail dont l’intervention dans le processus est considérée comme une ingérence qui risque d’engendrer une censure (sur les points négatifs de l’actuelle politique menée). C’est d’ailleurs pour cette raison que la publication de ces rapports a été interrompue en 2001  [62].

100 La volonté de focaliser l’attention de l’évaluation sur la politique fédérale de l’emploi, qui constitue un sujet parmi les nombreuses compétences du MET, apparaît comme un souhait de profiler l’administration sur ce terrain et de restituer des informations que l’administration est la seule à détenir vers l’extérieur.

101 Il existe un cahier des charges informel rédigé par la direction de la communication du MET qui s’apparente à un canevas détaillé permettant d’harmoniser la rédaction de fiches présentant les différentes mesures mises en œuvre par l’administration (par exemple stage des jeunes, interruption de carrière, travail à temps partiel, etc.).

3.3. DÉMARCHE DE L’ÉVALUATION

102 Le MET est une administration qui traite des matières diverses et variées. Afin de disposer d’une vue d’ensemble cohérente, le secrétaire général s’appuie tout d’abord sur le comité de direction qui réunit hebdomadairement les responsables des différentes administrations, prépare les réunions avec le cabinet du ministre et détermine les grands axes de la gestion du département (de la réflexion stratégique à la détermination des lignes de conduite en matière d’informatisation, de gestion budgétaire, de politique du personnel, de communication, etc.). Ensuite, en vue de mesurer l’avancement des différentes mesures mises en œuvre par le département, un tableau de bord est élaboré. Par ailleurs, il faut rappeler que, depuis le début des années 1990, le MET publiait la Revue du travail selon un nouveau concept rédactionnel qui encourage à aborder, de manière critique, les différents thèmes.

103 Les objectifs poursuivis par ces trois initiatives sont multiples : il s’agit de stimuler et de motiver les fonctionnaires en leur permettant de participer au processus de réflexion critique sur leur activité mais également d’encourager des collaborations avec des fonctionnaires d’autres administrations. C’est lors de son arrivée en 1994 que le secrétaire général annonce le principe de l’évaluation. Très rapidement, une grande partie de l’équipe qui s’occupe de la Revue du Travail coordonne les travaux de l’évaluation et assure la finalisation rédactionnelle des rapports.

104 Le recours à des évaluateurs externes est d’emblée écarté. La décision de s’appuyer sur une équipe interne se justifie essentiellement par l’ambition de susciter une réflexion interne en s’appuyant sur l’expérience capitalisée notamment grâce à l’exercice de la Revue du Travail. À ceci s’ajoute le souci de revaloriser l’administration qui, est décriée depuis plusieurs années, en se servant de cette évaluation comme d’une vitrine mettant en évidence certaines réalisations ou prestations de l’administration.

105 L’exercice d’évaluation est donc effectué en interne par un groupe de travail présidé par un directeur général  [63]. La présence importante de la direction de la communication dans la démarche évaluative s’explique par l’expérience acquise lors de la publication de la Revue du travail en matière de coordination rédactionnelle. C’est d’ailleurs la même équipe qui effectue l’évaluation (synthèse des fiches sur les mesures sectorielles et rédaction finale du rapport en coordonnant les apports d’une dizaine de services différents).

106 Le groupe de travail rédige les différentes contributions et veille à la coordination de l’ensemble des rubriques du rapport final. L’introduction de celui-ci représente le message politique que le MET entend faire passer à l’extérieur  [64]. Il est rédigé par le secrétaire général qui le soumet à la « critique » de ce groupe de travail. Il s’agit d’une sorte de co-mité de rédaction qui décide de l’orientation du rapport et des thèmes qu’il est opportun d’approfondir. La division de l’étude du marché du travail qui est intégrée à l’administration de l’emploi s’occupe de la première partie du rapport. La division des études socio-économiques qui est intégrée à l’administration des études, de la documentation et du contentieux s’occupe de l’introduction et de la troisième partie du rapport. Malgré cette bonne organisation en interne, les auteurs du rapport reconnaissent qu’à certains niveaux, la récolte des données externes en possession de divers organismes ou des régions est insuffisante.

107 Cette organisation encourage un processus d’apprentissage collectif. Au début, il s’agit de compiler des « devoirs » pour aboutir à un texte cohérent grâce à une discussion collégiale qui permet de surmonter la fragmentation sectorielle de l’administration et de nouer de nouveaux liens entre les services. Dans les premières années, le groupe de travail comptait une vingtaine de membres. Lors de la dernière édition du rapport, ce groupe compte plus d’une trentaine de personnes, réparties en cinq groupes de travail, supervisés par un chef d’administration  [65]. Sept à huit réunions, en plus des séances de travail des groupes restreints, sont nécessaires à cette coordination. Les moyens investis dans cette évaluation ne font pas l’objet d’une réflexion antérieure.

108 Au sein du MET, l’accueil réservé à cette démarche est relativement favorable. Il y a eu au début quelques réticences internes mais peu à peu, les personnes qui ont peur de critiquer les mesures qu’ils exécutent vont accepter de participer à l’exercice. Pour les plus réticents, le groupe de travail se charge d’ajouter la partie évaluation à la description de la mesure lorsque les fonctionnaires ne l’abordent pas.

109 Le schéma suivant représente les relations entre les différents intervenants que nous avons identifiées lors de la démarche d’évaluation.

Figure 3

Les relations entre les acteurs durant le processus

Figure 3 : Les relations entre les acteurs durant le processus Cabinet du ministre de Union l’Emploi et européenne du Travail Ministère de l ’Emploi et du Travail Division des études Secrétaire général Direction de la socio-économiques Directeur général communication Division de l’étude du marché du travail Groupe de travail évaluation Onem Ministères régionaux Administration de Destinataires de la Sphère politique mise en œuvre politique Évaluateur Autres intervenants

Les relations entre les acteurs durant le processus

3.4. RAPPORT D’ÉVALUATION

110 Le rapport est divisé en trois parties. Les deux premières décrivent le marché du travail et de la politique de l’emploi, les mesures relatives à la qualité, au volume et à la demande de main-d’œuvre, tandis que la dernière analyse la politique de l’emploi notamment dans le contexte européen. Comme nous l’avons souligné plus haut, le rapport est rédigé par différents auteurs lors d’un processus de rédaction encadré par la direction de la communication du MET.

111 Un résumé de ce volumineux rapport n’est pas envisagé car, dès sa conception, la philosophie était de mettre l’accent sur le message (politique) à faire passer dans la première partie du rapport et de fournir ensuite une analyse détaillée afin de ne pas opérer de synthèse hâtive.

112 Le rapport contient peu de recommandations visant à l’amélioration des politiques (formulées sous le vocable de « perspectives »). En réalité, il faut parfois lire entre les lignes. L’administration souhaite se limiter à dresser un constat clair ; ensuite, c’est le rôle du politique de tirer les conséquences de cet « état des lieux ». En allant plus loin, l’administration estime qu’elle risque de s’attirer une opposition unanime en outrepassant ses prérogatives et qu’il se pose un problème en ce qui concerne la légitimité des rôles respectifs de chacun.

Tableau 2

Analyse du contenu du rapport

Tableau 2 : Analyse du contenu du rapport la conception de laAnalyse et conclusions politiquesur la mise en œuvre de la politique les effets de la politique Nature des recommandations formulées par l’évaluateur La description des mesures énonce le cadre juridique de chacune d’entre elles. Il n’y a pas de réelle analyse de la mise en œuvre, toutefois, le rapport présente l’encadrement administratif et le degré de réalisation de chacune des mesures. Le rapport contient une description des principes généraux et des objectifs des mesures ainsi qu’une évaluation qualitative et quantitative de la réalisation atteinte de celles-ci. Ce ne sont pas des recommandations mais des perspectives qui sont formulées car le rapport n’entend pas donner d’instructions au monde politique qui doit retirer lui-même les aspects qu’il estime prioritaires.

Analyse du contenu du rapport

3.5. SUIVI POLITIQUE DE L’ÉVALUATION

113 Comme en témoigne le secrétaire général du MET, le rapport d’évaluation de 1995 « faisait quelque peu figure de pionnier. Les spécialistes reconnaissaient qu’il y avait en matière d’évaluation des lacunes fondamentales, les autorités politiques s’inquiétaient, sans trop oser le dire, de cette prétention de l’administration d’exprimer une opinion sur les politiques menées et les médias se réjouissaient d’obtenir enfin un éclairage qui n’allait pas dans le sens d’un encensement des décisions gouvernementales »  [66]. Au moment de cette première publication, le rapport est présenté au Collège des secrétaires généraux. Il n’y a pas de volonté d’organiser une grande évaluation interministérielle qui impose de bénéficier d’un « chef d’orchestre exceptionnel » pour coordonner l’ensemble, d’autant plus que la majorité des secrétaires généraux estiment qu’il ne leur est pas possible d’envisager l’exercice au sein de leur département.

114 Cinq ans plus tard, le rapport d’évaluation (2000) sur lequel nous nous attardons est édité à deux mille exemplaires et est disponible en ligne  [67], ce qui lui garantit une large diffusion auprès d’un public varié.

115 La réaction du ministre de l’Emploi et du Travail vis-à-vis de cette publication a évolué dans le temps (Miet Smets (CVP) puis Laurette Onkelinx (PS)). Lors de la publication du premier rapport, le ministre compétent a émis certaines critiques quant à la démarche et a tenté de rédiger un contre-rapport puis, au fil des ans, la procédure s’est institutionnalisée. Le rapport est devenu incontournable auprès du cabinet même si la demande ministérielle d’une présentation « en primeur » n’a jamais été rencontrée par crainte d’une censure.

116 Il est envoyé aux parlementaires et constitue une source d’inspiration notamment pour les questions parlementaires. Les auteurs du rapport sont dès lors invités à le présenter dans des commissions parlementaires, tant à la Chambre qu’au Sénat.

117 Les médias en parlent et mettent l’accent sur les critiques ou les incohérences des politiques mises en œuvre (cf. la célèbre métaphore des mesures politiques assimilées à des tapis s’empilant dans une mosquée). Ils sont donc enthousiastes à la lecture de ce rapport dont la publication est attendue.

118 Il est également transmis aux organisations nationales (Conseil national du travail, Conseil central de l’économie, etc.) et internationales (OCDE, UE, BIT, etc.) concernées par cette matière. Sur ce point, bien que le rapport souligne les carences de mises en œuvre nationales, il y a peu de risque de « décrédibiliser » la Belgique vis-à-vis de l’Europe qui dispose de ses spécialistes lui fournissant les informations et l’expertise nécessaires à une propre évaluation  [68].

3.6. APPRÉCIATION

119 Ce rapport nous semble constituer une source précieuse permettant d’identifier les mesures prises par le gouvernement fédéral. Toutefois, nous pourrions relever l’absence d’une volonté évaluative réelle ou, du moins, menée jusqu’à terme. En effet, la présentation des mesures fournit des informations quantitatives et qualitatives en mettant l’accent sur des critères proches de ceux de l’opportunité et de la cohérence mais ne s’intéresse ni à l’efficacité ni à l’efficience, et ne formule pas de recommandations opérationnelles permettant l’amélioration de la situation. Les auteurs du rapport sont conscients du fait que l’intitulé du rapport d’évaluation est un peu prétentieux, toutefois ils n’ont pas l’ambition de réaliser l’évaluation « ultime » de la politique de l’emploi. L’exercice permet de mieux observer les mesures mises en œuvre et de se doter d’éléments qui favorisent une évaluation.

Grille récapitulative Titre de l’évaluation Auteur du rapport final (évaluateur) Commanditaire Évalués Base légale et réglementaire Niveau étatique concerné par la politique Objet de l’évaluation (mesure, programme, politique) Contexte de l’évaluateur (public/privé, interne/externe) Durée de l’évaluation Fréquence de l’évaluation Coûts de l’évaluation Dimension de l’évaluation temps (ex ante, concomitante, ex post) récapitulative/formative black-box, (non-)causale mise en œuvre/effets Type de comparaison avant/après politique avec/sans politique régions Méthodes et techniques de collecte des infos/données primaires/secondaires rapports internes, partiels La politique fédérale de l’emploi – Rapport 2000 Ministère de l’Emploi et du Travail (Michel Jadot) Ministère de l’Emploi et du Travail (Michel Jadot) Ministère de l’Emploi et du Travail Aucune Fédéral (et dans une moindre mesure régional et communautaire) Mesures relatives à la politique de l’emploi Public – interne Indéterminée Annuelle 5-6 ETP/an concomitante – ex post récapitulative non causale mise en œuvre les différentes années durant la mise en oeuvre - certaines mesures comparent les régions primaires et secondaires (Onem) textes des différents services internes du Ministère de l’Emploi et du Travail

3.7. SOURCES DE L’ÉTUDE DE CAS

120 Ministère de l’Emploi et du Travail, La politique fédérale de l’emploi – Rapport d’évaluation 2000, Bruxelles, 234 p.

Entretiens  [69] :

121 Christian Deneve : directeur général de l’administration des services généraux et de la communication au ministère de l’Emploi et du Travail (16 janvier 2002).

122 Jean-Luc Durieu : conseiller à la direction de la communication du Ministère de l’Emploi et du Travail (16 janvier 2002).

123 Michel Jadot : secrétaire général du ministère de l’Emploi et du Travail (6 décembre 2001).

Autres publications :

124 G. BENHAYOUN, Y. LAZZERI, L’évaluation des politiques publiques de l’emploi, Paris, PUF, Que sais-je ?, 1998.

125 M. JADOT, « L’évaluation administrative de la politique fédérale de l’emploi », C. DE VISSCHER, F. VARONE, Évaluer les politiques publiques : regards croisés sur la Belgique, Louvain-la-Neuve, Academia Bruylant, 2001, pp. 87-94.

126 A. VANHEERSWYNGHELS, « Les politiques de l’emploi en Belgique », Dossiers du CRISP, Bruxelles, CRISP, n° 53,2001.

4.1. CONTEXTE ET OBJET DE L’ÉVALUATION

127 La loi du 3 avril 1990 dépénalisant l’interruption volontaire de grossesse  [70] a déjà fait l’objet de nombreuses études, en ce qui concerne tant la mise à l’agenda politique du problème que la controverse suscitée par le refus du roi de sanctionner et de promulguer ce texte  [71]. Le nouvel article 350 du Code pénal stipule qu’il n’y a « pas d’infraction lorsque la femme enceinte, que son état place en situation de détresse, a demandé à un médecin d’interrompre sa grossesse » et que cette interruption est pratiquée, avant la fin de la douzième semaine de la conception, sous certaines conditions médicales. Cet avortement est pratiqué dans des hôpitaux ou dans des centres spécialisés (de planning familial par exemple). Suite aux réformes constitutionnelles qui ont abouti à la fédéralisation du pays, cette matière a été régionalisée et communautarisée  [72]. Une différence fondamentale dans la mise en œuvre de cette politique réside dans le nombre de centres pratiquant l’intervention. En effet, sur ce point, la Flandre dispose d’un nombre beaucoup plus restreint de centres spécialisés qui se consacrent exclusivement à l’IVG que la Wallonie et Bruxelles.

128 Dans la foulée, et pour des raisons essentiellement politiques  [73], le Parlement a adopté une loi qui institue une Commission d’évaluation de la loi du 3 avril 1990  [74]. Ainsi, le rapport d’évaluation remis au Parlement et que nous analysons ici décrit la situation de l’avortement en Belgique entre le 1^er janvier 1998 et le 31 décembre 1999.

129 Comme nous l’avons mentionné, nous sommes confrontés à une politique multiniveaux. Le niveau fédéral dispose des compétences pour édicter le cadre normatif général en matière d’avortement tandis que ce sont les Communautés et Régions qui gèrent les matières relatives à la prévention et à la pratique des IVG. En ce qui concerne l’évaluation de la politique, la loi instituant la Commission d’évaluation a été votée avant la communautarisation de cette matière et n’a pas, par la suite, été adaptée au nouveau cadre institutionnel.

130 Étant donné que le centre de planning familial que nous avons visité (à titre de représentant des acteurs de mise en œuvre et des évalués) est situé en Wallonie, décrivons brièvement l’organisation de cette matière dans cette région. Cette compétence est réglée par l’arrêté du gouvernement wallon portant exécution du décret du 18 juillet 1997 relatif aux centres de planning et de consultation familiale et conjugale  [75]. Ces centres sont des « établissements extra-hospitaliers ayant pour objet l'accueil, l'information, l'éducation et l'accompagnement des personnes, des couples et des familles, ainsi que l'animation des groupes, notamment de jeunes, dans le cadre de la vie affective, sexuelle et relationnelle »  [76]. Ainsi, une des missions des centres est « d’informer les personnes et groupes sur tout ce qui concerne la contraception, la grossesse désirée ou non, l'interruption volontaire de grossesse, les maladies sexuellement transmissibles et tout aspect de la vie sexuelle et affective »  [77]. L’arrêté du gouvernement détermine les conditions d’agrément, de subvention et répartit les centres  [78] en fonction de leurs activités. Ainsi, les consultations et les réunions pluridisciplinaires comptent pour une activité, les séances d'animation comptent pour deux et l'interruption volontaire de grossesse compte pour huit.

4.2. CAHIER DES CHARGES DE L’ÉVALUATION

131 Il n’existe pas, à proprement parler, de cahier des charges relatif à cette évaluation. Toutefois, la loi du 13 août 1990 visant à créer une Commission d’évaluation de la loi du 3 avril 1990 relative à l’interruption de grossesse précise dans son article premier (§ 3) que « la Commission établit à l’attention du Parlement, pour le 31 août 1992, et par la suite tous les deux ans :

• un rapport statistique élaboré sur base des informations recueillies en vertu des articles 2 et 3 ;
• un rapport détaillant et évaluant l’application et l’évolution de l’application de la loi ;
• le cas échéant, des recommandations en vue d’une initiative législative éventuelle et/ou d’autres mesures susceptibles de réduire le nombre d’interruptions de grossesse et à améliorer la guidance et l’accueil des femmes en état de détresse »  [79].

132 Pour mener cette mission à bien, la loi précise que la Commission peut s’informer auprès des organismes pratiquant des interruptions de grossesse.

133 À partir de ces quelques règles normatives encadrant son travail, la Commission a consacré ses premières réunions à réfléchir aux tâches qui lui étaient assignées. De cette réflexion, il ressort que « la mission de la Commission consiste à évaluer de manière objective la situation telle qu’elle se présente après l’entrée en vigueur de la loi du 3 avril 1990 »  [80].

4.3. DÉMARCHE DE L’ÉVALUATION

134 La loi du 13 août 1990 visant à créer une Commission d’évaluation contient deux dispositions précisant la démarche de l’évaluation.

135 Primo, l’article 2 relatif au document d’enregistrement de chaque demande d’IVG par une femme en détresse précise les éléments devant être recueillis par la Commission. Il s’agit entre autres de l’âge, de l’état civil, du nombre d’enfants, de la situation de détresse invoquée et de la province où réside la femme sollicitant l’interruption de grossesse. Parmi cette multitude de critères, il est à noter que le questionnaire ne s’intéresse pas à l’âge gestationnel  [81] au moment de l’IVG ; or la loi est, sur ce point, précise quant au délai (12 semaines) dans lequel cette pratique peut se dérouler. À ce sujet, le président de la Commission, lors de la présentation du troisième rapport au cours d’une réunion des Commissions réunies de la Justice et de la Santé publique de la Chambre a proposé de recueillir plus d’informations sur l’âge du fœtus au moment de l’avortement  [82]. La Commission a consacré plusieurs de ces premières réunions à la discussion relative au projet de documents d’enregistrement (31 mars, 5 mai, 2 juin, 7 juillet, 5 août 1992)  [83].

136 Secundo, l’article 3 concerne les rapports annuels que les établissements de soins doivent transmettre à la Commission. Il y est fait mention du nombre de demandes d’interruption de grossesse.

137 La Commission est composée de seize membres (neuf femmes et sept hommes) désignés, tous les quatre ans, sur la base de leurs connaissances et de leur expérience.

138

« Huit membres sont docteurs en médecine, dont quatre au moins sont professeurs de médecine dans une université belge. Quatre membres sont professeurs de droit dans une université belge ou avocats. Quatre membres sont issus de milieux chargés de l'accueil et de la guidance des femmes en état de détresse. La qualité de membre de la
Commission est incompatible avec celle de membre d'une des Assemblées législatives et avec celle de membre du Gouvernement ou d'un Exécutif. Les membres de la Commission sont nommés, par arrêté royal délibéré en Conseil des Ministres, sur une liste double présentée par le Sénat, dans le respect de la parité linguistique et de la représentation pluraliste, et pour une période de quatre ans qui peut être prorogée. »  [84]

139 Un avis est publié au Moniteur belge pour trouver des candidats qui sont ensuite sélectionnés par le Sénat et nommés par le Conseil des ministres. Il n’y a pas de volonté d’avoir des membres des communautés dans la composition de la Commission car ce n’est pas une commission politique mais pratique (médecins, juristes, …). Il n’y a d’ailleurs pas de représentant de l’administration fédérale.

140 La Commission fut mise en place le 2 septembre 1991 par Philippe Busquin, ministre des Affaires sociales et Roger Delizée, secrétaire d’État à la Santé publique.

141 Le secrétariat de la Commission joue un rôle central dans le processus d’évaluation. Il est composé de six personnes : deux conseillers-adjoints (dont un juriste), deux rédacteurs et deux commis-dactylographes  [85]. En effet, c’est le secrétariat qui propose les documents (questionnaire, rapport d’évaluation, etc.) à la Commission qui ne se réunit que quelques fois par an. Parmi les tâches du secrétariat, mentionnons qu’il collecte les données auprès des établissements de soins et des services d’information (en disposant du monopole de cette récolte), qu’il rédige le rapport selon les desiderata votés en commission et qu’il convoque et rédige les procès-verbaux de réunion de celle-ci.

142 Le schéma suivant représente les relations entre les différents intervenants  [86] que nous avons identifiées lors de la démarche d’évaluation.

Figure 4

Les relations entre les acteurs durant le processus

Figure 4 : Les relations entre les acteurs durant le processus Chambre des représentants Sénat Cabinet du ministre de la Santé publique Commission nationale d’évaluation Communautés et régions Centre de planning familial et hôpitaux Femmes Gacepha Administration de mise Destinataires de la Sphère politique en œuvre politique Evaluateur Autres intervenants

Les relations entre les acteurs durant le processus

4.4. RAPPORT D’ÉVALUATION

143 Le rapport que nous avons analysé porte sur les enregistrements des demandes d’IVG effectuées au cours des années 1998 et 1999. Il se compose de trois parties : un rapport statistique, un rapport d’activités des établissements de soins et un rapport des services d’information. Il présente donc des informations quantitatives et fournit certains tableaux croisés (âge et situation de détresse, méthode de contraception et état civil, etc.).

144 Le rapport ne contient pas d’analyse de la situation avant-après l’introduction de la loi de 1990, pas d’analyse détaillée sur une série chronologique, pas d’analyse de type causal sur les facteurs poussant les femmes à solliciter une IVG et pas d’interprétation poussée des statistiques. En un mot il s’agit d’une collecte (sur une base exhaustive) des statistiques enregistrées par les acteurs de mise en œuvre.

145 La Commission n’a donc pas modifié sa conception de l’évaluation qu’elle énonçait dans son premier rapport lorsqu’elle estimait « qu’il aurait été prématuré de tirer des conclusions sur la base d’un rapport limité à une seule année et en l’absence de points de comparaison antérieurs capables de révéler une évolution »  [87]. D’ailleurs, ce rapport avait comme ambition majeure de « porter à la connaissance du Parlement, pour la première fois pour une année complète (…) les données statistiques en matière d’avortement »  [88].

Tableau 3

Analyse du contenu du rapport

Tableau 3 : Analyse du contenu du rapport la conception de laAnalyse et conclusions politiquesur la mise en œuvre de la politique les effets de la politique Nature des recommandations formulées par l’évaluateur Le rapport ne reconstruit pas la motivation de l’auteur de la loi, ni ne s’interroge sur le problème motivant l’adoption de cette loi de 1990. Le rapport présente, de façon détaillée, le fonctionnement et les activités des centres et des hôpitaux. Il ne met pas l’accent sur les moyens financiers qui leur sont attribués, mais attire tout de même l’attention sur la faiblesse budgétaire. La Commission ne s’intéresse ni à la situation de départ (avant la dépénalisation de 1990) ni à l’opinion des femmes sollicitant une IVG. La Commission recommande d’améliorer les efforts fournis en matière d’information auprès des adolescentes et présente quelques suggestions en vue d’améliorer la prévention des grossesses non désirées.

Analyse du contenu du rapport

4.5. SUIVI POLITIQUE DE L’ÉVALUATION

146 En ce qui concerne les suites politiques à donner au rapport bisannuel de la Commission, l’article 8 de la loi du 13 août 1990 prévoit qu’un « débat se tiendra à la Chambre et au Sénat dans les six mois du dépôt des premiers rapports et, le cas échéant, des recommandations de la Commission d’évaluation ». Ce débat a effectivement eu lieu après le dépôt du premier rapport en 1993. Il contenait d’ailleurs certaines critiques sur le travail de la Commission :

147

« Convaincue de la nécessité d’une bonne évaluation [Mme Dua] insiste toutefois sur la
fonction purement informative des renseignements récoltés par la Commission. Il ne
peut en aucun cas s’agir d’une fonction de contrôle ou de sanction. (…) En ce qui
concerne le rapport même, Mme Dua souligne la qualité de la partie statistique mais
déplore la brièveté des données relatives à l’accueil des femmes ainsi que l’absence
d’évaluation à cet égard. Ainsi, le rapport évite les questions épineuses relatives aux
problèmes rencontrés sur le terrain »  [89].
« Outre la présentation de statistiques, le prochain rapport devrait s’attacher à ces der-
niers aspects et présenter des recommandations concrètes dans l’intérêt tant des fem-
mes en situation de détresse que des centres d’accueil ». (p. 4).
« M. Swennen estime que le rapport ne permet pas de tirer des conclusions définitives.
En effet, le rapport couvre une période de référence trop restreinte (un an) et ne repose
sur aucun point de comparaison antérieur. En outre, la période de transition dans
laquelle on se trouve est trop teintée de tabous, de traditions pour permettre une éva-
luation correcte ». (p. 5)
« Mme Stengers s’étonne que le rapport de la Commission d’évaluation soit davantage
un rapport statistique qu’un rapport évaluant l’application de la loi et présentant des re-
commandations en vue d’une initiative législative éventuelle. Elle déplore que la Com-
mission n’ait pas rempli sa mission telle que prescrite par la loi du 13 août 1990 (…) et
la piètre qualité des statistiques présentées dans le rapport qui ne permet pas aux parle-
mentaires de procéder à une évaluation correcte. Elle relève ensuite d’autres incohéren-
ces contenues dans le rapport ». (p. 6)
« M. Duquesne souhaite que les prochains rapports contiennent des conclusions plus
élaborées sur la situation existante mais surtout un certain nombre de recommanda-
tions ». (p. 8)
« Mme Merckx-Van Goey regrette (…) que (…) la Commission ait jugé prématuré de
tirer des conclusions et de formuler des recommandations. Mme Merckx-Van Goey fait
encore remarquer que le rapport est purement statistique et qu’il ne contient pas de
conclusions. La Commission n’est pas encore mûre pour une véritable évaluation. (…)
Le présent rapport démontre la nécessité d’une Commission d’évaluation indépendante
et composée d’experts ». (pp. 10-12)
« Le ministre de la Santé publique reconnaît que le rapport de la Commission
d’évaluation ne rencontre pas les exigences de la loi du 13 août 1990 (…) et estime qu’il
aurait été utile d’entendre les présidents de la Commission d’évaluation pour leur per-
mettre d’éclairer les parlementaires sur les statistiques ». (p. 15)  [90]

148 À la lecture des rapports ultérieurs, et plus particulièrement de celui de 2000, il semble que la Commission d’évaluation n’a que peu tenu compte de ces remarques.

149 À l’instar des 68 autres rapports transmis en 2000 à la Chambre des représentants en vertu de dispositions légales  [91], le rapport sur l’interruption volontaire de grossesse donne lieu à des répercussions dans la presse et à des reprises politiques (questions parlementaires, propositions de loi, etc.). Ces dernières sont essentiellement l’œuvre de parlementaires opposés à la loi de 1990 et qui souhaitent une re-pénalisation de l’avortement  [92]. Les députés semblent prêter plus d’attention à cette question que les sénateurs. Ceci peut s’expliquer en partie par la composition des assemblées. En effet, ces propositions émanent essentiellement de membres de parti d’extrême droite  [93]. D’ailleurs, la plupart des réactions parlementaires ont été émises à la Chambre et non au Sénat  [94]. En ce qui concerne les questions parlementaires pour lesquelles il a été fait appel au rapport d’évaluation de la Commission, la répartition entre les deux assemblées est la même.

150 Enfin, une proposition de loi déposée à la Chambre en juin 1998 tend à préciser la mission de la Commission nationale d’évaluation. Ce texte, déposé par Mme Ingrid van Kessel et Anne Van Haesendonck (CVP) tient compte de l’évolution institutionnelle de la Belgique et de l’éparpillement de cette compétence entre les différents niveaux de pouvoir. Pour permettre aux différents acteurs concernés par cette matière d’être tenus informés de cette évaluation, les auteurs du texte estiment qu’il est nécessaire d’adresser le rapport aux Parlements des communautés alors que, jusqu’à présent, il est adressé exclusivement au Parlement fédéral. Cette proposition de loi mentionne également des éléments qui avaient déjà été mis en évidence lors de la discussion résultant du dépôt du premier rapport de la Commission dont nous avons reproduit quelques extraits ci-des-sus. L’ambition affichée par les auteurs de cette proposition de loi est que « grâce à une extension de ses missions, la Commission devrait être en mesure de mieux évaluer la situation et de formuler des recommandations concrètes concernant l’application de la loi »  [95]. Enfin, les parlementaires souhaitent introduire « un nouvel alinéa permettant aux parlementaires de demander les données statistiques à la Commission à des fins d’études »  [96].

151 Le rapport sur lequel nous nous attardons a suscité, pour le moment, moins de réactions que le précédent. La presse a signalé la sortie du rapport en mettant l’accent sur l’augmentation du nombre d’IVG pratiquées chez les adolescentes. Au niveau politique, le point n’a même pas été mis à l’ordre du jour de la commission de la Santé publique de la Chambre. À l’inverse, ce rapport a suscité un débat, qui est toujours en cours, au sein de la commission des Affaires sociales du Sénat. Le point a été inscrit à l’ordre du jour et une audition des présidents de la Commission nationale d’évaluation a eu lieu le 14 mars 2001. Le travail en Commission des Affaires sociales en vue de formuler des recommandations est en cours, afin de surmonter le caractère trop descriptif du rapport. Parmi les premières propositions, mentionnons l’adaptation des dispositions légales relatives à la nature des données à enregistrer, le recours à des données qualitatives et analytiques (G. Dallemagne – PSC) et l’élargissement de la composition de la Commission en y incluant des experts des Communautés ainsi que la présentation du rapport au Parlement fédéral et aux Parlements régionaux (I. Van Riet et J. Remans – VLD). Sur ces points, il appartient au Sénat d’orienter le suivi du rapport tout en sachant que les moyens à mettre en œuvre sur le terrain sont du ressort des communautés.

152 À l’exception de la réflexion en cours au Sénat, il semble qu’il y a un certain désintérêt vis-à-vis de la question de l’IVG et que l’enjeu s’est déplacé sur l’amélioration des méthodes de contraception (l’avortement étant un échec de la contraception). Ainsi, le dernier rapport a été cité par un groupe de travail interministériel qui mène une réflexion sur les méthodes de contraception et d’information auprès des jeunes. Ce groupe a été constitué suite à une conférence interministérielle qui s’est réunie le 25 octobre 2000 sur l’initiative du ministre de la Santé publique, Magda Aelvoet, qui a invité les Communautés à discuter.

4.6. APPRÉCIATION

153 Malgré la brièveté du « cahier des charges » de la Commission nationale d’évaluation, celui-ci ne limite pas son travail à une mission statistique. Or, dans les faits, il faut bien constater que ce rapport s’y cantonne, qui plus est sans remplir parfaitement les standards de qualité professionnelle en la matière. Ceci peut s’expliquer par le fait que la loi créant la Commission met l’accent sur les données statistiques à récolter et moins sur les finalités attendues de la récolte de ces chiffres. Cependant, la qualité des données contenues dans le rapport peut à certains endroits être contestée. Les auteurs du rapport en sont d’ailleurs conscients lorsqu’ils constatent que les chiffres transmis par les établissements de soins « ne correspondent que rarement avec ceux qui sont déclarés au moyen du formulaire d’enregistrement »  [97].

154 De plus, il est intéressant de constater que ce rapport qui, dans le chef des opposants à la dépénalisation, doit servir de caution afin d’éviter un renforcement du nombre d’IVG pratiquées ne présente pas la situation de l’avortement avant la l’adoption de la loi  [98]. En effet, comment devons-nous situer l’actuelle « stabilité » de cette pratique par rapport à la situation préexistante ? Il est pratiquement impossible d’évaluer l’effet de cette loi alors que des données sont disponibles au sein des fédérations des centres de planning familial ou du Groupe d’action des centres extra-hospitaliers pratiquant l’avortement (Gacepa) qui s’est constitué des décennies avant l’adoption de la loi de 1990. Mentionnons également que le Gacepa est très critique par rapport aux critères retenus par la Commission nationale d’évaluation pour décrire l’état de détresse invoqué par la femme. Ainsi, nous pouvons nous interroger sur l’importance des coûts de cette évaluation (six personnes à temps plein) pour une publication bisannuelle d’utilité apparemment restreinte.

155 Enfin, alors que le dispositif réglementaire est précis et détaillé, il apparaît dans cette évaluation que tous les moyens (y compris légaux) ne sont pas mis en œuvre par la Commission. À titre d’exemple, mentionnons l’obligation faite aux médecins de remplir la grille qui est contenue dans l’article 6 de la loi du 13 août 1990 : « Celui qui, soit par négligence, soit par mauvaise volonté et après qu’un rappel lui aura été adressé, omettra de transmettre les documents d’enregistrement (…) ou les rapports annuels (…) à la Commission d’évaluation dans les délais sera puni d’un emprisonnement de huit jours à un mois ou d’une amende de cinquante francs à cinq mille francs ». En pratique, la Commission n’a jamais eu recours à ces mécanismes car elle entend inscrire son action dans un climat pacifié, volontaire et de confiance vis-à-vis de médecins et des centres. D’ailleurs, il apparaît qu’avec le temps cette confiance s’est installée et que les médecins et centres sont conscients que c’est l’avortement qui est évalué et non leur travail. La Commission ne souhaite pas forcer les centres qui n’envoient rien. Elle ne veut pas apparaître comme un organisme de contrôle pour éviter les suspicions qui, selon elle, risquent de réduire la fiabilité des données. Au début il y a eu des « rappels à l’ordre » mais cette procédure a été abandonnée pour éviter d’effrayer ceux qui répondaient. Il n’y a donc pas de « chasse à l’information ».

Grille récapitulative Titre de l’évaluation Auteur du rapport final (évaluateur) Commanditaire Évalués Base légale et réglementaire Niveau étatique concerné par la politique Objet de l’évaluation (mesure, programme, politique) Contexte de l’évaluateur (public/privé, interne/externe) Durée de l’évaluation Fréquence de l’évaluation Coûts (pers./an) de l’évaluation Dimension de l’évaluation temps (ex ante, concomitante, ex post) récapitulative/formative black-box, (non-)causale mise en œuvre/effets Type de comparaison avant/après politique avec/sans politique régions Méthodes et techniques de collecte des infos/données primaires/secondaires rapports internes, partiels Rapport à l’attention du Parlement (1er janvier 1998-31 décembre 1999) Commission nationale d’évaluation de la loi du 3 avril 1990 relative à l’interruption de grossesse Parlement Hôpitaux et centres de planning familial Loi du 13 août 1990 visant à créer une Commission d’évaluation de la loi du 3 avril 1990 relative à l’interruption de grossesse, Moniteur belge, 20 octobre 1990. Fédéral, régional et communautaire Loi du 3 avril 1990 relative à l’interruption de grossesse modifiant les articles 348,350,351 et 352 du Code pénal et abrogeant l’article 353 du même Code, Moniteur belge, 5 avril 1990 Public – externe 24 mois Tous les deux ans 12 ETP/an ex-post récapitulative non causale mise en œuvre Entre les années, mais après l’entrée en vigueur de la loi et entre les provinces primaires (collecte par questionnaire) rapport d’activité des centres et hôpitaux

4.7. SOURCES DE L’ÉTUDE DE CAS

156 Commission nationale d’évaluation de la loi du 3 avril 1990 relative à l’interruption de grossesse, Rapport à l’attention du Parlement (1^er janvier 1998 - 31 décembre 1999), Chambre, Doc. parl., 50 0860/001 (1999-2000), Sénat, Doc. parl., 2-544/1,31 août 2000,62 p.

Entretiens :

157 Yolande Avontroodt : présidente de la Commission Santé publique de la Chambre (29 novembre 2001).

158 Véronique de Neyer : Aimer à Louvain-la-Neuve (30 octobre 2001).

159 Françoise Deweirt : secrétariat de la Commission nationale d’évaluation (15 octobre 2001).

Documents légaux et réglementaires :

160 Loi du 3 avril 1990 relative à l’interruption de grossesse modifiant les articles 348,350,351 et 352 du Code pénal et abrogeant l’article 353 du même Code, Moniteur belge, 5 avril 1990.

161 Loi du 13 août 1990 visant à créer une Commission d’évaluation de la loi du 3 avril 1990 relative à l’interruption de grossesse, Moniteur belge, 20 octobre 1990.

162 Arrêté royal du 16 janvier 1992 fixant l’effectif du secrétariat de la « Commission nationale d’évaluation chargée d’évaluer l’application des dispositions relatives à l’interruption de grossesse », Moniteur belge, 18 février 1992.

163 Arrêté royal du 27 janvier 1992 fixant les conditions de détachement du personnel des services publics auprès du secrétariat de la Commission nationale d’évaluation, Moniteur belge, 21 février 1992.

164 Décret du 18 juillet 1997 relatif aux centres de planning et de consultation familiale et conjugale, Moniteur belge, 23 septembre 1997.

165 Quatrième appel aux candidats pour un mandat de membre de la Commission nationale d'évaluation chargée d'évaluer l'application des dispositions relatives à l'interruption de grossesse, Moniteur belge, 23 octobre 2001.

Documents parlementaires :

166 Commission nationale d’évaluation de la loi du 3 avril 1990, Rapport intérimaire (1^er octobre 1992 – 31 décembre 1992), Chambre, Doc. parl., n° 1171/1 (1992-1993), Sénat, Doc. parl.,. 847-1 (1992-1993), septembre 1993, p. 11.

167 Commission nationale d’évaluation de la loi du 3 avril 1990, Rapport à l’attention du Parlement (1^er janvier 1993 – 31 décembre 1993), Chambre, Doc. parl., n° 1538/1 (1993-1994), Sénat, Doc. parl.,. 1178-1 (1993-1994), septembre 1994.

168 « Proposition de loi précisant la mission de la Commission nationale d’évaluation chargée d’évaluer l’application des dispositions relatives à l’interruption de grossesse », Chambre, Doc. parl., n° 1610/1 (1997-1998), 17 juin 1998.

169 « Liste des rapports, bilans et comptes transmis à la Chambre en vertu de dispositions légales (Application de l’article 97 du règlement de la Chambre) », Chambre, Doc. parl., 50 0012/002,26 octobre 2000.

170 Hugues Wailliez (FN), Proposition de loi modifiant le Code pénal et le titre préliminaire du Code d’instruction criminelle en vue d’étendre la qualification de l’infanticide, 13 janvier 1998, Alexandra Colen (VB), Proposition de loi sur l’action en réparation pour la naissance et l’existence d’êtres humains, 3 novembre 1999, Gerolf Annemans (VB), Proposition de loi repénalisant l’avortement, 22 novembre 1999.

171 Proposition de loi repénalisant l’avortement (Déposée par M. Wim Vereycken et consorts), Sénat, Doc. parl., 2-200/1,25 novembre 1999.

172 Proposition de loi précisant la mission de la Commission nationale d’évaluation chargée d’évaluer l’application des dispositions relatives à l’interruption de grossesse, Chambre, Doc. parl., 1610/1 (1997-1998), 17 juin 1998.

Autres publications :

173 X. MABILLE, « Le débat politique d'avril 1990 sur la sanction et la promulgation de la loi », Courrier hebdomadaire, CRISP, n° 1275, Bruxelles, 1990.

174 B. SWENNEN, « L’évaluation de la politique d’interruption volontaire de grossesse », in C. DE VISSCHER, F. VARONE (eds), Évaluer les politiques publiques. Regards croisés sur la Belgique, LouvainlaNeuve, Académia-Bruylant, 2001, pp. 103-114.

5.1. CONTEXTE ET OBJET DE L’ÉVALUATION

175 La base légale des contrats de sécurité est l’article 69 de la loi du 30 mars 1994 portant des dispositions sociales qui prévoit que le ministre de l'Intérieur octroie une allocation annuelle aux autorités locales qu’il désigne afin de soutenir la politique criminelle et la politique de sécurité  [100].

176 La philosophie générale des contrats de sécurité telle que présentée dans le rapport au roi de l’arrêté royal du 10 juin 1994  [101] déterminant les conditions auxquelles les communes peuvent bénéficier d'un contrat de sécurité ou d'une aide financière pour le recrutement de personnel supplémentaire dans le cadre de leur service de police  [102] est la suivante :

177

« Les initiatives ainsi développées par les communes bénéficiaires d'un contrat de sécurité doivent bien évidemment s'inscrire complètement dans le cadre des missions et des compétences normalement dévolues au service de police communale ; il s'agira par exemple de renforcer le nombre de patrouilles de police, d'augmenter la présence policière sur le terrain, d'améliorer la fonctionnalité des locaux de la police, ou encore de prévoir des formations spécifiques pour le personnel de police.
Quant aux conditions imposées par le contrat de sécurité en vue de l'octroi de la sub-vention, elles sont relatives au respect par la commune de certaines directives générales, par exemple en matière de maintien de l'ordre à l'occasion des matchs de football, de concertation pentagonale ou encore de recrutement supra-local des policiers.
Les contrats de sécurité sont conclus en partie avec une série de communes où la problématique sécuritaire est présente de manière particulièrement aiguë, citées nommément, et en partie avec un certain nombre de communes assumant une fonction de ‘centre’, dont la norme minimale de sécurité est au moins égale à 100. »

178 Selon l’article 2 de cet arrêté royal, le contrat définit les initiatives qui seront développées par les communes en vue de l’augmentation de la sécurité et de la prévention des délits dans le cadre des missions et des compétences régulièrement dévolues à la police communale. Les buts à atteindre sont au nombre de trois : garantir la sécurité des citoyens, rétablir la qualité de vie et répondre aux besoins locaux.

179 Le contrat est négocié chaque année entre les autorités fédérales, régionales  [103] et locales. Nous analysons ici le contrat 2000 signé entre les Ministères fédéraux de l’Intérieur, de la Justice et de l’Emploi, le Ministère de la Région wallonne et la ville de Tournai (67 651 habitants). Le financement du contrat de sécurité de la ville de Tournai s’élève à 1 289 795 €, le niveau fédéral intervient à concurrence de 66% et la Région wallonne de 34%.

180 L’enjeu des contrats de sécurité est considéré comme prioritaire tant au niveau fédéral que régional. En effet, le gouvernement wallon a, dans sa déclaration de politique régionale du 15 juillet 1999 et dans le Contrat d'avenir pour la Wallonie  [104], affirmé sa volonté de poursuivre sa politique de sécurité et de prévention au travers, notamment, des contrats de sécurité.

181 Les types d’actions prévues par ces projets vont de la prévention des délits (vols de voitures ou dans les habitations) à l’engagement d’assistants de prévention, de travailleurs sociaux ou d’assistants de quartier, en passant par la lutte contre le décrochage scolaire, les maisons de quartier, les centres de soutien scolaire, etc.

182 Au niveau local, les différents acteurs qui sont en charge de la mise en oeuvre des contrats composent le Service d’aide à l’intégration sociale (SAIS) et peuvent être regroupés en quatre catégories. Il s’agit du manager qui est responsable de la coordination générale du contrat, du responsable administratif et financier, du fonctionnaire de prévention et de l’évaluateur interne. Nous reviendrons plus en détails sur le rôle de ce dernier dans la suite de cette étude de cas.

5.2. CAHIER DES CHARGES DE L’ÉVALUATION

183 À proprement parler, il n’existe pas de cahier des charges formel de l’évaluation que nous analysons ici. Néanmoins, l’article 4 de l’arrêté royal du 10 juin 1994 précise qu’une « commission d'évaluation composée d'au moins un représentant de toutes les parties signataires et un expert indépendant s'assure que les communes respectent les dispositions du contrat et qu'elles réalisent le programme concernant les problèmes de société en matière de sécurité »  [105].

184 Des indications permettant de guider le travail d’évaluation, au niveau local, sont contenues dans le contrat de sécurité ou dans des circulaires transmises par le Ministère de l’Intérieur aux villes qui bénéficient d’un contrat de sécurité.

185 En effet, les conditions générales concernant l’exécution du contrat détaillent les obligations en matière d’évaluation : « La ville s’engage à évaluer de manière permanente la mise en œuvre des mesures prises dans le cadre du contrat ainsi que leurs effets selon les instructions données par les autorités subsidiantes concernées. [...] La ville produira deux rapports approfondis d’évaluation qui seront transmis au Ministère de l’Intérieur et à la Région : le premier relatif à la mise en œuvre du contrat et de ses dispositifs selon une grille d’évaluation mise à disposition par le Ministère de l’Intérieur ; le second consacré à l’analyse des effets des actions prévues au contrat sur la base des outils mis à disposition par le Ministère de l’Intérieur ainsi que sur la base d’outils complémentaires développés par l’évaluateur interne. À cet égard, il importe tout particulièrement de souligner toute l’importance de l’apport évaluatif des villes elles-mêmes (via notamment leur évaluateur interne) à l’entreprise générale d’évaluation des contrats »  [106].

186 Ce contrat de sécurité et de prévention prévoit et encadre la fonction d’évaluateur interne qui « est responsable vis-à-vis de la ville et des autorités subsidiantes, de l’évaluation permanente (mise en œuvre et effets) des différents projets du contrat. Pour la réalisation de cette mission, il se conforme aux lignes directrices prévues par les circulaires relatives à l’évaluation. »  [107]

187 Finalement, le contrat détermine les modalités d’accompagnement du travail évaluatif tel que prévu par les arrêtés royaux (10 juin et 12 août 1994  [108]) : « La ville est responsable de l’évaluation interne du contrat et réalise des rapports approfondis à ce sujet. […] Une commission d’évaluation a été constituée comprenant au moins un représentant de chaque contractant et au moins un expert indépendant désigné par le Ministre de l’Intérieur. »  [109]

188 Les circulaires annuelles du Ministère de l’Intérieur dont il est question ci-dessus prévoient les modalités, le calendrier, les instruments et les attentes de l’évaluation  [110]. Ces dernières sont doubles et portent sur la mise en œuvre des contrats et sur les effets du contrat via les statistiques criminelles. C’est à ce niveau qu’est introduit un hiatus entre les différents niveaux de pouvoir. En effet, sur le terrain, il apparaît que l’évaluateur interne est confronté à des demandes non coordonnées entre les exigences fédérales et régionales. D’ailleurs, la circulaire fédérale du 20 avril 1999 prévoit que « dans la mesure où la région bruxelloise ou la région wallonne désirent se joindre à la démarche d’évaluation des contrats, celles-ci vous feront parvenir les modalités de cette démarche »  [111]. En raison du double financement que nous avons présenté ci-dessus, il semble que, sur le terrain c’est-à-dire au niveau local, les attentes des deux commanditaires apparaissent comme confuses, non coordonnées voire parfois contradictoires. En effet, chaque partenaire entend faire évaluer la partie qu’il finance sur la base de ses propres grilles d’évaluation. Les tentatives d’harmonisation de ces référentiels fédéral et régional sont demeurées infructueuses. D’ailleurs, il existe une structure informelle regroupant l’ensemble des évaluateurs internes qui déplorent la non-coordination entre les niveaux, le faible encadrement de leur travail et l’absence de formation aux méthodes de l’évaluation.

189 Les ressources nécessaires au financement de l’évaluateur interne sont de 34 705 € (1 400 000 BEF). À ceci, il convient d’ajouter la rémunération du conseiller local du secrétariat permanent à la politique de prévention (SPP) qui, comme nous allons le voir, procède, dans la ville évaluée, à des visites de terrain et rédige le rapport de synthèse qui est transmis au ministre de l’Intérieur.

5.3. DÉMARCHE DE L’ÉVALUATION

190 En raison des négociations annuelles (entre le 15 octobre et le 15 novembre) et du fait que le contrat s’étend du 1^er janvier au 31 décembre, le calendrier de l’évaluation est le suivant :

• 1^er janvier : début de l’année contractuelle à évaluer ;
• mai : rapport administratif et d’activités (mise en œuvre) rédigé par l’évaluateur interne ;
• juin : réunion de la Commission d’évaluation au cabinet du ministre de l’Intérieur pour faire le point à mi-parcours et accorder la tranche financière  [112] ;
• septembre : rapport sur les effets rédigé par l’évaluateur interne et rapport de synthèse rédigé par le SPP. Ce dernier sert de support à la négociation du renouvellement du contrat ;
• octobre-novembre : proposition et négociation du projet de contrat pour l’année suivante ;
• mars : rapport financier qui sert à contrôler la conformité des dépenses au niveau local. Dans le nouveau système, c’est le SPP qui opérera ce contrôle.

191 L’évaluateur interne dont nous avons déjà parlé constitue le cœur du dispositif d’évaluation de ces contrats. Son recrutement, comme pour l’ensemble du personnel local, est de la seule responsabilité des autorités communales.

192 La philosophie de base est de permettre une auto-évaluation des contrats afin d’induire les modifications et ajustements sans contrôle extérieur. C’est lui qui est chargé de faire parvenir au Ministère de l’Intérieur les données relatives à la mise en œuvre et aux effets des contrats sur la situation locale. Toutefois, le cas sur lequel nous nous attardons présente une situation qui s’écarte des dispositions contenues dans l’arrêté royal. En effet, l’évaluateur interne consacre 20% de son temps de travail à l’évaluation et 80% à la gestion d’autres projets du contrat. Cette situation est encouragée par la ville qui veut une « productivité » et pour qui l’évaluation est moins rentable et donc laissée de côté. Il s’agit d’un choix politique. En outre, l'évaluateur interne assure ainsi son propre emploi (diversification des sources de financement selon les projets et position de repli en cas de suppression d'un projet particulier du contrat et/ou de l'évaluation).

193 Le conseiller local du secrétariat permanent à la politique de prévention (SPP) du Ministère de l’Intérieur qui rédige le rapport de synthèse effectue des visites sur le terrain afin de superviser et d’évaluer la situation in situ en tentant de voir deux à trois projets par journée. Par ville, ces visites ont lieu deux fois par an en mars-avril et juillet-août. Sur le terrain, le conseiller local est perçu comme l’inspecteur du Ministère de l’Intérieur qui vient contrôler la situation et est donc peu amené à jouer son rôle de conseiller.

194 Alors que le contrat prévoit en théorie, comme nous l’avons vu, une grille d’évaluation du Ministère de l’Intérieur, en pratique, il en existe plusieurs. Le Ministère de l’Intérieur dispose d’un questionnaire d’une septantaine questions qu’il a constitué en collaboration avec l’université de Gand  [113]. Ce document est divisé en trois parties. La première porte sur la phase préparatoire à l’action et au projet. L’évaluateur interne doit s’interroger sur l’identification du problème, la fixation des objectifs et des actions du projet. La deuxième partie concerne l’exécution et les effets des actions et du projet (effectivité, efficacité, efficience, effets imprévus). Enfin, la troisième partie traite de l’avenir du projet et du sort qui lui est réservé (continuation, adaptation ou suppression).

195 À côté de ces quelques appréciations qualitatives de la mise en oeuvre des contrats de sécurité, ce sont essentiellement les données quantitatives sur les effets qui sont prises en compte. Ces dernières proviennent de sources différentes :

• les statistiques du Ministère de l’Intérieur (Service général d’appui policier SGAP) sur le taux de criminalité ;
• le moniteur de la sécurité (Ministère de l’Intérieur) qui est constitué sur la base d’entretiens téléphoniques afin de mesurer le sentiment de sécurité ou d’insécurité de la population ;
• l’observatoire local de la criminalité qui établit une cartographie annuelle de la criminalité locale.

196 En confrontant les chiffres fournis par ces différents niveaux, il apparaît certaines divergences malgré une harmonisation des nomenclatures criminelles.

197 Le schéma suivant représente les relations entre les différents intervenants que nous avons identifiées lors de la démarche d’évaluation.

Figure 5

Les relations entre les acteurs durant le processus

Figure 5 : Les relations entre les acteurs durant le processus Conseiller local du Ministère de l’Intérieur SGAP Cabinet du ministre de l’Intérieur Région wallonne Moniteur de la sécurité Ville de Tournai (bourgmestre) Observa- toire local SAIS de Tournai Évaluateur interne Population Administration de Destinataires de la Sphère politique mise en œuvre politique Évaluateur Autres intervenants

Les relations entre les acteurs durant le processus

5.4. RAPPORT D’ÉVALUATION

198 Le rapport de synthèse est rédigé par le conseiller local du SPP sur la base des rapports transmis par l’évaluateur interne, des visites sur le terrain et des multiples contacts qu’il entretient avec la ville tout au long de l’année même si de manière générale, les villes font rarement appel au SPP.

199 Les différents projets qui composent le contrat et auxquels des objectifs spécifiques sont assignés représentent l’objet de l’évaluation. Toutefois, le rapport d’évaluation ne contient pas de questions claires auxquelles il tenterait d’apporter une réponse. De plus, il n’y a pas de séparation entre le résultat de l’évaluation interne, les appréciations formulées par le conseiller local et les recommandations de ce rapport de synthèse.

200 Le rapport ne permet pas de déterminer les impacts qui résultent des contrats de sécurité sur l’évolution de la criminalité/délinquance. De plus, il fournit une image non coordonnée de la politique alors qu’il serait utile d’opérer une mise en perspective de l’action fédérale du Ministère de l’Intérieur avec des politiques locales et régionales. En un mot, il y a une description des acteurs et activités de mise en œuvre (par l'auto-évaluation) et un suivi de l'évolution des problèmes (par les statistiques du Ministère de l’Intérieur). Par contre il n'y a pas d'analyse des liens causaux sur les effets des mesures par rapport aux problèmes collectifs à résoudre. Dit autrement, on ne peut relier directement l'autoévaluation de la mise en œuvre aux statistiques du pouvoir fédéral. Les liens entre exécution du contrat de sécurité et réduction du taux de criminalité ou sentiment d’insécurité ne peuvent être établis empiriquement ou, du moins, demeurent toujours assez ténus.

201 Les recommandations sont disséminées au sein du rapport et reprises en conclusion. Elles portent peu sur la politique en regard des objectifs contenus dans le contrat signé entre les différents partenaires, mais visent plutôt à apporter des changements organisationnels.

Tableau 4

Analyse du contenu du rapport

Tableau 4 : Analyse du contenu du rapport Analyse et conclusions la conception de la sur politique la mise en œuvre de la politique les effets de la politique Nature des recommandations formulées par l’évaluateur Le rapport d’évaluation ne contient pas de présentation détaillée du contrat de sécurité et de prévention signé entre les différents partenaires. Le rapport fournit une description détaillée du fonctionnement du Service d’aide à l’intégration sociale et des activités de terrain organisées dans le cadre des différents projets. Le rapport fournit une description détaillée du fonctionnement du Service d’aide à l’intégration sociale et des activités de terrain organisées dans le cadre des différents projets. Les effets de la politique sont difficilement évaluables étant donné que le rapport ne présente pas les objectifs contenus dans le contrat de sécurité et de prévention.

Analyse du contenu du rapport

5.5. SUIVI POLITIQUE DU RAPPORT

202 In fine, les recommandations contenues semblent assez peu suivies par les autorités locales de Tournai  [114]. Plusieurs niveaux interrogés se demandent ce qu’il advient de ce rapport même s’ils pensent qu’il intervient dans la décision de reconduire ou non les contrats. Dans la pratique, ce rapport a un poids très faible étant donné que les critères d’attribution des financements des contrats résultent de l’agrégation de critères objectifs : la population, le taux de criminalité et le niveau socio-économique pondéré par le taux de criminalité. Le ministre de l’Intérieur considère que ces critères permettent de surmonter une attribution des contrats selon la volonté du prince et insiste « sur le fait que cela n’a rien à voir avec la qualité d’un contrat »  [115].

203 Les résultats de cette évaluation donnent lieu à une discussion au Conseil des ministres et parfois à des questions parlementaires. Par contre, ils ne sont pas, à l’exception du niveau local, valorisés à l’extérieur étant donné que sur ce point il n’y a pas de réelle volonté de transparence. En effet, les rapports d’évaluation ne donnent lieu ni à une conférence de presse ni à une mise en ligne via internet. À l’inverse, la publicité au niveau local est plus développée. Tout d’abord parce que le contrat oblige la ville à organiser, chaque année, une réunion publique sur l’évaluation du contrat pour garantir une discussion avec la population sur le contenu et la portée du contrat. Dans ces réunions, dont la convocation est diffusée par la presse ou de manière directe auprès des associations avec lesquelles les responsables du contrat travaillent, les associations viennent présenter leurs griefs et les conseillers de l’opposition formulent des critiques. Ensuite, il arrive que des bourgmestres organisent des conférences de presse locales pour mettre en avant certains éléments contenus dans le rapport.

204 L’actuel ministre de l’Intérieur souhaitant avoir une information complète sur la situation a commandé, à l’administration (SPP – SGAP – Service de la police générale du Royaume du Ministère de l’Intérieur), une évaluation transversale des 29 contrats de sécurités et 46 contrats de prévention. Il a également fait rédiger un Manuel de méthodologie de mise en place des contrats de sécurité et de prévention qui a été approuvé au Conseil des ministres du 14 juillet 2001 et transmis aux villes pour consultation. Ce document est amené à évoluer sur la base des études d’impacts. L’évaluation transversale a pour but de dégager les facteurs de succès afin d’uniformiser au maximum les évaluations mais également de permettre de situer la pratique évaluative et de la gestion des contrats des villes. Cette évaluation permet une sorte d’étalonnage concurrentiel (benchmarking).

5.6. APPRÉCIATION

205 Cette évaluation se situe entre le rapport d’activités, l’audit et un contrôle large de la mise en œuvre.

206 Quelle est la proportion d’autocensure par les villes en ce qui concerne le contenu du rapport remis par l’évaluateur interne et qui constitue le point de départ du rapport de synthèse ? En effet, peu de villes reconnaissent dans le rapport qu’un projet ne fonctionne pas par crainte de ne plus bénéficier de son financement. De plus, même si certains contrats ne requièrent pas un évaluateur interne à temps plein, l’évaluateur autoévalue une partie de son travail dans les projets dont il est (co-)responsable. En un mot : il y a un risque évident de manque d'indépendance financière, organisationnelle et substantielle. Sur le terrain, la fonction de bilan et de contrôle est perçue comme dominante, alors que l’utilité politique est faible et qu’elle poursuit essentiellement une visée endoformative.

207 Malgré une volonté fédérale « centralisatrice » contenue dans le contrat signé entre les différents partenaires, il apparaît sur le terrain un manque de coordination entre les pouvoirs subsidiants, ce qui handicape assurément le travail d’évaluation. Ceci va peut-être évoluer par l’entremise du Conseil supérieur de prévention de la criminalité – mis en place en 1985 afin de coordonner les actions en Belgique – qui est réactivé depuis septembre 2001 et dont une prochaine réunion aura l’évaluation comme point à son ordre du jour.

208 Le calendrier de l’évaluation tel que nous l’avons décrit au point trois semble en contradiction avec les dispositions et ambitions de l’évaluation contenues dans l’arrêté royal du 10 juin 1994  [116]. En effet, il n’est matériellement pas possible de dégager, en huit mois et à un moment où est renégocié le contrat, la nature des effets induits par le contrat sur la situation locale. Cette situation est amenée à évoluer étant donné que tous les nouveaux contrats couvriront une période de deux ans.

Grille récapitulative Titre de l’évaluation Auteur du rapport final (évaluateur) Commanditaire Évalués Base légale et réglementaire Niveau étatique concerné par la politique Objet de l’évaluation (mesure, programme, politique) Contexte de l’évaluateur (public/privé, interne/externe) Durée de l’évaluation Fréquence de l’évaluation Coûts (pers./an) de l’évaluation Dimension de l’évaluation temps (ex ante, concomitante, ex post) récapitulative/formative black-box, (non-)causale mise en œuvre / effets Rapport de synthèse de l’évaluation du Contrat de Sécurité et de Société 2000. Ville de Tournai Fonctionnaire au Ministère de l’Intérieur (SPP) sur la base des rapports de l’évaluateur interne Ministre de l’Intérieur Service d’aide à l’intégration sociale de la Ville de Tournai Arrêté royal du 10 juin 1994 déterminant les conditions auxquelles les communes peuvent bénéficier d'un contrat de sécurité ou d'une aide financière pour le recrutement de personnel supplémentaire dans le cadre de leur service de police, Moniteur belge, 30 juin 1994 Fédéral, régional et local Contrat Public – interne 8-12 mois Annuelle 0,3 ETP/an quasi concomitante récapitulative black-box mise en œuvre (qualitatif) et effets (quantitatif)

Type de comparaison avant/après politique avec/sans politique régions Méthodes et techniques de collecte des infos/données primaires/secondaires rapports internes, partiels avant-après (évaluation dans le temps de la criminalité) entre projets primaires et secondaires (ex. moniteur de sécurité) rapport d’un évaluateur interne

5.7. SOURCES DE L’ÉTUDE DE CAS

209 SPP-PGR, Rapport de synthèse de l’évaluation du Contrat de sécurité et de société 2000, Ville de Tournai, 19 pages.

Entretiens :

210 Valérie Paeleman, : évaluatrice interne au SAIS de Tournai (22 octobre 2001).

211 Carol Targe : fonctionnaire au SPP (Ministère de l’Intérieur) (24 octobre 2001).

212 Éric Van Goidsenhoven : conseiller au cabinet du ministre de l’Intérieur (31 octobre 2001).

Documents légaux et réglementaires :

213 Arrêté royal du 10 juin 1994 déterminant les conditions auxquelles les communes peuvent bénéficier d'un contrat de sécurité ou, d'une aide financière pour le recrutement de personnel supplémentaire dans le cadre de leur service de police, Moniteur belge, 30 juin 1994.

214 Arrêté royal du 5 juillet 1994 fixant les modalités de contrôle de l'octroi d'une intervention financière aux communes lors de la conclusion d'un contrat de sécurité ou lors du recrutement de personnel supplémentaire dans le cadre de leur service de la police, Moniteur belge, 28 juillet 1994.

215 Arrêté royal du 5 juillet 1994 déterminant les conditions auxquelles les communes peuvent bénéficier de certaines aides financières de l'État dans le domaine de la sécurité, Moniteur belge, 6 août 1994.

216 Arrêté royal du 12 août 1994 déterminant les conditions auxquelles les communes peuvent bénéficier d'une aide financière pour le recrutement de personnel civil supplémentaire chargé de l'accompagnement de mesures judiciaires alternatives et de la prévention de la criminalité et l'accueil en matière de toxicomanie, Moniteur belge, 16 septembre 1994.

217 Circulaire du 19 septembre 1996 concernant la mission d’évaluation interne prévue dans le préambule des contrats de sécurité et de société 1996.

218 Circulaire du 20 avril 1999 relative à l’évaluation des contrats de sécurité et de société – orientations et planning 1999.

219 Arrêté du gouvernement wallon du 29 juin 2000 octroyant une subvention à huit villes de la Région wallonne pour la mise en œuvre d'actions favorisant la sécurité et l'intégration sociale dans le cadre des contrats de sécurité et de société pour l'année 2000, Moniteur belge, 18 juillet 2000.

Documents parlementaires :

220 Commission de l’Intérieur, des Affaires générales et de la Fonction publique, « Question n° 13 de M. Yves Leterme au ministre de l’Intérieur », CRIV 50 COM 523,4 juillet 2001.

Autres documents :

221 Conduite de projet et évaluation : présentation du portefeuille de lecture sur l’évaluation réalisé par Synergie.

222 Contrat de sécurité et de société de la ville de Tournai 2000.

223 Gouvernement wallon, Contrat d’avenir pour la Wallonie, Namur, 2000 Manuel de méthodologie de mise en place des contrats de sécurité et de prévention, 156 p.

224 Observatoire de la criminalité, Rapport mensuel des vols et tentatives de vol dans les habitations, septembre 2001.

225 Questionnaire d’évaluation des contrats de sécurité et de société.

Autres publications :

226 P. HEBBERECHT, « La prévention policière en Belgique : un laboratoire pour le développement d’un État sécuritaire », in Y. CARTUYVELS (ed.), Politique, police et justice au bord du futur. Mélange pour et avec Lode Van Outrive, Paris, L’Harmattan, 1998, pp. 235-245.

227 D. MCNEIL, « A Rust-Belt City's Mean Streets Keep Their Edge », The New York Times, September 5,2001.

228 C. SCHAUT, « La mise en application des contrats de sécurité : des effets pervers », Pyramides : revue du Centre d’Études et de Recherches en Administration publiques, 1 : 141-156,2000.

229 VAN CAMPENHOUDT et al., Réponse à l’insécurité des discours aux pratiques, Bruxelles, Labor, 2000.

6.1. CONTEXTE ET OBJET DE L’ÉVALUATION

230 Depuis la loi du 1^er août 1985 portant des mesures fiscales  [117], l’État contribue à l’indemnisation financière des victimes (ou de leurs proches) d’actes intentionnels de violence dont l’auteur n’est pas identifié, est irresponsable ou insolvable. Cette aide repose sur les notions d’équité et de solidarité de la collectivité vis-à-vis des victimes. Pour cela, la loi précise :

231 « Art 28. Il est institué au budget du Ministère de la Justice un Fonds spécial pour l'aide
aux victimes d'actes intentionnels de violence.

232 Art 30 § 1^er. Il est institué une Commission pour l'aide aux victimes d'actes intentionnels
de violence, qui statue sur les demandes d'octroi d'une aide (d'urgence), d'une aide ou
d'un complément d'aide.

233 Art 31 §1^er. La personne qui a subi de graves atteintes au corps ou à la santé résultant
directement de faits constitutifs d'un acte intentionnel de violence commis en Belgique,
peut demander une aide aux conditions suivantes :

• la réparation du préjudice ne paraît pas pouvoir être assurée de façon effective et
  suffisante par d'autres moyens, tels que le paiement de dommages-intérêts par le dé-
  linquant ou le versement de toute somme relative au préjudice par un régime de sé-
  curité sociale ou de réparation des dommages résultant des accidents du travail ou
  des maladies professionnelles ou par une assurance privée;
• la victime doit, au moment où l'acte de violence est commis, être de nationalité belge
  ou (avoir le droit d'entrer, de séjourner ou de s'établir dans le Royaume),
• la victime doit s'être constituée partie civile à raison des faits constitutifs de l'acte
  intentionnel de violence (ou avoir donné une citation directe ou introduit une pro-
  cédure devant le tribunal civil). »  [118]

234 La Commission d’aide aux victimes d’actes intentionnels de violence (CAVAIV), instituée par cette loi, est une juridiction administrative qui a pour mission d’examiner les demandes d’indemnisation des victimes d’actes intentionnels de violence, dont le dommage dépasse une franchise de 375 € (15 000 BEF). La CAVAIV  [119] vérifie que les conditions légales sont remplies, puis décide de l’octroi et du montant de l’aide financière. L’aide complète qui peut être octroyée à une victime est de 62 000 € (2 500 000 BEF). La CAVAIV ne peut mener une enquête pénale, mais peut réclamer les pièces qu’elle estime nécessaires à l’accomplissement de son travail. De plus, elle est liée au jugement en matière pénale ; en cas d’acquittement, elle ne peut donc plus examiner la culpabilité de la partie adverse. Ajoutons qu’il existe une procédure d’urgence qui consiste en une avance sur l’aide principale lorsque tout retard dans l’octroi de l’aide pourrait causer au requérant un préjudice important  [120]. L’aide d’urgence peut être octroyée jusqu’à 7 500 € (300 000 BEF).

235 Afin de faciliter l’utilisation du Fonds spécial et d’écourter la procédure, le Parlement a adopté, les 17 et 18 février 1997  [121], des lois réformant le fonctionnement de la CAVAIV. À la même époque, le gouvernement décide d’augmenter le nombre de chambres et le cadre du personnel. De plus, le (dys)fonctionnement de la CAVAIV a conduit à l’accumulation d’un arriéré important qui a déjà attiré l’attention du bureau conseil ABC. En avril 1997, celui-ci remet un rapport consacré à la croissance de cet arriéré et recommande d’élargir la CAVAIV de deux à six chambres. L’arrêté royal du 18 mai 1998  [122] suit cette recommandation.

236 Chacune des six chambres de la Commission est composée de trois personnes : un magistrat qui la préside, un avocat et un fonctionnaire du Ministère des Finances ou de la Santé publique.

237 De plus, comme le souligne le ministre de la Justice (Marc Verwilghen (VLD)), cette matière représente un enjeu politique actuel. Le ministre fonde son opinion sur « les recommandations formulées par la commission parlementaire dans l’affaire Dutroux-Nihoul et consorts [qui] vont permettre une amélioration de la position et des droits des victimes dans de très nombreux domaines. L’une de ces améliorations porte notamment sur la rapidité et l’efficacité du traitement des dossiers par la commission d’aide aux victimes. »  [123]

6.2. CAHIER DES CHARGES DE L’ÉVALUATION

238 L’évaluation que nous analysons ici est réalisée dans le cadre de la nouvelle compétence accordée à la Cour des comptes par la loi du 10 mars 1998  [124]. Toutefois, les membres de la Cour des comptes hésitent encore à qualifier les travaux qui s’inscrivent dans le cadre de cette loi d’évaluations préférant recourir aux termes d’audit, de contrôle, d’enquête ou d’analyse.

239 Il n’y a pas, à proprement parler, de cahier des charges disponible pour cette évaluation étant donné que la Cour des comptes décide elle-même ce qu’elle entend évaluer, à l’exception des audits qui lui sont directement commandés par la Chambre des représentants (par exemple le cas de la SNCB). Pour le cas qui nous occupe, il semble que le choix de se pencher sur cette matière particulière est orienté par le fait que la Cour des comptes veut inaugurer la nouvelle compétence qui lui est octroyée en analysant un objet lui permettant d’effectuer un travail mesurable. De plus, la Cour des comptes fonde son choix sur une série de critères tels que la suspicion d’un fonctionnement insuffisant de la CAVAIV, la volonté de susciter un intérêt parlementaire, l’existence d’une activité administrative correspondant clairement à une politique publique pour laquelle il est possible d’identifier les objectifs du législateur et l’accroissement du solde budgétaire du fonds.

240 Malgré l’inexistence d’un cahier des charges formel, attardons-nous tout de même sur les choix opérés, par la Cour des comptes, en amont, notamment sur la non-prise en compte de la complexité des dossiers et des effets du travail de la Commission auprès des victimes. Ces deux éléments ont été débattus entre les représentants de la Cour des comptes et ceux de la CAVAIV. En ce qui concerne le premier point, la CAVAIV partage le souhait des évaluateurs de ne pas s’intéresser au contenu des décisions du point de vue de la régularité juridique. En effet, seul le Conseil d’État peut effectuer ce travail. Par contre, la CAVAIV est demandeuse d’une étude qui permet de mesurer le « degré de satisfaction » des victimes, tandis que la Cour des comptes ne souhaite pas s’intéresser à cette question, estimant qu’une telle enquête est à la limite de ses compétences.

6.3. DÉMARCHE DE L’ÉVALUATION

241 En phase préliminaire, une étude de faisabilité est réalisée par la Cour des comptes. Il s’agit d’une étape obligatoire et préalable à tous les audits de la Cour des comptes qui poursuit trois objectifs. Primo, elle vise à obtenir l’autorisation des magistrats de la Cour de procéder à l’audit. Il s’agit donc, pour les auditeurs, de convaincre les magistrats du bien-fondé de la proposition en tenant compte tout de même de l’absence de risque majeur à le faire et de l’opportunité ou du calendrier politique  [125]. Secundo, elle permet de garantir la disponibilité des informations nécessaires au déroulement de l’audit et de demander les autorisations nécessaires à leur accès. Tertio, elle présente le questionnement qui servira de base à l’audit, un calendrier ainsi que les coûts  [126] de la mission. Cette volonté de formaliser les questions est un développement récent du travail de la Cour des comptes qui facilite la phase de rédaction du rapport. Ainsi, dans le cas de la CAVAIV, la question préalable que se pose la Cour des comptes est : « Comment peut-on expliquer l’existence de l’arriéré judiciaire ? » En ce qui concerne le processus d’évaluation proprement dit, tant de l’avis des évaluateurs que de celui des évalués, cette opération s’est déroulée dans de très bonnes conditions de collaboration. La présidente de la CAVAIV s’est d’ailleurs arrangée pour que les évaluateurs disposent, d’un point de vue matériel, des meilleures conditions possibles de travail et qu’ils aient accès à tous les dossiers. De plus, une personne de la CAVAIV a pour mission d’assurer les contacts avec les évaluateurs et de les éclairer si nécessaire. De son côté, la Cour des comptes associe la CAVAIV (et principalement sa présidente) et les évalués à la démarche en lui permettant de se prononcer sur les questions ainsi que sur la méthodologie de l’évaluation. Lors de ce processus évaluatif, plusieurs réunions ont eu lieu afin d’encourager une discussion entre les membres de la Cour des comptes et le personnel du secrétariat de la CAVAIV.

242 En ce qui concerne la méthodologie, la Cour des comptes explique que :

243

« L’audit proprement dit s’est déroulé au cours du second semestre de 1999. Il a débuté
par une série d’entretiens avec le conseiller adjoint chef de service du secrétariat et s’est
poursuivi par l’examen de trois échantillons de requêtes représentant au total environ
250 dossiers.
Un vaste questionnaire couvrant le fonctionnement de la Commission et de son secré-
tariat, la mise en œuvre de la réforme introduite par les lois de 1997 et certains aspects
budgétaires a été remis aux dirigeants de la Commission et de son secrétariat (…).
L’évaluation du délai théorique raisonnable de traitement des requêtes, compte tenu de
la procédure en vigueur, a également été soumise aux deux responsables précités et n’a
soulevé aucune objection. »  [127]

244 En février 2000, un pré-rapport est soumis à l’appréciation de la présidente et du secrétariat de la CAVAIV. Celui-ci contient peu de surprises étant donné que le processus d’évaluation a été accompagné en continu. Ce document fait l’objet de commentaires écrits et d’une réunion entre des représentants de la CAVAIV et les évaluateurs de la Cour des comptes. À la suite de ces discussions, certains commentaires et nouvelles propositions sont introduits dans le rapport (par exemple les audiences supplémentaires pendant les congés judiciaires). Il en est de même en ce qui concerne l’énoncé des recommandations qui font l’objet d’échanges de vue.

245 Le rapport final est adopté en assemblée générale de la Cour des comptes le 20 septembre 2000. À ce moment, le désintérêt du ministre de la Justice pour ce travail pose quelques problèmes étant donné que la Cour des comptes ne souhaite pas adresser le rapport au Parlement sans que le ministre ne s’exprime sur son contenu  [128]. L’attitude du ministre de la Justice est quelque peu surprenante étant donné que son cabinet a été, régulièrement, informé de l’avancement des travaux de la Cour des comptes par la présidente de la CAVAIV. In fine, la réponse fournie par le ministre  [129] s’apparente plus à un accusé de réception qu’à un début de réflexion politique sur la question. Il semble qu’à l’époque le ministre n’ait pas saisi l’opportunité de se positionner sur cet enjeu.

246 Enfin, le rapport est envoyé à l’ensemble des députés et un communiqué de presse est rédigé par les services de la Chambre afin d’en assurer la promotion. Quelques mois plus tard, ce travail est mentionné dans le cahier d’observations de la Cour des comptes dont la présentation par le président donne lieu à une conférence de presse. Pour être complet, mentionnons que sa diffusion à l’extérieur est aussi assurée par sa mise en ligne sur internet  [130].

247 Le schéma suivant représente les relations entre les différents intervenants que nous avons identifiées lors de cette démarche.

Figure 6

Les relations entre les acteurs durant le processus

Figure 6 : Les relations entre les acteurs durant le processus Chambre des représentants Commission justice Cabinet du ministre de la Justice Cour des comptes Victimes Conseil d’État CAVAIV Administration de Destinataires de la Sphère politique mise en œuvre politique Evaluateur Autres intervenants

Les relations entre les acteurs durant le processus

6.4. RAPPORT D’ÉVALUATION

248 Il s’agit d’un rapport de 62 pages organisé en six chapitres qui mettent l’accent sur le fonctionnement de la Commission de 1987 à 1997, la mise en place de la réforme et le fonctionnement de la Commission depuis 1998, l’analyse de la procédure d’octroi de l’aide principale, la procédure d’urgence, les aspects budgétaires et les problèmes juridiques.

249 Le rapport transmis par la Cour des comptes à la Chambre des représentants n’est pas une simple présentation des résultats de l’audit. Il permet à la Cour des comptes d’adresser des recommandations à l’intention de la CAVAIV en ce qui concerne son organisation interne, au ministre de la Justice au sujet des moyens à allouer à la CAVAIV et au Parlement en ce qui concerne la formulation de la loi relative au délai raisonnable dans lequel il convient d’allouer l’aide financière.

Tableau 5

Analyse du contenu du rapport

Tableau 5 : Analyse du contenu du rapport la conception de laAnalyse et conclusions politiquesur la mise en œuvre de la politique les effets de la politique Nature des recommandations formulées par l’évaluateur La cour des comptes a calculé le délai théorique nécessaire à la CAVAIV pour se prononcer sur une demande d’aide y compris en ce qui concerne une aide d'urgence. Le rapport de la Cour des comptes présente les moyens matériels et en personnels de la CAVAIV. Le travail de son secrétariat est analysé en détail, sur la base du nombre de dossiers et de requêtes traités par la CAVAIV. La Cour des comptes n’a pas réalisé d’analyse de la satisfaction des (non-) récipiendaires de l’aide. Les recommandations adressées à la CAVAIV et au ministre de la Justice sont très précises (par ex. gestion du personnel, règlement d’ordre intérieur). Néanmoins, puisque la Cour des comptes part du principe que le Parlement ne peut pas mal faire, les recommandations à son attention sont plus « diluées ».

Analyse du contenu du rapport

6.5. SUIVI POLITIQUE DU RAPPORT

250 Les conclusions de ce rapport donnent lieu à quelques articles de presse qui mettent essentiellement l’accent sur le nombre de dossiers traités et l’arriéré de la CAVAIV  [131].

251 Le rapport permet également à la CAVAIV d’appuyer ses demandes, antérieures et récurrentes, en matière de personnel ou de budget même si les grandes lignes des conclusions lui sont connues avant la réalisation de l’évaluation. Il semble donc que l’existence de ce rapport offre à la CAVAIV une opportunité pour réactiver d’anciennes demandes auprès du ministre de la Justice. Un changement fondamental en ce qui concerne l’organisation interne de la CAVAIV, et qui fait suite à ce rapport, est la création de la fonction d’un comptable d’avance de fonds qui dispose d’un budget de 100 millions.

252 La Cour des comptes transmet son rapport au Parlement. À la suite de cela, le secrétariat de la CAVAIV reçoit plusieurs demandes de parlementaires qui en prennent connaissance et qui souhaitent obtenir des informations complémentaires. Toutefois, le point n’est pas mis à l’agenda parlementaire même si une journée d’étude sur Le statut de la victime dans la procédure pénale est organisée au Sénat le 22 juin 2001. À cette occasion, les travaux de la CAVAIV sont présentés par sa présidente et le ministre de la Justice précise que « la compétence et le fonctionnement de la Commission d’aide aux victimes d’actes intentionnels de violence seront élargis et optimalisés. À cet égard, un projet de loi  [132] est examiné pour le moment. »  [133] Notons que lors de cette intervention, le ministre de la Justice ne fait pas mention de l’existence du rapport de la Cour des comptes qui, lors de cette journée, n’est cité que par la présidente de la CAVAIV.

253 Il semble donc que les reprises gouvernementales et parlementaires des conclusions et recommandations du rapport de la Cour des comptes sont faibles. Il nous faut tout de même mentionner l’initiative isolée du sénateur Jean-Pierre Malmendier (PRL) qui tente d’élaborer un droit de la victime et qui dépose une proposition de loi visant à faciliter les conditions d’indemnisation  [134].

6.6. APPRÉCIATION

254 Il semble que la Cour des comptes ne s’est guère éloignée de ce qu’elle connaît le mieux c’est-à-dire l’audit, pour aborder cette évaluation en lui appliquant les mêmes méthodes et en ne prenant pas trop de risque tant au sujet des questions évaluatives que des recommandations formulées.

255 Le caractère participatif encouragé par la Cour des comptes et soutenu par la CAVAIV apparaît comme un élément à mettre en évidence tant il semble sur le terrain que cette évaluation a permis une ré-appropriation des recommandations. À l’inverse, la tenue à l’écart des parlementaires, à qui le rapport est adressé en fin de parcours, constitue un contraste saisissant. En effet, les parlementaires ne sont pas informés au préalable de l’audit et ils ne sont en rien associés à la démarche en cours de processus (même pas le président de la commission Justice de la Chambre). En conséquence, le Parlement qui est le destinataire légitime de cette évaluation s’en désintéresse fortement. Il semble que la procédure de la Cour des comptes pour transmettre son rapport (simple envoi à la Chambre sans qu’une séance de présentation ne soit prévue) ne soit pas celle qui favorise la meilleure valorisation politique de la question. Ainsi, de l’avis d’un parlementaire, ce rapport rejoint la pile des rapports transmis à la Chambre  [135] dont la plupart sont peu consultés et débattus.

256 Enfin, en partant du principe que le Parlement ne peut pas mal faire, la Cour des comptes limite sa faculté de formuler des recommandations à l’intention du Parlement comme c’est le cas pour cette loi en ce qui concerne le délai (théorique) imposé pour l’octroi d’une aide (d’urgence). Alors que la loi ne fixe des délais impératifs que pour les échanges de mémoire, le ministre de la Justice, en février 1998, avait donné une « instruction au secrétaire général du Ministère de la Justice de tout mettre en œuvre pour que les dossiers soient traités dans un délai raisonnable de six mois »  [136]. De son côté, la Cour des comptes a calculé un délai théorique de 16-17 mois qui, selon elle, ne pourrait être raccourci que moyennant « une révision fondamentale de la législation en vigueur »  [137].

Grille récapitulative Titre de l’évaluation Auteur du rapport final (évaluateur) Commanditaire Évalués Base légale et réglementaire Niveau étatique concerné par la politique Objet de l’évaluation (mesure, programme, politique) Contexte de l’évaluateur (public/privé, interne/externe) Durée de l’évaluation Coûts (pers./an) de l’évaluation Dimension de l’évaluation temps (ex ante, concomitante, ex post) récapitulative/formative black-box, (non-)causale mise en œuvre/effets Type de comparaison avant/après politique avec/sans politique régions Méthodes et techniques de collecte des infos/données primaires/secondaires rapports internes, partiels L’aide financière de l’État aux victimes d’actes intentionnels de violence Cour des comptes Cour des comptes Commission d’aide aux victimes d’actes intentionnels de violence Loi du 10 mars 1998 modifiant la loi du 29 octobre 1846 organique de la Cour des comptes, Moniteur belge, 11 avril 1998 Fédéral Loi du 1er août 1985 portant des mesures fiscales et autres, Moniteur belge, 6 août 1985 Public – externe 6-8 mois 0,5 ETP / an concomitante / ex post récapitulative partiellement interprétative mise en œuvre et bilan organisationnel avant/après la modification de la loi de 1997 nombre de requêtes et de dossiers traités par an (comparaison diachronique de l’arriéré) analyse de données secondaires (rapport Bureau ABC et rapport d’activité de la Commission d’aide aux victimes)

6.7. SOURCES DE L’ÉTUDE DE CAS

257 Cour des comptes, L’aide financière de l’État aux victimes d’actes intentionnels de violence. Publication spéciale transmise par la Cour des comptes à la Chambre des représentants, Bruxelles, septembre 2000,63 p.

Entretiens :

258 Koen d’Daenens : conseiller au cabinet du ministre de la Justice (par téléphone le 27 janvier 2002).

259 Fred Erdman : président de la commission Justice de la Chambre (7 novembre 2001).

260 Alain Trosch, Michel Ketels et Pierre Joly : premier auditeur directeur, premier auditeur réviseur et auditeur à la Cour des comptes (7 novembre 2001).

261 Caroline Delesie : présidente de la Commission d’aide aux victimes d’actes intentionnels de violence (9 janvier 2002).

Documents légaux et réglementaires :

262 Loi du 1^er août 1985 portant des mesures fiscales et autres, Moniteur belge, 6 août 1985, modifiée par les lois des 23 juillet 1991 (Moniteur belge, 24 août 1991), 24 décembre 1993 (Moniteur belge, 31 décembre 1993), 17 et 18 février 1997 (Moniteur belge, 11 septembre 1997) et 8 juin 1998 (Moniteur belge, 31 juillet 1998).

263 Loi du 10 mars 1998 modifiant la loi du 29 octobre 1846 organique de la Cour des comptes, Moniteur belge, 11 avril 1998.

264 Arrêté royal du 18 décembre 1986 relatif à la Commission pour l'aide aux victimes d'actes intentionnels de violence, Moniteur belge, 20 février 1987, modifié par l’arrêté royal du 18 mai 1998 (MB 19 juin 1998).

265 Arrêté royal du 11 septembre 1987 portant approbation du règlement d'ordre intérieur de la Commission pour l'aide aux victimes d'actes intentionnels de violence, instituée par l'article 30 de la loi du 1^er août 1985 portant des mesures fiscales et autres, Moniteur belge, 26 septembre 1987.

266 Arrêté royal du 29 juillet 1988 déterminant le montant des jetons de présence qui peuvent être alloués au président, au vice-président et aux membres de la Commission pour l’aide aux victimes d'actes intentionnels de violence, Moniteur belge, 11 août 1988, abrogé par l’arrêté royal du 26 avril 1999 (Moniteur belge, 20 mai 1999).

Documents parlementaires :

267 « Liste des rapports, bilans et comptes transmis à la Chambre en vertu de dispositions légales. Application de l’article 97 du règlement de la Chambre », Chambre, Doc. parl., 50 0012/002,26 octobre 2000.

268 Jean-Pierre Malmendier, Proposition de loi modifiant les articles 36 et 38 de la loi du 1^er août 1985 portant des mesures fiscales et autres en ce qui concerne l'aide aux victimes d'actes intentionnels de violence, Sénat (2000-2001), 29 juin 2001.