1La littérature relative à l’évaluation des politiques publiques présente généralement le Canada comme un précurseur en la matière. Il est vrai qu’il appartient, selon Hans-Ulrich Derlien, à la seconde vague de pays dans lesquels l’évaluation s’est développée [3], que de nombreux débats entourent le développement de cette pratique et qu’une comparaison internationale qualifie ce pays de pionnier, car il se caractérise par des degrés élevés de maturité et d’institutionnalisation de la pratique [4]. En s’appuyant sur ces constats positifs, l’objet de cette présentation est d’affiner, mais également de nuancer, ce portait en s’attardant sur le processus d’institutionnalisation et sur l’enseignement des exercices évaluatifs réalisés dans ce pays depuis une trentaine d’années [5].

2Ce texte se structure en deux parties. La première section retrace les grandes étapes de l’histoire de l’évaluation canadienne en s’attachant à mettre en lumière les aménagements apportés aux finalités et ambitions attribuées à la pratique évaluative. La seconde partie met l’accent sur les principales caractéristiques de l’évaluation canadienne et cherche à en identifier les spécificités en comparaison avec la situation observée en Europe [6], et plus particulièrement en France. La confrontation au cas français est intéressante en raison des similarités entre ces pays en termes d’institutionnalisation de la pratique. En effet, les indices d’institutionnalisation et de maturité de la pratique sont également élevés dans le cas de la France et les dispositifs institutionnels érigés depuis une quinzaine d’années ont eux aussi connu de profonds réaménagements [7]. Par contre, la finalité de l’évaluation est sensiblement différente comme nous allons le voir dans cet article.

3En préambule, il est utile de nous attarder brièvement sur la définition de l’évaluation, c’est-à-dire d’un instrument de gestion de l’action publique qui consiste à mesurer les effets propres d’un programme et, en fonction de critères bien définis (pertinence, efficacité, efficience, économie), à porter un jugement de valeur sur ces effets, qu’ils soient voulus ou pervers, directs ou indirects, induits à court ou à long terme [8]. Concrètement, cette ambition se traduit par une diversité de pratiques que l’on peut regrouper en deux catégories. La première est un ensemble « formalisé et assez normé » qui se matérialise au travers d’un dispositif institutionnel [9] animé par une communauté d’évaluateurs (commanditaires, évaluateurs, parties prenantes, société d’évaluation nationales ou régionales). La seconde est un ensemble plus « diffus et éparpillé » qui rythme la vie politico-administrative et qui s’incarne dans une multitudes d’instances qui alimentent le débat public et éclairent la formation d’un jugement de valeur sur la conduite de l’action publique. Cette dernière catégorie rassemble des initiatives entreprises par les comités parlementaires, les instances de vérification (ex. Vérificateur général, vérificateur interne) ou les organes spécialisés tels que le Commissaire aux langues officielles ou le Bureau du commissaire à l’éthique [10]. L’objet de cet article porte principalement sur la première catégorie même si, comme nous allons le voir, les activités de la seconde s’apparentent, à certains moments, à de l’évaluation et qu’elles encouragent le développement, les évolutions et les aménagements du dispositif institutionnel canadien d’évaluation.

UN PROCESSUS D’INSTITUTIONNALISATION CONTINU ET FLUCTUANT

4La principale caractéristique du processus d’institutionnalisation de l’évaluation canadienne est la recherche constante de la qualité et de l’utilité des exercices réalisés. Dans cette section, nous présentons un aperçu récapitulatif des principales étapes de ce mouvement.

5Certains auteurs font remonter les origines de l’évaluation des politiques publiques à la fin du XIX^ème siècle ou au début du XX^ème et plus particulièrement à l’adoption de la Loi du revenu consolidé et de la vérification (1931) qui normalisait la comptabilité en prévoyant un système d’autorisation des dépenses publiques [11]. De notre point de vue, ce type de réglementation, centrée sur le contrôle, peut difficilement être considérée comme constitutive d’un processus évaluatif [12] qui voit le jour au cours des années soixante et soixante-dix. La circulaire du Conseil du Trésor n^o 1977-47, intitulée Évaluation des programmes effectuée par les ministères et organismes, est traditionnellement présentée comme l’acte de naissance de l’évaluation au niveau fédéral. Préalablement à sa présentation, nous souhaitons relater les événements qui ont contribué à son adoption et qui permettent de comprendre les orientations qui seront empruntées au moment d’institutionnaliser la pratique [13].

6Comme nous l’avons démontré dans d’autres recherches sur l’institutionnalisation de l’évaluation [14], le développement de cette pratique bénéficie du concours de porteurs de projet qui s’impliquent dans sa promotion au sein de leurs organisations et parfois même à l’extérieur de celles-ci. En nous attardant sur ces « soutiers de l’évaluation » [15], nous ne cherchons pas à brosser un portrait héroïque de leur épopée mais tentons plutôt de comprendre leurs motivations et les moyens qu’ils déploient pour développer le recours à l’évaluation. En effet, comme pour bon nombre de politiques publiques, la manière dont le problème est construit affecte ensuite les solutions qui sont proposées et retenues. Parmi les entrepreneurs canadiens, Maxwell Henderson est sans conteste celui qui a joué un rôle déterminant. En 1960, il devient Vérificateur général du Canada, c’est-à-dire l’agent du Parlement en charge de l’inspection des dépenses gouvernementales [16]. En introduisant, dans les rapports annuels, ses propres commentaires et critiques sur la conduite de la gestion publique, il modifie les habitudes prises par ses prédécesseurs. Considérée comme une extension des compétences du Vérificateur général, cette initiative induit une triple conséquence. Elle attire l’attention des médias et popularise le travail du Vérificateur général, elle oriente l’évaluation, alors balbutiante, sur la voie de la recherche de la performance et surtout elle conduit le gouvernement libéral de Pierre Eliott Trudeau à inscrire à l’agenda politique la question des moyens de contrôle et de vérification de l’action administrative [17]. Ainsi, à la demande du gouvernement, une Commission royale d’enquête sur l’organisation du gouvernement (Commission Glassco) étudie en détail la gestion de la fonction publique fédérale. Parmi les recommandations contenues dans le rapport final, publié en 1962, la Commission suggère d’accroître la décentralisation des ministères et de mettre en place un véritable système de reddition des comptes publics, c’est-à-dire qui ne se limite pas à une simple finalité de contrôle [18]. En effet, selon les membres de cette commission, la validation des dépenses gouvernementales ne repose pas uniquement sur leur légalité mais doit également prendre appui sur leur efficience et leur efficacité aux yeux de la population [19]. Ces conclusions alimentent les réflexions et quatre années plus tard, le Secrétariat du Conseil du Trésor considère qu’il est nécessaire de disposer d’instruments de suivi et d’évaluation des programmes et de leurs performances. La première réponse apportée aux travaux de cette commission est l’introduction, à la fin des années soixante, du Planning Programming Budgeting System (PPBS) [20]. En plus d’instaurer une modélisation de l’action gouvernementale, cette méthode budgétaire favorise le recrutement d’analystes qui observent l’action publique sous un angle plus managérial et propagent les germes de l’évaluation de programme au sein de l’appareil administratif.

7Malgré cette première réponse, les critiques à l’encontre de la gestion publique se poursuivent. Les années soixante-dix consacreront l’institutionnalisation organisationnelle et normative de l’évaluation de programme au niveau fédéral. Ceci fait suite à de nouvelles appréciations critiques sur les exercices de vérifications internes contenues dans le rapport annuel du Vérificateur général. Dans son document adressé au parlement en 1976, James McDonnell explique sa préoccupation de voir le parlement — et même le gouvernement — perdre ou être sur le point de perdre la maîtrise des comptes publics. Bref, il trouve la gestion et les contrôles financiers dans l’administration « dangereusement » insuffisants [21]. Selon lui, il est indispensable de mettre en place des indicateurs de performance en vue de mesurer l’efficacité des programmes. Comme c’est souvent le cas, les critiques formulées par le Vérificateur général produisent un électrochoc auprès des responsables politicoadministratifs et donnent lieu à des aménagements organisationnels et politiques. Ainsi, une Commission royale sur la gestion financière et l’imputabilité est mise sur pied (Commission Lambert) [22] et le secrétariat du Conseil du Trésor charge tous les ministères et organismes d’améliorer et de renforcer leurs démarches évaluatives tant du point de vue de la mise en œuvre, de l’allocation des ressources que de la mesure de la performance [23].

8En 1977, le gouvernement Trudeau modifie la loi sur le Vérificateur général en élargissant l’étendue de la vérification aux questions d’efficacité, d’économie et d’efficience (communément appelées les « 3E ») et augmente l’autonomie du Contrôleur général du gouvernement dont le bureau se compose de trois directions générales : l’élaboration des politiques, les méthodes de gestion et l’évaluation de programmes. Le Bureau du Contrôleur général a pour mission de « surveiller le perfectionnement des pratiques et des contrôles de gestion, y compris l’établissement de la fonction de l’évaluation de programme dans les ministères et organismes » [24]. Ces aménagements étaient d’autant plus nécessaires que les conclusions de la Commission Lambert dénoncaient un affaiblissement, voire une rupture, de la chaîne de reddition des comptes et recommandaient une amélioration du programme fédéral d’évaluation.

9C’est donc dans ce contexte, mais sans attendre le rapport final de la Commission Lambert, qui sera publié en 1979, qu’est adoptée, le 30 septembre 1977, la circulaire n^o 1977-47 du Conseil du Trésor, intitulée Évaluation des programmes effectuée par les ministères et organismes. À la lecture de ce document, il apparaît que l’évaluation doit poursuivre différentes finalités telles que faciliter l’affectation des ressources, conduire à l’amélioration du programme (atteinte des objectifs et rendement de l’administration) et accroître l’imputabilité. En un mot, l’évaluation est conçue comme une aide à la décision et à la gestion. Cette circulaire prescrit aux responsables administratifs de réaliser des évaluations périodiques suivant un cycle quinquennal [25], dignes de foi et pertinentes des programmes dont ils assurent la gestion et de communiquer, dans des délais raisonnables, les résultats aux niveaux appropriés. L’attention est placée sur l’objectivité des exercices qui est recherchée à travers la rédaction de cahiers des charges adéquats, la sélection d’évaluateurs indépendants du contexte évalué et l’élaboration d’une procédure de suivi appropriée [26].

10Les principaux acteurs chargés de la mise en œuvre de cette nouvelle politique ont des rôles relativement bien délimités. Il y a tout d’abord, et bien évidemment, les hauts fonctionnaires des ministères et organismes (sous-ministres) qui doivent développer les structures adéquates en fonction de leur administration et alimenter le cycle évaluatif par des commandes mais également l’utilisation des rapports déposés. D’un point de vue organisationnel, signalons que cette politique encourage la création d’unités internes responsables de la gestion du processus évaluatif. Le Bureau du Vérificateur général du Canada — et plus particulièrement sa division d’évaluation de programme — s’assure de l’application de la politique au sein de l’appareil administratif et veille à la promotion de l’évaluation en général et des bonnes pratiques en particulier. En publiant, en 1981, le Guide sur la fonction de l’évaluation de programme et les Principes pour l’évaluation des programmes par les ministères et organismes fédéraux [27], le Bureau du Vérificateur général établit les lignes directrices devant s’appliquer en la matière [28]. Ce document contient un cadre qui tend à harmoniser le développement de la pratique à un moment où la formalisation de l’évaluation était encore embryonnaire [29]. Le Vérificateur général peut également s’attarder sur la qualité des évaluations réalisées par les départements et formuler des recommandations ou des conseils pour améliorer la pratique. Le Contrôleur général est quant à lui chargé de vérifier les compétences et les capacités des unités internes ainsi que la qualité des exercices accomplis. Il publie régulièrement des rapports sur cette question ou intègre des constations sur cet enjeu dans son rapport annuel [30]. Le processus de gestion budgétaire s’enrichit également des évaluations réalisées. Ainsi, il est demandé aux départements de transmettre au Conseil du Trésor les planifications annuelles ainsi que les résumés des exercices finalisés. De plus, sans bénéficier d’un pouvoir contraignant très fort, puisque le texte ne prévoit pas de sanction en cas de non-réalisation d’évaluation, le Conseil du Trésor encourage l’essor de la pratique en conditionnant les demandes de nouvelles enveloppes budgétaires à la présentation d’éléments sur le moment et la manière dont le nouveau programme ou le programme refinancé sera évalué même si les résultats des évaluations ne lui sont pas obligatoirement transmises [31]. Il est intéressant de constater que parmi tous ces acteurs, seuls les sous-ministres et leurs unités d’évaluation interne sont véritablement en charge de la gestion du cycle évaluatif qu’ils financent puisqu’ils sont habilités à déterminer ce qui doit faire l’objet d’une évaluation ainsi que le moment de sa réalisation [32] tandis que les autres intervenants exercent un contrôle sur les activités de ces derniers.

11Rappelons que cette politique évaluative est mise en place concomitamment à la crise économique, du début des années quatre-vingt, qui entraîne de nombreuses restrictions et suppressions de programmes [33]. Les initiateurs de cette politique considèrent l’évaluation comme un moyen de transmettre au Parlement une information sur les résultats des programmes de sorte que les parlementaires sont en mesure de réduire adéquatement les dépenses publiques [34]. C’est sans doute pour cette raison que les méthodes d’évaluation les plus employées sont de type coûts-avantages, coûts-efficacité ou « value for money ». Toutefois, au milieu des années quatre-vingt, la Commission d’études Nielsen qui examine les programmes [35] du point de vue de leur pertinence, de leur rendement et de leur efficacité conclut que les décideurs ont appliqué les mesures de compressions budgétaires de façon générale — voire aléatoire — sans tenir compte des détails de chaque programme puisqu’ils ne disposaient pas d’informations spécifiques sur le rendement de leurs activités [36]. La Commission estime que les dépenses gouvernementales sont fondées sur un principe de financement (Universal subsidy phenomenon) d’activités plutôt qu’orientées vers les résultats. Selon le rapport final de cette Commission, les évaluations de programmes sont inutiles et inadéquates car produites d’une manière routinière pour une (sous-)utilisation interne en se concentrant sur les effets des programmes sans s’attarder suffisamment sur leur fondement et leur raison d’être, c’est-à-dire leur pertinence ou leur opportunité [37]. Les conclusions de cette étude ont fait l’objet de vives critiques médiatiques et parlementaires qui ont forcé le gouvernement conservateur à prendre ses distances vis-à-vis de cet exercice. Dans les faits, cette entreprise n’a pas eu d’impacts directs sur la conduite de l’action publique. Toutefois, en alimentant le débat sur la responsabilité organisationnelle et individuelle des agents publics, les travaux de la Commission Nielsen représentent un jalon en matière d’analyse des programmes gouvernementaux.

12En 1989, le gouvernement conservateur de Martin Brian Mulroney, qui avait précédemment fait campagne contre la bureaucratie en la menaçant de « lui donner des avis de congédiements et des chaussures de course » [38], initie une large réflexion sur l’avenir de la fonction publique fédérale avec le lancement de l’opération de réforme Fonction publique 2000 dont l’objectif est le renouvellement de la fonction publique du Canada tant auprès des citoyens, en adoptant une gestion axée sur les usagers-clients, que des fonctionnaires qui sont amenés à changer la perception qu’ils ont d’eux-mêmes et de leur travail. À cet égard, l’évaluation est considérée comme une pratique utile aux gestionnaires publics. Ainsi, en 1991, le Bureau du Contrôleur général édicte un nouveau plan gouvernemental intitulé Aborder les années 90 : Perspectives gouvernementales pour l’évaluation de programmes qui stipule que l’évaluation doit être plus productive. Pour cela, elle doit s’adapter davantage pour répondre aux exigences de sa clientèle en étant principalement orientée sur une gestion courante plutôt que sur un examen périodique à visée rétrospective. Comme par le passé, l’attention est portée sur la mesure du rendement à laquelle s’ajoute l’étude de la raison d’être des programmes et une réflexion sur la définition d’alternatives, c’est-à-dire des programmes de rechange rentables.

13Un peu plus tard, l’examen des programmes (1994-1996), commandé par le gouvernement libéral, est d’une toute autre envergure que l’exercice de la Commission Nielsen puisqu’il vise un double objectif : restaurer la confiance des citoyens envers l’administration canadienne et réduire la dette publique au moyen d’une compression des dépenses gouvernementales [39]. Pour y parvenir, le gouvernement a constitué un comité ad hoc, composé de fonctionnaires et de politiciens fédéraux, chargé d’examiner les programmes à l’aune de six critères : « le programme étudié sert-il encore l’intérêt public ?; est-il légitime et indispensable que ce soit le gouvernement qui l’exécute ?; le rôle du gouvernement central est-il justifié ou le programme doit-il être repensé en fonction des provinces ?; le gouvernement devrait-il remplir son rôle de concert avec le secteur privé ou le secteur bénévole ?; comment pourrait-on restructurer le programme en question pour le rendre plus efficace ?; est-il abordable au regard de la capacité financière du gouvernement ? » [40]. À l’issue de cet exercice, de nombreux programmes sont abolis ou réformés. Ainsi, les objectifs de réduction du déficit public ont été atteints et même dépassés. Les chercheurs qui ont étudié le succès de cet examen des programmes considèrent que l’internalisation du processus [41], l’implication marquée des politiciens et la liaison étroite avec le budget ont permis de surmonter les écueils des exercices entrepris précédemment [42].

14Les changements apportés à l’évaluation au cours de ces entreprises sont loin d’être anodins puisqu’ils en transforment radicalement les finalités. La vision statisticienne et comptable qui prédominait jusque là est abandonnée au profit d’une évaluation qui met l’accent sur les buts et les objectifs poursuivis par la mise en œuvre de programmes publics. Dans la pratique, il s’agit principalement du passage d’une finalité centrée sur le contrôle à une évaluation de type managériale et non pas réflexive [43] comme le laisse à penser les intentions affichées. Cette perspective managériale caractérise encore la politique actuellement en vigueur au Canada. Cette dernière, adoptée en 2001, s’accompagne de nouvelles dispositions qui tendent à modifier l’architecture institutionnelle du dispositif existant. Comme c’était déjà le cas précédemment, une attention particulière est accordée au renforcement des capacités administratives au sein des ministères et organismes. De plus, cette politique s’accompagne de la création d’un Centre d’excellence en évaluation auprès du Secrétariat du Conseil du Trésor qui a pour mission d’offrir une assistance aux unités internes d’évaluation, d’orienter, de dynamiser [44] mais également de surveiller la mise en œuvre de la nouvelle politique évaluative. Durant ses premières années d’existence, le centre dispose d’un budget annuel d’un million et demi de dollars. Le véritable travail évaluatif est donc réalisé par les unités internes d’évaluation qui regroupent un peu moins de 300 évaluateurs pour l’ensemble du gouvernement fédéral. La figure suivante présente l’évolution des moyens financiers alloués à cette pratique au cours des vingt dernières années. En moyenne, plus de trente millions de dollars sont consacrés annuellement à l’évaluation.

Figure 1

Dépenses fédérales consacrées à l’évaluation [45]

Figure 1 : Dépenses fédérales consacrées à l’évaluation45 60 000 000 $ 50 000 000 $ 40 000 000 $ 30 000 000 $ 20 000 000 $ 10 000 000 $ 0 $ 1983-1984 1989-19 90 1991-1992 2 004-2005 Dépe nse s c oura nte s ($ ) $ con stant (200 5)

Dépenses fédérales consacrées à l’évaluation [45]

15Ce schéma illustre l’attention particulière qui est consacrée à l’évaluation depuis quelques années après un bref désintérêt à la fin des années quatre-vingt. Cette évolution est intéressante à constater puisqu’elle se produit dans une perspective de responsabilisation accrue des décideurs publics et non plus dans un climat d’austérité financière comme ce fut le cas précédemment [46].

16Pour conclure la présentation du paysage institutionnel canadien, mentionnons qu’au fil du temps, la culture de l’évaluation s’est propagée au sein de l’administration fédérale et que l’objectif général de reddition de comptes demeure une priorité du gouvernement comme en témoigne quelques exemples récents tels que le rétablissement de la fonction de contrôleur général du Canada auprès du Secrétariat du Conseil du Trésor (2003) ou l’adoption de la loi sur la responsabilité (2006).

LES SPÉCIFICITÉS DU DISPOSITIF CANADIEN

17Le dispositif d’évaluation canadien se distingue, à deux niveaux, de ceux érigés en Europe, depuis une vingtaine d’années. Tout d’abord, la lecture des différentes étapes constitutives de l’histoire du développement de l’évaluation montre qu’il existe au Canada un souci permanent, tant du gouvernement que du parlement, de disposer d’une information de qualité lors du processus décisionnel et de mise en œuvre des programmes. Les différentes adaptations apportées au dispositif institutionnel résultent, dans la plupart des cas, d’une émulation par l’insatisfaction comme en témoignent les nombreuses critiques portées à l’encontre du dispositif organisationnel et réglementaire en place. Ensuite, nous constatons que le modèle canadien est constamment et très fortement structuré autour d’une internalisation des compétences évaluatives.

La recherche de la qualité : une préoccupation constante

24Nous avons vu que la qualité de l’évaluation représente le principal facteur concourant à réaménager le dispositif institutionnel d’évaluation au Canada. Régulièrement, des états des lieux s’interrogent sur la qualité des centaines de commandes passées par les différents ministères et organismes. Dans cette section, nous présentons trois exercices différents qui offrent une perspective complémentaire sur la qualité de l’évaluation au Canada. Le premier revient sur une méta-évaluation réalisée au début des années quatre-vingt dix et dont les résultats peuvent être mis en relation avec ceux du dernier exercice réalisé par le Centre d’excellence en évaluation du Secrétariat du Conseil du Trésor. Entre les deux, nous présentons les conclusions d’un forum organisé, il y a deux ans, par la Société canadienne d’évaluation.

25Au début des années quatre-vingt-dix, le Bureau du Contrôleur général s’attarde sur trente-sept rapports d’évaluation rédigés par des évaluateurs chevronnés, entre 1988 et 1990, et qui sont considérés de très bonne qualité. L’analyse détaillée de ces évaluations laisse apparaître plusieurs lacunes de taille puisqu’elles ne prennent pas suffisamment en compte la raison d’être des politiques et que les recommandations, rassemblées dans une section « pistes à explorer » sont, la plupart du temps, trop sibyllines. Les raisons explicatives de ce constat résident dans la faiblesse des demandes provenant des hiérarchies ministérielles. À cet égard, François Lacasse résume très bien le dilemme auxquels sont confrontés les commanditaires : « [pour] que l’évaluation puisse générer une solution de rechange au programme permettant à la fois de conserver les fonds du ministère, de ne pas générer de coûts importants et imprévus (scandale, démoralisation, mobilisation de la clientèle, etc.) et de mieux satisfaire les mêmes personnes ou groupe qu’on est chargé de servir. Évidemment, les hauts fonctionnaires sont tout sauf naïfs : avant de consacrer des ressources à une évaluation, ils exigent d’en prévoir les conclusions » ainsi, « certains des principaux espoirs fondés sur la victoire institutionnelle de l’évaluation ont été phagocytés par l’immobilisme ministériel et le carriérisme des fonctionnaires » [60]. La conclusion de cet auteur est très intéressante puisqu’elle peut s’appliquer à de nombreux pays, y compris la France, où une énergie considérable est dépensée dans les réflexions et les luttes autour de l’architecture institutionnelle des dispositifs d’évaluation plutôt que sur des avancées théoriques ou méthodologiques [61].

26En 2003, lors de la conférence annuelle de la Société canadienne d’évaluation de programme, un atelier a réuni une douzaine de praticiens (fonctionnaires, universitaires et consultants privés). Ceux-ci ont présenté la situation telle qu’ils l’observaient concrètement à leur niveau de pouvoir et/ou dans leur ministère. Ils ont mis l’accent sur les forces, les faiblesses, les opportunités et les menaces qui pèsent sur le développement de la pratique. La multiplication des points de vue permet d’esquisser un portrait détaillé de l’évaluation au Canada [62]. En résumé, chaque observateur s’accorde à reconnaître que les compétences méthodologiques sur lesquelles s’appuient les évaluateurs tant en ce qui concerne la récolte des données que leur traitement ultérieur représentent la principale force dans la conduite de l’évaluation. Dotés d’un sens pratique et d’une bonne dose de pragmatisme, les « évaluateurs ne sont pas des théoriciens mais bien des observateurs de la réalité qui ont l’habitude d’affronter les compromis imposés par les incertitudes de la vie réelle et qui ont à cœur de fournir une information pertinente » [63]. Cependant, le pragmatisme devient une faiblesse lorsque les évaluateurs renoncent à leurs spécificités ancrées dans la diversité méthodologique en se restreignant à la mesure du rendement ou au simple suivi de programme. La principale faiblesse mise en évidence au sein de la communauté des évaluateurs est l’absence d’une identité propre qui compromet la pérennité de l’évaluation de programme [64]. Celle-ci apparaît d’autant plus menacée que l’évaluation est perçue comme un exercice ponctuel — voire ritualisé — dont le suivi des recommandations est lacunaire et qui semble déconnecté des besoins spécifiques et concrets des gestionnaires, c’est-à-dire les principaux commanditaires d’évaluation au Canada [65].

27Récemment, le Centre d’excellence en évaluation du Secrétariat du Conseil du Trésor a réalisé un Examen de la qualité des évaluations dans les ministères et les organismes. Considérant que la qualité des évaluations est primordiale, un groupe de travail s’est attardé sur une centaine d’évaluations réalisées au niveau fédéral depuis l’adoption, en 2001, de la nouvelle politique d’évaluation. De cette étude, il ressort que la qualité des évaluations est globalement acceptable (23 % étaient tout de même jugées inadéquates) et que les rapport sont bien rédigés. En termes d’orientation de l’analyse, la majorité des évaluations se concentrent sur la réussite (94 %), la pertinence (74 %) et la mise en œuvre (72 %). Par contre, les questions de rentabilité (44 %) et les pratiques de gestion (47 %) sont plus rarement au centre des travaux. Les principales forces et faiblesses des évaluations sont résumées dans le tableau ci-dessous.

Tableau 1

Les forces et faiblesses [66]

Tableau 1 : Les forces et faiblesses66 Respect Plus Critères des critères Inadéquat Adéquat qu’adéquat (%) (%) (%) (%) Décrire le programme 98 16 35 49 Inclure des sources de données multiples 97 s.o. s.o. s.o. Présenter des recommandations qui découlent logiquement des 94 15 53 32 constations et des conclusions Décrire les bénéficiaires et les intéressés 93 14 61 25 Décrire l’objet de l’évaluation 91 16 52 32 Décrire les éléments et les questions d’évaluation 89 35 45 20

Les forces et faiblesses [66]

Respect Plus Critères des critères Inadéquat Adéquat qu’adéquat (%) (%) (%) (%) Décrire les résultats du programme et l’attribution du programme par 87 26 37 37 rapport à la réussite Conception convenable de la méthodologie 72 13 45 42 Examiner l’attribution des ressources 71 23 37 40 Équilibrer convenablement l’aspect qualitatif et quantitatif 65 s.o. s.o. s.o. Examiner d’autres facteurs qui contribuent aux résultats 61 14 50 36 Décrire le moment choisi pour l’évaluation 58 s.o. s.o. s.o. Contenir des données pour démontrer le besoin réel 57 15 45 40 (pertinence) Décrire la signification de l’évaluation 56 11 59 30 Décrire les méthodologies et les conceptions appliquées 56 46 32 21 Contenir des données pour démontrer qu’il n’y a pas double 34 18 54 28 emploi Inclure les perspectives des non intéressés 26 s.o. s.o. s.o. Examiner les résultats fortuits 25 14 60 21 Inclure une recommandation relative au financement global 25 s.o. s.o. s.o.

28À la lecture des résultats de ces différents exercices, nous constatons l’existence d’une critique permanente du dispositif institutionnel canadien. Celle-ci découle principalement de l’examen des évaluations de programmes réalisées dans les différents ministères et organismes. Les conclusions, parfois très dures, formulées à l’égard de la structure institutionnelle, des règles qui encadrent la pratique ou des évaluations — et par la même occasion des évaluateurs — ne conduisent cependant pas à une mise à l’écart temporaire ou à un rejet définitif de cet instrument de pilotage de l’action publique. Nous sommes confronté à une situation dans laquelle l’existence de la fonction évaluative, contrairement à d’autres techniques de gestion, n’est pas remise en question en tant que telle. En effet, la majorité des acteurs s’accordent sur le fait que l’évaluation de programme doit s’adapter pour répondre aux multiples attentes que suscite cet exercice. Ainsi, l’évaluation de programme au Canada évolue d’une manière incrémentale au fil des débats sans cesse renouvelés sur l’évaluation de la qualité.

29Une des particularités du dispositif institutionnel d’évaluation canadien que nous avons présenté est qu’il s’inscrit dans une vision globale de gestion et de responsabilisation axée sur les résultats, c’est-à-dire qu’il concourt à une amélioration de la gouvernance. Dans cette perspective, l’évaluation est associée aux mesures de rendement des résultats prévus et les évaluateurs sont amenés à collaborer avec les unités de suivi (monitoring) et d’audit interne au sein des différentes administrations [67]. Ainsi, l’ambition de cette politique est de s’assurer que l’évaluation, au moment opportun, « favorise la production de renseignements précis, objectifs et étayés de preuves pour aider les gestionnaires à prendre plus efficacement des décisions éclairées sur leurs politiques, programmes et initiatives afin de fournir des résultats aux Canadiens et aux Canadiennes ». Les bénéficiaires sont principalement les gestionnaires des programmes qui sont amenés à fonder leurs décisions sur les renseignements fournis par les évaluations. Par la même occasion, les évaluations canadiennes peuvent être utilisées pour légitimer la suppression, l’allocation ou la réallocation des moyens dévolus à un programme et sont donc également utilisées par les organismes centraux du gouvernement. En résumé, l’évaluation peut apparaître comme le principal moteur du changement opérationnel et ne participe pas (ou très peu) à la transparence administrative puisque la plupart des rapports ne sont pas destinés à être rendus publics. C’est à cet égard que l’évaluation canadienne se distingue le plus nettement du modèle français. En effet, au Canada, le paradigme démocratique, pluraliste et/ou participatif qui cherche à intégrer le point de vue des parties prenantes (stakeholders) à l’évaluation est moins développé. Au Canada, l’approche managériale prime sur l’approche démocratique [68] que l’on retrouve en France depuis le début des années quatre-vingt-dix sans susciter les controverses françaises qui sont parfois présentées comme un frein aux progrès et à la pérennisation de l’évaluation au sein de l’administration centrale dans ce pays. Toutefois, il est intéressant de constater que dans les deux cas, l’évaluation ambitionne de concourir à une responsabilisation des gestionnaires publics même si les moyens employés diffèrent quelque peu. En faisant de la transparence et de la participation les outils privilégiés de la reddition de comptes, le dispositif français vise à informer les citoyens des résultats de la gestion publique et privilégie donc une voie directe centrée sur le dévoilement des rouages administratifs. Au Canada, c’est au contraire d’une manière indirecte que les citoyens sont informés de la performance des administrations puisque la gestion par la performance ne nécessite pas systématiquement une implication citoyenne à la démarche [69]. Étant donné qu’il est communément admis que les gestionnaires sont peu enclins à fournir des informations qui peuvent conduire à une critique publique de leur action [70], il est préférable d’atténuer le risque d’une non implication, voire de tentatives de blocage, à la démarche évaluative. C’est pour surmonter cette « résistance des évalués » [71] que le dispositif institutionnel canadien privilégie de réaliser des évaluations à la demande et à l’attention des gestionnaires publics. Ces exercices visent, en fin de parcours, à améliorer la qualité des services rendus au public sans que celui-ci ne soit obligatoirement informé de l’ensemble du fonctionnement de la machine administrative.

30La plupart des observateurs de la situation canadienne s’accordent sur le fait que le modèle d’institutionnalisation retenu permet un développement de la pratique dans la plupart des ministères et organismes au niveau fédéral. Toutefois, la mise en œuvre de cette politique d’évaluation repose sur deux principes qui peuvent en affaiblir la portée : la flexibilité afin de permettre à chaque ministère et organisme de prendre en compte ses particularismes et la persuasion puisqu’il n’y a pas de sanction prévue en cas de non application de la politique. En conséquence, l’obligation d’évaluer repose sur la sensibilisation des gestionnaires et les exercices réalisés n’ont pas tous les mêmes ambitions ni les mêmes qualités d’autant plus qu’ils dépendent très souvent des compétences des membres du personnel de l’organisation [72]. Il s’agit des principaux défis que la communauté des évaluateurs canadiens devra relever au cours des prochaines années.