1 – Naissance des approches de type Evidence-based

3Les approches en termes d’Evidence-based decision (EBD), déclinées plus tard sous la forme d’Evidence-based policy (EBP), sont nées dans le secteurmédical. En 1992, un texte fondateur publié par une trentaine de chercheurs annonçait l’avènement d’un nouveau paradigme : l’ « Evidence-based medicine » (EBM working group, 1992). En fait, il s’agissait plutôt d’un plaidoyer pour une pratique médicale où les cliniciens feraient « un usage consciencieux, explicite et judicieux des connaissances scientifiques disponibles pour décider des soins à donner à leurs patients » (Sackett et alii, 1996).

4Cette formulation peut sembler triviale. Toutefois, des enquêtes réalisées au moment de l’émergence de l’EBM auprès de médecins généralistes ont montré que beaucoup d’entre eux méconnaissaient les avancées scientifiques de leur domaine et fondaient leur pratique sur des routines reposant souvent sur des connaissances obsolètes peu ou pas mises à jour depuis leur formation universitaire. Les patients n’avaient donc pas la garantie de profiter du traitement le plus adéquat, ni de bénéficier d’une information complète sur les solutions thérapeutiques disponibles et sur leur efficacité. Mais les médecins interrogés ont fait valoir qu’il leur était impossible de suivre une littérature scientifique toujours plus foisonnante, d’en faire des synthèses, d’en actualiser les critiques et d’en évaluer l’efficacité pour la pratique clinique.

5Prenant acte de cette transformation profonde du régime d’accès aux connaissances, les instigateurs du mouvement EBM ont préconisé plusieurs types d’actions, notamment :

6

• faire évoluer la formation des médecins en familiarisant les étudiants en médecine avec la recherche et la production scientifique et en améliorant la formation continue ;
• produire des analyses synthétiques sur l’état des connaissances pour des questions précises, à destination des médecins, adaptées à leurs conditions d’exercice et à la pratique clinique (par exemple réalisation de méta-analyses régulièrement actualisées sur l’efficacité des traitements pour des pathologies courantes, avec diffusion en ligne en libre accès) ;
• rendre explicites les critères de qualité des « preuves » employés par les chercheurs et les médecins pour juger de l’efficacité des traitements, de la fiabilité des protocoles de diagnostic, etc. ;
• mettre en place une organisation collective facilitant l’accès des médecins aux connaissances synthétiques ainsi produites pour qu’ils puissent les utiliser dans leur pratique quotidienne.

7L’EBM a suscité de nombreux débats. Après la publication de l’article du groupe Evidence-based medicine (idem, 1992) qui appelait à une véritable rupture épistémologique pour la pratique médicale, les échanges ont parfois pris la forme d’affrontements entre deux thèses également provocatrices, les uns dénonçant une médecine trop prompte à réduire la variabilité des situations rencontrées en voulant à tout prix la ranger dans les cases étroites de faits « scientifiquement établis », et qui, à force de viser une science universelle, en oublierait le patient singulier, les autres mettant à l’index une médecine trop persuadée de la supériorité de l’expérience clinique sur toute autre forme deproduction de connaissances et qui, à force de vouloir rester « un art », négligerait de réactualiser ses méthodes et ses traitements.

8Au-delà de cette polémique, un véritable débat de fond s’est instauré sur la place qu’il convient d’accorder aux connaissances scientifiques dans la pratique et sur la façon dont on peut en évaluer la qualité. On observe a posteriori qu’un accord assez large s’est dégagé sur la nécessité de développer des instruments permettant une médecine attentive aux aspects cliniques mais valorisant au mieux l’évolution des connaissances pour asseoir la décision thérapeutique sur un éventail de possibilités toujours actualisé, expliciter les avantages de solutions alternatives et, ce faisant, permettre aussi au patient de s’impliquer davantage dans le choix d’un traitement.

9À la fin des années 1990, le mouvement EBM s’est développé à travers le monde, entraînant la construction d’un ensemble de méthodes et d’organisations collectives ad hoc.

2 – Le développement des approches en terme d’Evidence-based decision

10Ce développement s’est accompagné de la construction d’une véritable « boîte à outils » composée de divers éléments, notamment :

11

• des méthodes destinées à créer des états de l’art synthétiques pour l’action, visant à répondre à des questions pratiques spécifiques (par exemple concernant les traitements les plus efficaces pour une pathologie donnée : l’acupuncture est-elle efficace pour traiter la dépression ? Ou concernant des pratiques de soin : l’hospitalisation à domicile donne-t-elle de moins bons résultats qu’une hospitalisation traditionnelle  [14] ?). Ces connaissances synthétiques reposent à la fois sur des états de l’art systématiques réalisés selon des critères explicites et, lorsque cela est possible, sur des méta-analyses quantitatives qui proposent une réinterprétation globale de résultats portant sur différents échantillons de population ;
• une réflexion approfondie sur l’évaluation de la qualité des connaissances disponibles, leur caractère plus ou moins général, les preuves de leur corroboration aux faits et les principes de hiérarchisation de ces preuves ;
• des méthodes pour s’orienter dans la littérature scientifique (comment lire un article scientifique et juger de la qualité des preuves qu’il propose ?).

12Une partie de la boîte à outils est également destinée aux chercheurs pour qu’ils produisent des connaissances scientifiques plus facilement maniables dans la pratique ; par exemple, elle comprend des guides méthodologiques précisantex-ante les conditions que doit remplir une expérimentation ou la mise en œuvre d’une action pour que l’on puisse évaluer de façon rigoureuse ses effets ex-post.

13Ces différents éléments de méthode peuvent paraître familiers au chercheur. Mais cette familiarité est trompeuse. Ainsi, un « état de l’art systématique réalisé selon des critères explicites » répond à des normes méthodologiques précises qui en font un exercice assez particulier. Chaque étape de sa réalisation est guidée par une question de départ explicitement formulée par les praticiens qui, du point de vue de la recherche, peut paraître trop étroite. Par exemple, lorsqu’une question porte sur l’efficacité d’un traitement, on attend une réponse qui indique très précisément s’il existe des preuves que le traitement concerné marche ou non, qui précise comment ces preuves ont été établies et quel est leur degré de fiabilité ; le « pourquoi » de cette efficacité est alors provisoirement hors sujet  [15]. Les connaissances (dans les articles scientifiques notamment) sont examinées (et sélectionnées) selon des critères de qualité explicites qui découlent directement de cette volonté d’aider à une décision pratique (résultats fondés sur un contenu empirique, explicitation de leur domaine de validité, fiabilité des preuves par rapport au domaine d’action envisagé en fonction d’une grille explicite de hiérarchisation des preuves, etc.). L’état de l’art vise à faire le point des controverses sur la question posée et donne à voir explicitement l’univers de références sur lequel il s’appuie (bases de données, types de revues, procédures de recherche [mots clés, requête...]) et dont il est fait une exploration systématique.

14Nous sommes donc assez loin des pratiques courantes de réalisation des états de l’art à des fins de recherche qui, en tirant des fils à partir d’un ensemble de références connues (auteurs ou revues), visent à analyser les développements les plus marquants d’un programme de recherche ou d’une controverse mais peuvent répondre à plusieurs préoccupations simultanées (par exemple, recueillir des données factuelles sur un phénomène mais aussi repérer l’émergence de nouvelles pistes de recherche, etc.).

15Cette précision importe pour plusieurs raisons. D’abord, pour signaler que les recherches méthodologiques en cours autour des approches evidence-based ne sont pas un simple habillage de procédures qui seraient depuis longtemps connues et maîtrisées. Ensuite, parce que la simplicité des principes directeurs de l’approche ne doit pas masquer les difficultés auxquelles on se heurte dans leur mise en œuvre. Si l’on revient à l’exemple des états de l’art systématiques, une chose est de viser une analyse exhaustive de la littérature sur un sujet donné, une autre est d’y parvenir effectivement compte tenu du nombre et de l’hétérogénéité des productions scientifiques. Les chercheurs qui s’y essaient, y compris dans d’autres domaines que la médecine, observent qu’il faut plusieurs semaines pour préciser la question de départ et les critères de qualité qui seront retenus, établir des requêtes satisfaisantes, délimiter l’univers des documents à explorer et en tirer des conséquences sur les limites de validité de l’exercice. Tout cela avant d’obtenir plusieurs centaines ou milliers de références qu’il faut ensuite trier et analyser selon des critères de qualité hiérarchisés en fonction d’objectifs pratiques... Le coût d’un tel état de l’art est ainsi estimé à 35 000 euros en moyenne, mais certains très complets, réalisés par des centres spécialisés, peuvent atteindre 200 000 euros (Fox, 2005). Toutes choses impossibles à assumer dans un collectif restreint de chercheurs.

16C’est pourquoi des organisations collectives dotées de financements spécifiques, à l’interface entre recherche et décision (la décision du praticien et du patient en médecine, la décision politique, etc.) ont élaboré des outils partagés d’envergure (bases de données en ligne où ces documents sont accessibles aux praticiens, revues spécialisées en ligne, etc.) constamment actualisés. De plus, dans les facultés de médecine, on a mis en place des formations aux approches EBM (mise en perspective des outils statistiques, lectures critiques d’articles scientifiques, maîtrise de l’accès à l’information, formation à l’épistémologie).

17L’EBM a ainsi suscité une réflexion approfondie sur le rôle et les limites des connaissances scientifiques dans la décision, impliquant aussi bien les praticiens que des associations de patients et des chercheurs de différentes disciplines (médecins, biologistes, statisticiens, sociologues, économistes, philosophes des sciences...) (Fagot-Largeault, 2005). Peu à peu, les approches EBM se sont répandues dans tous les pays et, parallèlement, leurs principes ont été transposés à d’autres niveaux d’organisation et étendus à la gestion des systèmes de santé nationaux et internationaux. C’est ainsi que l’OMS se revendique aujourd’hui d’une approche en termes d’evidence-based policy.

3 – Des approches parfois invisibles dans les pays non anglophones

18Depuis la fin des années 1990, les réflexions des approches en termes d’evidence-based decision ont été reprises dans de nouveaux domaines d’intervention publique – éducation, justice, protection environnementale, politiques de développement, etc. – eux aussi confrontés à la transformation du régime d’accès aux connaissances  [16]. Elles ont aussi été mises en avant dans certaines instances gouvernementales, notamment le gouvernement travailliste de la fin des années 1990 au Royaume-Uni, suscitant des controverses extrêmement vives (Davies, Nutley, 2001). Toutefois, dans nombre de pays non anglophones, comme la France, les discussions sur ces approches sont ignorées ou occultées  [17]. En France, les recherches sur les relations entre science et décision publique sont en grande partie des travaux relevant de la sociologie des sciences. Elles accordent une place centrale à la question de la combinaison de connaissances savantes et profanes, à l’expertise et à la co-production de connaissances (Latour, 1991 ; Callon, 1986) ainsi qu’aux approches participatives (Pretty, 1995) et au « mode 2 » de production de connaissances (Gibbons et alii, 1994 ; Nowotny, Scott, Gibbons, 2003). Mais les réflexions pour favoriser l’accès direct des décideurs publics aux connaissances scientifiques ou concernant les approchesevidence-based restent limitées.

19Nous n’essaierons pas ici de rechercher toutes les raisons de cette situation, seules deux seront évoquées.

20La première concerne la difficulté de traduire le mot evidence de la notion d’Evidence-based policy. En français, plusieurs traductions insatisfaisantes de cette expression coexistent, avec des connotations différentes : « politique fondée sur les preuves » ou « politique fondée sur des données probantes », ou « politique fondée sur les niveaux de preuves », ou encore sur des « évidences factuelles ». Chacune de ces traductions met l’accent sur une préoccupation principale :

21

• « Preuve », « données probantes » pour signaler l’importance de disposer de connaissances fiables pour étayer les actions et garantir autant que possible leur efficacité au regard des objectifs poursuivis ;
• « Niveaux de preuve » pour souligner qu’il convient de hiérarchiser les connaissances disponibles ;
• « Évidences factuelles », « réseaux empiriques » pour rappeler que les « évidences/preuves » dont il s’agit ici sont fondées sur des données empiriques et corroborées par les faits.

22Lorsque cette expression est traduite en français, son extension est parfois brusquement réduite. Evidence-based policy peut être traduit dans le même texte de plusieurs façons différentes (par exemple IAASTD, 2008). Faute de connaître les débats et l’arsenal méthodologique qui accompagnent le développement des approches EBD, la traduction réduit la référence à une approche spécifique à un principe de sens commun  [18]. Le même malentendu peut s’installer dans des réunions regroupant francophones et anglophones : par exemple lors d’une discussion sur la mise en place d’une mesure agri-environnementale, des négociateurs anglophones déplorent qu’un autre pays fonde ses propositions sur des expertises qui ne sont pas pas evidence-based ; il est compris que le niveau des experts mobilisés est jugé insuffisant alors que la remarque portait sur les méthodes mises en œuvre pour instruire le contenu technique du dossier.

23Une deuxième source de malentendus à propos des réflexions sur l’Evidence-based policy vient de ce qu’elles ont parfois été purement et simplement assimilées à la défense d’un modèle normatif de décision politique ancré dans la théorie des choix rationnels, plus ou moins conforme à l’idéal type du « rational comprehensive model » décrit par Linblom (1959). Or, la situation est plus complexe. Ce qui est en jeu dans les débats est la possibilité pour les décideurs publics de faire l’usage le plus judicieux possible des connaissances disponibles, quelle que soit la place qu’ils comptent donner à ces connaissances dans leurs processus décisionnels. C’est ainsi qu’Omamo (2004) propose de parler d’Evidence-based practicepour décrire les moyens particuliers qui sont mis en œuvre pour faciliter l’accès à et l’usage maîtrisé des connaissances disponibles dans la décision publique, et estime que les réflexions sur ces pratiques – ou au moins une partie d’entre elles– sont d’une certaine façon orthogonale à celles sur les modèles de décision publiques (modèle rationnel, rationalité limitée, modèle incrémental, etc.) car des travaux conduits à partir de ces différentes écoles de pensée observent que la décision publique rencontre des problèmes nouveaux pour accéder aux connaissances disponibles et les utiliser, et préconisent la mobilisation d’outils evidence-based. Comme le souligne S. Nutley (2003), dans nombre de cas, les expressions « evidence-informed policy » ou « evidence-aware policy » seraient d’ailleurs plus adéquates pour désigner le champ de ces débats mais l’expression synthétique « evidence-based policy » s’est imposée.

24C’est pourquoi nous parlons ici d’approches « en termes d’evidence-based policy », dans un sens large, pour explorer les débats qui se déploient autour de cette notion, sans que cela renvoie à un modèle normatif de décision publique.

1 – Sur la recherche de connaissances validées et leur accessibilité

27Nous avons donc testé certains des outils construits et examinés dans les débats sur EBP en analysant la façon dont a été conçu le contenu technique de mesures d’intervention publique mettant en jeu à la fois le développement de l’agriculture et la protection de la biodiversité, en France, en Afrique du Sud et auBrésil  [20]. Des enquêtes, fondées sur des données déclaratives (n= 83), ont été réalisées auprès des personnes officiellement en charge de la rédaction de ces contenus techniques. Pour ces enquêtes, nous avons repris notamment les principes méthodologiques des approches EBD pour diagnostiquer les difficultés d’accès aux connaissances scientifiques. Nous avons ainsi distingué différents types de connaissances notamment : (i) les connaissances scientifiques (connaissances liées à une théorie, ayant des procédures et des critères de validation explicites et des résultats publiés acceptés par les pairs garantissant que les connaissances produites dépassent la subjectivité individuelle des chercheurs (Fagot-Largeault, 2002)), (ii) les connaissances traditionnelles (par ex. les savoirs naturalistes des agriculteurs), pour désigner tous types de connaissances acquises lors d’observations cumulatives, au fil de la pratique et des générations, par divers types d’acteurs, en dehors d’une procédure scientifique, et (iii) des connaissances gestionnaires issues de l’expérience de la mise en pratique (savoirs d’ingénieurs, de gestionnaires)  [21].

28Les résultats montrent que si une partie des personnes officiellement chargées de rédiger ce contenu technique n’ont pas tenté de rechercher des connaissances fiables pour informer leur décision, d’autres ont cherché à s’appuyer sur des connaissances établies scientifiquement, non pour justifier leurs décisions a posteriori, mais bien pour éclairer l’éventail des choix possibles, préciser le contenu technique de ces mesures et évaluer leur impact potentiel sur la protection de la biodiversité et/ou pour le fonctionnement des différents types d’exploitations agricoles concernés. Mais pour ces personnes, alors même qu’elles travaillent dans de grandes administrations, notamment les ministères, l’accès aux connaissances existantes reste difficile. Il y a d’abord des raisons matérielles, particulièrement marquantes en France où l’accès aux bases de données d’articles scientifiques est peu développé  [22]. Même lorsque des bases sont accessibles, très peu de personnes rencontrées ont le temps et les compétences  [23] nécessaires pour les exploiter. De plus, les personnes interrogées déclarent que souvent, l’absence de méthodes et de connaissances synthétiques adéquates  [24] interdit d’avoir une vision globale des connaissances existantes et de leur fiabilité pour étayer les actions envisagées.

29Autrement dit, à l’instar des médecins, les personnes chargées de concevoir la dimension technique de scénarii alternatifs ou de préciser le contenu technique de mesures d’intervention se retrouvent face à un univers confus et largement inaccessible lorsqu’elles cherchent à appuyer leur réflexion sur les connaissances existantes. Ces observations corroborent les résultats obtenus dans d’autres domaines – justice, éducation, politiques sociales, etc. – qui ont suscité une réflexion élargie sur la possibilité de développer des approches en termes d’EBP pour concevoir des programmes d’intervention sectoriels (Nutley, 2003).

2 – Sur la pertinence de la transposition d’outils méthodologiques : l’exemple des états de l’art systématiques selon des critères explicites

30Constater que les concepteurs de mesures réglementaires qui cherchent à s’appuyer sur des connaissances scientifiques y ont finalement peu recours conduit à se demander quelles connaissances effectivement disponibles auraient pu être mobilisées.

31Nous avons essayé de répondre à cette question en réalisant des états de l’art selon les méthodes recommandées dans les approches en terme d’EBD, inspirées des méthodes de la fondation Cochrane qui propose la rédaction d’états de l’art systématiques selon des critères explicites (EASCE) (Higgins, Green, 2008). Nous pensions pouvoir réaliser un état assez complet de la littérature scientifique sur les points techniques centraux des mesures de nos études de cas. Plusieurs tests de la méthode EASCE  [25] ont ainsi été menés dans ce but. Ils montrent à la fois l’intérêt de la méthode et la difficulté de la mettre en œuvre :

32

• du fait de l’hétérogénéité des formes de présentation des connaissances disponibles dans les bases de données (politiques de mots clés différentes selon les éditeurs par exemple), l’écriture des requêtes pour obtenir une première liste de références nécessite deux à trois semaines de travail pour simplement « calibrer » la demande et s’assurer qu’au moins les articles connus, dont on sait qu’ils correspondent au thème, se retrouvent dans les listes proposées ;
• l’abondance des publications disponibles est un autre obstacle. Une requête simple débouche sur un très grand nombre de références même pour un univers de revues limité  [26]. Or, la rédaction d’une EASCE n’est pas une approche bibliométrique. Elle nécessite de lire les articles pour les trier et de dépouiller ceux qui ont été sélectionnés. Comme en médecine, ceci exige plusieurs mois de travail même pour une question bien circonscrite. Ainsi, dans le cadre de l’evidence-based conservation au Royaume-Uni, des bourses d’un an sont attribuées à des chercheurs de niveau post-doc pour réaliser un état de l’art sur une question limitée (cf. le site EBD Université de Birmingham) ;
• autre difficulté : l’univers des revues accessibles est très différent d’une institution à l’autre et d’un pays à l’autre selon les abonnements souscrits. Il est donc impossible de distribuer les tâches de façon rigoureuse, une même requête donnant des résultats différents selon les lieux d’interrogation dès lors qu’elle ne peut être appliquée au même univers ;
• la nécessité d’associer plusieurs champs disciplinaires (par exemple traiter des interactions entre processus sociaux et processus écologiques) est également source de difficultés puisque les laboratoires ont accès à des revues soit en sciences sociales, soit en sciences de la nature.

33Ces désajustements portant sur plusieurs milliers de revues, ils sont totalement impossibles à maîtriser par un groupe limité d’individus, qu’il s’agisse de chercheurs ou de membres d’une administration. Là encore, on retrouve les problèmes soulevés en médecine.

34Les problèmes rencontrés en testant la méthode des EASCE ne discréditent pas cette approche. Ils sont communs à toutes les procédures d’état de l’art, simplement, dans ce cas, ils ont été mieux formalisés et quantifiés, alors que ces difficultés sont généralement passées sous silence. Les résultats confirment qu’il est essentiel de socialiser cette réflexion car la production de métaconnaissances du type des EASCE, ne peut être prise en charge sérieusement par des individus dont le temps de travail est principalement consacré à d’autres tâches, qu’il s’agisse des concepteurs du contenu technique des mesures ou des chercheurs. Or de telles métaconnaissances sont de plus en plus nécessaires. Cette situation invite donc à s’interroger sur les configurations que pourraient prendre des organisations collectives nouvelles, avec des personnels et des financements dédiés à ces activités, telles que celles qui ont été mises sur pied dans certains pays (au Royaume-Uni par exemple) et dans certaines institutions internationales (Banque mondiale, Unesco, OMS...), et à réfléchir aux questions scientifiques et politiques que soulève la création de telles organisations.

1 – Sur la combinaison de connaissances scientifiques et de savoirs « profanes » : symétrie, hiérarchie ou complémentarité ?

36Il est généralement admis que la décision publique s’appuie sur différents réservoirs de connaissances (savoirs traditionnels, connaissances gestionnaires issues de l’expérience, connaissances établies selon des méthodes scientifiques,etc.). Mais pour prendre une décision, faut-il mettre ces connaissances sur le même plan ou les hiérarchiser ou encore les reconnaître comme complémentaires mais avec des propriétés épistémiques distinctes ? Certaines préconisations de coproduction de connaissances revendiquent une sorte d’équivalence des savoirs et cherchent à relier dans l’action des connaissances puisées à différentes sources en les formalisant éventuellement dans des outils d’aide à la décision informatisés. Ce type d’approche se développe dans les politiques environnementales – notamment pour la gestion de l’eau – où l’on constitue des forums hybrides rassemblant les porte-parole de groupes d’acteurs sélectionnés selon diverses modalités. Leur but est de favoriser les procédures d’apprentissage pour décider, en univers incertain, et faire émerger des solutions consensuelles (au moins entre les participants immédiats). Les opinions d’experts (sur les différents intérêts en présence, etc.) y sont souvent mobilisées en remplacement de connaissances en sciences sociales qui manquent ou sont supposées manquer  [27].

37Les approches evidence-based proposent un contrepoint à de telles dynamiques. D’abord, elles sont fondées sur l’idée que dès lors qu’on envisage d’utiliser les connaissances pour agir, il importe de ne pas renoncer à essayer de choisir les plus fiables, celles dont on a prouvé, de la façon la plus convaincante, l’efficacité pour cet objectif, celles qui offrent le meilleur niveau de preuve. Ainsi, les connaissances gestionnaires, aussi longtemps que leur efficacité et leur innocuité n’ont pu être testées, ne peuvent être considérées comme équivalentes à une analyse reposant sur des observations construites selon des procédures explicites et pour lesquelles ces tests ont été réalisés.

38Force est de constater qu’en l’état, cette position a du mal à s’imposer. Pour nombre de chercheurs issus de la biologie ou de disciplines biotechniques, si le recours aux seuls savoirs traditionnels soulève des doutes lorsqu’ils portent sur des objets relevant des sciences naturelles ou biotechniques (par exemple interactions entre les pratiques agricoles et la pollution des nappes phréatiques), en revanche, les énoncés des sciences sociales, dès lors qu’ils sont formulés de façon claire et littéraire, sont souvent assimilés à de simples opinions, quels que soient les dispositifs d’observation et d’analyse sur lesquels ils reposent. Cette disqualification conduit à ce que surgissent des modèles qui sont evidence-based pour leur composante écologique et biotechnique et qui reposent uniquement sur des opinions recueillies lors d’approches participatives lorsqu’il s’agit de variables et de paramètres relevant des sciences sociales.

2 – Sur les types de preuves pertinentes. Existence ? Causalité ? Efficacité ? Innocuité ?

39Il semble que la confusion qui accompagne parfois la confrontation de diverses formes de connaissances résulte aussi d’une absence de réflexion sur les typesde preuves mobilisables pour concevoir, mettre en œuvre et évaluer les politiques. Le débat sur l’EBM a conduit à proposer des différenciations simples des types de preuves. Même si ces distinctions restent très schématiques au regard des développements de la pensée philosophique sur ce thème (Cartwright et al., 2007), on peut ainsi séparer :

40

• des « preuves d’existence » : une chose existe (par exemple, observations naturalistes pour inscrire des espèces dans un inventaire utilisable pour la gestion de la biodiversité, recensements pour dénombrer une population) ;
• des « preuves de causalité » : une relation causale est établie entre deux événements particuliers (par exemple, toutes choses égales par ailleurs, deux pratiques de pâturage distinctes ont des effets différents observables de façon répétée au moyen d’indicateurs de biodiversité des prairies concernées) ;
• des « preuves d’efficacité » : une action produit le résultat souhaité  [28] (par exemple, une mesure agri-environnementale combinant subventions et contraintes réglementaires a un effet positif sur des indicateurs de biodiversité) ;
• des « preuves d’innocuité » : l’action est dépourvue d’effets négatifs (par exemple, telle politique de protection de la biodiversité n’a pas d’effets spécifiquement défavorables sur les ménages agricoles les plus pauvres).

41Ces distinctions importent pour les politiques de développement. Comme en médecine, il est utile d’y clarifier le statut des preuves et des relations qu’elles entretiennent entre elles. En effet, dans les débats qui accompagnent le choix de politiques alternatives, les registres d’argumentation entre existence, causalité, efficacité et innocuité se mélangent souvent de façon confuse. Par exemple, les preuves de causalité sont cruciales pour l’élaboration théorique et la progression des programmes de recherche ou pour imaginer de nouvelles formes d’action. Mais lorsqu’il s’agit d’évaluer les effets d’une action, les preuves d’efficacité jouent un rôle fondamental. Or, les relations entre preuves de causalité et preuves d’efficacité sont complexes et très discutées.

42Par exemple, il y a des situations où des interventions réussissent sans que l’on sache pourquoi. Ainsi, des résultats convergents de métaanalyses conduites dans les approches evidence-based montrent que dans certaines conditions, un traitement par l’acupuncture contre les vomissements est efficace. Cette efficacité peut être prouvée avec toutes les précautions méthodologiques d’usage dans les approches EBM  [29]. Dès lors, des recommandations sont émises pour que cette technique soit utilisée, par exemple en accompagnement des chimiothérapies  [30], même s’il reste difficile d’expliquer par quels mécanismes ce point d’acupunctureproduit cet effet. Dans ce cas précis, i) le test d’efficacité est fait même si la causalité reste obscure, ii) ce test étant positif, l’usage de ce traitement est recommandé dans un certain nombre de circonstances, iii) ces tests d’efficacité sont effectués pour chaque type de pathologie que l’acupuncture prétend traiter, sans qu’une preuve d’efficacité dans un domaine puisse être considérée comme une reconnaissance générale de cette approche thérapeutique, les tests se révélant négatifs pour de nombreuses autres pathologies. Ce faisant, la démarche s’écarte de trois postures opposées : celles qui rejettent l’intérêt de tester des savoirs traditionnels ou des savoirs d’expérience aussi longtemps qu’on ne peut imaginer d’hypothèses rationnelles pour expliquer leur efficacité ; celles qui recommandent l’usage de ces savoirs sans les subordonner à des tests d’efficacité préalables ; celles qui mettent au même plan tous types de savoirs sans poser la question de leur fiabilité. Transposés au développement, ces principes généraux sont de plus en plus souvent repris dans les textes sur le développement. Le champ d’investigation ainsi ouvert est considérable (par exemple, nécessité de tester l’efficacité de nombreuses pratiques agricoles traditionnelles au regard d’objectifs de protection environnementale, cf. IAASTD, 2008).

43Dans de nombreuses situations, les causalités sont trop entremêlées pour qu’il soit possible de prédire l’efficacité d’une forme d’intervention. Ce phénomène est bien connu en EBM avec les maladies à étiologie multifactorielle comme dans les analyses des relations science/politique (Weber, 1919). Une théorie scientifique, aussi sophistiquée soit-elle, procède toujours d’une réduction méthodologique et ne peut avoir l’ambition de rendre compte de l’infinité des causes qui produisent un événement réel. La progression des théories scientifiques décrit toujours des relations de causalité limitées. Celles-ci peuvent aider à imaginer des formes d’action mais, dans la plupart des cas, sont insuffisantes pour fonder à elles seules la conception de politiques dont l’efficacité serait garantie. Ainsi, à propos des politiques environnementales, Sutherland et al. (2006) montrent que les demandes des politiques concernent des phénomènes aux causalités trop complexes pour permettre une réponse dans le registre evidence-based. Si quelques rares auteurs défendent l’idée que les approches evidence-baseddoivent être utilisées de façon normative, il est généralement admis que ces approches n’ont pas vocation à définir les politiques mais seulement à les éclairer (Nutley, 2003). C’est précisément pour tenir compte de ce hiatus irréductible que plusieurs textes internationaux (le programme Most de l’Unesco, IAASTD...) recommandent la coexistence de diverses formes de relation entre sciences et décision publique, pour que par exemple les disciplines des sciences sociales fournissent des connaissances scientifiquement établies sur les mécanismes qui sous-tendent les transformations économiques et sociales pour nourrir les discussions de forum hybrides où s’intègrent diverses formes de savoir.

44Pour autant, la question de l’évaluation de l’efficacité de l’intervention publique ne peut être éludée. En effet, même si on ne sait pas très bien par quels mécanismes une action produit ses effets, ceux-ci peuvent être décrits, mesurés et comparés aux objectifs de cette action. C’est pourquoi nombre d’approchesevidence-based proposent des méthodologies pour produire des preuves d’efficacité de certaines formes d’intervention publique lorsque cela est jugé nécessaire et pertinent. Or, si l’on s’en tient à nos études de cas, les études menées dans les trois pays de notre programme montrent que les formes d’évaluation quisont prévues concernent toujours les moyens mis en œuvre (budgets, nombre d’exploitations agricoles concernées, etc.) mais jamais l’impact effectif sur les objectifs de départ (conservation de la biodiversité effectivement mesurée, articulation d’objectifs sociaux et environnementaux, etc.). Ces résultats corroborent des constats récents qui ont montré l’incapacité de fournir des preuves de l’efficacité des politiques agri-environnementales européennes en dépit de l’ampleur des budgets concernés (Kleinj, Sutherland, 2003). En fait, tout fonctionne comme si le fait d’avoir conçu des mesures d’intervention à partir de relations théoriques de causalité était considéré comme suffisant pour garantir l’effet de ces mesures. Ces constats et les débats qui les accompagnent invitent au renouvellement des approches de l’évaluation pour évaluer l’impact effectif de l’intervention publique indépendamment des schémas de causalité qui la sous-tendent.

3 – Sur la hiérarchisation des preuves

45La réflexion sur la différenciation des connaissances ne se borne pas à distinguer différents types de savoirs et de preuves. Une part importante de la réflexion en EBM concerne aussi la hiérarchisation des niveaux de preuves, pour un même type de preuve. Par exemple, tous les protocoles ne sont pas équivalents pour produire une preuve d’efficacité et les procédures EBM proposent des classements qui visent à déterminer la qualité des preuves produites par ordre croissant de fiabilité. Le tableau suivant présente l’exemple d’un tel classement et de sa transposition pour des objets de recherche du développement durable.

Exemple de hiérarchie des preuves en EBM	Exemple de transpositions à des objets du développement durable
1. Opinions d’autorités respectées, fondées sur des expériences cliniques, des études descriptives ou des comités d’experts	1. Opinions d’autorités respectées, fondées sur des savoirs d’expérience, des études descriptives ou des comités d’experts
2. Preuves construites à partir de comparaisons historiques	2. Preuves construites à partir de comparaisons historiques ou géographiques
3.1. Preuves obtenues à partir de suivis de cohortes ou d’essais contrôlés 3.2. Preuves obtenues à partir d’essais contrôlés sans randomisation	3.1. Preuves obtenues à partir de suivis de cohortes ou d’études de cas dans un dispositif contrôlé 3.2. Preuves obtenues à partir de recueil de données sur des situations représentatives permettant des tests d’hypothèses avec validation statistique
4. Preuves obtenues à partir d’essais randomisés contrôlés*	4. Preuves obtenues à partir d’essais randomisés contrôlés

Essais cliniques impliquant au moins un traitement de contrôle (par exemple placebo), des mesures
spécifiques de résultats pour évaluer le traitement étudié, et une méthode sans biais pour inclure des
patients dans l’essai ( « randomisation » =sélection aléatoire).

46L’idée même de ce classement n’est pas triviale. Lors de nos enquêtes, nous avons observé qu’un nombre significatif de personnes sont démunies de principes méthodologiques permettant de hiérarchiser la qualité des connaissances scientifiques auxquelles elles ont accès, alors que ces principes sont enseignables. Dans le même temps, les EARC montrent que nombre d’articles disponibles offrent peu d’informations sur la façon dont les connaissances ont été effectivement produites, sur leurs limites de validité empirique, et assènent des prescriptions plutôt qu’ils ne démontrent des résultats.

47Mais la simplicité apparente de ce principe de hiérarchisation ne doit pas masquer qu’il suscite beaucoup de questions dès lors qu’on doit combiner différents types de preuves. En effet, selon l’approche théorique, selon la discipline, selon l’objet traité, il est plus ou moins facile de construire des preuves de niveau élevé et le statut de méthode de référence ( « gold standard ») des résultats obtenus grâce à des essais randomisés contrôlés est source de nombreuses controverses. Ainsi, l’intériorisation de cette norme dans les débats peut aisément se traduire par une éviction des connaissances apportées par les sciences sociales avec l’argument que les niveaux de preuve fournis sont moins élevés qu’en écologie ou en médecine. Le problème peut aussi se poser au sein d’une même discipline. Par exemple, en écologie, l’étude de la colonisation d’habitats favorables pour la faune et la flore est faite dans des conditions empiriques disparates : on peut faire des essais randomisés au niveau de la parcelle, mais pas au niveau du paysage, qui est pourtant le niveau auquel il faut être efficace pour gérer la biodiversité  [31]. Cette question se pose aussi de façon très aiguë pour apprécier l’importance relative qu’il convient d’accorder à certains résultats d’économie du développement qui transposent la démarche des essais randomisés contrôlés aux sciences sociales (par exemple Chattopadhyay, Duflo, 2004), alors que cette méthode ne peut s’appliquer qu’à un nombre très limité de situations. Il importe donc de se prémunir de la tentation de privilégier les preuves de niveau élevé au détriment des preuves pertinentes pour l’action envisagée. Pour les politiques de développement qui doivent souvent mobiliser des connaissances de sources diverses, cette question de la concurrence entre preuves devient un enjeu fondamental.

48En invitant à analyser de plus près les approches evidence-based, nous ne cherchons pas à en faire l’apologie ou à défendre l’idée qu’elles auraient vocation à devenir hégémoniques. Mais nous voulons signaler la pertinence d’un grand nombre de questions qui y sont discutées. Le régime d’accès aux connaissances scientifiques se transforme profondément. Il en résulte des difficultés et des enjeux scientifiques, sociaux et politiques nouveaux, qui ne peuvent être ignorés, quelles que soient les écoles de pensée auxquelles on se réfère pour analyser la façon dont les connaissances scientifiques entrent dans l’élaboration despolitiques publiques. Les débats qui se sont développés autour des approchesevidence-based invitent à une réflexion de fond sur ces transformations, sur la façon dont peuvent être produites, évaluées et rendues accessibles des connaissances et des métaconnaissances fiables pour l’aide à la décision publique.

49C’est donc un vaste champ d’investigation qui se dessine. Pour l’agenda de recherche ainsi ouvert, plusieurs points paraissent fondamentaux.

50Un important travail méthodologique est à réaliser pour se réapproprier les instruments de la boîte à outil evidence-based, les tester dans le champ des politiques de développement, en mesurer les avantages et les limites, formaliser les choix conceptuels qui sous-tendent la construction de différents types d’outils et de métaconnaissances et partager cette réflexion entre chercheurs, étudiants et acteurs concernés. De nombreux débats portent sur les méthodes proprement dites (par exemple, des procédures d’échantillonnage pour conduire des observations contrôlées) mais ce n’est pas le seul domaine sensible. L’élaboration théorique qui accompagne le débat sur les EBP progresse le plus souvent à partir de l’analyse de connaissances disciplinaires et dans une perspective « unitaire » de la science. Or, dans chaque discipline, des approches théoriques hétérogènes coexistent, chacune ayant des angles morts spécifiques liés à la façon dont elle simplifie la réalité pour construire ses objets (Berthelot, 2001 ; Cartwright, 1999 ; Mitchell ; 2002). Pour l’instant cette pluralité des théories est le plus souvent reléguée dans une boîte noire. Ce faisant, les limites de chaque théorie sont passées sous silence, alors même qu’elles laissent certains leviers d’action hors du champ de leur analyse (par exemple différentes formes de régulation institutionnelles pour des approches économiques qui laissent les institutions à l’écart de leurs modèles).

51Il devient également urgent de traiter des causes d’ordre interne pour lesquelles le hiatus entre recherche et décision publique se creuse. Ainsi, nous avons vu que les preuves nécessaires au progrès des théories peuvent différer assez radicalement de celles qui sont utiles pour l’action. De façon générale, il paraît utile que les limites des connaissances candidates à l’aide à la décision soient explicitées (par exemple faible contenu empirique des modèles sur lesquels reposent les « preuves » proposées, absence de preuve d’innocuité, etc.) et que ces limites puissent être prises en compte pour la programmation des recherches comme pour leur utilisation. Ceci concerne les connaissances issues de la recherche, mais aussi les connaissances coproduites combinant différents types de savoir.

52L’émergence d’un nouveau domaine de connaissances, centré sur la production de métaconnaissances à l’interface entre sciences et société, est porteuse d’enjeux de pouvoir et d’éthique qu’il faut analyser. Les conséquences de choix méthodologiques alternatifs doivent être explorées plus avant dans le champ des politiques de développement. Il s’agit par exemple, pour les approches EBP, des effets de discrimination dans la mise en œuvre de méthodes expérimentales d’évaluation (type de population prise en compte pour construire les preuves d’efficacité, questions d’éthique posées par le statut du« groupe témoin » lorsque la mesure s’avère efficace dans une situation où des gens sont en détresse ou en danger, etc.).

53Il faut également étudier comment diverses configurations institutionnelles contribuent à déterminer la façon dont peuvent être réglés les problèmes de concurrence entre preuves, analyser les capacités inégales des états et des groupes sociaux à s’emparer de ces réflexions, à dégager des moyens matériels pour bâtir les dispositifs concrets qui permettent d’accéder aux connaissances disponibles et de construire des métaconnaissances permettant de faire valoir et défendre leurs intérêts (bases de données, revues en ligne, équipes de statisticiens, bourses pour conduire des revues systématiques, etc.). Il faut enfin replacer ces approches dans une perspective large qui permette de comparer les avantages et les limites de différentes formes d’entrée des connaissances scientifiques dans la décision publique (approches participatives, expertises...).

54Cette liste n’est pas exhaustive. L’agenda de recherche s’ouvre à peine.

55La réflexion sur le choix des preuves à mobiliser pour différents types d’objectifs, qui fait l’objet de nombreux développements, est à peine effleurée ici. Mais ces exemples montrent qu’elle a une portée bien plus large que le strict champ de la médecine. Plutôt qu’un ensemble normatif, ce qui ressort, c’est la proposition de grilles d’analyse permettant de préciser le type de preuve adéquat pour différentes étapes de l’action (diagnostic, conception de mesures, mise en place, évaluation) et permettant de mettre à plat les types de « preuves » apportées (ou requises) par différents acteurs. De telles grilles d’analyse ne permettent pas forcément de trancher dans le débat sur la concurrence des preuves, mais elles peuvent contribuer à en clarifier les enjeux. Même si cette question de la concurrence des preuves reste centrale, il n’y a aucune tentation relativiste dans les pratiques evidence-based qui sont ainsi explorées. Les connaissances scientifiques sont considérées comme ayant des exigences de validation qui leur donnent un statut particulier pour la décision, même si elles ne peuvent pratiquement jamais à elles seules fonder cette décision. Pour autant, les réflexions sur les types de preuve font ressortir qu’il n’y a pas nécessairement convergence entre les objectifs de recherches principalement théoriques et celles nécessaires à l’action : les preuves d’efficacité et d’innocuité, cruciales pour choisir des formes d’action alternatives, peuvent être d’un intérêt plus limité pour le progrès des théories. Les preuves de causalité, fondamentales pour la recherche, sont souvent produites dans des situations contrôlées qui s’éloignent beaucoup des conditions de la pratique. Il en va de même pour la corroboration aux faits. Les défenseurs des approches EBP considèrent que celle-ci est cruciale pour l’action et les approches en termes d’EBP sont profondément ancrées dans la vérification empirique. C’est pourquoi certaines approches evidence-based se développent aux marges des programmes de recherche dominants, notamment en économie. Les apports qu’on peut en attendre pour la progression théorique sont donc inégaux selon les programmes de recherche. Elles peuvent contribuer au progrès des théories lorsque celles-ci sont attentives au test d’hypothèses réalistes, mais elles peuvent aussi rester relativement déconnectées du cœur de la production académique lorsque ces dernières s’exonèrent de ce lien à l’empirie. Les informations en retour au bénéfice de la théorie des approches EBP peuvent également être limitées lorsqu’elles apportent la preuve de l’efficacité decertaines actions sans que des progrès théoriques sur les mécanismes sous-jacents ne permettent d’expliquer les causes de cette efficacité.

56C’est précisément parce qu’il n’y a pas de convergence « naturelle » entre production scientifique et usage des connaissances scientifiques que la création d’outils spécifiques paraît nécessaire pour mieux relier recherche et décision publique, sans pour autant renoncer au principe même d’une production de connaissances scientifiques ayant des propriétés épistémiques particulières, y compris en sciences sociales.