La démarche scientifique est l'un des plus incroyables outils dont nous disposons pour comprendre le monde. Il permet de minimiser drastiquement le risque de fantasmer la réalité à partir de ce que nous en espérons. En cela, la science est théoriquement très puissante.
Mais la science, comme tant d'autres choses, est un produit humain, avec ses failles, ses contraintes et ses dérives.
Ainsi, pour éviter de considérer aveuglément la science et son exercice comme une source absolue de vérité, nous souhaitons dans cet article expliquer ce qu'elle est réellement, notamment à notre époque, et là où elle montre des limites sérieuses.
La science a une histoire
La discipline scientifique est un concept ancien. La volonté des hommes de comprendre le monde est immémoriale et la façon dont les méthodes ont été affinées avec le temps est tributaire de conditions diverses : progrès techniques, volontés politiques et religieuses, cultures de la connaissance, possibilités pratiques de se destiner à la recherche, sources de financements, cultures universitaires, etc.
En cela, les outils de la science, employés pour appliquer ce que l'on nomme la méthode scientifique, sont variés et évoluent dans le temps. Il existe aussi des méthodes différentes, en fonction des objectifs recherchés et des sujets abordés.
Différents peuples n'auront pas non plus exactement les mêmes priorités. Certains se concentreront sur la guerre ou la médecine ou l'art, en fonction des contextes historiques.
La taxonomie scientifique (façon de classer les informations), quant à elle, varie selon les langues et les disciplines. Une taxonomie génétique ne sera pas la même qu'une taxonomie anatomique alors même que toutes deux sont justifiables scientifiquement.
En cela, la science est intimement liée à l'Histoire humaine et il s'agit d'un sujet vivant en constante évolution et sensible à des contraintes spécifiques.
La science est arbitraire
Ce point est probablement l'un des moins connus, y compris au sein des institutions scientifiques.
On exerce la science à partir d'une réalité qui ne nous indique nullement comment la pratiquer. On observe et admet volontiers que notre monde est intelligible, mais rien dans la nature ne nous indique comment nous y prendre pour le comprendre. Nous sommes contraints d'élaborer nos propres outils pour ce faire et ceux-ci demandent toujours de trancher arbitrairement tôt ou tard.
Le fait de présenter des résultats d'études avec des indices de confiance de 99% est en soi une arbitrarité. Le fait de décider que la confiance est suffisante à partir des 99% n'est pas justifiée par la réalité, elle est une lecture humaine qui s'avère relativement satisfaisante dans notre expérience de compréhension du monde.
Ces limites arbitraires ne sont pas injustifiées mais elles sont en fait indémontrables de manière définitive. Elles évoluent aussi avec le temps et deux époques différentes n'auront pas exactement les mêmes outils, le même état de l'art scientifique.
Cette dimension arbitraire de la science est indispensable à comprendre pour être à même de mesurer la valeur des études produites et ne pas tomber dans le piège facile d'une science oraculaire. Elle permet aussi de garder la science vivante en laissant la porte ouverte à l'amélioration même des outils que nous utilisons.
La science est faillible
Il est parfois dur de l'admettre pour de nombreux amoureux de la science mais les scientifiques commettent des erreurs, parfois graves, et c'est tout aussi vrai de nos jours.
Les conditions d'exercice de la science sont multiples :
contraintes techniques
contraintes budgétaires (financements publiques ou privés)
contraintes politiques (instabilité, censure, idéologies ou autre)
contraintes psycho-égotiques (orgueil, biais, limites intellectuelles ou autre)
contraintes culturelles (visibilité des recherches, pressions sociales ou autre)
contraintes systémiques (rythme et positivité des publications, fidélité aux pairs présents et passés ou autre)
Chacune de ces contraintes peut encourager ou entraver le bon exercice de la science. Un budget confortable permet souvent de produire de meilleures études qu'un budget serré. Une culture de liberté de recherche ouvre davantage de possibles qu'une culture de la censure et de la conformité intellectuelle, etc.
Probablement par l'effet négatif de ces contraintes, depuis quelques années, des chercheurs ont identifié un phénomène important qui gagne en ampleur et qui témoigne d'une faillibilité significative de la science actuelle.
La crise de la reproductibilité
Le marqueur le plus célèbre des limites de la science en tant que pratique est ce que l'on nomme la "crise de la reproductibilité". Il s'agit d'une observation sourcée et chiffrée (voir l'article Wikipédia en anglais sur le sujet, qui est plutôt réussi) qui nous informe que de très nombreuses études scientifiques publiées ne sont pas reproductibles, soit parce que les informations pour le faire manquent ou parce que les résultats ne sont pas corroborés.
Ces difficultés de reproduction sont variables en fonction des domaines mais il est à noter que la psychologie et l'oncologie sont particulièrement touchées alors même qu'il s'agit de deux disciplines dont les implications dans notre vie sont énormes, notamment du fait des politiques de santé qu'elles inspirent.
À titre d'exemple, on peut citer l'étude du Reproducibility Project, mené par le Centre pour la science ouverte de Virginie, qui visait à évaluer le degré de reproductibilité d'études en psychologie datant de 2008. Les auteurs de cette étude ont découvert que la façon de choisir le traitement statistique des données impactait pour beaucoup les résultats et ils n'ont finalement pu reproduire que 36 % des études publiées et avec des effets en moyenne moitié moindres.
En 2012, C.Glenn Begley et Lee Ellis ont produit un document qui évoque un taux de reproduction d'études en oncologie à 11% (sur 53 études prises en compte).
Neutralité journalistique mise à part, ce taux est scandaleusement bas et la minimisation du problème de la reproductibilité par beaucoup de scientifiques et les revues qui les publient est une honte.
On peut attribuer cet égarement aux contraintes précédemment évoquées, et qui sont d'ailleurs reprises par l'article de Wikipédia, mais nous souhaitons à présent en aborder une en particulier qui semble particulièrement précoccupante.
L'incompétence systémique
La question de l'incompétence est un sujet sensible de façon générale, tant parce qu'elle touche à l'estime de soi des chercheurs et leur crédibilité qu'au fait que l'on renvoie souvent aux critiques de cet ordre des arguments du type "vous n'êtes pas scientifique, vous ne pouvez pas avoir plus raison qu'eux" (que nous nommons parfois le sophisme du CV).
C'est pour cela qu'il est préférable de considérer la question à partir des recherches elles-mêmes et particulièrement celles qui posent la question de manière directe.
Voici à titre d'exemple trois études dont l'objectif était d'évaluer la maîtrise du domaine statistique par des scientifiques et parmi ceux-là, des statisticiens :
Robust misinterpretation of confidence intervals par Hoekstra et al. 2014
Beyond psychology: prevalence of p value and confidence interval misinterpretation across different fields par Lyu et al. 2019
Misinterpretations of P-values and statistical tests persists among researchers and professionals working with statistics and epidemiology par Lytsy et al. 2022
Une approximation de ces études nous amène à comprendre qu'environ 90 % à 99 % des scientifiques et chercheurs interrogés, peu importe leur niveau d'études (encore étudiant ou doctorant ou chercheur à part entière) et peu importe qu'ils soient statisticiens ou non, ne comprennent pas bien ce qu'est une valeur p et un intervalle de confiance (deux des plus importants outils statistiques de base de la science moderne du paradigme fréquentiste).
Ces études suggèrent très fortement qu'une incompétence systémique est à l'œuvre dans les milieux scientifiques et que les enseignants eux-mêmes reproduisent sur leurs élèves leurs propres méconceptions de la science. Le fait qu'on observe le même résultat ou presque aux Pays-Bas, en Chine et en Suède tend également à montrer que le phénomène est global et non seulement spécifique à certains pays.
Une autre étude, menée en 2021 par Mauro Federico Andreu et consorts, a montré, en Argentine, qu'environ 63% des médecins et kinésithérapeutes respiratoires ne comprenaient pas bien ce que signifie la valeur p.
Des études complémentaires seraient évidemment bienvenues pour affiner ce constat mais celui-ci rejoint en fait un faisceau d'indices qui tendent à montrer que l'état de l'art en matière scientifique est discutable, sinon catastrophique dans certains cas.
Ce problème de compréhension des outils statistiques de base est d'autant plus préoccupant que ceux-ci impactent directement la compréhension de la valeur des études ainsi que leur significativité dans les corpus de recherche. Ils influencent aussi de fait les recherches futures et peuvent soutenir de façon indue des décisions politiques et médicales.
La précaution argumentative
Cette présentation succincte de la réalité de la science et certaines de ses limites a pour but de nous inviter collectivement à une grande précaution dans notre façon d'aborder les études scientifiques.
En effet, il ne suffit pas de dire que "telle étude a démontré que" pour que notre argumentation soit réellement solide. En fait, il convient de très attentivement lire et vérifier les études que nous mettons en avant afin d'opérer un tri (qui, en théorie, devrait être fait par les institutions elles-mêmes et les revues internationales) des plus soigneux.
Cela ne peut que bénéficier à notre recherche d'exactitude explicative et peut également nous aider à développer des attitudes argumentatives plus précautionneuses, plus précises et, possiblement, moins péremptoires. Cela permet aussi de désacraliser le monde scientifique et ce qu'il avance, ce qui devrait être le propre d'une démarche scientifique digne de ce nom (ne s'en tenir qu'aux faits solidement étayés).
Le recours aux méta-analyses est aussi précieux pour mettre en évidence au niveau macro les tendances, y compris celles qui concernent les faiblesses méthodologiques.