Une partie des résultats scientifiques publiés est-elle fausse ? Probabilités et crise de la reproductibilité

Pourquoi cette question : un modèle d'introduction

Le jury attend que vous expliquiez pourquoi vous avez choisi la question. Inspirez-vous de ce modèle, mais racontez votre propre parcours.

En HGGSP, nous avons étudié la production des savoirs scientifiques et la confiance qu'on leur accorde. J'ai lu qu'un chercheur, John Ioannidis, avait publié en 2005 un article intitulé « Pourquoi la plupart des résultats de recherche publiés sont faux ». Ce titre m'a choqué. En le lisant, j'ai découvert qu'il reposait sur un calcul de probabilités conditionnelles que l'on peut refaire avec un arbre.

L'enjeu et les notions du programme

Construire un arbre pondéré et calculer une probabilité conditionnelle pour mesurer la fiabilité d'un résultat « significatif ».

Le plan de l'exposé en 9,5 min

1. 1. Introduction

   1 min

   Un résultat est souvent publié s'il est « statistiquement significatif », c'est-à-dire peu probable s'il n'y avait aucun effet réel. Problématique : quelle est la probabilité qu'un tel résultat soit vrai, et pourquoi tant d'études ne se reproduisent-elles pas ?

2. 2. Mathématiques : un arbre de probabilités

   4 min

   On considère les hypothèses testées dans un domaine. Notons V « l'hypothèse est vraie » et S « le test est significatif ». Hypothèses : $P(V)=0,1$P(V)=0,1 (une hypothèse testée sur dix est vraie), $P_V(S)=0,8$P_V(S)=0,8 (la puissance : un effet réel est détecté 8 fois sur 10), $P_{\bar{V}}(S)=0,05$P_bar V(S)=0,05 (le seuil : une fausse hypothèse passe le test 5 fois sur 100).

   Probabilités totales : $P(S)=0,1\times 0,8+0,9\times 0,05=0,08+0,045=0,125$P(S)=0,1×0,8+0,9×0,05=0,08+0,045=0,125. Probabilité qu'un résultat significatif soit vrai : $P_S(V)=\frac{0,08}{0,125}=0,64$P_S(V)=0,08/0,125=0,64. Plus d'un tiers des résultats « significatifs » sont des faux positifs.

   Si les études sont trop petites, la puissance baisse, par exemple à 20 % : $P_S(V)=\frac{0,1\times 0,2}{0,1\times 0,2+0,045}=\frac{0,02}{0,065}\approx 0,31$P_S(V)=0,1×0,2/(0,1×0,2+0,045)=0,02/0,065≈0,31. Moins d'un tiers des résultats publiés sont vrais.

   Le biais de publication aggrave la situation : les résultats non significatifs sont rarement publiés, et tester de nombreuses hypothèses jusqu'à en trouver une significative augmente les faux positifs. Le calcul ne dit pas que la science se trompe toujours, mais que la fiabilité dépend de la proportion d'hypothèses vraies, de la puissance et des pratiques.

3. 3. HGGSP : la science se corrige

   3 min

   En 2015, un projet collectif a tenté de reproduire 100 études de psychologie publiées : seules 36 % ont donné un résultat significatif. Ces constats ont lancé un mouvement de réforme : préenregistrement des protocoles, partage des données, publication des résultats négatifs, études de réplication.

   Cette « crise de la reproductibilité » montre que la science n'est pas une collection de vérités, mais une méthode qui se corrige elle-même. Elle est parfois exploitée pour nourrir la défiance envers les savoirs, par exemple sur le climat ou les vaccins. Comprendre le calcul permet de distinguer un résultat isolé, fragile, d'un consensus fondé sur de nombreuses études concordantes.

4. 4. Conclusion

   1,5 min

   Avec 10 % d'hypothèses vraies, une puissance de 80 % et un seuil de 5 %, seuls 64 % des résultats significatifs sont vrais, et 31 % si la puissance tombe à 20 %. Les probabilités conditionnelles éclairent la crise de la reproductibilité et la façon dont la science se corrige. J'ouvre sur le préenregistrement des études.

Ce que j'écris au tableau

Pas de calculatrice ni de support numérique : un calcul clé écrit au tableau rend l'exposé concret et montre la solidité des connaissances.

Conclusion : la réponse à la question

Les questions probables du jury

Pendant les 10 minutesd'échange, le jury vous fait préciser et approfondir, sur tout le programme de vos spécialités en lien avec la question.

Les pièges qui coûtent des points

• Confondre P_V(S) et P_S(V).
• Croire que le seuil de 5 % signifie 5 % de résultats faux.
• Utiliser le calcul pour discréditer toute la science.

Revoir les notions

• Probabilités conditionnelles (Première spé maths) →
• Probabilités conditionnelles et indépendance (Terminale spé maths) →

Autres questions : l'enjeu de la connaissance

• Pourquoi l'imprimerie a-t-elle fait baisser le prix des livres ? Coût fixe et coût moyen
• Tous les chercheurs publient-ils autant ? La loi de Lotka et la production des savoirs
• Le classement de Shanghai mesure-t-il vraiment la qualité des universités ?
• Les femmes ont-elles rattrapé les hommes dans l'accès à l'écriture sous l'Ancien Régime ? Écart ou rapport

Toutes les questions maths-hggsp →