Les prévisions électorales de 2016 se sont-elles trompées ? Probabilité, calibration et score de Brier

Pourquoi cette question : un modèle d'introduction

Le jury attend que vous expliquiez pourquoi vous avez choisi la question. Inspirez-vous de ce modèle, mais racontez votre propre parcours.

En spécialité LLCER, nous avons étudié l'élection présidentielle américaine de 2016, et j'ai souvent lu que « les sondages s'étaient trompés ». Pourtant, certains analystes, comme Nate Silver, avaient donné à Trump près d'une chance sur trois. Je me suis demandé comment juger une prévision exprimée en probabilité, et j'ai découvert les notions de calibration et de score de Brier.

L'enjeu et les notions du programme

Interpréter une prévision probabiliste, définir la calibration par les fréquences et comparer des prévisions avec un score quadratique.

Le plan de l'exposé en 9,5 min

1. 1. Introduction

   1 min

   La veille de l'élection de 2016, la plupart des modèles donnaient Hillary Clinton gagnante, avec des probabilités allant de 71 % à plus de 99 %. Trump a gagné. Problématique : une prévision probabiliste peut-elle être « fausse », et comment juger sa qualité ?

2. 2. Mathématiques : calibration et score de Brier

   4 min

   Une prévision « 29 % pour Trump » ne dit pas qu'il perdra : elle dit qu'un événement de ce type se produit environ 29 fois sur 100. Un seul résultat ne peut ni confirmer ni réfuter une probabilité. Un prévisionniste est bien calibré si, parmi tous les événements auxquels il donne 30 %, environ 30 % se produisent réellement. On le vérifie sur un grand nombre de prévisions, grâce à la loi des grands nombres.

   Le score de Brier compare la probabilité annoncée $p$p au résultat $r$r (1 si l'événement se produit, 0 sinon) : $B=(p-r{)}^2$B=(p-r)². Plus il est petit, meilleure est la prévision. Il vaut 0 pour une prévision certaine et juste, 1 pour une prévision certaine et fausse.

   En 2016, l'événement « Trump gagne » s'est produit ($r=1$r=1). Prévision à 29 % : $B=(0,29-1{)}^2=0,71^2\approx 0,50$B=(0,29-1)²=0,71²≈0,50. Prévision à 2 % : $B=(0,02-1{)}^2=0,98^2\approx 0,96$B=(0,02-1)²=0,98²≈0,96. Prévision prudente à 50 % : $B=0,25$B=0,25.

   Sur un seul événement, la comparaison est fragile. On calcule donc la moyenne des scores sur de nombreuses prévisions (tous les États, plusieurs élections). Ce score récompense à la fois la calibration et la capacité à donner des probabilités tranchées quand elles sont justifiées.

   Pourquoi certains modèles étaient-ils trop confiants ? Ils supposaient des erreurs de sondage indépendantes d'un État à l'autre. Or les erreurs étaient liées : les sondages sous-estimaient Trump dans tous les États du Midwest à la fois.

3. 3. In English: "29 percent is not zero"

   3 min

   Nate Silver, the founder of FiveThirtyEight, became famous for predicting the results of all fifty states correctly in 2012. In 2016, he was criticised before the election for giving Trump "too many" chances, and after the election for "getting it wrong". He answered that an event with a 29 % probability is not unlikely at all. To give an idea, it is a little less likely than rolling a one or a two with a die.

   The 2016 election changed the way the media talk about forecasts. Many people interpret a probability as a certainty: 71 % sounds like "Clinton will win". Psychologists have shown that we struggle to understand probabilities between 20 % and 80 %. The debate also affected trust in experts and in polls, which some politicians called "fake". The lesson is that forecasts are not prophecies: they measure uncertainty, and communicating that uncertainty clearly is a challenge for scientists and journalists.

4. 4. Conclusion

   1,5 min

   Une prévision à 29 % n'est pas démentie par la réalisation de l'événement, et le score de Brier, 0,50 contre 0,96 pour une prévision à 2 %, montre qu'elle était la meilleure. La calibration et les scores quadratiques permettent de juger des probabilités. J'ouvre sur la communication de l'incertitude, en météorologie comme en politique.

Ce que j'écris au tableau

Pas de calculatrice ni de support numérique : un calcul clé écrit au tableau rend l'exposé concret et montre la solidité des connaissances.

Conclusion : la réponse à la question

Les questions probables du jury

Pendant les 10 minutesd'échange, le jury vous fait préciser et approfondir, sur tout le programme de vos spécialités en lien avec la question.

Les pièges qui coûtent des points

• Juger une probabilité sur un seul résultat.
• Confondre 71 % et certitude.
• Oublier la corrélation des erreurs entre États.

Revoir les notions

• Concentration et loi des grands nombres (Terminale spé maths) →
• Variables aléatoires (Première spé maths) →

Autres questions : vote et démocratie

• Un électeur du Wyoming pèse-t-il plus qu'un électeur de Californie dans l'élection présidentielle américaine ?
• Comment peut-on devenir président des États-Unis avec moins de voix que son adversaire ?
• Peut-on gagner une élection en dessinant les circonscriptions ? Le gerrymandering
• Comment un État américain a-t-il pu perdre un siège quand le nombre total de sièges augmentait ? Le paradoxe de l'Alabama

Toutes les questions maths-llcer anglais →