Comment un bouton de site internet a-t-il rapporté 60 millions de dollars à la campagne d'Obama ? Les tests A/B

Pourquoi cette question : un modèle d'introduction

Le jury attend que vous expliquiez pourquoi vous avez choisi la question. Inspirez-vous de ce modèle, mais racontez votre propre parcours.

En spécialité LLCER, nous avons étudié les campagnes présidentielles américaines et le rôle croissant d'internet. J'ai découvert qu'en 2008 l'équipe de Barack Obama avait utilisé une méthode venue des entreprises de la Silicon Valley, le « test A/B », pour choisir l'image et le bouton de sa page d'accueil. J'ai voulu comprendre comment on décide qu'une version est vraiment meilleure qu'une autre.

L'enjeu et les notions du programme

Comparer deux proportions issues d'échantillons à l'aide d'intervalles de confiance, et interpréter un écart relatif.

Le plan de l'exposé en 9,5 min

1. 1. Introduction

   1 min

   Sur un site internet, une petite modification (couleur d'un bouton, image, texte) peut changer le comportement de millions de visiteurs. Problématique : comment savoir si une version est réellement meilleure, et non meilleure par hasard ?

2. 2. Mathématiques : comparer deux proportions

   4 min

   Principe du test A/B : on montre au hasard la version A à une partie des visiteurs et la version B aux autres, puis on compare les proportions de visiteurs qui s'inscrivent (le taux de conversion).

   En décembre 2007, l'équipe d'Obama teste plusieurs combinaisons d'images et de boutons, chacune vue par environ $n=13000$n=13 000 visiteurs. Version d'origine : $f_A=8,26\%$f_A=8,26 % d'inscriptions. Meilleure version (une photo de famille et un bouton « Learn More ») : $f_B=11,6\%$f_B=11,6 %. Écart relatif : $\frac{11,6}{8,26}-1\approx 40\%$11,6/8,26-1≈40 %.

   Ce résultat peut-il venir du hasard ? Intervalle de confiance à 95 % : $f\pm 1,96\sqrt{\frac{f(1-f)}{n}}$f±1,96√((f(1-f))/n). Pour A : $1,96\sqrt{\frac{0,0826\times 0,9174}{13000}}\approx 0,0047$1,96√(0,0826×0,9174/(13 000))≈0,0047, soit environ $[7,8\%;8,7\%]$[7,8 %;8,7 %]. Pour B : $\approx 0,0055$≈0,0055, soit $[11,0\%;12,2\%]$[11,0 %;12,2 %]. Les intervalles ne se chevauchent pas : la différence est significative.

   Conséquence : appliqué aux 10 millions d'inscrits de la campagne, ce gain de 40 % correspond, selon l'équipe, à environ 2,8 millions d'adresses supplémentaires et à environ 60 millions de dollars de dons.

   Attention aux pièges : avec beaucoup de versions testées, l'une d'elles peut sembler meilleure par hasard ; il faut donc confirmer le résultat sur un nouvel échantillon. Et le tirage au sort des visiteurs est essentiel, comme dans un essai clinique.

3. 3. In English: "data-driven" politics

   3 min

   The experiment was led by Dan Siroker, a former Google employee who joined the Obama campaign. The result surprised the team: they expected a video to perform best, but a simple family photo did better. Siroker later said that the lesson was to "question assumptions": intuition is often wrong, and only data can tell what works.

   Since then, A/B testing has become standard in politics, business and media. Companies such as Google, Amazon and Facebook run thousands of experiments every year, and Google once famously tested 41 shades of blue for its links. Political campaigns test the subject lines of their emails, the colours of their donation buttons and the words of their messages. Critics worry that this turns citizens into "users" to be optimised, and that the same techniques can be used to manipulate opinions. The debate is part of a wider reflection on the influence of digital platforms on democracy.

4. 4. Conclusion

   1,5 min

   Un taux d'inscription passé de 8,26 % à 11,6 %, avec des intervalles de confiance disjoints, montre une amélioration réelle de 40 %. Le test A/B applique l'estimation d'une proportion à des décisions concrètes. J'ouvre sur les risques de manipulation liés à l'optimisation permanente des messages.

Ce que j'écris au tableau

Pas de calculatrice ni de support numérique : un calcul clé écrit au tableau rend l'exposé concret et montre la solidité des connaissances.

Conclusion : la réponse à la question

Les questions probables du jury

Pendant les 10 minutesd'échange, le jury vous fait préciser et approfondir, sur tout le programme de vos spécialités en lien avec la question.

Les pièges qui coûtent des points

• Confondre écart en points et écart relatif.
• Conclure sans tenir compte de la taille de l'échantillon.
• Oublier le risque de faux positif quand on teste beaucoup de versions.

Revoir les notions

• Échantillonnage (Première spé maths) →
• Concentration et loi des grands nombres (Terminale spé maths) →

Autres questions : innovation et technologies

• Comment le nombre de transistors d'une puce a-t-il pu être multiplié par 25 millions en cinquante ans ? La loi de Moore
• Comment une innovation se diffuse-t-elle dans une société ? La courbe en S du smartphone aux États-Unis
• Pourquoi les investisseurs de la Silicon Valley acceptent-ils que la plupart de leurs start-up échouent ?
• Pourquoi Internet a-t-il manqué d'adresses, et combien en offre le nouveau protocole ? De 2³² à 2¹²⁸

Toutes les questions maths-llcer anglais →