Comment mesurer la qualité d'une recommandation de films ? Le prix Netflix et l'erreur quadratique moyenne

Pourquoi cette question : un modèle d'introduction

Le jury attend que vous expliquiez pourquoi vous avez choisi la question. Inspirez-vous de ce modèle, mais racontez votre propre parcours.

En spécialité LLCER, nous avons étudié l'influence des plateformes américaines sur nos habitudes culturelles, et les recommandations de Netflix en sont un exemple quotidien. J'ai découvert qu'en 2006 Netflix avait organisé un concours mondial, doté d'un million de dollars, pour améliorer son algorithme. Le gagnant était désigné par une formule précise, l'erreur quadratique moyenne, que j'ai voulu comprendre.

L'enjeu et les notions du programme

Calculer une erreur quadratique moyenne, comprendre pourquoi on élève les écarts au carré et interpréter une amélioration relative.

Le plan de l'exposé en 9,5 min

1. 1. Introduction

   1 min

   Netflix prédit la note qu'un abonné donnerait à un film qu'il n'a pas vu, pour lui recommander ce qu'il aimera. Problématique : comment mesurer la qualité de ces prédictions, et que signifie une amélioration de 10 % ?

2. 2. Mathématiques : l'erreur quadratique moyenne

   4 min

   Les abonnés notent les films de 1 à 5 étoiles. Pour chaque note réelle $y_i$yᵢ, l'algorithme a prévu ${\hat{y}}_i$ŷᵢ. L'écart vaut $e_i={\hat{y}}_i-y_i$eᵢ=ŷᵢ-yᵢ.

   On ne fait pas la moyenne des écarts : les écarts positifs et négatifs se compenseraient. On élève les écarts au carré, on fait la moyenne, puis on prend la racine pour revenir à l'unité des notes : $\text{RMSE}=\sqrt{\frac{1}{n}{\sum }_{i=1}^n{e}_i^2}$RMSE =√(1/nΣ_i=1ⁿeᵢ²).

   Exemple sur 5 notes, avec des écarts de $1$1, $-1$-1, $0,5$0,5, $0$0 et $-0,5$-0,5 : carrés 1, 1, 0,25, 0 et 0,25, moyenne $\frac{2,5}{5}=0,5$2,5/5=0,5, RMSE $\sqrt{0,5}\approx 0,71$√(0,5)≈0,71 étoile. En moyenne, l'algorithme se trompe d'environ 0,7 étoile, et les grosses erreurs pèsent plus que les petites, à cause du carré.

   Le concours : l'algorithme de Netflix, Cinematch, avait une RMSE de 0,9525 sur les données de test. L'objectif était une amélioration de 10 % : $0,9525\times 0,9\approx 0,8572$0,9525×0,9≈0,8572. En septembre 2009, l'équipe « BellKor's Pragmatic Chaos » atteint 0,8567.

   La RMSE est la quantité que minimise la méthode des moindres carrés, utilisée pour ajuster une droite à un nuage de points. Les équipes gagnantes ont combiné des centaines de modèles : chacun se trompe différemment, et leur moyenne pondérée réduit l'erreur, comme la moyenne de plusieurs mesures réduit l'incertitude.

3. 3. In English: open innovation and privacy

   3 min

   The Netflix Prize was a pioneering example of "open innovation": instead of relying only on its own engineers, a company invited researchers from all over the world to compete. More than 40 000 teams from 186 countries took part. The final result was dramatic: two teams reached the target, and BellKor's Pragmatic Chaos won because it had submitted its solution twenty minutes before The Ensemble.

   But the competition also raised concerns about privacy. Netflix had published 100 million ratings with the names removed, believing that they were anonymous. Two researchers from the University of Texas showed that some users could be identified by comparing their ratings with public reviews on other websites. A lawsuit followed, and Netflix cancelled a second competition in 2010. The story shows that innovation based on personal data can have hidden costs, and that "anonymous" data are not always anonymous.

4. 4. Conclusion

   1,5 min

   L'erreur quadratique moyenne, $\sqrt{\frac{1}{n}\sum e_i^2}$√(1/nΣ eᵢ²), mesure la précision des recommandations : il fallait passer de 0,9525 à 0,8572, et le gagnant a atteint 0,8567. Ce calcul, cousin des moindres carrés, a mobilisé des chercheurs du monde entier. J'ouvre sur les risques de ré-identification des données dites anonymes.

Ce que j'écris au tableau

Pas de calculatrice ni de support numérique : un calcul clé écrit au tableau rend l'exposé concret et montre la solidité des connaissances.

Conclusion : la réponse à la question

Les questions probables du jury

Pendant les 10 minutesd'échange, le jury vous fait préciser et approfondir, sur tout le programme de vos spécialités en lien avec la question.

Les pièges qui coûtent des points

• Oublier la racine carrée.
• Confondre amélioration de 10 % et diminution de 0,1 étoile.
• Croire que des données sans nom sont forcément anonymes.

Revoir les notions

• Statistiques à deux variables (Première générale) →
• Fonction racine carrée (Seconde) →

Autres questions : innovation et technologies

• Comment le nombre de transistors d'une puce a-t-il pu être multiplié par 25 millions en cinquante ans ? La loi de Moore
• Comment une innovation se diffuse-t-elle dans une société ? La courbe en S du smartphone aux États-Unis
• Comment un bouton de site internet a-t-il rapporté 60 millions de dollars à la campagne d'Obama ? Les tests A/B
• Pourquoi les investisseurs de la Silicon Valley acceptent-ils que la plupart de leurs start-up échouent ?

Toutes les questions maths-llcer anglais →