La reconnaissance faciale se trompe-t-elle davantage sur certaines personnes ? L'étude Gender Shades

Pourquoi cette question : un modèle d'introduction

Le jury attend que vous expliquiez pourquoi vous avez choisi la question. Inspirez-vous de ce modèle, mais racontez votre propre parcours.

En spécialité LLCER, nous avons étudié les discriminations raciales aux États-Unis et leur prolongement dans les technologies. J'ai découvert l'histoire de Joy Buolamwini, chercheuse au MIT, dont le visage n'était pas détecté par un logiciel tant qu'elle ne portait pas un masque blanc. Son étude, Gender Shades, a montré des écarts d'erreur énormes entre groupes. J'ai voulu comprendre comment un taux global peut masquer ces écarts.

L'enjeu et les notions du programme

Calculer des taux d'erreur par sous-groupe et un taux global pondéré, et montrer qu'une moyenne peut masquer des disparités.

Le plan de l'exposé en 9,5 min

1. 1. Introduction

   1 min

   Les logiciels de reconnaissance faciale sont utilisés pour déverrouiller des téléphones, contrôler des frontières ou identifier des suspects. Leurs fabricants annoncent des taux de réussite très élevés. Problématique : ces taux sont-ils les mêmes pour tout le monde, et comment le vérifier ?

2. 2. Mathématiques : taux d'erreur par groupe

   4 min

   L'étude Gender Shades teste trois logiciels sur 1 270 visages de parlementaires de différents pays, classés selon le genre et la couleur de peau. Pour le logiciel le moins bon, le taux d'erreur sur le genre vaut 0,8 % pour les hommes à la peau claire et 34,7 % pour les femmes à la peau foncée. Rapport : $\frac{34,7}{0,8}\approx 43$34,7/0,8≈43.

   Taux global : c'est la moyenne des taux de chaque groupe, pondérée par leur part dans les données. Par la formule des probabilités totales, $P(\text{erreur})={\sum }_{g}P(g)\times P_g(\text{erreur})$P( erreur )=Σ_gP(g)× P_g( erreur ).

   Exemple : supposons un jeu de test composé à 80 % d'hommes à la peau claire (erreur 0,8 %) et à 20 % d'autres groupes (erreur moyenne 20 %). Taux global : $0,8\times 0,008+0,2\times 0,20=0,0064+0,04\approx 4,6\%$0,8×0,008+0,2×0,20=0,0064+0,04≈4,6 %. Le logiciel semble fiable à plus de 95 %, alors qu'il se trompe une fois sur cinq pour une partie des personnes.

   Si le jeu de test était équilibré (50 % et 50 %), le taux global serait $0,5\times 0,008+0,5\times 0,20\approx 10,4\%$0,5×0,008+0,5×0,20≈10,4 %. Le même logiciel paraît deux fois moins fiable : le taux global dépend de la composition de l'échantillon.

   L'origine probable : les données d'apprentissage contenaient surtout des visages d'hommes à la peau claire. Un algorithme apprend mieux ce qu'il voit souvent. La leçon mathématique est générale : il faut toujours examiner les taux par sous-groupe, et pas seulement la moyenne.

3. 3. In English: "the coded gaze"

   3 min

   Joy Buolamwini, a Ghanaian-American computer scientist, noticed as a student that a face-tracking program did not detect her face until she put on a white mask. She called this problem "the coded gaze": the biases of the people who build technology, and of the data they use, become part of the technology itself. She founded the Algorithmic Justice League to raise awareness of these issues.

   After the publication of Gender Shades in 2018, the companies concerned improved their systems. But the debate went further. In 2020, after the murder of George Floyd and the protests that followed, IBM announced that it would stop selling general-purpose facial recognition, and Amazon and Microsoft suspended sales to the police. Several American cities, such as San Francisco, banned the use of facial recognition by public services. The story, told in the documentary Coded Bias (2020), shows that the fairness of an algorithm is not only a technical question, but also a political one.

4. 4. Conclusion

   1,5 min

   Un taux d'erreur de 0,8 % pour un groupe et de 34,7 % pour un autre peut se cacher derrière un taux global de 4,6 %, selon la composition des données. La formule des probabilités totales montre qu'une moyenne peut masquer des inégalités. J'ouvre sur les décisions de plusieurs villes américaines d'interdire la reconnaissance faciale.

Ce que j'écris au tableau

Pas de calculatrice ni de support numérique : un calcul clé écrit au tableau rend l'exposé concret et montre la solidité des connaissances.

Conclusion : la réponse à la question

Les questions probables du jury

Pendant les 10 minutesd'échange, le jury vous fait préciser et approfondir, sur tout le programme de vos spécialités en lien avec la question.

Les pièges qui coûtent des points

• Juger un algorithme sur son seul taux global.
• Confondre biais des données et intention de discriminer.
• Généraliser à tous les logiciels les résultats d'un seul.

Revoir les notions

• Probabilités conditionnelles (Première spé maths) →
• Tableaux croisés (Seconde) →

Autres questions : société et environnement en débat

• « We are the 99 % » : que signifie le fait que 1 % des Américains reçoivent 20 % des revenus ?
• Comment mesurer la ségrégation résidentielle dans une ville américaine ? L'indice de dissimilarité
• Un algorithme de justice peut-il être équitable pour tous les groupes à la fois ? L'affaire COMPAS
• Comment un prêt de 100 dollars peut-il coûter un taux annuel de près de 400 % ? Les « payday loans »

Toutes les questions maths-llcer anglais →