Un algorithme de justice peut-il être équitable pour tous les groupes à la fois ? L'affaire COMPAS

Pourquoi cette question : un modèle d'introduction

Le jury attend que vous expliquiez pourquoi vous avez choisi la question. Inspirez-vous de ce modèle, mais racontez votre propre parcours.

En spécialité LLCER, nous avons étudié le système judiciaire américain et les inégalités raciales face à la justice. J'ai découvert qu'aux États-Unis des juges utilisent des algorithmes pour estimer le risque de récidive, et qu'une enquête de 2016 a accusé l'un d'eux, COMPAS, d'être biaisé. Le débat qui a suivi m'a surpris : les deux camps avaient raison, chacun selon sa définition de l'équité, ce que les probabilités conditionnelles permettent de démontrer.

L'enjeu et les notions du programme

Construire des tableaux croisés, calculer des probabilités conditionnelles (fiabilité, taux de fausses alertes) et montrer qu'elles ne peuvent pas être toutes égales entre groupes.

Le plan de l'exposé en 9,5 min

1. 1. Introduction

   1 min

   Dans plusieurs États américains, un score de risque aide les juges à décider de libérer un accusé avant son procès. Problématique : que signifie un algorithme « équitable », et peut-il l'être selon tous les critères à la fois ?

2. 2. Mathématiques : deux définitions incompatibles de l'équité

   4 min

   Deux critères d'équité. Fiabilité égale : parmi les personnes classées « à haut risque », la proportion qui récidive est la même dans chaque groupe (c'est ce que défendait l'éditeur). Fausses alertes égales : parmi les personnes qui ne récidivent pas, la proportion classée à tort « à haut risque » est la même dans chaque groupe (c'est ce que mesurait ProPublica).

   Modèle : deux groupes de 1 000 personnes. Groupe A : taux de récidive 50 % (500 récidivistes). Groupe B : taux 30 % (300). L'algorithme est également fiable : dans chaque groupe, 60 % des personnes classées à haut risque récidivent.

   Groupe A : 600 personnes classées à haut risque, dont 360 récidivistes et 240 non-récidivistes. Taux de fausses alertes : $\frac{240}{500}=48\%$240/500=48 % des non-récidivistes.
   Groupe B : 300 classées à haut risque, dont 180 récidivistes et 120 non-récidivistes. Taux de fausses alertes : $\frac{120}{700}\approx 17\%$120/700≈17 %.

   Avec la même fiabilité (60 %), les non-récidivistes du groupe A sont presque trois fois plus souvent classés à tort à haut risque. Ce n'est pas un défaut de ce modèle : des chercheurs ont démontré en 2016-2017 que, si les taux de récidive diffèrent entre groupes, aucun score imparfait ne peut avoir à la fois la même fiabilité et les mêmes taux d'erreur dans les deux groupes.

   Il faut donc choisir quel critère d'équité privilégier : c'est une décision morale et politique, pas seulement technique. Et les taux de récidive mesurés dépendent eux-mêmes des arrestations, qui peuvent refléter des inégalités dans le travail de la police.

3. 3. In English: "Machine Bias"

   3 min

   In May 2016, the investigative newsroom ProPublica published an article titled "Machine Bias". Analysing more than 7 000 cases in Broward County, Florida, it found that Black defendants who did not reoffend were almost twice as likely as white defendants to be labelled high-risk. The company that sold COMPAS replied that its scores were equally accurate for both groups, and that ProPublica had misunderstood the statistics.

   Computer scientists then showed that both sides were right according to their own definitions of fairness, and that these definitions cannot all be satisfied at the same time when the base rates differ. The debate had a wide impact: it led to new research on "algorithmic fairness" and to public discussions about transparency. Should defendants have the right to know how their score is calculated? Should algorithms be used at all in criminal justice? These questions are part of a larger debate on mass incarceration in the United States, which has the highest prison population in the world.

4. 4. Conclusion

   1,5 min

   Avec la même fiabilité de 60 % dans deux groupes aux taux de récidive différents, les taux de fausses alertes valent 48 % et 17 % : l'équité ne peut pas être satisfaite selon tous les critères à la fois. Les probabilités conditionnelles montrent que le choix d'un critère est une décision politique. J'ouvre sur les débats américains sur la transparence des algorithmes de justice.

Ce que j'écris au tableau

Pas de calculatrice ni de support numérique : un calcul clé écrit au tableau rend l'exposé concret et montre la solidité des connaissances.

Conclusion : la réponse à la question

Les questions probables du jury

Pendant les 10 minutesd'échange, le jury vous fait préciser et approfondir, sur tout le programme de vos spécialités en lien avec la question.

Les pièges qui coûtent des points

• Confondre fiabilité et taux de fausses alertes.
• Croire qu'un algorithme peut satisfaire tous les critères d'équité.
• Oublier que les données reflètent aussi des pratiques humaines.

Revoir les notions

• Probabilités conditionnelles (Première spé maths) →
• Probabilités conditionnelles et indépendance (Terminale spé maths) →

Autres questions : société et environnement en débat

• « We are the 99 % » : que signifie le fait que 1 % des Américains reçoivent 20 % des revenus ?
• Comment mesurer la ségrégation résidentielle dans une ville américaine ? L'indice de dissimilarité
• La reconnaissance faciale se trompe-t-elle davantage sur certaines personnes ? L'étude Gender Shades
• Comment un prêt de 100 dollars peut-il coûter un taux annuel de près de 400 % ? Les « payday loans »

Toutes les questions maths-llcer anglais →