Question transversaleMathsNSIDonnées et intelligence artificielle

Un détecteur de fraude juste dans 99 % des cas est-il forcément utile ?

Si 1 % des opérations sont frauduleuses, un détecteur qui dit toujours « pas de fraude » est juste dans 99 % des cas, mais n'en trouve aucune. Un vrai détecteur qui repère 80 fraudes sur 100 avec 200 fausses alertes n'est juste qu'à 97,8 %, mais son rappel est de 80 % et sa précision de 29 %.

Grand oral session 2027 : exposé de 10 minutes debout, puis 10 minutes d'échange, sans calculatrice. Plan prévu pour 9,5 min.

Pourquoi cette question : un modèle d'introduction

Le jury attend que vous expliquiez pourquoi vous avez choisi la question. Inspirez-vous de ce modèle, mais racontez votre propre parcours.

J'ai lu qu'une intelligence artificielle détectait une maladie avec « 99 % de réussite », et cela m'a semblé extraordinaire. En NSI, mon professeur nous a montré qu'un programme d'une ligne pouvait obtenir le même score sur des données déséquilibrées. J'ai voulu comprendre quelles mesures permettent vraiment de juger un classifieur.

L'enjeu et les notions du programme

Utiliser des fréquences conditionnelles pour définir des indicateurs pertinents et montrer qu'un taux global peut être trompeur.

Mathématiques

Tableaux croisés d'effectifs, fréquences conditionnelles (seconde)
Probabilités conditionnelles (première)
Pourcentages (seconde)

Numérique et sciences informatiques

Classification, évaluation d'un algorithme (première)
Traitement de données en tables (première)

Le plan de l'exposé en 9,5 min

1. Introduction
1 min
Une banque veut détecter les paiements frauduleux. Sur 10 000 opérations, 100 sont des fraudes. Problématique : comment juger un détecteur, et le taux de réponses justes est-il un bon critère ?
2. Mathématiques : un tableau croisé
4,5 min
Détecteur paresseux : il répond toujours « pas de fraude ». Il a raison sur les 9 900 opérations honnêtes : taux de réussite $99 %$ 99 %. Mais il ne détecte aucune fraude : il est inutile.
Vrai détecteur : il signale 280 opérations, dont 80 fraudes réelles (et 200 fausses alertes), et laisse passer 20 fraudes. Réponses justes : $80 + (9900 - 200) = 9780$ 80+(9 900-200)=9 780, soit $97, 8 %$ 97,8 % : moins que le détecteur paresseux !
On définit des fréquences conditionnelles. Le rappel : parmi les fraudes, proportion détectée, $\frac{80}{100} = 80 %$ 80/100=80 %. La précision : parmi les alertes, proportion de vraies fraudes, $\frac{80}{280} \approx 29 %$ 80/280≈29 %. Le détecteur paresseux a un rappel de 0 %.
Ces mesures répondent à des questions différentes : le rappel intéresse la banque (« combien de fraudes j'arrête ? »), la précision intéresse le client (« si on bloque ma carte, est-ce vraiment une fraude ? »). On les combine parfois dans un score unique, la moyenne harmonique $F = \frac{2 P R}{P + R} \approx 0, 42$ F=2PR/(P+R)≈0,42.
3. NSI : régler le seuil
2,5 min
Un détecteur donne en général un score ; on signale une fraude au-dessus d'un seuil. Baisser le seuil augmente le rappel (on rate moins de fraudes) mais diminue la précision (plus de fausses alertes). Le choix dépend du coût de chaque erreur.
En Python, on calcule les quatre cases du tableau (vrais positifs, faux positifs, vrais négatifs, faux négatifs) à partir des prédictions et des étiquettes réelles. C'est la « matrice de confusion », toujours présentée avec les résultats d'un modèle sérieux.
4. Conclusion
1,5 min
Sur des données déséquilibrées, le taux de réussite global trompe : 99 % peut signifier aucune fraude détectée. Le rappel et la précision, deux fréquences conditionnelles, disent ce qu'on attend vraiment d'un détecteur. J'ouvre sur le diagnostic médical, où la même question se pose avec la sensibilité et la spécificité.

Ce que j'écris au tableau

Pas de calculatrice ni de support numérique : un calcul clé écrit au tableau rend l'exposé concret et montre la solidité des connaissances.

paresseux : \frac{9 900}{10 000} = 99 %, rappel = 0 vrai : \frac{9 780}{10 000} = 97, 8 % paresseux : (9 900)/(10 000)=99 %, rappel =0 vrai : (9 780)/(10 000)=97,8 % rappel = \frac{80}{100} = 80 % pr \overset{e}{ˊ} cision = \frac{80}{280} \approx 29 % F = \frac{2 P R}{P + R} \approx 0, 42 rappel =80/100=80 % précision =80/280\approx29 % F=2PR/(P+R)\approx0,42

Conclusion : la réponse à la question

Un bon score global ne fait pas un bon détecteur. Les fréquences conditionnelles d'un tableau croisé, rappel et précision, mesurent ce qui compte, et révèlent le compromis imposé par le choix du seuil.

Les questions probables du jury

Pendant les 10 minutesd'échange, le jury vous fait préciser et approfondir, sur tout le programme de vos spécialités en lien avec la question.

Calculez la précision si le détecteur signalait 100 opérations dont 80 fraudes.

$\frac{80}{100} = 80 %$ 80/100=80 %.

Pourquoi une moyenne harmonique ?

Elle est faible dès que l'une des deux mesures est faible : un bon score exige un bon rappel et une bonne précision.

Traduisez le rappel en probabilité conditionnelle.

$P (alerte ∣ fraude)$ P( alerte | fraude ).

Et la précision ?

$P (fraude ∣ alerte)$ P( fraude | alerte ).

Que se passe-t-il si la fraude devient plus rare ?

À détecteur égal, les fausses alertes pèsent davantage : la précision baisse.

Les pièges qui coûtent des points

Juger un classifieur sur son seul taux de réussite.
Confondre P(alerte | fraude) et P(fraude | alerte).
Oublier que le seuil se choisit selon le coût des erreurs.

Revoir les notions

Autres questions : données et intelligence artificielle

Toutes les questions maths-nsi →

Préparer l'oral, pas seulement le contenu

Gestion des 20 minutes de préparation, usage du tableau, posture debout, réponses au jury : la méthode complète, conforme aux règles de la session 2027.

Méthode : traiter une question de Grand oral →

Continuer la préparation

Le Grand oral 2027 →Méthode : traiter une question →Toutes les questions, par combinaison →Questions de maths seules →Questions maths-physique-chimie →Questions maths-SES →Questions maths-SVT →Questions maths-SI →Questions maths-HGGSP →Questions maths-anglais →