Pourquoi une intelligence artificielle qui ne fait aucune erreur sur ses données d'entraînement peut-elle être mauvaise ?

Pourquoi cette question : un modèle d'introduction

Le jury attend que vous expliquiez pourquoi vous avez choisi la question. Inspirez-vous de ce modèle, mais racontez votre propre parcours.

En NSI, nous avons entraîné un modèle qui reconnaissait parfaitement les images de son jeu d'entraînement, mais se trompait souvent sur de nouvelles images. Mon professeur a parlé de « surapprentissage ». Je voulais comprendre comment un modèle peut être trop bon, et j'ai trouvé un exemple mathématique très simple avec des polynômes.

L'enjeu et les notions du programme

Comparer deux modèles polynomiaux, l'un interpolant les données, l'autre les résumant, et justifier l'usage d'un jeu de test.

Le plan de l'exposé en 9,5 min

1. 1. Introduction

   1 min

   On mesure une grandeur qui croît à peu près linéairement, avec des erreurs de mesure. On veut un modèle pour prédire. Problématique : faut-il choisir le modèle qui colle parfaitement aux mesures ?

2. 2. Mathématiques : interpoler ou résumer

   4,5 min

   Mesures : $(0;0)$(0;0), $(1;1,2)$(1;1,2), $(2;1,8)$(2;1,8), $(3;3,1)$(3;3,1). Un polynôme de degré 3, $a{x}^3+b{x}^2+cx+d$ax³+bx²+cx+d, a 4 coefficients : en écrivant qu'il passe par les 4 points, on obtient un système de 4 équations à 4 inconnues, qui a une solution unique. Ce polynôme passe exactement par toutes les mesures : erreur nulle.

   Mais il suit aussi les erreurs de mesure. Prolongé, il prédit environ $6,4$6,4 pour $x=4$x=4 et $13$13 pour $x=5$x=5 : une croissance qui n'a rien à voir avec la tendance.

   La droite des moindres carrés, $y\approx 0,99x+0,04$y≈0,99x+0,04, ne passe exactement par aucun point. Elle prédit environ 5 pour $x=5$x=5, ce qui est cohérent avec la tendance. Elle a seulement 2 coefficients : elle ne peut pas suivre le bruit.

   Règle générale : avec $n$n points, un polynôme de degré $n-1$n-1 les interpole toujours. Une erreur nulle sur les données n'est donc pas une preuve de qualité, seulement de souplesse.

3. 3. NSI : mesurer sur des données jamais vues

   2,5 min

   On sépare les données en deux : un jeu d'entraînement pour ajuster le modèle, un jeu de test, mis de côté, pour l'évaluer. Le surapprentissage se repère quand l'erreur d'entraînement est très faible mais l'erreur de test élevée.

   Remèdes : choisir un modèle moins complexe, avoir davantage de données, ou pénaliser les coefficients trop grands. Les grands réseaux de neurones, qui ont parfois plus de paramètres que de données, sont particulièrement exposés et sont toujours évalués sur des données qu'ils n'ont jamais vues.

4. 4. Conclusion

   1,5 min

   Un modèle qui ne se trompe jamais sur ses données peut avoir appris le bruit : le polynôme de degré 3 passe par les 4 mesures mais prédit 13 au lieu d'environ 5. La qualité d'un modèle se mesure sur des données nouvelles. J'ouvre sur le principe du rasoir d'Ockham : à précision égale, préférer le modèle le plus simple.

Ce que j'écris au tableau

Pas de calculatrice ni de support numérique : un calcul clé écrit au tableau rend l'exposé concret et montre la solidité des connaissances.

Conclusion : la réponse à la question

Les questions probables du jury

Pendant les 10 minutesd'échange, le jury vous fait préciser et approfondir, sur tout le programme de vos spécialités en lien avec la question.

Les pièges qui coûtent des points

• Croire qu'une erreur nulle sur les données d'entraînement garantit un bon modèle.
• Évaluer un modèle sur les données qui ont servi à l'ajuster.
• Extrapoler un polynôme de haut degré.

Revoir les notions

• Polynômes de degré 2 et 3 (Première spé maths) →
• Statistiques à deux variables (Première générale) →

Autres questions : données et intelligence artificielle

• Comment une machine peut-elle classer une donnée nouvelle en regardant simplement ses voisines ?
• Pourquoi le résultat d'un algorithme d'intelligence artificielle peut-il changer si l'on mesure en millimètres plutôt qu'en centimètres ?
• Comment une machine trouve-t-elle la droite qui résume le mieux un nuage de points ?
• Comment une intelligence artificielle apprend-elle en corrigeant ses erreurs pas à pas ?

Toutes les questions maths-nsi →