Comment un ordinateur peut-il calculer que « king − man + woman = queen » ? Les mots comme vecteurs

Pourquoi cette question : un modèle d'introduction

Le jury attend que vous expliquiez pourquoi vous avez choisi la question. Inspirez-vous de ce modèle, mais racontez votre propre parcours.

En spécialité LLCER, nous avons utilisé des outils de traduction automatique et je me suis demandé comment un ordinateur pouvait « comprendre » le sens des mots. J'ai découvert qu'en 2013 des chercheurs de Google avaient montré qu'on pouvait faire des calculs sur les mots, comme « king − man + woman ≈ queen ». En maths, j'ai reconnu les vecteurs et le produit scalaire que nous avons étudiés en première.

L'enjeu et les notions du programme

Représenter des mots par des vecteurs, effectuer des opérations vectorielles et mesurer une similarité par le produit scalaire et le cosinus.

Le plan de l'exposé en 9,5 min

1. 1. Introduction

   1 min

   Un ordinateur ne manipule que des nombres. Pour traiter des textes, il faut transformer les mots en nombres de façon à conserver leur sens. Problématique : comment représenter un mot par un vecteur, et pourquoi les opérations sur ces vecteurs ont-elles un sens ?

2. 2. Mathématiques : vecteurs et produit scalaire

   4 min

   Modèle simplifié à deux coordonnées : la première mesure la « royauté », la seconde la « masculinité ». king $=(0,9;0,9)$=(0,9;0,9), queen $=(0,9;0,1)$=(0,9;0,1), man $=(0,1;0,9)$=(0,1;0,9), woman $=(0,1;0,1)$=(0,1;0,1).

   Opération : king − man + woman $=(0,9-0,1+0,1;0,9-0,9+0,1)=(0,9;0,1)$=(0,9-0,1+0,1 ; 0,9-0,9+0,1)=(0,9;0,1), c'est-à-dire queen. Le vecteur $\overrightarrow{\text{man}\to \text{woman}}=(0;-0,8)$vecteur man → woman =(0;-0,8) représente le passage du masculin au féminin ; l'ajouter à king donne queen.

   Similarité : on compare deux mots par le cosinus de l'angle entre leurs vecteurs, $\cos \theta =\frac{\vec{u}\cdot \vec{v}}{\Vert \vec{u}\Vert \Vert \vec{v}\Vert }$cosθ=( vecteur u · vecteur v )/(‖ vecteur u ‖ ‖ vecteur v ‖). Pour king et queen : $\vec{u}\cdot \vec{v}=0,9\times 0,9+0,9\times 0,1=0,90$vecteur u · vecteur v =0,9×0,9+0,9×0,1=0,90 ; $\Vert \vec{u}\Vert =\sqrt{1,62}\approx 1,27$‖ vecteur u ‖=√(1,62)≈1,27, $\Vert \vec{v}\Vert =\sqrt{0,82}\approx 0,91$‖ vecteur v ‖=√(0,82)≈0,91. Donc $\cos \theta \approx \frac{0,90}{1,27\times 0,91}\approx 0,78$cosθ≈0,90/1,27×0,91≈0,78, soit un angle d'environ 39°. Un cosinus proche de 1 signifie des mots proches, proche de 0 des mots sans rapport.

   Dans les vrais modèles, comme word2vec (2013), chaque mot a plusieurs centaines de coordonnées, apprises automatiquement à partir de milliards de phrases : deux mots qui apparaissent dans les mêmes contextes reçoivent des vecteurs proches. Les coordonnées n'ont pas de sens aussi clair que « royauté », mais les mêmes formules s'appliquent en dimension 300. L'égalité king − man + woman ≈ queen n'y est qu'approchée : on cherche le mot dont le vecteur est le plus proche du résultat.

3. 3. In English: "You shall know a word by the company it keeps"

   3 min

   The idea behind word vectors comes from the British linguist John Rupert Firth, who wrote in 1957: "You shall know a word by the company it keeps." Words that appear in similar contexts tend to have similar meanings. Modern language models, including the systems used for translation and chatbots, are built on this principle.

   But word vectors also learn the prejudices contained in the texts they are trained on. In 2016, researchers showed that a model trained on news articles completed the analogy "man is to computer programmer as woman is to..." with "homemaker". The vectors reflected stereotypes present in society. This discovery started a debate about bias in artificial intelligence: if machines learn from human language, they may reproduce and even amplify discrimination. Researchers now try to "debias" these vectors, but it raises a difficult question: should a machine describe the world as it is, or as it should be?

4. 4. Conclusion

   1,5 min

   En représentant les mots par des vecteurs, king − man + woman donne queen, et le produit scalaire mesure leur proximité : un cosinus de 0,78 entre king et queen. Les mathématiques de première sont au cœur des intelligences artificielles du langage. J'ouvre sur les biais que ces vecteurs héritent de nos textes.

Ce que j'écris au tableau

Pas de calculatrice ni de support numérique : un calcul clé écrit au tableau rend l'exposé concret et montre la solidité des connaissances.

Conclusion : la réponse à la question

Les questions probables du jury

Pendant les 10 minutesd'échange, le jury vous fait préciser et approfondir, sur tout le programme de vos spécialités en lien avec la question.

Les pièges qui coûtent des points

• Croire que les coordonnées des vrais modèles ont un sens clair.
• Présenter l'égalité comme exacte dans les modèles réels.
• Oublier de diviser par les normes dans le calcul du cosinus.

Revoir les notions

• Vecteurs du plan (Seconde) →
• Produit scalaire dans le plan (Première spé maths) →

Autres questions : la langue comme donnée

• Pourquoi « the » représente-t-il 7 % des mots anglais ? La loi de Zipf
• Comment des statisticiens ont-ils découvert l'auteur de textes anonymes ? Les Federalist Papers
• Shakespeare avait-il un vocabulaire exceptionnel ? Compter les mots différents d'une œuvre
• Peut-on mesurer la difficulté d'un texte avec une formule ? L'indice de lisibilité de Flesch

Toutes les questions maths-llcer anglais →