Pourquoi le « q » est-il presque toujours suivi d'un « u » en anglais ? Probabilités conditionnelles et génération de texte

Pourquoi cette question : un modèle d'introduction

Le jury attend que vous expliquiez pourquoi vous avez choisi la question. Inspirez-vous de ce modèle, mais racontez votre propre parcours.

En spécialité LLCER, nous avons étudié l'orthographe anglaise et ses régularités, et j'ai remarqué que certaines lettres appellent presque toujours la même suivante, comme « q » et « u ». J'ai découvert que Claude Shannon, en 1948, avait utilisé ces régularités pour générer de faux textes anglais de plus en plus réalistes. Ce sont des probabilités conditionnelles, que nous étudions en première.

L'enjeu et les notions du programme

Utiliser des probabilités conditionnelles successives (arbre) pour calculer la probabilité d'une suite de lettres, et comparer avec l'hypothèse d'indépendance.

Le plan de l'exposé en 9,5 min

1. 1. Introduction

   1 min

   Dans un texte, les lettres ne se suivent pas au hasard : après « q » vient presque toujours « u », après « th » souvent « e ». Problématique : comment mesurer ces dépendances, et comment permettent-elles à une machine de produire un texte ?

2. 2. Mathématiques : une chaîne de probabilités conditionnelles

   4 min

   Fréquences des lettres en anglais : « e » environ 12,7 %, « t » 9,1 %, « h » 6,1 %, « u » 2,8 %, « q » 0,1 %. Si les lettres étaient indépendantes, la probabilité qu'une lettre soit « u » ne dépendrait pas de la précédente.

   Or $P_q(u)$P_q(u), probabilité d'un « u » sachant que la lettre précédente est « q », dépasse 0,99 (les exceptions sont rares, comme « Iraq » ou « Qatar »). C'est plus de 35 fois la fréquence de « u ». Les lettres sont donc fortement dépendantes.

   Probabilité d'une suite de lettres : par la formule $P(A\cap B)=P(A)\times P_A(B)$P(A∩ B)=P(A)× P_A(B), appliquée de proche en proche, $P(\text{t, h, e})=P(t)\times P_t(h)\times P_h(e)$P( t, h, e )=P(t)× P_t(h)× P_h(e). Avec $P(t)\approx 0,09$P(t)≈0,09, $P_t(h)\approx 0,35$P_t(h)≈0,35 et $P_h(e)\approx 0,5$P_h(e)≈0,5 : $0,09\times 0,35\times 0,5\approx 0,016$0,09×0,35×0,5≈0,016. Si les lettres étaient indépendantes : $0,091\times 0,061\times 0,127\approx 0,0007$0,091×0,061×0,127≈0,0007. Le modèle avec dépendance rend « the » plus de 20 fois plus probable, conformément à la réalité.

   Ce modèle, où chaque lettre dépend de la précédente, est une chaîne de Markov. Shannon l'a utilisé pour générer des textes : en tirant chaque lettre selon les probabilités conditionnelles, on obtient des suites qui ressemblent de plus en plus à de l'anglais quand on tient compte de 1, 2 puis 3 lettres précédentes. Les modèles de langage modernes prolongent cette idée : ils calculent la probabilité du mot suivant sachant tous les précédents.

3. 3. In English: from Markov to chatbots

   3 min

   In 1913, the Russian mathematician Andrey Markov counted the vowels and consonants in 20 000 letters of Pushkin's poem Eugene Onegin, and showed that the probability of a vowel depends on the previous letter. In 1948, the American engineer Claude Shannon used the same idea for English. His "second-order approximation", based on pairs of letters, produced: "ON IE ANTSOUTINYS ARE T INCTORE ST BE S DEAMY ACHIN D ILONASIVE TUCOOWE..." With words instead of letters, his text became almost readable: "THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHARACTER OF THIS POINT IS THEREFORE..."

   Today's chatbots work on a similar principle, predicting the next word from the previous ones, but with billions of parameters and much longer contexts. This raises questions that writers have long discussed: is a text produced by probabilities creative? Can it have meaning without an intention? The mathematics shows that much of language is predictable, which is precisely why the unpredictable choices of a great writer are so striking.

4. 4. Conclusion

   1,5 min

   En anglais, $P_q(u)>0,99$P_q(u)>0,99 alors que « u » ne fait que 2,8 % des lettres, et une chaîne de probabilités conditionnelles rend « the » plus de 20 fois plus probable que sous l'hypothèse d'indépendance. Ces dépendances permettent de générer du texte, de Shannon aux modèles actuels. J'ouvre sur les matrices de transition des chaînes de Markov.

Ce que j'écris au tableau

Pas de calculatrice ni de support numérique : un calcul clé écrit au tableau rend l'exposé concret et montre la solidité des connaissances.

Conclusion : la réponse à la question

Les questions probables du jury

Pendant les 10 minutesd'échange, le jury vous fait préciser et approfondir, sur tout le programme de vos spécialités en lien avec la question.

Les pièges qui coûtent des points

• Confondre P(u) et P_q(u).
• Multiplier les fréquences comme si les lettres étaient indépendantes.
• Croire qu'un texte probable a forcément un sens.

Revoir les notions

• Probabilités conditionnelles (Première spé maths) →
• Graphes et marches aléatoires (Terminale maths expertes) →

Autres questions : la langue comme donnée

• Pourquoi « the » représente-t-il 7 % des mots anglais ? La loi de Zipf
• Comment des statisticiens ont-ils découvert l'auteur de textes anonymes ? Les Federalist Papers
• Shakespeare avait-il un vocabulaire exceptionnel ? Compter les mots différents d'une œuvre
• Peut-on mesurer la difficulté d'un texte avec une formule ? L'indice de lisibilité de Flesch

Toutes les questions maths-llcer anglais →