Lire sur les lèvres sans un bruit : l’IA fait un vrai pas en avant
Une conversation dans un atelier bruyant, un ami malentendant autour de la table, une vidéo sans le son : dans tous ces cas, les lèvres disent ce que l’oreille ne capte pas. Une équipe coréenne vient d’apprendre à une IA à les lire nettement mieux, avec une idée toute simple.
L’info vient de KAIST, l’institut coréen des sciences et technologies, relayée mi-novembre sur EurekAlert. L’équipe du professeur Yong Man Ro a amélioré la reconnaissance visuelle de la parole : une IA regarde le mouvement des lèvres dans une vidéo et le transforme en texte, sans aucun son.
J’avoue que ce sujet me touche. On a tous déjà vécu ce moment où l’on fait répéter trois fois quelqu’un dans un endroit bruyant, en se sentant un peu bête. Pour les personnes sourdes ou malentendantes, c’est le quotidien.
Pourquoi lire sur les lèvres est si difficile
Sur une vidéo, certains sons se ressemblent énormément. En anglais, le « p », le « b » et le « m » sont presque impossibles à distinguer à l’image : la bouche fait le même geste.
Le hic, c’est que la plupart des IA écrivent leurs phrases dans l’ordre, du premier mot au dernier. Si elles se trompent au début, l’erreur se propage et contamine la suite. KAIST donne un exemple parlant : un « PACK » lu comme « BACK », et tout le reste de la phrase part de travers.
L’idée maligne : commencer par ce qui est sûr
L’équipe a inversé la logique. Au lieu d’avancer mot après mot, son IA repère d’abord les mots qu’elle reconnaît avec certitude, ceux où le mouvement des lèvres est net. Ensuite seulement, elle s’en sert comme d’indices pour deviner les passages ambigus.
C’est exactement ce qu’on fait nous-mêmes quand on lit une phrase avec une tache d’encre : on s’appuie sur les mots autour, avant et après. Techniquement, ils utilisent un « modèle de langage par diffusion », qui remplit les trous d’une phrase petit à petit.
- l’IA apprend d’abord à associer les lèvres au texte ;
- puis à estimer la longueur de la phrase à partir de la durée de la vidéo ;
- elle prépare plusieurs phrases candidates, de longueurs différentes, et garde la plus fiable.
Des résultats qui comptent
Entraîné sur LRS3, un ensemble de 433 heures de vidéos de lecture labiale, le modèle atteint un taux d’erreur de 19,4 % sur les mots. Selon KAIST, c’est le meilleur résultat publié parmi les méthodes entraînées uniquement sur ces données.
Le travail a aussi reçu un prix « Outstanding Paper » à EMNLP 2026, une grande conférence internationale sur le traitement du langage. Pour le professeur Ro, il pose les bases d’une IA sur laquelle on pourra compter dans la vie de tous les jours comme sur les sites industriels.
Pour rester honnête : on parle d’un travail de recherche, pas encore d’une appli à télécharger. Et une erreur sur cinq mots environ, c’est encore beaucoup pour suivre une conversation sans aide.
À qui ça pourrait servir, très concrètement
Les chercheurs citent deux usages qui me parlent beaucoup.
Quand le son ne passe plus, les lèvres peuvent encore parler.
- Les personnes sourdes et malentendantes, avec des appareils qui aideraient à suivre une conversation ;
- les ateliers et chantiers bruyants, où les machines couvrent la voix des collègues.
Ici en Brabant wallon, je pense tout de suite à la menuiserie, à la carrosserie, au chantier où l’on se parle à deux mètres en criant. Et aussi à tous ces commerces où un client malentendant n’ose pas toujours dire qu’il n’a pas compris.
La suite prévue par l’équipe va dans le bon sens : rendre le modèle plus léger, pour qu’il tourne un jour en temps réel sur des appareils portables ou des robots, sans connexion internet.
En conclusion : une IA qui écoute avec les yeux
Ce qui me plaît dans cette avancée, c’est qu’elle ne cherche pas à remplacer qui que ce soit. Elle veut simplement que plus de monde puisse suivre une conversation, là où le son fait défaut.
Ma piste pour vous cette semaine : regardez vos propres vidéos, sur votre site ou vos réseaux. Ont-elles des sous-titres ? Aujourd’hui, des outils d’IA les génèrent en quelques minutes. C’est un geste simple pour vos clients malentendants, et pour tous ceux qui regardent sans le son. Si vous voulez qu’on le mette en place ensemble, parlons-en.
Sources
- EurekAlert! — KAIST develops lip-reading AI that decodes clear words first to resolve ambiguous mouth movements (communiqué en anglais, 14 novembre 2026)
- Article scientifique : Jeong Hun Yeo, Chae Won Kim, Hyeongseop Rha, Yong Man Ro, « Diffusion Large Language Models for Visual Speech Recognition », EMNLP 2026 (arXiv, en anglais)





