Le Centre national de la recherche scientifique est un organisme public de recherche pluridisciplinaire placé sous la tutelle du ministère de l’Enseignement supérieure et de la Recherche. Créé en 1939 et dirigé par des scientifiques, il a pour mission de faire progresser la connaissance et être utile à la société dans le respect des règles d’éthique, de déontologie et d’intégrité scientifique.

Sujet de thèse :
1. Introduction
Le bégaiement, trouble de la fluence affectant des millions de personnes, se caractérise par des disfluences spécifiques (blocages, prolongations, répétitions) liées à un dysfonctionnement du contrôle moteur de la parole. Leur détection automatique, bien que déjà explorée via des modèles audios, reste limitée par une faible robustesse, une difficulté à identifier certaines disfluences comme les blocages silencieux, et une dépendance à des données rares. Cette thèse propose une approche multimodale (audio, vidéo, texte) pour améliorer la précision et la robustesse de la détection, en s’appuyant sur un corpus audiovisuel de locuteurs francophones bègues. L'analyse reposera sur des techniques d'encodage spécifiques à chaque modalité, suivies d'une fusion stratégique de leurs représentations pour une classification finale.

2. Missions
L’objectif de cette thèse est de concevoir, développer et évaluer une approche multimodale d’apprentissage profond pour la détection automatique des disfluences typiques du bégaiement en français, en combinant les modalités audio, vidéo et textuelle. Le travail s’appuiera sur un corpus audiovisuel annoté de locuteurs francophones bègues, avec une attention particulière portée aux disfluences difficiles à détecter par l’audio seul, comme les blocages silencieux, et à la robustesse face à la variabilité individuelle.

Les missions du doctorant s’articuleront autour des axes suivants :

Encodage audio : Implémenter et adapter Stutternet (Sheikh, S. A., Sahidullah, M., Hirsch, F., & Ouni, S. – 2021- Stutternet: Stuttering detection using time delay neural network. In EUSIPCO) pour extraire des caractéristiques acoustiques pertinentes à la détection de disfluences, en capturant les dépendances temporelles.

Encodage vidéo : Développer et entraîner des modèles de vision (par exemple C3D ou Transformers) pour analyser les séquences vidéos à la recherche d’indices visuels du bégaiement (tensions faciales, clignements, mouvements atypiques). L’extraction de landmarks faciaux (avec OpenFace ou MediaPipe) sera également explorée comme source complémentaire ou alternative de caractéristiques.

Encodage texte : Générer des transcriptions automatiques (via Whisper) et les encoder à l’aide de modèles de langage pré-entraînés (BERT, RoBERTa) afin d’extraire le contexte linguistique et de repérer des schémas textuels caractéristiques des disfluences.

Fusion multimodale : Mettre en œuvre et comparer plusieurs stratégies de fusion des représentations issues des trois modalités, telles que la concaténation, les mécanismes d’attention adaptatifs ou d’autres approches exploitant la complémentarité des données.

Classification et évaluation : Développer un classifieur opérant sur la représentation fusionnée pour prédire la présence ou l’absence de bégaiement dans une fenêtre temporelle donnée. L’évaluation s’appuiera sur des métriques standards (précision,
Voir plus sur le site emploi.cnrs.fr...

Le Centre national de la recherche scientifique est l’une des plus importantes institutions publiques au monde : 34 000 femmes et hommes (plus de 1 000 laboratoires et 200 métiers), en partenariat avec les universités et les grandes écoles, y font progresser les connaissances en explorant le vivant, la matière, l’Univers et le fonctionnement des sociétés humaines. Depuis plus de 80 ans, y sont développées des recherches pluri et interdisciplinaires sur tout le territoire national, en Europe et à l’international. Le lien étroit que le CNRS tisse entre ses missions de recherche et le transfert vers la société fait de lui un acteur clé de l’innovation en France et dans le monde. Le partenariat qui le lie avec les entreprises est le socle de sa politique de valorisation et les start-ups issues de ses laboratoires (près de 100 chaque année) témoignent du potentiel économique de ses travaux de recherche.

Contraintes et risques :
Déplacements (pris en charge) à prévoir entre les deux laboratoires porteurs du projet.