Missions

La surdité profonde est un problème de santé publique majeur dans le monde entier, affectant plus de cinq pour cent de la population mondiale et posant des défis au développement linguistique lorsqu'elle survient tôt dans la vie. Les solutions traditionnelles pour la communication avec les personnes sourdes comprennent l'enseignement de la langue des signes ou l'utilisation d'implants cochléaires pour la communication orale. Développé en 1967 par le Dr R. Orin Cornett, le cued speech offre une méthode alternative souvent associée aux implants cochléaires. Il fournit des indices visuels qui complètent la lecture labiale en désambiguïsant les syllabes (Figure 1). Le système d'encodage du cued speech est basé sur les formes et les positions des mains, qui représentent respectivement les consonnes et les voyelles dans les syllabes. En combinaison avec la lecture labiale, ces gestes permettent aux cueurs de transmettre des informations phonologiques précises.

Malgré l'utilisation relativement répandue du cued speech, ses avantages et les opportunités qu'il offre à la communauté scientifique, il n'existe que quelques outils quotidiens disponibles pour les communautés du cued speech. Ce projet propose de développer un nouvel outil d'aide pour la communauté du cued speech, basé sur les récents progrès de l'intelligence artificielle (IA).

Objectifs principaux

Le principal objectif du projet est de développer un système qui facilite la communication entre les personnes sourdes et les personnes entendantes. Le système est destiné à être déployé sur différents types d'appareils, tels que les téléphones et les tablettes, et effectuera deux tâches principales : (1) génération d'avatars de cued speech, et (2) reconnaissance automatique du cued speech (ACSR).

Activités

Objectif 1 - Génération d'avatars

Dans le cadre de l'objectif 1, vous développerez un outil permettant de transformer la parole acoustique en une présentation visuelle du cued speech, qui sera affichée sur l'écran de l'appareil à l'aide d'un avatar, accompagné du texte correspondant.

Objectif 2 - Reconnaissance automatique du cued speech

Dans le cadre de l'objectif 2, vous développerez une méthode permettant de détecter les gestes du cued speech à partir d'images et de vidéos et de les transformer en texte et en son. La méthode s'appuiera sur notre récente publication, en la développant davantage pour un déploiement quotidien dans le monde réel.

Responsabilités:

Concevoir, mettre en œuvre et déployer des modèles avancés d'apprentissage automatique pour les tâches de vision, de reconnaissance vocale et de modélisation linguistique.
Conduire des expériences et des tests pour améliorer la précision et l'efficacité des modèles.
Travailler en étroite collaboration avec un ingénieur logiciel pour intégrer les modèles d'IA dans des systèmes évolutifs et performants.
Analyser et traiter de grands ensembles de données pour entraîner et affiner les modèles.
Se tenir au courant des derniers développements en matière d'IA, d'apprentissage automatique et de recherche en apprentissage profond.

Compétences

MS/PhD en informatique, intelligence artificielle, apprentissage automatique ou domaines connexes.
Expérience avérée dans le développement et la mise en œuvre de modèles d'apprentissage automatique, en particulier dans les domaines de la vision par ordinateur, de la reconnaissance vocale et du traitement du langage naturel.
Solides compétences de programmation en Python et maîtrise des frameworks d'apprentissage profond (par exemple, TensorFlow, PyTorch).
Connaissance des algorithmes d'apprentissage automatique, des structures de données et des pratiques standard de développement logiciel.
Expérience en programmation GPU et optimisation.
Fortes compétences analytiques et de résolution de problèmes.
Un dossier de publications dans les domaines de l'IA/ML est un plus.

Contexte de travail

Vous travaillerez au laboratoire de sciences cognitives et de psycholinguistique (LSCP) au DEC, ENS, Paris. Vous aurez accès à un petit cluster de machines avec plusieurs centaines de CPU et plusieurs GPU. Le laboratoire propose des réunions hebdomadaires sur divers sujets liés aux relations entre l'IA et le traitement du langage.