(H/F) Offre Post-doctorant - Apprentissage Interactif du Contrôle Gestuel de l'Intonation

Description du Poste

Les Missions

Dans les interactions orales, la prosodie de la parole, qui englobe l’intonation et le rythme, constitue un canal de communication qui transmet à la fois des informations relatives à la structure du discours (par exemple, les limites syntaxiques, l’accentuation contrastive) et des éléments d’expressivité (par exemple, des attitudes ou des émotions). Chez les patients atteints de troubles laryngés, la perte du contrôle de l'intonation a un impact considérable sur l'intelligibilité de leur parole et sur leurs interactions sociales. Les solutions de substitution vocale adaptées visent à reconstruire le signal vocal dégradé en allant chercher l'information d'intonation à travers d'autres canaux que le signal acoustique. Par exemple, des études antérieures ont montré que les participants peuvent contrôler très précisément l'intonation d'une phrase en dessinant un contour donné sur une tablette graphique. Néanmoins, cela s’avère très difficile lors du contrôle de schémas d’intonation expressifs, et lorsque le contrôle est effectué spontanément (sans aucune référence) en synchronisation avec l’articulation. Parallèlement, un axe de recherche consacré à la mise en correspondance de gestes et de sons a développé des techniques avancées de Mapping par démonstration, un paradigme centré sur l’utilisateur dans lequel les individus effectuent des gestes types de leur choix tout en démontrant le son souhaité. Le système apprend et généralise ensuite ces associations, permettant un contrôle personnalisé et adaptatif de la génération audio en temps réel.
Objectifs
Nous proposons dans ce projet de Post-Doctorat d'utiliser les techniques de Mapping par Démonstration pour le control gestuel de variations expressives d'intonation lors d'une reconstruction en temps-réel de la parole. Les deux points suivants seront étudiés :
1. Apprentissage interactif du contrôle de l'intonation : il s'agit de mettre en œuvre des techniques de Mapping par Démonstration à l'aide de la bibliothèque MuBu, afin d'apprendre des gestes personalisés à chaque utilisateur pour le contrôle de schémas d'intonation expressive typiques, extraits d'un ensemble de données expressives. La première étape portera sur le contrôle de la temporalité : la temporalité du geste servira de commande pour synchroniser la courbe d'intonation avec la phrase articulée par l'utilisateur. La deuxième étape intègrera un contrôle de variantes des courbes d'intonation prédéfinies, par la variabilité du geste. Diverses interfaces d'acquisition des gestes de la main seront explorées, notamment les mouvements en 2D (par ex. tablette) et en 3D (par ex. accéléromètre).
2. Évaluation dans le cadre d'une étude comportementale : il s'agira de concevoir des protocoles expérimentaux visant à évaluer les performances du système. Cela portera notamment sur (1) la facilité d’apprentissage de nouveaux gestes par Mapping par Démonstration ; (2) la qualité du contrôle après l’apprentissage. Des expériences impliquant un certain nombre de participants seront menées en conséquence. Dans les deux cas, des critères d'évaluation seront définis et des indicateurs seront extraits à l'aide de tests objectifs et/ou perceptifs.

L'Activité

- Prise en main de la librairie MuBu dans l'environnement Max/MSP pour le Mapping par Démonstration
- Identification de courbes intonatives typiques sur notre corpus de parole expressive
- Implémentation du Mapping par démonstration pour le contrôle de ces courbes intonatives par le geste (temporalité et variabilité)
- Interfaçage avec notre module de reconstruction de la parole en temps-réel
- Proposition d'un protocole d'évaluation en terme de tâche de communication et de métriques objectives et/ou subjectives
- Evaluation sur un groupe d'utilisateur et analyse des résultats
- Rédaction d'un article de journal ou de conférence

Votre Profil

Compétences

Les personnes n'ayant pas de compétence dans certains des domaines listés sont néanmoins encouragées à déposer une candidature.

- Expérience en Interfaces humain machine / Mapping geste-son
- Connaissances en machine learning et traitement du signal
- Connaissances en sciences de la parole et prosodie
- Programmation Max/MSP temps-réel
- Motivation forte pour lar réalisation d'expériences comportementales impliquant l'humain

Votre Environnement de Travail

Le Gipsa-lab est un laboratoire de recherche mixte du CNRS, Grenoble-INP -UGA et de l’Université de Grenoble Alpes. Il est conventionné avec l’Inria et l’Observatoire des Sciences de l'Univers de Grenoble. Il mène des recherches théoriques et appliquées sur l’AUTOMATIQUE, le SIGNAL, les IMAGES, la PAROLE, la COGNITION, la ROBOTIQUE et l’APPRENTISSAGE.
Pluridisciplinaire et à l’interface entre l’humain, les mondes physiques et numériques, nos recherchent se confrontent à des mesures, des données, des observations provenant des systèmes physiques, physiologiques, cognitifs. Elles portent sur la conception de méthodologies et d’algorithmes de traitement et d’extraction de l’information, de décisions, d’actions et de communications viables, performants et compatibles avec la réalité physique et humaine. Nos travaux s’appuient sur des théories mathématiques et informatiques pour le développement de modèles et d’algorithmes, validés par des implémentations matérielles et logicielles.
En s’appuyant sur ses plateformes et ses partenariats, Gipsa-lab garde un lien constant avec des applications dans des domaines très variés : la santé, l’environnement, l’énergie, la géophysique, les systèmes embarqués, la mécatronique, les procédés et systèmes industriels , les télécommunications, les réseaux, les transports et véhicules, la sécurité et la sûreté de fonctionnement, l’interaction homme-machine, l’ingénierie linguistique, la physiologie et la biomécanique…
De part la nature de ses recherches, Gipsa-lab est en relation directe et constante avec le milieu économique et la société.
Son potentiel d’enseignants-chercheurs et chercheurs est investi dans la formation au niveau des universités et écoles d’ingénieurs du site grenoblois (Université Grenoble Alpes).
Gipsa-lab développe ses recherches au travers de 16 équipes ou thèmes organisés en 4 pôles :
• Automatique et Diagnostic (PAD)
• Science des Données (PSD)
• Parole et Cognition (PPC)
• Géométries, Apprentissage, Information et Algorithmes (GAIA).
Le personnel accompagnant la recherche (38 ingénieurs et techniciens) est réparti dans les services communs répartis au sein de 2 pôles :
• Le Pôle Administratif et Financier
• Le Pôle Technique
Gipsa-lab compte environ 150 permanents dont 70 enseignants-chercheurs et 41 chercheurs. Il accueille également des chercheurs invités, des post-doctorants.
Gipsa-lab encadre près de 150 thèses dont environ 50 nouvelles chaque année. Toutes les thèses effectuées au laboratoire sont financées et encadrées par des enseignants-chercheurs et chercheurs dont 50 titulaires d’une HDR.
Enfin, une soixantaine de stagiaires de Master vient chaque printemps grossir les rangs du laboratoire.
Ce poste s'inscrit dans le cadre du projet ANR SilentPitch qui rassemble une équipe interdisciplinaire de chercheurs spécialés notamment dans l'apprentissage automatique, les sciences de la parole, la cognition et les études comportementales.

Ce poste sera co-encadré par Olivier Perrotin (GIPSA-lab, Grenoble) et Jules Françoise (LISN, Orsay). Le.a post-doctorant.e sera rattaché.e à l'équipe ComLearn du Département Parole et Cognition du GIPSA-lab et travaillera principalement à Grenoble. Des visites ponctuelles au LISN seront prévues pendant la durée du projet.

Contraintes et risques

Néant

Rémunération et avantages

Rémunération

Entre 3041.58 € et 4216.70 € selon expérience

Congés et RTT annuels

44 jours

Pratique et Indemnisation du TT

Pratique et indemnisation du TT

Transport

Prise en charge à 75% du coût et forfait mobilité durable jusqu’à 300€

À propos de l’offre

À propos du CNRS

Le CNRS est un acteur majeur de la recherche fondamentale à une échelle mondiale. Le CNRS est le seul organisme français actif dans tous les domaines scientifiques. Sa position unique de multi-spécialiste lui permet d’associer les différentes disciplines pour affronter les défis les plus importants du monde contemporain, en lien avec les acteurs du changement.

Le CNRS

Les métiers de la recherche