Missions

Le proposition de poste ci-présent rentre dans le cadre de deux projets actuellement en développement au sein du laboratoire LISN. Le travail effectué sera décomposé en deux parties, la création d'un corpus annotés en question réponse sur des documents comportant à la fois des données textuelles et visuelles et une seconde partie sur le traitement de la parole dans le cadre de transcription oral de description d'équations mathématiques vers le format latex.
Les trois premiers mois seront consacrés à la création d'un corpus de question réponse sur des documents scolaires, les questions portant à la fois sur des diagrammes/images, du texte et des énoncés mathématiques. L'objectif sera de piloter les études pour le développement du corpus, de participer activement au développement du corpus (technique), d'en définir les caractéristiques et de concevoir des méthodes d'évaluations multi-critères tout ceci nécessitant la maîtrise des outils de TAL les plus récents. Afin de réaliser les différents travaux le candidat coordonnera des stagiaires. Les six derniers mois du poste seront consacrés à la mise en place d'un système de reconnaissance de la parole avec de sorties "structurées", la conception de méthode d'évaluation et la mise en place d'une démonstration.

Activités

Partie 1 : Corpus multimodal sur des documents scolaires


* Pilotage d'une équipe pour la conception d'un corpus multimodal contenant à la fois des images (en particulier des schémas) et du texte sur des documents éducatifs tels que des livres scolaires ou des ressources encyclopédiques à partir d'approches automatiques
* Conception de méthodes statistiques innovantes pour l'évaluation de systèmes génératifs
* Pilotage d'une campagne d'évaluation du corpus produit (évaluation par des experts) mais aussi la gestion du budget



Partie 2 : Transduction de formules mathématiques à partir de la parole

* Piloter le pôle "inférence structurée" de la plateforme open-source PTAL (https://ptal.lisn.upsaclay.fr/); Entre autre il faut:
* superviser la conception d'un système de transcription de la parole en LaTeX
* définir et mettre en place un cade d'évaluation des systèmes adapté à la problématique de l'écriture d'équations

Missions communes :

* Participer à l'animation scientifique du groupe de recherche
* Aide et support technique aux activités de recherche.

Compétences

- Formation d'ingénieur ou équivalent (master en informatique et/ou traitement des langues)
- Expérience dans la mise en place de campagne d'évaluation et/ou d'annotation
- Supervision dans la rédaction d'articles scientifiques
- Veille scientifique
- Assurer un rôle de conseil et d'expertise dans le cadre des du projet

- De bonnes compétences techniques dans les domaines suivants :
- Maîtrise des méthodes d'apprentissage statistique
- Connaissance étendue des outils du TAL
- Approches et outils pour l'apprentissage profond

Nous recherchons en particulier les personnes avec un fort intérêt pour les problématiques de l'accessibilité des technologies du traitement automatique des langues.

Contexte de travail

Le travail se déroulera au Laboratoire Interdisciplinaire des Sciences du Numérique (LISN) sur le site "Belvédère". Le candidat retenu travaillera conjointement avec l'équipe M3 (Modèles, Méthodes et Multilinguisme) et l'équipe SEME (Sémantique et Extraction d'information) du département STL (Sciences et Technologies du Langage). Ces équipes sont spécialisées dans les méthodes d'apprentissage automatique appliquées aux traitements de la langue parlé (M3) et écrite (SEME).

Le poste se situe dans un secteur relevant de la protection du potentiel scientifique et technique (PPST), et nécessite donc, conformément à la réglementation, que votre arrivée soit autorisée par l'autorité compétente du MESR.

Contraintes et risques

travail sur écran