Missions

Dans le cadre du projet collaboratif PARTAGES financé par la BPI, il s'agit de concevoir et coordonner l'évaluation de grands modèles de langue en santé et de l'application de ces modèles à sept cas d'usage en santé. Cela inclut notamment la définition des éléments constitutifs des protocoles d'évaluation, la définition des dimensions de comparaison des modèles, la mise en place d’un protocole d’évaluation de modèles de fondation, la définition des protocoles d'évaluation pour chaque cas d'usage en fonction du type de cas et de son cadre d'application, la mise en application des protocoles spécifiques pour l’évaluation des cas d'usage et des modèles de fondation, et le suivi des résultats des évaluations des algorithmes de chaque cas d’usage et des modèles de fondation. Ces dernières tâches notamment impliqueront une forte interaction avec les partenaires responsables du développement des modèles de langue et des partenaires responsables des cas d'usage, l'organisation d'évaluations similaires à des campagnes d'évaluation, l'organisation d'ateliers de restitution de ces évaluations. Les méthodes et les résultats feront l'objet d'une documentation qui a vocation à être publique et de publications dans les conférences ou revues pertinentes du domaine.

Activités

Dans le contexte de l'évaluation de systèmes de traitement automatique des langues (TAL) du projet PARTAGES, principalement à base de méthodes neuronales, qui seront appliqués au domaine médical :
- conception et mise en œuvre de méthodes à l'état de l'art pour l'évaluation de systèmes de TAL,
- pilotage de l'activité d'évaluation des partenaires du projet,
- planification et conduite de réunions,
- participation à des réunions,
- création et implémentation de protocoles d'évaluation,
- analyse des résultats d'évaluations,
- rédaction de rapports, guides, publications.
- La personne recrutée encadrera un.e collaborateur.ice junior recruté.e pendant une partie du projet.

Compétences

- Thèse en traitement automatique des langues ayant mobilisé de l'apprentissage automatique,
- maîtrise des méthodes et outils de TAL et d'apprentissage automatique, y compris neuronaux,
- maîtrise des mesures et protocoles d'évaluation du TAL,
- expérience post-thèse de plus de 15 ans,
- expérience de projets de recherche collaboratifs, y compris comme responsable d'équipe,
- expérience de l'encadrement de post-doctorants,
- expérience de la gestion de budgets de recherche.
- Goût du travail en équipe.
- Facilité de contact avec les équipes extérieures.
- Maîtrise des temps et ponctualité dans les livrables.
- Aisance en français et en anglais technique.

Contexte de travail

Le laboratoire LISN
https://www.lisn.upsaclay.fr/
Le Laboratoire Interdisciplinaire des Sciences du Numérique (LISN) est une Unité Mixte de Recherche (UMR 9015) créé le 1er janvier 2021 grâce à la coopération des équipes de recherche du LIMSI et du LRI. Ses tutelles sont le CNRS, l’Université Paris-Saclay, l’INRIA et CentraleSupélec. Composé de près de 400 personnes, ses domaines de recherche couvrent d’une part des thématiques cœurs des sciences du numérique et des sciences de l’ingénieur, et d’autre part des thématiques interdisciplinaires par nature : intelligence artificielle et science des données, interaction humain-machine, traitement automatique des langues et de la parole, et bio-informatique.

Les activités de recherche sont organisées en 5 départements, 5 actions transversales et 16 équipes de recherche. 5 équipes de soutien et support à la recherche assurent le bon fonctionnement du laboratoire. Les travaux prendront place au sein de l'équipe SEME du département Sciences et Technologies des Langues.

Le projet PARTAGES
https://www.health-data-hub.fr/actualites/democratiser-lia-generative-en-sante-letat-travers-france-2030-selectionne-le-projet
Le projet PARTAGES, porté par un consortium d’une trentaine de partenaires incluant des laboratoires de recherches (du CNRS, de l’INRIA, ou de diverses universités), des établissements de santé, et des entreprises deep tech est l’un des lauréats de l’appel à projets France 2030 sur l’IA générative. Coordonné par le Health Data Hub (HDH), ce projet a pour but de mettre l’intelligence artificielle générative au service des professionnels de santé pour leur faire gagner un temps médical précieux.

L'équipe SEME du LISN est en charge du lot Évaluation du projet, lot dans lequel s'inscrira l'essentiel de l'activité de la personne recrutée. Elle y collaborera notamment avec Pierre Zweigenbaum et Aurélie Névéol. Des collaborations se tiendront aussi avec l'équipe ASARD du LISN, en charge de l'infrastructure d'évaluation du projet sous la responsabilité d'Anne-Catherine Letournel.

Le poste est situé au LISN, sur la commune d'Orsay. Il donnera lieu à des déplacements chez les partenaires ainsi qu'à des réunions et conférences.


Le poste se situe dans un secteur relevant de la protection du potentiel scientifique et technique (PPST), et nécessite donc, conformément à la réglementation, que votre arrivée soit autorisée par l'autorité compétente du MESR.

Contraintes et risques

- travail sur écran