Doctorant (H/F) : Explicabilité des systèmes multimodaux de questions-réponses : vers des méthodes contrôlables et interprétables

Description du Poste

Sujet De Thèse

Cette thèse abordera le problème des modèles de type "boîte noire" dans le cadre d'un système multimodal de réponse aux questions. Les systèmes de réponse aux questions développés ces dernières années ont tiré parti de grands modèles de réseaux neuronaux. Bien qu'elles aient permis d'améliorer la précision et l'exactitude des réponses générées, ces approches manquent encore d'interprétabilité, notamment en raison de l'opacité et de la complexité de ces modèles. En effet, les modèles de langage à grande échelle ou les modèles de langage visuel s'appuient sur un nombre extrêmement élevé d'opérations et de paramètres (à savoir les poids des réseaux neuronaux), ce qui entraîne des difficultés majeures pour interpréter les prédictions. Une conséquence directe de l'opacité des prédictions des réseaux neuronaux est un manque de confiance de la part de l'utilisateur ou l'impossibilité de vérifier comment la réponse est construite. De plus, le contenu ou les réponses générés sont parfois mensongers ou contiennent des éléments inexacts ou infondés. La génération de réponses infondées, imprécises ou inattendues est appelée « hallucination ».
Dans cette thèse, l'objectif sera de proposer de nouvelles approches pour expliquer ou interpréter le comportement des modèles, tout d'abord afin de déterminer ce qui est utilisé pour la génération de contenu dans un contexte de réponse à des questions, en particulier si les informations utilisées pour la génération proviennent des connaissances internes du modèle (appelées "connaissances paramétriques") ou du contexte fourni en entrée à un LLM (informations fournies au modèle avant la réponse). Une deuxième partie sera consacrée aux méthodes permettant de localiser les informations contextuelles utilisées pour la génération du modèle ; ces approches, appelées méthodes d'attribution, attribuent des niveaux d'importance au contexte. Alors que de telles approches ont été étudiées pour des données unimodales, peu de méthodes les traitent dans un contexte multimodal.

Votre Environnement de Travail

La thèse se déroulera au sein du laboratoire interdisciplinaire des sciences du numérique (LISN) à Paris-Saclay. Le doctorant fera partie intégrante du Projet ANR EQUATION.

Contraintes et risques

Travail sur écran

Rémunération et avantages

Rémunération

2300€ bruts par mois

Congés et RTT annuels

44 jours

Pratique et Indemnisation du TT

Pratique et indemnisation du TT

Transport

Prise en charge à 75% du coût et forfait mobilité durable jusqu’à 300€

À propos de l’offre

À propos du CNRS

Le CNRS est un acteur majeur de la recherche fondamentale à une échelle mondiale. Le CNRS est le seul organisme français actif dans tous les domaines scientifiques. Sa position unique de multi-spécialiste lui permet d’associer les différentes disciplines pour affronter les défis les plus importants du monde contemporain, en lien avec les acteurs du changement.

Le CNRS

Les métiers de la recherche