PHD : REPRODUCTIBILITÉ DE RÉSULTATS SCIENTIFIQUES EN HÉLIOPHYSIQUE AU MOYEN DE MODÈLES DE LANGUE (H/F)

Description du Poste

Sujet De Thèse

L'héliophysique (HP), branche de l'astrophysique étudiant le Soleil, ses interactions planétaires et la météorologie spatiale, repose aujourd'hui sur des recherches axées données. Les chaînes de traitement produisent séries temporelles, images ou spectres depuis des observations instrumentales ou des modélisations numériques. La communauté utilise des centres de données comme le CDPP, appliquant métadonnées et formats normalisés pour faciliter l'accès et la reproductibilité.

Cette thèse explore la reproductibilité des chaînes de traitement via les grands modèles de langage (LLM) afin de reproduire des résultats publiés.

Starace et al. (2025) indiquent que les LLM atteignent 21 % de taux de reproductibilité avec Claude 3.5 Sonnet. La capacité générative des LLM, notamment ChatGPT, suscite des débats en astronomie. PyHC-chat tente d'adapter GPT aux héliophysiciens en intégrant bibliothèques et endpoints du cadre PyHC pour aider à coder. Cependant, cet outil ne reproduit pas intégralement les workflows expérimentaux des articles et demande adaptation.

Lorsqu'on aborde la question de la reproductibilité des expériences de traitement de données en héliophysique, trois grandes questions de recherche se posent :
1. Dans un article scientifique donné, quels termes, illustrations ou ressources citées sont indispensables pour reproduire la chaîne de calcul d'origine, et comment les extraire efficacement ?
2. Comment un modèle peut-il transformer ces éléments extraits en code exécutable produisant des résultats comparables à ceux rapportés dans l'étude d'origine ?
3. Comment évaluer et interpréter de manière pertinente le taux de reproductibilité des LLM ?

A. Extraction des données
Cette thèse s'appuie sur BibHelioTech (développé par l'équipe CDPP), qui extrait des métadonnées des articles utilisant diverses techniques basées sur des règles qui sont insuffisantes pour reproduire les flux de travail scientifiques, car elles s'appuient sur des modèles prédéfinis et ne parviennent pas à capturer des informations contextuelles telles que les descriptions de traitement des données ou les formules mathématiques. En revanche, la combinaison des LLM avec la vision par ordinateur fournit un cadre plus flexible pour comprendre et reproduire les pipelines de calcul décrits dans un article.

B. Génération de code
La reproduction des flux de travail de traitement des données reposera sur un modèle GPT capable de générer du code exécutable. Il s'appuiera sur des techniques similaires à celles utilisées dans le chat PyHC susmentionné, fournissant au modèle génératif des bibliothèques HP et des points de terminaison de données, tout en envisageant le réglage fin des modèles de langage.

C. Evaluation
Cette phase consiste à évaluer le code généré par LLM en comparant ses tracés de sortie avec ceux présentés dans l'article original. D'autres indicateurs de reproductibilité seront très instructifs lors de l'interprétation du taux de reproduction du LLM.

Impact scientifique
Cette thèse vise à sensibiliser la communauté HP et, au-delà, à la question de la reproductibilité des pipelines. Une enquête sera menée afin d'étudier les pratiques des chercheurs en matière de reproduction d'expériences issues d'articles publiés, ainsi que la manière dont ils prennent en compte la reproductibilité au cours du processus de rédaction. Ce travail permettra également d'améliorer la qualité des données issues des référentiels HP (tels que le CDPP et les autres référentiels associés) et de vérifier la cohérence des ensembles de données avec les publications. Le comité des utilisateurs du CDPP participera à l'évaluation de la valeur ajoutée de ces travaux.

Impact environnemental
Compte tenu des coûts élevés en termes de ressources informatiques et d'énergie liés aux grands modèles de langage (LLM), ces travaux se concentreront sur des modèles plus petits et spécialisés dans un domaine particulier.

Votre Environnement de Travail

La thèse se déroulera dans deux laboratoires de recherche : le LIRA à Meudon pour la composante héliophysique, et le LISN à Orsay pour la composante informatique et traitement automatique des langues.

Réunions d'avancement toutes les deux semaines, réalisation de la thèse en alternance sur chaque site (LIRA, Meudon, et LISN, Orsay).

La thèse sera dirigée par deux directeurs de thèse : Baptiste Cecconi, Astronome (Observatoire de Paris) au LIRA (pôle Héliosphère et Plasma Astrophysiques), à Meudon ; et Cyril Grouin, Ingénieur de Recherche (CNRS) au LISN (groupe Sémantique et Extraction d’Information), à Orsay. B. Cecconi apportera les compétences disciplinaires de l’héliophysique, et est responsable d’un entrepôt de données dédié aux observations de ce domaine avec de l’instrumentation radio astronomique. C. Grouin couvrira les aspects informatique et traitements automatiques des langues.

Nous collaborerons aussi avec Vincent Génot, ancien directeur du Centre de Données de la Physique des Plasma, à l’IRAP, Toulouse, et qui a développé un outil appelé BibHélioTech, précurseur des travaux de cette thèse. Des collaborations internationales sont aussi possibles, en particulier avec l’équipe NASA/ADS (Astrophysics Data System) et dans le cadre des alliances de données dans le domaine astrophysique (par exemple, groupes « Semantics » et « Data Curation and Preservation » de l’International Virtual Observatory Alliance, ou encore le groupe « Semantics » de l’International Heliophysics Data Environment Alliance).

Les calculs pourront être effectués sur la plateforme LabIA du LISN, les moyens de calculs de l’Observatoire de Paris, et sur le supercalculateur Jean-Zay.

Des déplacements en France et à l'étranger pour participer à des conférences scientifiques du domaine et présenter les résultats de la recherche sont à envisager.

Contraintes et risques

Pas de risque identifié.

Rémunération et avantages

Rémunération

La rémunération est d'un minimum de 2300,00 € mensuel

Congés et RTT annuels

44 jours

Pratique et Indemnisation du TT

Pratique et indemnisation du TT

Transport

Prise en charge à 75% du coût et forfait mobilité durable jusqu’à 300€

À propos de l’offre

À propos du CNRS

Le CNRS est un acteur majeur de la recherche fondamentale à une échelle mondiale. Le CNRS est le seul organisme français actif dans tous les domaines scientifiques. Sa position unique de multi-spécialiste lui permet d’associer les différentes disciplines pour affronter les défis les plus importants du monde contemporain, en lien avec les acteurs du changement.

Le CNRS

Les métiers de la recherche