Missions

- Entraîner des grands modèles de langage (LLM) textuels et/ou multimodaux sur un cluster de GPU
- Scrapper, collecter, nettoyer, filtrer, compiler, le tout semi-automatiquement, de grandes collections de données pour l'apprentissage des LLM
- Contribuer aux activités de recherche pour améliorer la qualité des LLM et aux activités de gestion du projet BPI OpenLLM (réunions, rédaction de rapports...)

Activités

- programmation python: adaptation et amélioration de LLM pré-entraînés (par ex. Qwen2.5, Llama3.1, DeepSeek...)
- programmation shell: écriture de scripts d'entraînement de LLMs (par ex. via les librairies SLURM, deepspeed, llamafactory, transformers, ms-swift...)
- réunions avec une équipe de chercheurs pour proposer des améliorations des LLM
- réunions avec une équipe d'ingénieurs/doctorants/stagiaires pour gérer les campagnes d'apprentissage sur cluster de GPU
- réunions avec les partenaires du projet OpenLLM pour suivre le projet
- rédactions de rapports de projet et d'articles scientifiques en anglais et en français

Compétences

- Maîtrise de python et du shell linux
- Connaissances de base en apprentissage profond et sur les LLM
- Des connaissances sur l'apprentissage sur cluster de GPU (avec SLURM), et/ou sur le TAL (traitement du langage naturel) sont bienvenues et sont un plus au dossier
- Savoir bien communiquer (oral et écrit) en français et en anglais
- Esprit d'équipe, d'initiative, et engagement dans la mission

Contexte de travail

- Lieu de travail: laboratoire LORIA à Nancy au sein de l'équipe de recherche Mosaik
- Le poste prend place dans le cadre du projet de recherche collaborative OpenLLM financé par la BPI