Ingénieur en IA (H/F)

Job Description

Missions

Dans le cadre de cette mission, vous participerez à des travaux de recherche qui correspondent à deux axes complémentaires: les représentation de textes et l'intelligence artificielle frugale. Vos activités
releveront à la fois de l'analyse de l'état de l'art et du prototypage de nouvelles représentations textuelles hierarchiques. L'approche du traitement automatique des langues (TAL) par apprentissage profond suppose en effet de représenter la langue sous forme de vecteurs. Cependant, l'essor du TAL et de l'intelligence artificielle, à travers le déploiement d'agents, notamment conversationnels ou de programmation, impose de prendre en charge des textes toujours plus longs, que cette longueur tienne à leur nature conversationnelle ou à leur traitement en corpus (bases de code, ensembles de documents techniques). Les modèles transformeurs actuels ne prennent en compteles textes que de manière séquentielle et, le plus souvent, auto-régressive : un texte y est simplement compris comme l'ensemble des tokens qui le composent, dont le traitement produit une collection de vecteurs. Si ces collections offrent une représentation utile et performante des textes, leur traitement se révèle d'autant plus coûteux en calcul que la taille des textes, dont la complexité croît de façon quadratique, et celle des modèles augmentent.
D'une part, vous serez chargé d'étudier la littérature consacrée à la construction de représentations d'unités de textes au delà des mots. Vous tiendrez compte de hiérarchiser les représentations en distinguant différents niveaux de découpe du texte. Vous analyserez en particulier les apports et les limites des représentations d'ordre supérieur, comme proposées par les modèles HiBERT, Sentence-BERT ou NextLevelBERT, afin d'en dégager les motivations, les performances et les limitations. À partir de ce travail, vous élaborerez un état de l'art des représentations hiérarchiques et de l'intelligence artificielle frugale.
D'autre part, vous proposerez et prototyperez des systèmes de représentation opérant à l'échelle de la phrase, du texte et du corpus, conçus pour s'inscrire dans une démarche d'intelligence artificielle frugale, dans le but maîtriser les coûts de calcul. Vous serez associé aux publications et valorisations scientifiques des travaux conduits.

Activity

- Étudier la construction de représentations non plates de la donnée textuelle dans la littérature.
- Comprendre les limites des représentations d'ordre supérieur (HiBERT, Sentence-BERT, NextLevelBERT).
- Proposer et prototyper des systèmes de représentation de la phrase, du texte et du corpus dans un cadre frugal.
- Élaborer un état de l'art efficace des représentations non plates et de l'IA frugale.
- Participer activement aux travaux de recherche en collaboration avec les équipes de l'unité d'accueil.

Your Profil

Skills

- titulaire d'un M2 de mathématiques ou informatiques
- expérience en TAL
- maîtrise des framework de programmation et manipulation de LLM (python, huggingface etc.)

Your Work Environment

Le travail se déroulera au Laboratoire Interdisciplinaire des Sciences du Numérique (LISN) sur le site "Belvédère". Le candidat retenu intégrera l'équipe LIPS du département STL (Sciences et Technologies des Langues). et travaillera en étroite collaboration avec des chercheurs de l'équipe SEME.

Le poste se situe dans un secteur relevant de la protection du potentiel scientifique et technique (PPST), et nécessite donc, conformément à la réglementation, que votre arrivée soit autorisée par l'autorité compétente du MESR.

Constraints and risks

Risques liés au travail sur écran.

Compensation and benefits

Compensation

2571,80

Annual leave and RTT

44 jours

Remote Working practice and compensation

Pratique et indemnisation du TT

Transport

Prise en charge à 75% du coût et forfait mobilité durable jusqu’à 300€

About the offer

About the CNRS

The CNRS is a major player in fundamental research on a global scale. The CNRS is the only French organization active in all scientific fields. Its unique position as a multi-specialist allows it to bring together different disciplines to address the most important challenges of the contemporary world, in connection with the actors of change.

CNRS

The research professions