Description du sujet de thèse

Amélioration des LLM avec des données de code structurées pour une
meilleure compréhension et génération de code
Les grands modèles de langage (Large Language Models, LLM) ont transformé le
développement logiciel en fournissant des outils puissants pour la génération, la
documentation, le débogage et la refactorisation de code. Leur capacité à
comprendre les requêtes en langage naturel et à générer des extraits de code de
type humain les rend très utiles aux développeurs. Les LLM peuvent contribuer à
l'automatisation des tâches répétitives, à la fourniture d'explications et à la
génération de suggestions de code, améliorant ainsi la productivité et réduisant les
erreurs. L'émergence récente d'agents de codage, qui exploitent les LLM mais
bénéficient d'une autonomie croissante, promet d'amplifier cette tendance.
Malgré leurs atouts, les LLM présentent des limites lorsqu'il s'agit de gérer des
données hautement structurées telles que le code source. L'un des principaux
problèmes est que les LLM sont entraînés sur des données textuelles diverses, qui
peuvent ne pas capturer la structure et la sémantique complexes du code. Cela
peut entraîner des inexactitudes, notamment dans des situations telles que la
compréhension de bases de code complexes et la génération de code
contextuellement pertinent. De plus, les LLM s'appuient souvent sur des
techniques de génération augmentée par récupération (RAG), qui peuvent s'avérer
inefficaces et ne pas toujours fournir les extraits de code ou le contexte les plus
pertinents. En revanche, les agents de codage peuvent explorer une base de code
de manière semi-autonome, mais ce processus peut s'avérer long (et coûteux),
soumis aux mêmes contraintes.
L'objectif de cette thèse est d'exploiter les informations structurées présentes
dans le code source afin d'améliorer les informations contextuelles envoyées à un
LLM, qu'il soit autonome ou intégré à un agent de codage. La thèse s'appuiera sur
des outils d'analyse de code statique pour construire une représentation
structurée du code source et explorera les moyens les plus efficaces de
communiquer cette structure aux LLM. Elle explorera des approches structurées
de la RAG, des approches exploitant l'utilisation d'outils, ainsi que des approches
basées sur l'apprentissage, telles que l’affinage ou l'apprentissage par
renforcement de LLM spécialisés, afin de sélectionner les éléments de code
pertinents ou d'écrire des requêtes d'analyse statique pour sélectionner ces
éléments

Contexte de travail

La thèse se déroulera au LaBRI au sein de l'équipe Progress.

Le poste se situe dans un secteur relevant de la protection du potentiel scientifique et technique (PPST), et nécessite donc, conformément à la réglementation, que votre arrivée soit autorisée par l'autorité compétente du MESR.