Description du sujet de thèse

Apprentissage incrémental pour l'IA embarquée
Le grand défi de l'intelligence artificielle autonome (IA autonome), dans laquelle un agent IA est capable de s'autogérer, est au cœur de la recherche en IA. De tels systèmes font toutefois face à divers défis pour s'adapter à des environnements dynamiques, où la distribution des données peut changer avec le temps. L'un des principaux défis est de s'assurer que le modèle IA peut apprendre de manière incrémentale sans oublier les connaissances acquises précédemment. Les méthodes d'apprentissage incrémental visent à autoriser l'apprentissage de nouvelles données tout en conservant les connaissances précédemment acquises, ce qui est essentiel pour une autonomie à long terme. Cependant, atteindre cette capacité pose plusieurs défis scientifiques, notamment l'oubli catastrophique, l'évolutivité et la robustesse au bruit et aux "outliers".

Dans le domaine de l'informatique neuromorphique, les modèles basés sur l'énergie (EBM) connaissance un intérêt certain, en raison de leur capacité à capturer les relations entre les variables en minimisant une fonction scalaire unique (fonction d'énergie) sans nécessiter de normalisation à l'échelle de l'ensemble des données, ce qui est problématique dans des scénarios d'apprentissage incrémental. De plus, les EBM présentent des caractéristiques les rendant attractifs pour des implémentations "proche physique" (analogiques / signaux mixtes). Adossés ces EMB à des algorithmes d'apprentissage plus biologiquement plausibles et/ou basés sur des lois locales constitue une direction de recherche très prometteuse pour les application d'IA sobres en énergie et à l'Edge.

Les travaux actuels montrent cependant que les EBM sont également très sensibles à l'oubli catastrophique, où des informations précédemment apprises sont perdues ou disparaissent rapidement lorsque le réseau est entraîné avec de nouvelles données, comme lorsque un système s'adapte à des conditions environnementales changeantes.

Ce sujet de thèse de doctorat vise à explorer plusieurs directions visant à atténuer ce phénomène, en s'appuyant sur les solides fondations mathématiques des EBM associés à des règles d'apprentissage local telles que la propagation de l'équilibre (EP) et d'autres modèles émergents tels que les équations différentielles ordinaires neuronales (Neural ODEs) ou l'algorithme Forward-forward. Les directions anticipées trouvent leurs racines dans certaines contributions récentes à la croisée des neurosciences et de l'intelligence artificielle et dans une meilleure compréhension / localisation du stockage d'informations dans de tels modèles afin de préserver les connaissances initiales lorsque des tâches d'apprentissage ultérieures sont déclenchées. Une clé réside dans l'analyse de la dynamique réelle du réseau lorsqu'il est alimenté avec des données précédemment inconnues, ce qui fournit probablement des informations pertinentes sur la stratégie qui permettrait de surmonter au mieux l'oubli catastrophique.

Cette thèse de doctorat abordera à la fois la question des modèles et des algorithmes d'entrainement et analysera les opportunités d'implémentations matérielles analogique/mixte et à base de composants memristifs pour le stockages des poids de ces réseaux. Ces investigations seront menées dans le cadre du projet "Emergences" [1] du programme cadre national PEPR IA de France 2030. Ces investigations seront menées en collaboration avec d'autres partenaires / doctorants et des post-doctorants qui ont déjà démontré des opportunités d'implémentation élégantes [2] exploitant la dynamique des systèmes électriques avec des capacités d'apprentissage sur puce.

Les candidats devront posséder des compétences dans au moins deux des domaines suivants :

- Apprentissage automatique et fondements mathématiques associés
- Systèmes embarqués
- Conception analogique/mixte

####
[1] https://www.pepr-ia.fr/projet/emergence/
[2] https://www.frontiersin.org/articles/10.3389/fncom.2023.1114651/full

Contexte de travail

La thèse se déroulera en collaboration étroite avec d'autres partenaires du projet ciblé support du PEPR IA (projet Emergences). Un lien particulier existera avec le CEA List Grenoble dans le cadre d'une probable codirection de thèse sur le volet apprentissage incrémental. Une collaboration internationale avec l'université de Brême est également prévue, université avec laquelle des travaux en collaboration sur les EBM sont menés depuis plusieurs années.

Le poste se situe dans un secteur relevant de la protection du potentiel scientifique et technique (PPST), et nécessite donc, conformément à la réglementation, que votre arrivée soit autorisée par l'autorité compétente du MESR.

Contraintes et risques

NA