Missions

L'analyse vidéo est l'une des tâches fondamentales de la vision par ordinateur. L'approche dominante repose sur les réseaux de neurones profonds appliqués aux images RVB. Ces modèles présentent des inconvénients tels que : a) la nécessité de grandes quantités de données annotées, ce qui nécessite un travail humain important ; b) le coût informatique et donc énergétique important de ces approches ; et c) la redondance des informations visuelles entre deux images successives. Les réseaux de neurones à impulsions peuvent offrir une solution à ces problèmes, grâce à l'utilisation de règles d'apprentissage non supervisées inspirées de l'apprentissage biologique et à la possibilité de les implémenter sur des composants matériels à très basse consommation. Les caméras événementielles, qui ne communiquent que les variations d'intensité lumineuse, se positionnent comme une alternative pour capturer une scène lorsqu'un traitement efficace sur du matériel à faibles capacités de calcul est requis. L'objectif de ce projet est d'apporter une réponse conjointe en proposant des méthodes d'apprentissage faiblement supervisées basées sur des mécanismes d'apprentissage à impulsions qui exploiteront directement le flux d'impulsions généré par une caméra événementielle.

L'objectif principal est de développer de nouveaux modèles de réseaux de neurones à impulsions (SNN) capables de traiter directement l'information visuelle sous forme de trains d'impulsions. Les modèles proposés doivent être validés expérimentalement sur des bases de données de vision dynamique, en suivant les protocoles standards et les meilleures pratiques.

Activités

Les travaux consisteront à :
• identifier les obstacles à la modélisation spatio-temporelle des mouvements épars et de faible intensité à l’aide de réseaux de neurones à impulsions, ainsi que les outils permettant de les surmonter ;
• développer des modèles capables de séparer les mouvements épars et de faible intensité du bruit de mesure de manière non supervisée et pouvant être mis en œuvre à l’aide de matériel à très faible consommation ;
• valider ces modèles sur des jeux de données standard d’analyse des expressions faciales ;
• capturer conjointement un jeu de données contenant à la fois des données standard (RVB) et des données à impulsions (DVS).

Compétences

Une expérience dans un ou plusieurs des domaines suivants est un plus :
• traitement d’images, vision par ordinateur ;
• apprentissage automatique ;
• informatique bio-inspirée ;
• méthodologie de recherche (revue de littérature, expérimentation…).

Les candidats doivent posséder les compétences suivantes :
• bonne maîtrise de l’anglais, tant à l’oral qu’à l’écrit ;
• rédaction scientifique ;
• programmation (une expérience en C++ est un plus, mais n’est pas obligatoire).

Contexte de travail

L'équipe de recherche FOX fait partie du laboratoire CRIStAL (Université de Lille, CNRS), situé à Lille, en France. Nous nous concentrons sur l'analyse vidéo pour la compréhension du comportement humain. Plus précisément, nous développons des modèles spatio-temporels de mouvements pour des tâches telles que la détection d'événements anormaux, la reconnaissance des émotions et l'alignement des visages. Nous sommes également impliqués dans l'IRCICA (CNRS), un institut de recherche favorisant la recherche multidisciplinaire. À l'IRCICA, nous collaborons avec des informaticiens et des experts en ingénierie électronique pour créer de nouveaux modèles de réseaux de neurones implémentables sur des architectures matérielles basse consommation. Nous avons récemment conçu des modèles de pointe pour la reconnaissance d'images avec des réseaux de neurones à impulsions non supervisés mono et multicouches. Nous avons été parmi les premiers à appliquer avec succès des SNN non supervisés à des jeux de données modernes de vision par ordinateur. Nous avons également développé notre propre simulateur de SNN pour soutenir les expériences avec les SNN sur des problèmes de vision par ordinateur. Nos travaux sont publiés dans des revues majeures (Pattern Recognition, IEEE Trans. on Affective Computing) et des conférences (NeurIPS, WACV, IJCNN) majeures du domaine.

L'équipe PR (Perception Robotique) est spécialisée en robotique mobile (perception), reconstruction 3D et vision non conventionnelle. Elle pilote le programme e-Cathedral et participe actuellement à trois projets portant sur les caméras événementielles : le projet ANR CERBERE (2022-2025), le projet ANR DEVIN (2024-2028) et le projet international (France-Autriche) ANR-FWFEVELOC (2024-2028). L'équipe PR souhaite renforcer ce domaine de recherche et améliorer son expertise en IA en collaborant avec le laboratoire CRIStAL.

Le poste se situe dans un secteur relevant de la protection du potentiel scientifique et technique (PPST), et nécessite donc, conformément à la réglementation, que votre arrivée soit autorisée par l'autorité compétente du MESR.