(H/F) : Thèse sur le sujet " Fusion d’images multi-modales"

Description du Poste

Sujet De Thèse

Le projet AI-HERBAGE du PEPR AGROÉCOLOGIE & NUMÉRIQUE (https://www.pepr-agroeconum.fr/les-projets-finances/traitement-de-donnees-et-modelisation/laureats-aap/ai-herbage) a pour objectif de fournir des algorithmes permettant d’améliorer la gestion des pâturages à partir d’observations pouvant être issues de capteurs divers. Les principales sources de données pour le monitoring de la végétation seront issues d’imageries aériennes et satellitaires. Ces données pouvant être très hétérogènes en termes de résolution spectrale, temporelle et spatiale, mais aussi en termes de géométrie d’acquisition, de bruit, de réponse radiométrique. Une des principales tâches du projet sera de fusionner les différentes sources de données afin d’avoir une information la plus complète possible sur l’état de la végétation, en termes de résolution spectrale et spatiale ainsi que d’avoir la capacité d’observer les variations temporelles.
Plusieurs défis se posent pour la fusion des images issues de capteurs hétérogènes :
• Les images aériennes et satellitaires sont prises avec des points de vue différents, il est donc nécessaire de recaler les images les unes par rapport aux autres et si on tient compte du relief il est aussi nécessaire de recaler les images au niveau des pixels eux-mêmes. Du fait de l’hétérogénéité des sources, les techniques de recalage classiques (denses ou à partir de points d’intérêt) risquent d’échouer. Une intérêt potentielle sera donc de développer ou d’adapter des modèles de recalage capables de prendre en compte les différences de modalité, résolution, et potentiellement de fine-tuner des modèles existant avec des scènes de végétations (modèles spécialisée au niveau de capteurs et d’objets d’intérêt).
• Les conditions de prises de vue étant différentes entre les différents capteurs, ou même entre deux prises de vues d’un même capteur (e.g., à cause de variations d’illumination, d’effets atmosphèriques...), il est nécessaire de corriger et d’unifier les réponses spectrales des différentes prises de vue. Comme l’utilisation de références calibrées est difficile sur le terrain, des approches d’auto-calibration, de calibrations croisée (cross-calibration) entre capteurs pourront être étudiées.
• Enfin la différence de résolution spatiale et spectrale des différentes images nécessite d’inférer des données d’interpolation afin d’avoir une résolution optimale. A part de l’application d’estimer une image super-résolue, il est possible d’aborder le problème d’estimation directe de variable de végétation, telles que des indices de végétation, couverture végétale, etc…
• Pratiquement, les données réelles sont souvent bruitées et ont rarement de données ground-truth ou parfaitement propres et alignées. Il est possible d’intégrer des approches self- ou semi-supervisées. Il est aussi possible de regarder la collaboration entre débruitage, recalage, et fusion, plutôt que traiter chaque module indépendamment.
L’objectif de la thèse sera de développer les outils de fusion d’images multi-capteurs en répondant à toutes ces problématiques. Le doctorant pourra avoir accés à la plateforme MIRA de GIPSA-lab et ses équipements pour construire des jeux de données contrôlés et adaptés aux différentes tâches d’intérêt : recalage, calibration radiométrique, débruitage et fusion, sur des échantillons ou scènes liés à la végétation. Le doctorant-e pourra s’appuyer sur les travaux précédents de l’équipe utilisant de l’apprentissage profond pour la fusion d’images ou des méthodes de fusion hybrides combinant réseaux de neurones et modèle physique.
Nous demandons des compétences :
* Techniques :
- Compétences en traitement d'image et vision par ordinateur : détection et mise en correspondance de points, recalage et fusion d'images, reconstruction 3D
- Apprentissage profonds : CNN, transformers
- Maîtrise des langages de programmation Python, c+, cuda (optionel)
- Utilisation des bibliothèse de traitement d'image et d'IA : OpenCV, PyTorch, TensorFlow

* Métier :
- Expérience en fusion d’images hétérogènes
- Développement de pipelines de traitement d'image
- Effectuer une veille bibliographique

* Interpersonnelles :
- Prise d'initiative et travail en autonomie
- Capacité à travailler en équipe avec des interlocuteurs de divers horizons
- Communication : rédaction d’articles, présentations en anglais.

Parcours académique souhaité :
Master 2 ou Diplôme d'ingénieur en traitement d'image / vision par ordinateur et en apprentissage automatique.

Votre Environnement de Travail

Le Gipsa-lab est une unité de recherche commune CNRS, Grenoble-INP (Institut de Technologie de Grenoble), Université de Grenoble conventionnée par l’Inria et l’Observatoire des Sciences de l'Univers de Grenoble.
Avec 350 personnes dont environ 150 doctorants, Gipsa-lab est une unité de recherche multidisciplinaire développant à la fois des recherches fondamentales et appliquées sur des signaux et des systèmes complexes.
Gipsa-lab développe des projets dans les domaines stratégiques de l'énergie, de l'environnement, de la communication, des systèmes intelligents, de la vie et de la santé et de l'ingénierie linguistique.
Par ses activités de recherche, Gipsa-lab maintient un lien constant avec l'environnement économique grâce à un partenariat fort avec les entreprises.
Le personnel du Gipsa-lab est impliqué dans l'enseignement et la formation dans les différentes universités et écoles d'ingénieurs de l'agglomération grenobloise (Université Grenoble Alpes).
Gipsa-lab est internationalement reconnu pour la recherche réalisée en Automatique et Sûreté du Système, Sciences des Données ( l'Information et de l'Image du Signal), Parole et Cognition. L’unité développe sa recherche au travers de 11 équipes organisées en 4 départements de recherche :
.Automatique et Sûreté du Système
.Sciences des Données
. Géométries, Apprentissage, Information et Algorithmes
.Paroles et Cognition
Le Gipsa-lab regroupe 150 permanents et environ 250 non permanents (doctorants, post-doctorants, chercheurs invités, stagiaires en master…)

Contraintes et risques

NEANT

Rémunération et avantages

Rémunération

La rémunération est d'un minimum de 2300,00 € mensuel

Congés et RTT annuels

44 jours

Pratique et Indemnisation du TT

Pratique et indemnisation du TT

Transport

Prise en charge à 75% du coût et forfait mobilité durable jusqu’à 300€

À propos de l’offre

À propos du CNRS

Le CNRS est un acteur majeur de la recherche fondamentale à une échelle mondiale. Le CNRS est le seul organisme français actif dans tous les domaines scientifiques. Sa position unique de multi-spécialiste lui permet d’associer les différentes disciplines pour affronter les défis les plus importants du monde contemporain, en lien avec les acteurs du changement.

Le CNRS

Les métiers de la recherche