Offre de thèse H/F : Perception visuo-tactile et contrôle hybride pour la manipulation robotique

Description du Poste

Sujet De Thèse

Les robots sont de plus en plus amenés à quitter les cellules industrielles structurées pour opérer dans des environnements ouverts tels que les ateliers, les entrepôts, les hôpitaux, les habitations ou encore des sites d’intervention extérieurs. Les récents progrès en locomotion à pattes ont montré que les robots peuvent devenir de plus en plus capables de se déplacer dans des environnements complexes. En parallèle, des approches telles que [4] démontre que les modèles vision-langage-action peuvent connecter des descriptions de tâches au niveau du langage, de la compréhension de scènes visuelles et des actions possibles pour le robot. Cependant, la mobilité et les propositions d’actions de haut niveau ne suffisent pas pour être véritablement utiles sur le terrain où les robots ont également besoin de dextérité. Ils doivent être capables de saisir, déplacer, reconfigurer et interagir avec des objets dont la géométrie, les propriétés physiques et les conditions de contact ne sont que partiellement connues.
Ce projet de thèse s’intéresse à la manipulation robotique dans des environnements moins contrôlés, où la manipulation classique d’objets rigides basée principalement sur l’estimation de pose 6D ne constitue qu’une réponse partielle. De nombreux objets rencontrés en pratique sont déformables, articulés, flexibles, partiellement occultés ou soumis à des contacts lors des interactions. Leur état ne peut pas toujours être réduit à une pose rigide : la forme, la géométrie locale, les conditions de contact, la stabilité de la prise, la réponse du matériau peuvent toutes devenir pertinentes pour l’action.
Des revues récentes sur la manipulation robotique de textiles [2], ainsi que des benchmarks sur la sélection de prise tels que [5], montrent que les objets déformables et textiles exposent clairement les limites de la manipulation basée sur la pose. Le robot doit raisonner sur l’évolution de la forme, les contacts et l’observabilité partielle, et non pas seulement estimer une transformation rigide.
C’est là que l’hybridation devient essentielle. Les approches basées sur des modèles apportent structure, cohérence physique et contraintes orientées contrôle, mais elles sont souvent incomplètes lorsque le robot interagit avec des objets dont la géométrie, les propriétés matérielles et les conditions de contact ne sont que partiellement connues. Comme discuté dans [1], les méthodes basées sur les données dites data-driven peuvent apprendre des descripteurs visuels, des états latents, des dynamiques résiduelles ou des a priori d’action à partir de l’expérience, mais elles peuvent nécessiter de grands jeux de données et ne fournissent pas naturellement de garanties de sécurité ou de stabilité. La manipulation en conditions réelles appelle donc des méthodes qui combinent les deux : des modèles pour contraindre et guider l’action, et des données pour s’adapter aux phénomènes difficiles à modéliser explicitement.
La thèse s’inscrit dans le PEPR Robotique, et plus précisément dans le Projet HAMMER, dédié à l’hybridation des méthodes basées sur des modèles et des méthodes basées sur les données pour la génération de mouvement en robotique. Le travail proposé contribuera à cet objectif dans le contexte de la manipulation riche en contacts. Notons que des représentations visuo-tactiles récentes [3] illustrent également l’intérêt de combiner la perception visuelle externe avec le retour tactile local pour la manipulation riche en contacts. L’idée centrale est de développer des stratégies hybrides de perception-contrôle combinant des a priori géométriques et physiques, des représentations apprises, une perception multimodale et un contrôle conscient de la sécurité, afin que le robot puisse agir avec à la fois adaptabilité et cohérence physique.
Plan de recherche et contributions attendues
La thèse portera sur trois contributions principales :
• Représenter les états des objets au-delà de la pose 6D. Construire des représentations visuo-tactiles compactes combinant géométrie RGB-D, forme locale, indices de contact, signaux tactiles et descripteurs appris.
• Hybrider le contrôle basé sur des modèles et les données. Développer des stratégies de manipulation en boucle fermée où les contraintes physiques/géométriques guident l’apprentissage, et où les composantes apprises améliorent l’adaptation aux contacts complexes, aux comportements déformables et à l’incertitude.
• Ancrer les a priori d’action de haut niveau dans des retours physiques. Utiliser des modèles de fondation ou des modèles vision-langage-action pour proposer des objectifs, des actions ou des primitives de manipulation, et les affiner grâce aux retours visuo-tactiles, aux contraintes basées sur des modèles et au contrôle conscient de la sécurité.
Le travail expérimental sera réalisé sur un robot Franka Research 3 (FR3) équipé de capteurs visuels et tactiles. Le résultat attendu est un cadre hybride de perception-contrôle pour la manipulation robotique en conditions réelles, où le robot adapte ses actions à partir de représentations riches de l’état des objets et de retours physiques en temps réel.
[1] Ai, B., Tian, S., Shi, H., Wang, Y., Pfaff, T., Tan, C., Christensen, H. I., Su, H., Wu, J., & Li, Y. (2025). A review of learning-based dynamics models for robotic manipulation. Science Robotics.
[2] Longhini, A., et al. (2025). Unfolding the Literature: A Review of Robotic Cloth Manipulation. Annual Review of Control, Robotics, and Autonomous Systems, 8, 295–322.
[3] Wu, Q., Wang, H., Zhou, J., Xiong, X., & Lou, Y. L. (2025). TARS: Tactile Affordance in Robot Synesthesia for Dexterous Manipulation. IEEE Robotics and Automation Letters, 10(1), 327–334.
[4] Zhao, W., Chen, J., Meng, Z., Mao, D., Song, R., & Zhang, W. (2024). VLMPC: Vision-Language Model Predictive Control for Robotic Manipulation. Robotics: Science and Systems.
[5] De Gusseme, V.-L., Lips, T., Proesmans, R., …, Yamazaki, K., Mateo-Agulló, C., Verleysen, A., & Wyffels, F. (2026). A Dataset and Benchmark for Robotic Cloth Unfolding Grasp Selection: The ICRA 2024 Cloth Competition. The International Journal of Robotics Research.

Votre Environnement de Travail

Cette thèse sera réalisée au sein du laboratoire Interdisciplinaire Carnot de Bourgogne (ICB), Unité Mixte de Recherche CNRS / UBE / UTBM qui compte plus de 350 physiciens, chimistes, ingénieurs et techniciens implantés en Bourgogne-Franche-Comté, sur les sites de Dijon, Le Creusot, Chalon-sur-Saône et Belfort (Sévenans).
L’ICB développe de nouvelles fonctionnalités en optique et pour les matériaux du futur, à destination d’applications dans l’industrie (photonique, métallurgie, industrie 4.0,…), la médecine, les communications optiques à haut débit, le traitement de l’information à une échelle nanométrique, l’énergie et les technologies quantiques. Récemment, l’ICB a créé un nouveau département nommée IA-Systèmes Numériques et Cyber-physiques. C’est dans ce département à Dijon que s’inscrit cette offre de thèse. Elle est financée par le PEPR Robotique HAMMER et sera supervisée par 2 membres de l’ICB (Carlos Mateo et Cédric Demonceaux) en collaboration forte avec le laboratoire I3S de l’Université Côte d’Azur (Guillaume Allibert)

Contraintes et risques

-

Rémunération et avantages

Rémunération

La rémunération est d'un minimum de 2300,00 € mensuel

Congés et RTT annuels

44 jours

Pratique et Indemnisation du TT

Pratique et indemnisation du TT

Transport

Prise en charge à 75% du coût et forfait mobilité durable jusqu’à 300€

À propos de l’offre

À propos du CNRS

Le CNRS est un acteur majeur de la recherche fondamentale à une échelle mondiale. Le CNRS est le seul organisme français actif dans tous les domaines scientifiques. Sa position unique de multi-spécialiste lui permet d’associer les différentes disciplines pour affronter les défis les plus importants du monde contemporain, en lien avec les acteurs du changement.

Le CNRS

Les métiers de la recherche