Doctorat Robotique Humanoïde - Apprentissage par renforcement sûr (H/F)

Description du Poste

Sujet De Thèse

2. Sujet de Thèse
Cette thèse vise à développer une architecture de locomotion dynamique hybride dans laquelle une politique d'apprentissage par renforcement (RL) prend les décisions discrètes de haut niveau — telles que le mode de contact, le choix du pas ou du motif de démarche, et les transitions de comportement — tandis qu'un Contrôleur Prédictif (MPC), formulé et paramétré en ligne, assure le respect des contraintes physiques du robot et produit le mouvement continu du corps complet. Le MPC garantit la faisabilité, la sécurité et la cohérence dynamique, tandis que le RL apporte l'adaptation, l'anticipation et le choix stratégique dans des situations complexes, incertaines ou inédites.

3. État de l'Art
La locomotion des robots à pattes et humanoïdes sur des terrains non structurés ou dynamiques requiert deux types de raisonnement de nature différente. D'une part, choisir où et comment établir ou rompre le contact (quel pied, quelle surface, quel timing, quelle démarche) constitue fondamentalement un problème de décision discret et combinatoire, difficile à exprimer sous forme de coût lisse ou de contrainte convexe. D'autre part, une fois le plan de contact ou le mode de comportement choisi, générer une trajectoire dynamiquement cohérente et respectant les limites de couple et de contraintes est un problème d'optimisation continue pour lequel la commande corps-complet fondée sur un modèle et la Commande Prédictive (MPC) sont des approches matures et bien maîtrisées. Cette section passe en revue l'état de l'art selon cinq axes : la commande corps-complet et prédictive fondée sur un modèle, la MPC à contact implicite et hybride, l'apprentissage par renforcement sûr et les filtres de sécurité à l'exécution, les approches couplant RL et MPC, et la sélection apprise de modes discrets pour la locomotion hybride à pattes.
3.1 Commande corps-complet fondée sur un modèle et commande prédictive pour les robots à pattes
La commande corps-complet fondée sur des Programmes Quadratiques (QP) est devenue la formulation standard pour l'exécution priorisée de tâches sous contraintes articulaires, de couple et de contact sur les robots à pattes et humanoïdes [1]–[3], la QP Hiérarchique assurant une priorisation stricte des tâches pour une génération de mouvement en ligne rapide [4]. Une synthèse récente et complète regroupe les algorithmes numériques et les choix de modélisation qui sous-tendent la commande fondée sur l'optimisation pour les robots à pattes dynamiques, y compris les formulations centroïdales, corps-complet et à contact implicite [5]. Ces approches fondées sur un modèle offrent de solides garanties de satisfaction des contraintes et se généralisent bien à travers les tâches, mais elles dépendent de modèles dynamiques précis et nécessitent un plan ou une séquence de contact fournis de l'extérieur — précisément la décision combinatoire que cette thèse propose de déléguer à une politique apprise.
3.2 MPC à contact implicite et hybride
Un nombre croissant de travaux cherche à permettre à la MPC de raisonner directement sur le contact plutôt que de s'appuyer sur une séquence de contact prédéfinie. La MPC hybride à iLQR modifie la formulation du coût pour gérer des modes de contact non alignés et s'est montrée supérieure aux approches centroïdales sous de fortes perturbations sur matériel réel [6]. Les formulations de MPC à contact implicite rapide exploitent des contraintes de complémentarité lissées ou relâchées pour rendre l'optimisation à contact implicite exploitable aux fréquences de la boucle de commande [7], et des travaux connexes démontrent qu'une MPC à contact implicite peut produire des mouvements variés de quadrupède sans mode de contact ni trajectoire préplanifiés [8] ; des formulations en dynamique inverse de la MPC à contact implicite améliorent encore la robustesse numérique [9]. Ces méthodes montrent qu'il est possible de raisonner conjointement sur le contact et le mouvement dans un cadre à horizon glissant, mais elles restent purement fondées sur un modèle : le mode de contact émerge d'une relaxation numérique locale plutôt que d'une politique ayant appris à anticiper quel mode est stratégiquement préférable — ce qui est précisément l'écart que cette thèse vise à combler en laissant une politique RL entraînée fournir cette décision discrète.
3.3 Apprentissage par renforcement sûr et filtres de sécurité à l'exécution
L'apprentissage par renforcement sûr intègre généralement les contraintes pendant l'entraînement, par exemple via l'Optimisation de Politique Contrainte (Constrained Policy Optimization), qui impose une garantie de sécurité par région de confiance à chaque itération [12], ou via le cadre Constraints as Terminations (CaT), qui convertit les violations de contraintes en terminaisons anticipées d'épisode pour l'apprentissage par renforcement de la locomotion à pattes [14]. Une synthèse récente situe ces approches à l'entraînement aux côtés des méthodes à l'exécution et met en évidence l'écart persistant entre la sécurité statistique obtenue à l'entraînement et les garanties strictes requises en déploiement réel [11]. Les filtres de sécurité à l'exécution s'attaquent directement à cet écart : les filtres de sécurité prédictifs enveloppent un contrôleur arbitraire d'une couche corrective fondée sur un modèle [13], des schémas multi-couches combinent fonctions barrières de contrôle et MPC pour garantir la sécurité des robots à pattes même sous de fortes perturbations [10], et, ce qui est le plus directement pertinent pour cette thèse, un filtre de sécurité par Programme Quadratique du second ordre a récemment été démontré pour contraindre en temps réel les sorties d'une politique RL, dans l'espace des accélérations, à la fois sur un manipulateur commandé en couple et sur un humanoïde Unitree H1 commandé en position, en utilisant une tâche de couple ou de dynamique directe pour reproduire le comportement voulu par la politique RL, associée à un observateur de perturbations pour compenser les erreurs de modèle [15]. Ce filtre s'appuie sur un cadre de commande pour l'interaction physique homme-robot développé pour la même classe de plateformes [16]. Le filtre QP de [15] garantit la satisfaction stricte, à un seul pas de temps, des contraintes pour toute politique RL sans réentraînement, mais il n'agit que sur l'action continue déjà produite par la politique ; il ne raisonne ni ne remet en cause les décisions discrètes de contact ou de comportement qui précèdent cette action — ce qui est exactement l'extension que poursuit cette thèse, en passant d'un filtrage QP à un seul pas de temps à une MPC en ligne, à horizon glissant, façonnée par les propres choix discrets de la politique.
3.4 Couplage de l'apprentissage par renforcement et de la Commande Prédictive
Un autre courant de travaux cherche à combiner RL et MPC de manière plus étroite qu'un simple filtre a posteriori. La recherche de politique pour la MPC (policy-search-for-MPC) traite les variables de décision de la MPC difficiles à optimiser comme l'objet d'une politique apprise hors ligne et sélectionnée de manière adaptative, démontrée sur un vol de drone agile [17], et cette idée a été étendue en une architecture de MPC Acteur-Critique qui intègre une couche de MPC différentiable au sein d'une boucle acteur-critique, améliorant la robustesse hors distribution et l'efficacité d'apprentissage [18]. Ces approches s'appuient sur la famille plus large des méthodes de MPC différentiable, qui rétropropagent les gradients à travers la couche d'optimisation elle-même pour permettre un apprentissage de bout en bout des paramètres de coût ou de modèle [19]. La planification des contacts a également été traitée comme un problème d'apprentissage à deux niveaux, par exemple en utilisant l'optimisation bayésienne pour sélectionner un plan de contact, destiné à un optimiseur de trajectoire en aval, à partir de descripteurs de tâche de haut niveau [20]. Dans l'ensemble de cette littérature, le schéma qui se dégage est que les gains les plus importants proviennent de l'utilisation du RL pour sélectionner ou façonner le petit ensemble de variables de décision difficiles, combinatoires ou peu différentiables d'un problème de MPC, tout en laissant à la MPC la satisfaction continue des contraintes — ce qui est précisément la répartition des tâches visée par cette thèse, appliquée spécifiquement aux décisions de mode de contact et de transition de comportement dans la locomotion à pattes et à roues-pattes.
3.5 Sélection apprise de modes discrets pour la locomotion hybride à pattes et à roues-pattes
Un dernier courant, directement pertinent, étudie comment des politiques RL peuvent représenter et sélectionner des modes de locomotion discrets. L'apprentissage d'automates hybrides à temps discret intègre un sélecteur de mode explicite et non supervisé directement dans le pipeline de RL, permettant à un quadrupède d'identifier et de basculer entre des modes dynamiques physiquement distincts sans segmentation étiquetée manuellement, démontré sur une tâche de skateboard riche en contacts [21]. Pour les systèmes à roues-pattes, directement pertinents pour la plateforme Kangaroo/RENOIR, une architecture RL de type mélange épars d'experts (sparse Mixture-of-Experts) s'est récemment révélée capable de résoudre le conflit de gradient entre les modes de roulement à roues et de pas avec levée de patte sur un robot bipède à roues-pattes, en allouant automatiquement des sous-réseaux experts spécialisés à chaque mode et en améliorant le taux de réussite du franchissement d'obstacles par rapport à une politique à réseau unique [22]. Ces résultats confirment à la fois que l'information de mode discret constitue un signal puissant et apprenable pour les politiques RL de robots à pattes et à roues-pattes, et que la commutation de mode reste gérée en interne par la politique, sans garantie formelle que le comportement résultant respecte les contraintes physiques du robot une fois réalisé sur le matériel — l'écart que cette thèse comble en faisant transiter la décision discrète apprise par une MPC en ligne plutôt que par un contrôleur bas niveau de type boîte noire.
3.6 Positionnement de cette thèse
Pris ensemble, l'état de l'art montre des solutions matures, mais séparées, aux deux moitiés différentes du problème : des méthodes de MPC et de QP fondées sur un modèle qui garantissent la satisfaction des contraintes étant donné un plan de contact [1]–[9], et des méthodes RL capables d'apprendre à sélectionner ou représenter des décisions discrètes de contact et de comportement mais sans garanties formelles de sécurité [21], [22], les filtres de sécurité n'offrant des garanties strictes que pour des sorties de politique déjà continues [10], [11], [13], [15]. Les architectures couplant RL et MPC montrent que des composants appris peuvent avantageusement façonner un petit ensemble de variables de décision difficiles de la MPC [17]–[20], mais cette idée n'a pas encore été appliquée à des décisions en ligne de mode de contact et de transition de comportement validées sur du matériel réel à pattes ou à roues-pattes. Cette thèse se positionne précisément à cette intersection : elle étend le filtre de sécurité QP à un seul pas de temps et à action continue, déjà démontré sur du matériel manipulateur et humanoïde [15], [16], vers une MPC à horizon glissant dont le plan de contact et la structure de coût sont façonnés en ligne par les décisions discrètes d'une politique RL, en visant une validation sur la plateforme TIRREX/RENOIR Kangaroo [23] et sur des humanoïdes Unitree, dont les morphologies respectivement à roues-pattes et bipède font écho aux phénomènes de commutation de mode discrets étudiés en [21] et [22].
Le pari scientifique central de cette thèse est que ces deux paradigmes sont complémentaires plutôt que concurrents : le RL est bien adapté à la prise de décision discrète, séquentielle et anticipative en situation d'incertitude, tandis que la MPC est bien adaptée à l'application de contraintes physiques strictes (limites articulaires, saturation de couple, cônes de frottement, évitement d'auto-collision et de collision avec l'environnement) sur un horizon glissant. Plutôt que de filtrer a posteriori une action RL à un seul pas de temps, comme dans le filtre de sécurité QP existant, cette thèse propose de laisser les décisions RL façonner le problème de MPC lui-même — son plan de contact, ses poids de coût, la structure de son horizon, ou son comportement de référence — en ligne, à chaque cycle de replanification.
4. Questions de Recherche
• Comment les décisions RL discrètes ou catégorielles (mode de contact, région de pas, transition de démarche/comportement) peuvent-elles être traduites, en ligne et à la fréquence de la boucle de commande, en paramètres de la MPC — séquence de contact, poids des tâches, contraintes terminales, ou trajectoires de référence — sans introduire d'infaisabilité ?
• Comment la politique RL, son espace d'observation et sa récompense doivent-ils être conçus pour qu'elle apprenne à anticiper les limites de faisabilité de la MPC en aval, plutôt que de proposer des décisions que la MPC ne peut satisfaire que partiellement ?
• Quelle interface et quel flux d'information entre RL et MPC (par exemple, réamorçage à chaud, fonctions de valeur partagées, façonnage de coût appris, ou couches de MPC différentiables) préservent le mieux à la fois la réactivité du RL et les garanties de la MPC ?
• Comment l'architecture couplée peut-elle rester compatible avec les contraintes temps réel, étant donné que les politiques RL, la reformulation/résolution de la MPC, et la commande bas niveau en couple opèrent naturellement à des fréquences différentes, comme dans les pipelines RL+QP existants ?
• Comment l'estimation des perturbations et des erreurs de modèle (dans l'esprit des observateurs de moment généralisé et des observateurs d'inclinaison utilisés dans les travaux RL+QP actuels) peut-elle être étendue au cadre à horizon glissant pour préserver la sécurité sous un modèle dynamique imparfait ?
• Le contrôleur hybride résultant améliore-t-il la robustesse, la généralisation et la satisfaction des contraintes par rapport à la fois au RL de bout en bout pur et à la planification de contact purement fondée sur un modèle, en simulation et sur matériel réel ?
5. Méthodologie Proposée et Lots de Travail
Lot 1 — État de l'art et formulation du problème
Revue structurée (i) de la planification de contact et de la MPC corps-complet fondées sur un modèle pour les robots à pattes, (ii) de l'apprentissage par renforcement contraint et sûr pour la locomotion, y compris les approches constraints-as-terminations et les filtres de sécurité à l'exécution, et (iii) des architectures hybrides RL–MPC existantes (par exemple, le RL pour l'ajustement des coûts/paramètres de la MPC, les classificateurs de terrain appris alimentant des planificateurs de contact, la MPC différentiable). Ce lot de travail formalisera l'interface RL–MPC comme un problème explicite d'optimisation et de commande et définira des métriques d'évaluation pour la faisabilité, la violation des contraintes et la performance de la tâche.
Lot 2 — Politique RL pour la prise de décision discrète de haut niveau
Conception et entraînement, en simulation, d'une politique RL dont l'espace d'action est discret ou hybride (mode de contact, région cible de pas, mode de démarche ou de comportement), plutôt que des commandes articulaires continues. La politique sera entraînée avec la MPC en ligne dans la boucle, de sorte que sa récompense reflète la faisabilité dynamique réelle et le coût de ses décisions une fois réalisées par la MPC, étendant la philosophie constraints-as-terminations des actions vers les décisions.
Lot 3 — Module de formulation et de paramétrage en ligne de la MPC
Développement d'un module de MPC à horizon glissant pouvant être reformulé et reparamétré en temps réel à partir des décisions discrètes de la politique RL : planification de contact, pondération des tâches et des contraintes, et conditions terminales. Ce lot de travail s'appuiera sur la formulation QP fondée sur l'accélération, les alternatives de tâche de couple et de dynamique directe, et la gestion des contraintes par amortisseur de vitesse déjà validées sur du matériel manipulateur et humanoïde, en les étendant d'un filtre de sécurité à un seul pas de temps vers un horizon prédictif à plusieurs pas, avec réamorçage à chaud pour la performance temps réel.
Lot 4 — Architecture temps réel couplée et gestion des perturbations
Intégration de la couche de décision RL, de la MPC en ligne, et de la commande bas niveau en couple ou en position au sein d'un unique pipeline temps réel, avec des fréquences de commande bien caractérisées pour chaque couche. Extension de l'estimation, fondée sur un observateur de perturbations, des forces externes et des erreurs de modélisation, au cadre à horizon, afin que l'application des contraintes par la MPC reste fiable malgré des modèles dynamiques imparfaits, à l'image de la stratégie de mitigation utilisée pour l'écart de masse identifié sur l'Unitree H1.
Lot 5 — Validation en simulation et sur matériel
Validation progressive en simulation (par exemple, mc_mujoco) puis sur matériel réel, sur des tâches nécessitant intrinsèquement un raisonnement discret sur le mode de contact : franchissement de terrain discontinu ou de pierres de gué, montée d'escaliers, évitement d'obstacles dynamiques, et scénarios de transition de démarche. La plateforme expérimentale sera soit la plateforme TIRREX/RENOIR, fondée sur le robot à roues-pattes Kangaroo de PAL Robotics, soit un humanoïde Unitree (H1v1, H1v2, ou R1), selon la disponibilité et selon la plateforme qui correspond le mieux aux phénomènes de mode de contact discrets étudiés (par exemple, la commutation roue/patte sur Kangaroo par rapport à la planification de contact bipède sur les plateformes Unitree). Les résultats seront comparés à (i) une politique RL de bout en bout pure, (ii) un planificateur de contact purement fondé sur un modèle, et (iii) l'architecture existante de filtre de sécurité RL+QP à un seul pas de temps.
6. Contributions Attendues
• Une architecture générale couplant la prise de décision discrète fondée sur le RL avec une MPC formulée et paramétrée en ligne pour la locomotion dynamique hybride, avec une interface formalisée entre les deux couches.
• Une méthodologie d'entraînement pour des politiques RL anticipant la faisabilité de la MPC, étendant l'approche constraints-as-terminations des actions continues vers les décisions discrètes de haut niveau.
• Un schéma de reformulation et de reparamétrage de la MPC compatible temps réel, accompagné d'une extension des techniques d'observateur de perturbations au cadre à horizon glissant.
• Une validation expérimentale et une comparaison quantitative par rapport à des références fondées sur un modèle et apprises de bout en bout, en simulation et sur matériel, sur la plateforme TIRREX/RENOIR (Kangaroo de PAL Robotics) et/ou un humanoïde Unitree (H1v1/H1v2/R1).
• Une implémentation open-source, dans la continuité des outils open-source déjà publiés par l'équipe (Pinocchio, Crocoddyl, Stack-of-Tasks, et le code du filtre de sécurité RL+QP).
7. Encadrement et Environnement
La thèse sera hébergée au LAAS-CNRS (équipe Gepetto, Toulouse), sous la direction d'Olivier Stasse, Directeur de Recherche CNRS spécialisé en robotique humanoïde, commande corps-complet et commande prédictive, et locomotion fondée sur l'apprentissage par renforcement, et co-auteur du cadre Constraints as Terminations (CaT). Elle sera co-encadrée par Mehdi Benallegue, du CNRS-AIST JRL (Joint Robotics Laboratory, Tsukuba), dont les travaux récents sur le filtrage de sécurité par QP du second ordre pour l'exécution de politiques RL motivent et fondent directement la formulation de MPC en ligne visée par cette thèse. Ce co-encadrement LAAS/JRL reflète la structure collaborative et multi-partenaires du projet HAMMER et donnera à la candidate ou au candidat un accès combiné à l'écosystème logiciel fondé sur les modèles de l'équipe Gepetto (Pinocchio, Crocoddyl, Stack-of-Tasks) et au cadre de filtre de sécurité RL+QP du JRL. La validation expérimentale sera menée sur la plateforme TIRREX/RENOIR, fondée sur le robot à roues-pattes Kangaroo de PAL Robotics, et/ou sur un humanoïde Unitree (H1v1, H1v2, ou R1), avec un accès possible à du matériel supplémentaire via le consortium HAMMER élargi.
8. Profil Recherché
• Diplôme de Master (ou équivalent) en robotique, automatique, ou apprentissage automatique.
• Solide formation en commande optimale et optimisation numérique (MPC, QP, DDP/FDDP, SQP).
• Connaissance pratique de l'apprentissage par renforcement (méthodes de gradient de politique et acteur-critique ; une familiarité avec le RL contraint ou sûr est un plus).
• Solides compétences en programmation C++ et Python ; une familiarité avec les bibliothèques de dynamique du corps rigide (Pinocchio) et les environnements de simulation (MuJoCo, Gazebo) est un atout.
• Intérêt pour l'expérimentation sur matériel réel et les architectures logicielles robotiques temps réel (ROS/ROS2, mc_rtc).
• Bon niveau d'anglais à l'écrit et à l'oral ; le français est un atout mais n'est pas requis.
Références
[1] M. Charbonneau, V. Modugno, F. Nori, G. Oriolo, D. Pucci, and S. Ivaldi, "Learning robust task priorities of QP-based whole-body torque-controllers," in Proc. IEEE-RAS Int. Conf. Humanoid Robots (Humanoids), 2018, pp. 1–9.
[2] R. Cisneros, M. Benallegue, A. Benallegue, M. Morisawa, H. Audren, P. Gergondet, A. Escande, A. Kheddar, and F. Kanehiro, "Robust humanoid control using a QP solver with integral gains," in Proc. IEEE/RSJ Int. Conf. Intelligent Robots and Systems (IROS), 2018.
[3] K. Bouyarmane, K. Chappellet, J. Vaillant, and A. Kheddar, "Quadratic programming for multirobot and task-space force control," IEEE Trans. Robotics, vol. 35, no. 1, pp. 64–77, 2018.
[4] A. Escande, N. Mansard, and P.-B. Wieber, "Hierarchical quadratic programming: Fast online humanoid-robot motion generation," Int. J. Robotics Research, vol. 33, no. 7, pp. 1006–1028, 2014.
[5] P. M. Wensing, M. Posa, Y. Hu, A. Escande, N. Mansard, and A. Del Prete, "Optimization-based control for dynamic legged robots," IEEE Trans. Robotics, vol. 40, pp. 43–63, 2024.
[6] N. J. Kong, C. Li, G. Council, and A. M. Johnson, "Hybrid iLQR model predictive control for contact implicit stabilization on legged robots," IEEE Trans. Robotics, vol. 39, no. 6, pp. 4712–4727, 2023.
[7] S. Le Cléac'h, T. A. Howell, M. Schwager, and Z. Manchester, "Fast contact-implicit model predictive control," IEEE Trans. Robotics, vol. 40, pp. 1617–1629, 2024.
[8] G. Kim, D. Kang, J.-H. Kim, S. Hong, and H.-W. Park, "Contact-implicit model predictive control: Controlling diverse quadruped motions without pre-planned contact modes or trajectories," Int. J. Robotics Research, 2025.
[9] V. Kurtz, A. Castro, A. Ö. Önol, and H. Lin, "Inverse dynamics trajectory optimization for contact-implicit model predictive control," Int. J. Robotics Research, 2025 (in press), doi: 10.1177/02783649251344635.
[10] R. Grandia, A. J. Taylor, A. D. Ames, and M. Hutter, "Multi-layered safety for legged robots via control barrier functions and model predictive control," in Proc. IEEE Int. Conf. Robotics and Automation (ICRA), 2021, pp. 8352–8358.
[11] L. Brunke, M. Greeff, A. W. Hall, Z. Yuan, S. Zhou, J. Panerati, and A. P. Schoellig, "Safe learning in robotics: From learning-based control to safe reinforcement learning," Annu. Rev. Control, Robotics, and Autonomous Systems, vol. 5, pp. 411–444, 2022.
[12] J. Achiam, D. Held, A. Tamar, and P. Abbeel, "Constrained policy optimization," in Proc. 34th Int. Conf. Machine Learning (ICML), 2017, pp. 22–31.
[13] K. P. Wabersich and M. N. Zeilinger, "A predictive safety filter for learning-based control of constrained nonlinear dynamical systems," Automatica, vol. 129, art. 109597, 2021.
[14] E. Chane-Sane, P.-A. Leziart, T. Flayols, O. Stasse, P. Souères, and N. Mansard, "CaT: Constraints as terminations for legged locomotion reinforcement learning," in Proc. IEEE/RSJ Int. Conf. Intelligent Robots and Systems (IROS), 2024, pp. 13303–13310.
[15] A. Cariou, B. Muraccioli, P.-A. Leziart, M. Celerier, A. Demont, G. Venture, and M. Benallegue, "Safe execution of RL policies via second-order QP constraint enforcement for real-world robotic deployments," to appear in Proc. IEEE/RSJ Int. Conf. Intelligent Robots and Systems (IROS), 2026.
[16] B. Muraccioli, M. Celerier, M. Benallegue, and G. Venture, "Demonstrating a control framework for physical human-robot interaction toward industrial applications," in Proc. Robotics: Science and Systems (RSS), 2025.
[17] Y. Song and D. Scaramuzza, "Policy search for model predictive control with application to agile drone flight," IEEE Trans. Robotics, vol. 38, no. 4, pp. 2114–2130, 2022.
[18] A. Romero, E. Aljalbout, Y. Song, and D. Scaramuzza, "Actor-critic model predictive control: Differentiable optimization meets reinforcement learning for agile flight," in Proc. IEEE Int. Conf. Robotics and Automation (ICRA), 2024, pp. 14777–14784; extended version in IEEE Trans. Robotics, vol. 42, pp. 673–692, 2025.
[19] B. Amos, I. D. J. Rodriguez, J. Sacks, B. Boots, and J. Z. Kolter, "Differentiable MPC for end-to-end planning and control," in Advances in Neural Information Processing Systems (NeurIPS), 2018.
[20] T. Seyde, J. Carius, R. Grandia, F. Farshidian, and M. Hutter, "Locomotion planning through a hybrid Bayesian trajectory optimization," in Proc. IEEE Int. Conf. Robotics and Automation (ICRA), 2019, pp. 5544–5550.
[21] H. Liu, S. Teng, B. Liu, W. Zhang, and M. Ghaffari, "Discrete-time hybrid automata learning: Legged locomotion meets skateboarding," in Proc. Robotics: Science and Systems (RSS), 2025.
[22] P. He, Z. Zhao, S. Duan, P. Wang, and H. Lei, "Adaptive multi-mode locomotion for bipedal wheel-legged robots via sparse mixture-of-experts deep reinforcement learning," Frontiers in Robotics and AI, vol. 13, art. 1788395, 2026.
[23] E. Mingo Hoffman, A. Curti, N. Miguel, S. K. Kothakota, A. Molina, A. Roig, and L. Marchionni, "Modeling and numerical analysis of Kangaroo lower body based on constrained dynamics of hybrid serial-parallel floating-base systems," Robotics and Autonomous Systems, vol. 182, art. 104827, 2024.

Votre Environnement de Travail

Cette thèse est proposée dans le cadre d'HAMMER, Projet Cible 2 du programme prioritaire de recherche et d'équipements d'accélération en robotique financé par France 2030 et piloté par l'Agence Nationale de la Recherche (ANR). HAMMER est un projet collaboratif de grande ampleur porté par le CNRS–Université Côte d'Azur I3S, réunissant le CNRS-AIST JRL, le LAAS-CNRS, le CNRS-UBE ICB, l'ONERA DTIS, le CNRS-INP GIPSA-lab, le CNRS-Sorbonne Université ISIR, l'Inria-ENS Willow, l'Inria ACENTAURI, l'Inria Larsen, et Mines Paris PSL. Le projet vise à doter les robots de capacités avancées de locomotion et de mobilité, en développant une approche hybride combinant les atouts complémentaires des méthodes fondées sur des modèles et des méthodes fondées sur les données.
Dans ce contexte, l'équipe Gepetto du LAAS-CNRS apporte une expertise de longue date en commande corps-complet fondée sur des modèles pour les robots humanoïdes (Pinocchio, Crocoddyl, Stack-of-Tasks, TALOS) et, plus récemment, en locomotion fondée sur l'apprentissage par renforcement, notamment à travers le cadre Constraints as Terminations (CaT) pour l'apprentissage par renforcement contraint de la locomotion des robots à pattes. Cette thèse s'inscrit directement dans cette lignée et dans les travaux récents menés au CNRS-AIST JRL qui filtrent les sorties d'une politique RL au moyen d'une couche de sécurité fondée sur un Programme Quadratique (QP) du second ordre afin de garantir le respect des contraintes lors de l'exécution (Cariou, Muraccioli et al., accepté à IROS 2026). Le sujet proposé étend cette ligne de recherche du filtrage QP à un seul pas de temps vers une architecture hybride complète, fondée sur un horizon, dans laquelle le RL et la Commande Prédictive (MPC) sont étroitement couplés.

Contraintes et risques

Cette thèse prendra place en partie au sein du groupe Gepetto, Toulouse France et en partie au JRL, UMI/CNRS AIST, Tsukuba, Ibaraki, Japon

Le candidat sélectionné devra prendre part à des expériences sur des robots humanoïdes de taille humaines (1m70)

Rémunération et avantages

Rémunération

La rémunération est d'un minimum de 2300,00 € mensuel

Congés et RTT annuels

44 jours

Pratique et Indemnisation du TT

Pratique et indemnisation du TT

Transport

Prise en charge à 75% du coût et forfait mobilité durable jusqu’à 300€

À propos de l’offre

À propos du CNRS

Le CNRS est un acteur majeur de la recherche fondamentale à une échelle mondiale. Le CNRS est le seul organisme français actif dans tous les domaines scientifiques. Sa position unique de multi-spécialiste lui permet d’associer les différentes disciplines pour affronter les défis les plus importants du monde contemporain, en lien avec les acteurs du changement.

Le CNRS

Les métiers de la recherche