En poursuivant votre navigation sur ce site, vous acceptez le dépôt de cookies dans votre navigateur. (En savoir plus)

H/F Thèse internationale : Transfer d'expertise humaine vers des robots humanoïdes

Cette offre est disponible dans les langues suivantes :
Français - Anglais

Assurez-vous que votre profil candidat soit correctement renseigné avant de postuler. Les informations de votre profil complètent celles associées à chaque candidature. Afin d’augmenter votre visibilité sur notre Portail Emploi et ainsi permettre aux recruteurs de consulter votre profil candidat, vous avez la possibilité de déposer votre CV dans notre CVThèque en un clic !

Faites connaître cette offre !

Informations générales

Référence : UMR5506-ABDKHE-005
Lieu de travail : MONTPELLIER
Date de publication : mardi 30 juin 2020
Nom du responsable scientifique : Abderrahmane Kheddar
Type de contrat : CDD Doctorant/Contrat doctoral
Durée du contrat : 36 mois
Date de début de la thèse : 1 octobre 2020
Quotité de travail : Temps complet
Rémunération : 2 135,00 € brut mensuel

Description du sujet de thèse

Le sujet de cette thèse de doctorat est de doter un robot humanoïde de capacités d'apprentissage à partir de l'observation des actions humaines : mouvements, contacts et comportements tels qu'ils sont effectués dans les situations d'intérêt diverses. Cette perspective ambitieuse est à la confluence de deux technologies complémentaires qui feront l'objet de recherches plus approfondies dans le contexte applicatif de ce projet et qui sont intégrées dans le cadre de contrôle optimal dans l'espace des tâches utilisé pour commander nos plateformes robotiques, et qui se sont avérées efficaces dans des scénarios complexes. Ces technologies de base sont les suivantes :

Transfert de compétences par téléopération et téléprésence directes. La première partie de la recherche consiste à mettre au point une technologie à base de téléprésence bilatérale complète pour le contrôle direct des robots humanoïdes à partir des mouvements humains, des contacts effectués et du filtrage dynamique. L'opérateur humain est placé dans une « station maître » dont les composants doivent être conçus et choisis de préférence parmi (i) les technologies existantes (portable ou pas) en matière de capture de mouvements humains, de monitoring de contacts et force d'interaction, et (ii) les technologies de rendu multimodales existantes. La difficulté de cette partie est de pouvoir transmettre en temps réel les paramètre de commande du robot humanoïde à partir des mouvements et des contacts humains (y compris la marche et la manipulation) et permettre un rendu à l'opérateur de l'expérience humanoïde (également en termes de contact et de mouvement), y compris la vision, le son et aussi des indices plus difficiles tels que les marges d'équilibre dynamique de l'humanoïde, les limites articulaires et toute autre contrainte due à la dissimilitude inévitable entre les capacités cinématiques et dynamiques de l'homme et celles de son avatar humanoïde.
Dans cette partie, nous considérons deux types d'interactions (déterminées par nos applications) :
1. La première catégorie d'interaction considère le robot humanoïde dans un environnement industriel et entièrement contrôlé/exploité par un travailleur pour réaliser un ensemble de tâches donné. Dans ce contexte, l'interaction consiste principalement à manipuler des outils et à réaliser des tâches à distance avec une transparence et des performances équivalentes à celles de l'homme qui contrôle le robot ;
2. La deuxième catégorie d'interaction considère un humanoïde distant qui interagit avec un humain pour l'assistance à distance des mouvements physiques humanoïdes-humains. Dans ce contexte, le retour d'information pour la personne contrôlant le robot humanoïde est extrêmement sophistiqué. Imaginez une situation où l'humanoïde est contrôlé à distance par une infirmière pour fournir une téléassistance à une personne fragile : l'infirmière doit contrôler le mouvement de l'humanoïde tout en ressentant et en expérimentant en temps réel tous les contacts et l'équilibre induits par l'interaction du robot humanoïde avec la personne fragile.
Bien que ces deux dernières catégories d'interactions nécessitent une configuration différente de la « station maître », elles ont cependant des points communs dans les algorithmes de transfert de mouvement humain et dans la conception de filtres dynamiques et de stratégies de contrôle de la rétroaction pour faire face aux dissimilitudes entre l'opérateur humain et les humanoïdes.

Le transfert de compétences en autonomie partagée. La téléopération bilatérale directe est certainement une étape indispensable pour valider de nombreux aspects du contrôle et du retour d'information sensoriel. Néanmoins, les schémas modernes de téléprésence et d'architecture de contrôle de la télérobotique font souvent appel au contrôle en mode autonomie partagée. En d'autres termes, le contrôle (et même la rétroaction) comporte une partie qui est automatiquement effectuée par le robot et une partie qui est contrôlée par l'opérateur humain. L'autonomie partagée est très importante pour réduire la charge cognitive de l'opérateur humain qui contrôle l'humanoïde. Par exemple, nous pouvons laisser le contrôle de l'équilibre dynamique s'effectuer de manière autonome par le contrôleur de l'espace des tâches fonctionnant sur le robot et nous concentrer sur ce que l'humain effectue comme tâches avec ses mains pour être reproduites par le robot. Nous pouvons par exemple abstraire n'importe quelle tâche grâce à un nombre limité (ensemble) de paramètres qui seront extraits directement de l'observation de l'interaction humaine (voir par exemple Di Fava et al. (2016)) et pas nécessairement de la capture brute des mouvements humains. De même, nous pouvons, lorsque cela est possible, restreindre les retours sensoriels vers l'utilisateur aux indices les plus pertinents. La conception de la téléprésence humanoïde à autonomie partagée non seulement facilite le transfert d'expertise, mais en poussant l'autonomie progressivement vers une intervention humaine plus faible, le but ultime est de pouvoir construire une autonomie complète de réalisation de tâches uniquement à partir d'un cahier des charges d'objectifs de très haut niveau où le rôle de l'opérateur humain peut se contenter à de la supervision.

En combinant ces deux technologies, nous viserons finalement l'ultime challenge du transfert de compétences à partir de l'observation directe d'un humain accomplissant de telles tâches, soit directement (l'humanoïde « observe » activement l'humain dans le contexte de l'application et tente d'extraire les caractéristiques de tâches pertinentes (par exemple Pham et al. (2018)) - comme dans l'autonomie partagée, pour reproduire la compétence, soit à partir d'un tutoriel vidéo. Étant donné la complexité et le défi de cette partie, cette thèse ne devrait pas résoudre entièrement ce problème, mais fournir des lignes directrices sur la façon dont un tel défi peut être relever à l'avenir et ne fournir que des prémisses (c'est-à-dire des exemples simples) sur la façon dont l'apprentissage automatique peut être utilisé à cette fin.

Références bibliographiques
- D-J. Agravante, A. Cherubini, A. Sherikov, P-B. Wieber, A. Kheddar, Human-humanoid collaborative carrying, IEEE Transactions on Robotics, on-line 22 May 2019, Vol. 35, Issue 4, pp. 833–846, August 2019, Doi: 10.1109/TRO.2019.2914350
- L. Aymerich-Franch, D. Petit, G. Ganesh, A. Kheddar, Touch through an embodied humanoid robot induces haptic sensation from vision alone, Journal of Computer-Mediated Communication, online 19 July 2017, Vol. 22, Issue 4, pp. 215-230, July 2017. Doi: 10.1111/jcc4.12188
- L. Aymerich-Franch, D. Petit, G. Ganesh, A. Kheddar, The second me: Seeing the real body during humanoid embodiment produces an illusion of bi-location, Consciousness and Cognition, No. 46, pp. 99-109, November 2016. Doi: 10.1016/j.concog.2016.09.017
- A. Bolotnikova, S. Courtois, A. Kheddar, Multi-contact planning on humans for physical assistance by humanoid, IEEE Robotics and Automation Letters, on-line 17 October 2019, Vol 5, No 1, pp. 135-142, 2020, Doi: 10.1109/LRA.2019.2947907
- K. Bouyarmane, K. Chappellet, J. Vaillant, A. Kheddar, Quadratic programming for multirobot and task-space force control, IEEE Transactions on Robotics, on-line 9 November 2018, Vol. 55, Issue 1, pp. 64–77, February 2019. Doi: 10.1109/TRO.2018.2876782
- A. Di Fava, K. Bouyarmane, K. Chappellet, A. Kheddar, Multi-contact motion retargeting from human to humanoid robot, IEEE-RAS International Conference on Humanoid Robots, pp. 1081-1086, November 15-17, 2016, Cancun, Mexico
- A. Kheddar, S. Caron, P. Gergondet, A. I. Comport, A. Tanguy, C. Ott, B. Henze, G. Mesesan, J. Englsberger, M. Roa, P-B. Wieber, F. Chaumette, F. Spindler, G. Oriolo, L. Lanari, A. Escande, K. Chappellet, F. Kanehiro, P. Rabaté, Humanoid robots for aircraft manufacturing, IEEE Robotics and Automation Magazine, Vol. 26, No 4, pp. 30-45, December 2019. Doi: 10.1109/MRA.2019.2943395
- L. Kumagai, M. Morisawa, T. Sakaguchi, S. Nakaoka, K. Kaneko, H. Kaminaga, S. Kajita, M. Benallegue, R. Cisneros, F. Kanehiro, Toward industrialization of humanoid robots, IEEE Robotics and Automation Magazine, Vol. 26, No 4, pp. 20-29, December 2019. Doi: 10.1109/MRA.2019.2940964
- A. Paolillo, P. Gergondet, A. Cherubini, M. Vendittelli, A. Kheddar, Autonomous car driving by a humanoid robot, Journal of Field Robotics, Field Report, Vol. 35, Issue 2, pp. 169-186, March 2018, Doi: 10.1002/rob.21731
- T-H. Pham, N. Kyriazis, A. Argyros, A. Kheddar, Hand-object contact force estimation from markerless visual tracking, IEEE Transactions on Pattern Analysis and Machine Intelligence, on-line 26 October 2017, Vol. 40, Issue 12, pp. 2883–2896, December 2018. Doi: 10.1109/TPAMI.2017.2759736

Contexte de travail

Cette thèse internationale vise deux applications principales :
1. Les applications industrielles actuelles, où le transfert de compétences de l'observation humaine sera utilisé pour la paramétrisation des tâches et la programmation du contrôleur d'espace de travail de bas niveau jusqu'à l'auto-apprentissage ;
2. Concours ANA Avatar Xprize qui vise les futures applications de téléprésence avancées (notre équipe, Janus, a été qualifiée pour les demi-finales).

Le LIRMM (Montpellier, France) et le JRL (Tsukuba, Japon) ont acquis une expérience considérable et ont conçu des outils sophistiqués pour contrôler des robots humanoïdes dans plusieurs contextes d'application (voir par exemple Kheddar et al. (2019) où les humanoïdes sont envisagés dans la fabrication d'avions, Kumagai et al. (2019) où les humanoïdes sont envisagés dans la construction et le bâtiment, Paollilo et al. (2018) pour l'humanoïde conduisant une voiture dans le cadre du DARPA Robotics Challenge, Agravante et al. (2019) où les humanoïdes sont utilisés pour transporter des objets avec en coopération avec les humains), Bolotnikova et al. (2020) où l'humanoïde de SoftBank Robotics est utilisé pour aider les personnes fragiles dans les centres EHPAD, etc.) La réalisation de ces tâches complexes est basée sur un contrôleur optimal dans l'espace des tâches où les tâches communes de base sont modélisées puis rassemblées dans un schéma de priorité à exécuter. Certaines tâches doivent au mieux être réalisées dans le cadre d'un autre ensemble de tâches dites « contraintes dures » à satisfaire toujours strictement (voir Bouyarmane et al. (2019)). La programmation de ces tâches est effectuée par une machine à états finis. Toutes les tâches sont définies par un objectif ou une cible souhaitée à partir de laquelle une erreur est calculée pour être asservie à zéro https://jrl-umi3218.github.io/mc_rtc/index.html

Le problème auquel nous sommes confrontés dans toutes nos applications est que les tâches souhaitées, leur paramétrage sont entièrement programmés de manière ad-hoc. Par conséquent, pour programmer une mission ayant plusieurs objectifs, il faut passer par un processus de simulation-expérimentation d'essais qui peut durer un mois ou plus pour des tâches parfois très simples. Le nombre et la durée des essais peuvent être réduits lorsque le programmeur a une bonne expertise du robot et du contrôleur. Cependant, même pour nos experts, le temps peut être trop long lorsque les objectifs à atteindre par le robot humanoïde sont complexes.

L'objectif de cette thèse est de réduire le transfert de compétences en programmant un robot grâce à des technologies de télérobotique dédiées à des techniques d'encorporation élevées (voir par exemple Aymerich-Franch et al. (2016) et (2017)) en utilisant une approche maître-esclave bilatérale complète, puis de moduler cela en injectant des schémas d'autonomie progressivement partagés jusqu'à atteindre le niveau de robot auto-apprenants.

Contraintes et risques

- La mobilité internationale est requise cependant avec un calendrier assez libre et flexible.
- Diplôme de Master ou équivalent (e.g. ingénieur)
- Connaissances en anglais
- Thèse pouvant commencer après le 01/10/2020

Informations complémentaires

Thèse internationale devant s'effectuer en partie au sein de l'équipe IDH du LIRMM sous la direction de Abderrahmane Kheddar http://www.lirmm.fr/users/utilisateurs-lirmm/abderrahmane-kheddar et à CNRS-AIST JRL au Japon sous la direction de Fumio Kanehiro https://staff.aist.go.jp/f-kanehiro/

On en parle sur Twitter !