En poursuivant votre navigation sur ce site, vous acceptez le dépôt de cookies dans votre navigateur. (En savoir plus)

Multiple-view reconstruction of deformable objects [H/F]

This offer is available in the following languages:
Français - Anglais

Date Limite Candidature : jeudi 25 août 2022

Assurez-vous que votre profil candidat soit correctement renseigné avant de postuler. Les informations de votre profil complètent celles associées à chaque candidature. Afin d’augmenter votre visibilité sur notre Portail Emploi et ainsi permettre aux recruteurs de consulter votre profil candidat, vous avez la possibilité de déposer votre CV dans notre CVThèque en un clic !

General information

Reference : UMR5205-SHAPAR-001
Workplace : VILLEURBANNE
Date of publication : Thursday, August 4, 2022
Scientific Responsible name : Shaifali Parashar, Liming Chen
Type of Contract : PhD Student contract / Thesis offer
Contract Period : 36 months
Start date of the thesis : 1 November 2022
Proportion of work : Full time
Remuneration : 2 135,00 € gross monthly

Description of the thesis topic

Reconstructing the 3D shape of objects from multiple images is an important goal in computer vision and has been extensively studied for both rigid and non-rigid (or deformable) objects. Structure-from-Motion (SfM) is an algorithm that performs the 3D reconstruction of rigid objects using the inter-image visual motion from multiple images obtained from a moving camera. SfM is a very accurate and stable solution. Deformable 3D reconstruction, however, has been widely studied for monocular images (obtained from a single camera) and still remains an open research problem. It involves an additional modelling of deformations which makes it rather complicated. Numerous strategies have been developed in the past 30 years, ranging from statistical approximations to physical ones (constraining lengths and other metric quantities), all missing a concrete, mathematical way of formulating deformations.
In our recent works[1,2,3], we have shown that breaking a deformable scene into infinitesimal planes allows the deformations to be considered as linear functions which leads to simple, fast solutions to their reconstruction through images. This brought a substantial improvement to the state of the art in terms of complexity, accuracy and robustness[3]. Furthermore, it provides a mathematical framework that combines various kinds of deformation modelling, ranging from isometry (paper-like objects) [1,3] to elasticity [2,4], using simple local structures that preserve length, area, angles and smoothness.
In this project, we will extend the local methods to bring them at par with their rigid counterparts. This involves reducing the computational complexity of image registration, depth computation and including multiple view constraints to simplify the deformation constraints [4]. We will explore the geometric formulations that can allow additional constraints to simplify the problem in order to achieve generic, robust and real-time solutions.

[1] Parashar et al, TPAMI 2017. Isometric Non-Rigid Shape-from-Motion with Riemannian Geometry in Linear Time.
[2] Parashar et al, TPAMI 2018. Local Deformable Reconstruction Using Cartan's connections.
[3] Parashar et al, TPAMI 2021. Robust Isometric Non-Rigid Shape-from-Motion.
[4] Parashar et al, CVPR 2020. Local Non-Rigid Shape-from-Motion from Diffeomorphic Mappings.


French version:

La reconstruction de la forme 3D d'objets à partir d'images multiples est un objectif important de la vision par ordinateur et a été largement étudiée pour les objets rigides et non rigides (ou déformables). Structure-from-Motion (SfM) est un algorithme qui effectue la reconstruction 3D d'objets rigides en utilisant le mouvement visuel inter-images à partir de plusieurs images obtenues à partir d'une caméra en mouvement. SfM est une solution très précise et stable. La reconstruction 3D déformable a cependant été largement étudiée pour les images monoculaires (obtenues à partir d'une seule caméra) et reste encore un problème de recherche ouvert. Il implique une modélisation supplémentaire des déformations ce qui le rend assez compliqué. De nombreuses stratégies ont été développées au cours des 30 dernières années, allant des approximations statistiques aux approximations physiques (longueurs contraignantes et autres grandeurs métriques), toutes dépourvues d'une manière concrète et mathématique de formuler les déformations.
Dans nos travaux récents[1,2,3], nous avons montré que le découpage d'une scène déformable en plans infinitésimaux permet de considérer les déformations comme des fonctions linéaires ce qui conduit à des solutions simples et rapides à leur reconstruction par images. Cela a apporté une amélioration substantielle à l'état de l'art en termes de complexité, de précision et de robustesse[3]. En outre, il fournit un cadre mathématique qui combine différents types de modélisation de déformation, allant de l'isométrie (objets en papier) [1,3] à l'élasticité [2,4], en utilisant des structures locales simples qui préservent la longueur, la surface, les angles et le lissé. .
Dans ce projet, nous allons étendre les méthodes locales pour les mettre au même niveau que leurs homologues rigides. Cela implique de réduire la complexité de calcul de l'enregistrement d'image, du calcul de profondeur et d'inclure plusieurs contraintes de vue pour simplifier les contraintes de déformation [4]. Nous explorerons les formulations géométriques qui peuvent permettre des contraintes supplémentaires pour simplifier le problème afin d'aboutir à des solutions génériques, robustes et temps réel.

Work Context

The Imagine team at LIRIS laboratory, Lyon- France is looking for a PhD student to work on deformable 3D reconstruction from multiple views. The goal of this project is to develop fast reconstruction algorithms.

The PhD will be supervised by Prof. Liming Chen (liming.chen@ec-lyon.fr) and Shaifali Parashar (shaifali.parashar@liris.cnrs.fr) .

Requirements:
1. Masters in computer vision, robotics, machine learning, mathematics or any field related to the topic
2. Strong programming skills in C++ and python
3. Fluency in English

French version:

L'équipe Imagine du laboratoire LIRIS, Lyon- France recherche un(e) doctorant(e) pour travailler sur la reconstruction 3D déformable à partir de vues multiples. Le but de ce projet est de développer des algorithmes de reconstruction rapide.

La thèse sera encadrée par le Prof. Liming Chen (liming.chen@ec-lyon.fr) et Shaifali Parashar (shaifali.parashar@liris.cnrs.fr) .

Conditions:
1. Maîtrise en vision par ordinateur, robotique, apprentissage automatique, mathématiques ou tout domaine lié au sujet
2. Solides compétences en programmation en C++ et python
3. Anglais courant

Constraints and risks

N/A

Additional Information

This PhD is supported by project RHINO (ANR JCJC 2022).

We talk about it on Twitter!