Thanh Huy Nguyen

Candidat au doctorat

Fusion multi-capteurs | Mozaïques 3D

Projet de recherche
Reconstruction de scènes par fusion d'acquisitions multi-capteurs - Application à la construction de mosaïques tridimensionnelles

La fusion des données issues de l'imagerie optique et du LiDAR permet de tirer profit de leur complémentarité pour pouvoir mieux comprendre un environnement et le représenter en 3D avec une meilleure précision et complétude, par rapport aux usages individuels des capteurs. De plus, il est pertinent de fusionner les acquisitions qui sont réalisées depuis des plateformes différentes, à des moments différents et selon des configurations de vols différentes. Une telle approche permet une flexibilité dans l'utilisation de la caméra en évitant de l'attacher rigidement avec le système LiDAR, ainsi qu'une diversité spatiale et temporelle dans les jeux de données. Elle permet également de bénéficier de la grande quantité des données archivées disponibles.

Les travaux existants dans le domaine de la fusion d'imagerie aérienne ou satellitaire avec le LiDAR aéroporté ont abordé des contextes d'acquisitions spécifiques pour lesquels les images et les nuages de points sont déjà recalés ou bien acquise depuis une même plateforme à des dates identiques ou proches. Obtenir une solution de fusion suffisamment versatile pour satisfaire un contexte où les données sont collectées à des moments différents, selon des points de vue et des niveaux de détail distincts reste un problème de recherche non résolu. L'objectif général de cette recherche est de concevoir et de développer une méthodologie robuste de fusion multimodale entre les données d'imagerie optique aérienne ou satellitaire et les données LiDAR aéroporté qui sont collectées sur une scène depuis différentes plateformes avec différentes configurations d'acquisition et à des moments différents, dans le but de construire une mosaïque 3D de cette scène avec une précision équivalente et une meilleure complétude que celle obtenue en utilisant les données d'origine individuellement. La méthodologie proposée implique un recalage grossier à fin de l'optique aérienne ou satellitaire avec les données LiDAR aéroporté. Le recalage grossier consiste à extraire et apparier des bâtiments extraits des sources de données. Ensuite le recalage fin est effectué selon une approche iconique basée sur l’information mutuelle. Celle-ci implique une conversion du nuage de points LiDAR en une image à la même résolution que celle de l’image optique ainsi qu’une approche locale d'estimation du modèle de transformation permettant de superposer les données.

Direction: Sylvie Daniel

Codirection : Jean-Marc Le Caillec