L’imagerie lidar simple photon passe en temps réel

Résultats scientifiques Image

Le lidar simple photon capture des scènes 3D à distance et dans des conditions réduites de visibilité, où la plupart des autres techniques fonctionnent mal. Cependant, le traitement de leurs données est trop lent pour un usage en temps réel. Des chercheurs ont donc conçu un nouvel algorithme, capable d’obtenir un nuage de points en seulement 20 millisecondes. Publiés dans la revue Nature Communications, ces travaux ont des applications entre autres utiles aux voitures autonomes.

Équivalent laser du sonar, le lidar mesure des distances en émettant un faisceau de photons et en interprétant leur écho. Cette technique reconstitue en 3D des objets ou toute une scène. Sa variante lidar simple photon envoie des pulsations laser, comprenant plusieurs photons sur un laps de temps très court, puis enregistre toutes les picosecondes si un photon revient heurter le capteur. Il mesure ainsi des distributions de photons au cours du temps, selon la probabilité qu’une surface réfléchisse les photons émis par le laser. Cela permet de capturer des scènes même derrière des vitres et dans des conditions difficiles pour les autres méthodes 3D : brouillard, milieux aquatiques, ensoleillement important, longues distances… Malheureusement, la reconstruction du nuage de points à partir de la distribution de photons est particulièrement gourmande en temps de calcul et pas toujours fiable.

Des chercheurs de l’Institut de recherche en informatique de Toulouse (IRIT, CNRS/INP Toulouse/Université Toulouse Paul Sabatier/Université Toulouse Jean Jaurès/Université Toulouse Capitole) et de l’université Heriot-Watt d’Édimbourg ont proposé une nouvelle solution pour lever ces verrous et atteindre un fonctionnement en temps réel. Ils ont ainsi combiné des approches de pointe, issues du traitement d’image et de l’informatique graphique, pour concevoir un algorithme de reconstruction 3D extrêmement rapide.

À partir des données acquises par un lidar simple photon, des nuages de points 3D sont reconstruits en estimant la probabilité qu’une surface se trouve en tout point de la scène. En mesurant les arrivées de photons toutes les picosecondes, la méthode est ainsi capable de voir à travers les obstacles transparents : la distribution de photons mesurés décrira un pic de photons correspondant à la réflexion d’une vitre, et un second pic pour l’objet placé derrière. Selon les conditions, ces distributions de photons peuvent nécessiter des algorithmes de reconstruction robustes, ce qui allonge le traitement des données de plusieurs secondes, minutes, voire dizaines de minutes. Et plus on souhaite obtenir une surface lisse et précise, plus les temps de calcul augmentent. Ces contraintes empêchent toute utilisation en temps réel.

Le lidar simple photon face à deux surfaces : un homme derrière un camouflage. Le graphique montre le nombre de photons reçus par pixel. © Tachella et al.

Avec ce nouvel algorithme, la durée est réduite à seulement 20 millisecondes par acquisition, ce qui permet enfin un fonctionnement du lidar simple photon en direct. Le système a également fait ses preuves pour capturer une scène jusqu’à 320 mètres de distance. Deux approches, qui ne cohabitent d’habitude pas, ont pour cela été combinées. La première, fondée sur les statistiques bayésiennes, identifie les pics de photon potentiels et génère des points 3D. Ensuite, la reconstruction locale supprime le bruit et assure la cohérence spatiale de l’ensemble. L’algorithme de reconstruction est ainsi capable de traiter en parallèle les surfaces présentes dans la scène, ce qui lui permet d’aller aussi vite.

L’algorithme, basé sur des méthodes de l’état de l’art en informatique graphique, gère aussi bien des distributions très parcimonieuses que des nuages très denses, et reste robuste même sur de grands ensembles. Il est de plus implémenté sur une carte électronique portable, collée directement sur le dispositif. Comme le lidar simple photon consomme peu d’énergie, le tout peut facilement être aménagé en un système mobile.

Les applications du lidar simple photon en temps réel sont nombreuses. La technologie correspond ainsi de plus en plus aux besoins des voitures autonomes, où de hautes vitesses de traitement sont nécessaires pour gérer des véhicules en mouvement. Elle intéresse également les milieux de la défense, de l’aviation, la vision artificielle ainsi que tous les autres champs d’applications des scanneurs laser.

Références :

Julian Tachella, Yoann Altmann, Nicolas Mellado, Aongus McCarthy, Rachael Tobin, Gerald S. Buller, Jean-Yves Tourneret and Stephen McLaughlin. Real-Time 3D reconstruction from single-photon lidar data using plug-and-play point cloud denoisers. Nature Communications 2019.

Performances de différentes méthodes pour observer un homme derrière un camouflage. La ligne du haut correspond à un temps d’acquisition court. La méthode présentée dans ces travaux est la plus à droite. © Tachella et al.

Contact

Nicolas Mellado
Chargé de recherche CNRS