Vincent Lepetit, ERC Advanced Grant 2022 : l’IA au service des jumeaux numériques

Pour créer le jumeau numérique d’un site, il faut en capturer la géométrie et la structure. Cette tâche pourrait être effectuée automatiquement par des robots, à condition qu’ils sachent explorer le site et comprendre les objets qu’ils rencontrent. Cette idée est au cœur du projet EXPLORER1 , qui vient d’obtenir une bourse ERC Advanced Grant, attribuée par le Conseil européen de la recherche (ERC). Elle financera pendant cinq ans des travaux menés par Vincent Lepetit, professeur à l’École des Ponts ParisTech et chercheur au LIGM.

« Nous développons avec mes collègues des méthodes d’intelligence artificielle combinant apprentissage profond et optimisation discrète, afin de comprendre ce que l’on observe à travers une caméra, explique ce spécialiste de la vision par ordinateur appliquée aux environnements 3D. Nos méthodes identifient les objets présents dans une image, puis estiment leur géométrie et leur place dans l’espace de façon automatique. » Dans le cadre du projet ERC, Vincent Lepetit combinera ses axes habituels de recherche avec la robotique et le monde des jumeaux numériques.

« Ce concept de jumeau numérique est parfois encore un peu flou, mais il s’agit ici de modèles informatiques qui copient un site réel, précise Vincent Lepetit. Nous travaillerons notamment sur des usines et des chantiers, dont nous capturerons la géométrie en 3D, mais aussi, et surtout, la fonction et les caractéristiques des objets présents, comme une machine-outil ou une grue. » Un jumeau numérique mis à jour régulièrement offre par exemple la possibilité de vérifier l’état d’une usine sans avoir à s’y rendre à chaque fois. Il permet également de tester et de planifier des changements dans son organisation.

• 1Exploration of unknown environments for digital twins, exploration d’environnements inconnus pour les jumeaux numériques.

Pour de grands sites, la capture et la mise en place des données nécessaires à la création et la mise à jour de jumeaux numériques ne peuvent cependant pas se faire manuellement. Il est alors possible de recourir à des robots. Mais face à des objets ou d’autres éléments peu courants comme on en trouve dans les usines, les méthodes de vision par ordinateur échouent. Le projet EXPLORER vise justement à pallier ce problème grâce à une collecte automatique d’images des objets, mais aussi à l’étiquetage automatique de celles-ci. Cet étiquetage permet alors d’utiliser des méthodes d’apprentissage profond pour reconnaître plus rapidement ces objets la prochaine fois qu’ils seront vus.

Sur un nouveau site, un robot devra donc l’explorer pour découvrir les objets qui le composent et apprendre à les reconnaître. Au fil de ses déplacements, la machine découvre des objets qu’elle comprend mal et peut continuer à se déplacer pour les voir sous différents angles, lui permettant d’améliorer sa compréhension. Il apparaît alors une boucle de rétroaction entre l’aspect perception et contrôle, où la machine peut se déplacer pour apprendre à reconnaître de façon optimale ces nouveaux objets.

« Cette bourse ERC me ravit et arrive au bon moment, conclut Vincent Lepetit. La vision par ordinateur et la robotique sont arrivées à une maturité qui permet de les combiner bien plus facilement qu’avant. Je vais pouvoir mettre davantage de robotique dans mes travaux. La boucle de rétroaction entre capture d’images et déplacement autonome est particulièrement prometteuse pour l’apprentissage automatique. »