ERC : des IA pour faciliter l’analyse de données historiques et d’images satellites

Distinctions Informatique

Parmi les dernières annonces des bourses ERC Starting Grant, Mathieu Aubry du Laboratoire d'Informatique Gaspard-Monge (LIGM - CNRS/Université Gustave Eiffel) pilotera DISCOVER. Ce projet de vision assistée par ordinateur ambitionne de développer des méthodes d’apprentissage non supervisé pour identifier les motifs répétitifs et leurs éventuelles transformations au sein de divers types de documents et d’images.

L’analyse d’images est une application majeure des intelligences artificielles basées sur des réseaux de neurones, mais ce domaine est encore bien loin d’avoir été complètement exploré. Mathieu Aubry, chercheur à l’École des Ponts ParisTech et membre du LIGM, travaille ainsi sur l’apprentissage au service de la vision artificielle, notamment sur des documents historiques ou des œuvres d’art.

« En apprentissage, on utilise habituellement des données annotées, par exemple quels types d’objets sont présents sur une image, puis on entraîne un algorithme afin qu’il les reconnaisse tout seul, précise Mathieu Aubry. Je m’intéresse cependant plutôt à ce qu’une IA identifie les éléments qui se répètent sur une image, sans avoir besoin que des humains passent par l’étape très chronophage des annotations. »

Avec son projet ERC Discovering and analyzing visual structures (DISCOVER), il veut aider des experts à identifier, puis analyser des motifs répétitifs. Bien que ce programme soit davantage centré sur les méthodes que sur les applications, deux grands cas de figure sont visés : l’étude des documents historiques et celles des images satellites. L’algorithme peut par exemple être chargé d’identifier les icônes utilisées sur une carte numérisée, afin d’en faciliter la lecture.

Les humains identifient en permanence ce qu’ils voient, sans même y penser, et pourtant il est très difficile d’en expliquer les mécanismes et d’apprendre cette tâche à une machine.

« Si on prend une image satellite, certains éléments sont faciles à distinguer et à annoter à l’œil nu : des champs, des bâtiments, des rivières… poursuit Mathieu Aubry. Nous voulons cependant aller plus loin, comme reconnaître le type de céréales cultivées ou les principales essences présentes dans une forêt. » Un algorithme doit pour cela pouvoir analyser des séquences temporelles d’images, qui suivent l’évolution des champs au fil de l’année, afin d’extraire des informations qui en faciliteront l’identification par un expert.

Les images satellites sont également souvent multispectrales, c’est-à-dire qu’elles combinent des photographies à des longueurs d’onde variées, pas toujours faciles à interpréter pour les humains. De tels algorithmes serviraient par exemple au suivi de l’état des forêts et des champs par des chercheurs, mais aussi pour le personnel en charge des subventions agricoles et les exploitants. Il y aurait alors moins besoin de se rendre sur place pour comprendre quels sont les végétaux en présence.

Le but est de créer des algorithmes qui aident les experts à trouver ce qu’ils cherchent, mais aussi ce qu’ils ne cherchent pas.

Si ces IA doivent aider des humains à mieux appliquer leur savoir, elles leur offrent également une manière de s’extraire de leur subjectivité. « À se concentrer sur ce que l’on comprend déjà, on risque de manquer des informations importantes », souligne Mathieu Aubry. Les algorithmes doivent pour cela trouver des pixels qui gardent le même comportement au sein d’une série temporelle, ou découvrir des motifs qui se répètent en différents endroits. « Deux approches sont proposées, précise l’enseignant-chercheur. D’abord, chercher des correspondances pour identifier des répétitions. Sinon, partir d’un cheminement inverse et se demander comment reproduire une image avec un minimum de formes, qui correspondent aux motifs répétitifs. »

« La vision artificielle me plaît, car elle parvient à combiner les mathématiques avec une démarche très visuelle et concrète, conclut Mathieu Aubry. Cette ERC va me permettre de me concentrer entièrement à la question pendant cinq ans et de recruter une équipe pour travailler spécifiquement sur ce projet. J’en suis euphorique ! »

Contact

Mathieu Aubry
Researcher at École des Ponts ParisTech, member of LIGM