Émilie Kaufmann récompensée par la médaille de bronze pour ses recherches en apprentissage séquentiel

Sans le savoir, nous côtoyons tous les jours des modèles de type bandit à plusieurs bras. Il s’agit ici d’une référence aux bandits-manchots, « armed bandits » en anglais, qui désignent les machines à sous. Les bandits, en tant qu’outils informatiques, se cachent notamment derrière les systèmes de recommandation de contenu et les publicités en ligne. Mais leur usage ne saurait se limiter à des enjeux marketing.  En effet, ces modèles s’appliquent plus largement à la prise de décision optimale dans l’incertain, autrement dit, lorsqu’un agent doit choisir parmi plusieurs actions possibles, sans connaître à l'avance les retombées, appelées récompenses, associées à chacune d’elles. La résolution de ces problèmes fait intervenir des méthodes d’apprentissage automatique et plus particulièrement d’apprentissage séquentiel, domaine d’expertise d’Émilie Kaufmann, chargée de recherche CNRS au CRIStAL.

« Je m’intéresse à la caractérisation de la complexité de ces méthodes. Dans des modèles simplifiés, j’essaie de trouver des garanties théoriques qui permettent de quantifier mathématiquement le coût des interactions de l’agent. Autrement dit, montrer qu’une méthode fonctionne de manière optimale », explique Émilie Kaufmann. L’idée est ensuite de concevoir un algorithme se comportant de manière optimale. Par exemple, dans le cadre de travaux menés avec Aurélien Garivier, professeur à l’École normale supérieur de Lyon, membre de l'Unité de mathématiques pures et appliquées (UMPA - CNRS/ENS Lyon), elle est parvenue à la caractérisation d’une borne inférieure sur le nombre d’essais nécessaires pour certifier qu’une action identifiée par un algorithme est la bonne. Ce résultat a donné lieu à une nouvelle gamme d’algorithmes programmés pour effectivement atteindre cette borne inférieure.

Afin de tester la validité de ses résultats théoriques, Émilie Kaufmann les applique à des simulations inspirées de cas réels. Dans le cadre d’une thèse co-encadrée, elle a par exemple abordé les enjeux d’allocation de fréquence des réseaux de télécommunication de type Internet des objets (IoT). « La démultiplication des objets connectés entraîne une saturation du spectre fréquentiel. L’approche séquentielle permettrait, en théorie, d’avoir des systèmes de communication intelligents, capables d’identifier les canaux de communication libres et ainsi de maximiser le nombre d’objets dans les réseaux », explique la chargée de recherche.

Plus récemment, Émilie Kaufmann a commencé à s’intéresser à l'utilisation potentielle de stratégies de bandits pour les essais cliniques adaptatifs. « Depuis les années 1950, les essais cliniques sont régulièrement cités pour expliquer l’intérêt des méthodes de bandits. Je les ai moi-même mentionnés à maintes reprises sans jamais me pencher sur le sujet, jusqu’au jour où j’ai eu envie de me frotter à ce problème », confie-t-elle.

Depuis 2022, elle collabore avec Laura Richert, professeure à l'Université de Bordeaux, médecin épidémiologiste au CHU de Bordeaux, spécialisée dans les essais cliniques précoces en vaccinologie à travers un co-encadrement de thèse. Dans le cas d’une pandémie, par exemple, les cliniciens veulent tester un grand nombre de technologies de vaccin, d’intervalles de temps entre les doses, de types d’administration, etc. À Émilie Kaufmann de préciser : « Nous regardons si des méthodes séquentielles peuvent aider à éliminer efficacement des combinaisons vaccinales qui ne fonctionneraient pas. L’objectif est de trouver la bonne stratégie, le plus vite possible ».