Les travaux sur la différentiation algorithmique et ses applications en IA récompensés

Pour l’IA moderne, l’entraînement de modèles prédictifs de type réseaux neuronaux s'appuie sur des algorithmes auxiliaires, comme l'algorithme bien connu de rétropropagation, qui permet l'ajustement des poids des réseaux au cours de leur entrainement via des méthodes d’optimisation. Initialement, ceux-ci ne disposaient pas d'un cadre théorique général et complet qui permette de capturer la diversité des modèles implémentés en pratique. Cela rendait difficile l'analyse rigoureuse de l’entraînement de ces modèles. Pour répondre à cette question, Jérôme Bolte et Edouard Pauwels, tous les deux professeurs à la TSE, membre de TSE-Recherche ont introduit une nouvelle notion de dérivées généralisées, appelée champ conservatif. Celle-ci permet de modéliser la rétropropagation, en conformité avec la pratique moderne et les librairies telles que PyTorch ou TensorFlow, incluant leurs composantes non différentiables (relu, max pooling), présentes dans de nombreux réseaux. Cette notion de champ conservatif permet d’analyser les algorithmes d’entraînement des réseaux de neurones par ajustement des poids basé sur la rétropropagation.

Les deux chercheurs ont présenté leurs travaux dans un article publié en 2020 dans Mathematical Programming. Pour cette contribution exceptionnelle dans le domaine de l'optimisation continue, ils ont été récompensés par le prix Lagrange en optimisation continue 2024 par la Society for Industrial and Applied Mathematics (SIAM) et la Mathematical Optimization Society (MOS).

Ces travaux mêlant optimisation, analyse non lisse et géométrie o-minimale, ont apporté une avancée dans la compréhension des réseaux de neurones. L'essentiel de la contribution de Jérôme Bolte et Edouard Pauwels a été de construire et d'étudier des outils de calcul qui sont alignés sur une pratique empiriques mondiale : le déploiement de l’algorithme de rétropropagation dans des programmes numériques qui incluent possiblement des composantes non différentiables. Il s'agit d'une pratique largement répandue et efficace en pratique, pour laquelle les aspects non différentiables avaient été essentiellement éludés du point de vue théorique. Ces résultats fournissent des outils mathématiques pour analyser la combinaison de nombreuses méthodes d’optimisation avec l’algorithme de rétropropagation pour l’entrainement de réseaux neuronaux. Sur le plan technique, l'approche développée emprunte des outils aux champs mathématiques de l'optimisation numérique, de l'analyse non lisse, et de manière cruciale, de la géométrie o-minimale.