Éric Gaussier redéfinit les propriétés des modèles de traitement automatique des langues

« Nos capacités d’apprentissage sont telles qu’il est possible d’être illettré et bilingue. Cela signifie que nous pouvons parler une langue sans connaître ses règles de grammaire et ses fondements linguistiques », remarque Éric Gaussier, professeur à l’Université Grenoble Alpes et membre du LIG. Par ailleurs, en traitement automatique des langues, un modèle a besoin de bien plus de données que nous pour réaliser correctement une tâche telle que la traduction de textes, le résumé d’œuvres littéraires, etc. Les secrets de notre efficacité pourraient-ils être transposés et intégrés dans le design d’algorithmes ? Quelles devraient alors être les propriétés intrinsèques aux modèles afin que leurs performances s’approchent des nôtres ?

Ces interrogations animent le chercheur depuis sa thèse. Elles sont désormais au cœur du projet de recherche qu’il va mener en tant que membre senior de l’Institut universitaire de France (IUF), titulaire d'une chaire innovation. Son objectif : formaliser informatiquement ce que nous faisons sans réfléchir. Ainsi, les modèles de traitement automatique des langues et de recherche d’information pourraient disposer de nouvelles capacités acquises et non plus apprises. « Jusqu’à présent, on part du principe que si les données ont une propriété alors le modèle va l’apprendre, c’est l’apprentissage fondé sur les données. Mais cela demande toujours plus de données, sans garantie que celles-ci disposent des bonnes propriétés. Et surtout, cela ne permet pas de passer la barrière de la généralisation », explique Éric Gaussier. Autrement dit, un modèle est bon sur ses données d’entraînement, mais voit ses performances s’effondrer sur des corpus différents. En conséquence, les modèles sont souvent coûteux en termes d’annotations de données et de temps de calcul.

Le chercheur fait alors le pari qu’en encodant les bonnes propriétés dès la création des modèles, moins de données seront nécessaires à l’apprentissage et la généralisation sera facilitée. Mais qu’entend-on par « propriétés » ? Par exemple, en traitement d’images, nous sommes capables de reconnaître une chaise qui a été retournée dans tous les sens. Il est dit que notre système de reconnaissance d’objet est invariant par rotation. « C’est le type de caractéristique que nous voulons intégrer dans nos modèles pour qu’ils aient des performances proches de l’humain. En traitement automatique des langues et en recherche d’information, ces aspects sont cependant moins connus et mes recherches auront notamment pour objectif de les expliciter et les formaliser », précise Éric Gaussier.

Une autre ambition de son projet vise à appuyer davantage l’apprentissage d’algorithmes sur des relations causales plutôt que des corrélations, comme actuellement. En traitement d’images, par exemple pour reconnaître un chien, une relation causale consiste à identifier une truffe, la forme des oreilles, ou d’autres caractéristiques qui permettront d’identifier sa présence dans l’image. Mais qu’est-ce que la causalité dans une langue ?  « La causalité s’intéresse au « pourquoi » d’une langue. Lors d’une traduction, par exemple, pourquoi choisit-on tel mot dans tel contexte ? », explique le chercheur. Selon les résultats qui seront obtenus, Éric Gaussier espère tirer parti de son expérience passée en tant que créateur d’une start-up pour aider d’autres chercheurs à créer de jeunes pousses innovantes exploitant la causalité.