Une machine peut-elle réussir le concours d'internat en pharmacie ?

Les modèles de langue utilisés actuellement dans la plupart des applications du Traitement automatique des langues ou TAL (traduction, chat, question/réponse, etc.) sont entraînés avec de très grandes quantités de textes collectées sur Internet afin de déterminer les paramètres des réseaux de neurones minimisant la différence entre les textes d’entraînement et les prédictions faites par le modèle. A partir de données telles que les foires aux questions (FAQ), ils peuvent apprendre à générer une réponse en prenant en entrée le texte de la question. La quantité de données utilisées pour l’entraînement et le nombre de paramètres obtenus permettent la modélisation de connaissances variées dotant les modèles d’une certaine capacité à généraliser. Cette capacité traduit l’aptitude des systèmes à répondre à des questions sur lesquelles ils n’ont pas été entraînés, en capitalisant sur les connaissances acquises. Cependant, entraîner des modèles de langage à grande échelle nécessite des ressources de calcul colossales, souvent plusieurs milliers de serveurs de calcul GPU pendant plusieurs mois. Les recherches actuelles s’orientent donc vers plus de frugalité et des solutions commencent à apparaître pour modifier un modèle de langage plus efficacement.

C’est dans ce cadre que s’inscrivent les recherches menées par Benoit Favre, professeur à l'Université Aix-Marseille et membre du LIS, au sein de l’équipe Traitement automatique du langage écrit et parlé (TALEP). Les modèles imaginés par Benoît Favre ont obtenu les meilleurs résultats lors de la compétition scientifique DEFT qui organise chaque année un défi différent lié au traitement du langage par les ordinateurs. En 2023, le défi était de répondre automatiquement à des questions à choix multiple issues du concours national d’entrée en internat de pharmacie.

Cette tâche est difficile car elle demande non seulement de comprendre les questions, mais aussi de manipuler des connaissances de spécialité, ici le domaine médical. Pour concourir, ces systèmes n’avaient pas le droit d’aller chercher les réponses sur le web et devaient être reproductibles. Le système du LIS est fondé sur un modèle de langue Large Language Model Meta AI (LLaMA), un modèle de 65 milliards de paramètres mis à disposition par Meta AI et entraîné sur environ 1 milliards de mots, puis affiné sur 2171 questions tirées des annales du concours de pharmacie avec la méthode LoRA.  Un point remarquable est que l’entraînement n’a nécessité qu’un seul accélérateur GPU haut de gamme. Ce système a remporté le défi face à 12 laboratoires de recherche publics et privés.

La méthode n’est toutefois pas parfaite et repose sur les connaissances implicites contenues dans les textes d’apprentissages. Lorsque les données sont issues de l’Internet, elles comportent leur lot d’erreurs, de désinformations, de biais, et de contenus illicites ou répréhensibles. Contrôler l’effet de la qualité des données sur les modèles de langage, y intégrer des connaissances explicites comme des manuels de médecine, ou encore améliorer leur efficacité, sont des pistes de recherche importantes qui restent à explorer.