La co-créativité musicale entre humain et machine : ERC Advanced Grant de Gérard Assayag

La démarche du scientifique s’inscrit dans une stratégie de recherche-création, proche du processus artistique. Gérard Assayag relie les deux domaines musique et sciences dans ses travaux de recherche, en les faisant interagir pour faire progresser la science, mais aussi la musique.

Le directeur de recherche a débuté sa carrière de chercheur à l’IRCAM — un lieu unique au monde qui rassemble artistes et scientifiques dans une démarche de savoir et d’expérimentation commune — avec un projet qui obtiendra au fil des années une reconnaissance internationale. En effet, il concevra avec son équipe le logiciel de composition assistée par ordinateur, OpenMusic. Langage de programmation visuel, aisément accessible et amplement utilisé par les musiciens et les musicologues, le logiciel a aussi des aspects éducatifs. « C’est un programme créatif pour susciter de nouvelles idées artistiques, les tester et expérimenter avec… À la suite de ce projet, on a commencé à se pencher sur les interactions directes entre ordinateur et musicien », explique le chercheur.

Comment élaborer conjointement des idées musicales à travers un canal de communication sonore entre le musicien et la machine ? Comment cette dernière peut-elle entrer dans une interaction « créative » avec le musicien ? Ces questions soulèvent de nouveaux enjeux de recherche sur la créativité artificielle, objet récent d’étude qui rend compte à la fois de la compréhension des situations passées et présentes et de l’anticipation de celles à venir, en s’inspirant du processus créatif humain. L’improvisation sert alors de cas limite, complexe à modéliser, car rassemblant les caractéristiques les plus riches et les plus optimales de la créativité humaine, en produisant dans des temps extrêmement courts (de l’ordre de quelques dizaines de millisecondes) des messages hautement structurés en réponse à un environnement bruité et évolutif, tout en exhibant des stratégies d’action à plusieurs échelles temporelles.

L’improvisation musicale est ainsi devenue un thème phare de l’équipe RepMus de STMS dirigée par Gérard Assayag, suscitant ainsi de nombreuses collaborations internationales avec de grands musiciens du domaine (tels que Bernard Lubat, Steve Coleman, Roscoe Mitchell, Mike Garson, George Lewis, Evan Parker, Steve Lehman et bien d’autres). Liés aux travaux de « Musical Information Dynamics » (une application de la théorie de l’information à la musique) des programmes informatiques sont nés dans l’équipe de Gérard Assayag, comme Omax qui modélise certains processus d’improvisation et est capable de dialoguer avec un musicien sur scène, ou SoMax qui implémente un modèle cognitif de mémoire musicale créative et réactive au contexte.

Pionnier du domaine, Gérard Assayag a notamment créé avec son équipe le logiciel OMAX utilisé par de nombreux musiciens : exemple lors d’un concert à New York avec Bernard Lubat (Piano) et Gérard Assayag utilisant le programme Omax. Plusieurs ANR ont soutenu ces projets (IMPROTECH, SOR2, DYCI2, MERCI)

Aujourd’hui, le directeur de recherche fait la synthèse de tous ces travaux, en y implémentant de nouvelles perspectives inédites grâce à l’ERC Advanced Grant REACH qu’il a obtenu. Son objectif est de mettre en valeur la co-créativité dans les interactions musicales cyber-humaines.

« Il s’agit d’une sorte d’intelligence artificielle musicale, de musicalité artificielle (« machine musicianship »). Le terme cyber-humain exprime la continuité entre cognition humaine et virtualité numérique, tout comme le cyber-physique exprimait celle entre le numérique et le physique. Ici, la continuité est de l’ordre de la créativité grâce à la co-action machine-humain », détaille Gérard Assayag. « Les interactions musicales improvisées résument de nombreuses situations de la vie quotidienne, tout comme nous improvisons notre discours dans cette conversation », ajoute-t-il.

Mais comment un programme peut-il générer de la musique compréhensible par l’humain ? Sur ce point, l’informatique intervient avec la modélisation et les techniques de l’IA comme l’apprentissage automatique. Aujourd’hui, la recherche s’intéresse à mieux comprendre les « interactions symbiotiques » entre humains et machines favorisées par une meilleure captation des signaux physiques et humains et l’apprentissage, ouvrant la voie à de nouvelles formes de réalité mixte permettant d’atteindre l’incarnation (embodiment, engagement physique) et la co-création.

Pour mettre en jeu cette co-création et mieux comprendre l’intelligence créative, une phase d’observations et d’expérimentations sur le terrain est nécessaire. Dans le cadre de pratiques improvisées, le concert se prête bien pour ce type d’expériences. D’un point de vue méthodologique, le projet ERC REACH cherche ainsi à créer un double mouvement convergent, du numérique vers l’humain (améliorer les capacités d’analyse et de production des agents artificiels) et de l’humain vers le numérique (améliorer par l’incarnation l’engagement du sujet dans l’expérience hybride), dans le souci de produire ainsi une expérience immersive et incarnée, symbiotique. « C’est un chiasme : on espère que les deux flux de recherche vont se croiser au milieu pour produire de nouveaux objets… » résume le chercheur à propos de son ERC.

Il s’agit donc d’un projet avec un socle interdisciplinaire solide, à l’image de l’IRCAM qui accueille le projet. L’ERC de Gérard Assayag réunit informatique, musique, mais aussi sciences cognitives, anthropologie et sociologie, à travers la collaboration de longue date qui le lie à Marc Chemillier, à l’École des Hautes Études en Sciences Sociales. Des collaborations avec le monde industriel s’initient, comme avec Hyvibe, start-up issue de STMS qui invente des instruments acoustiques augmentés (la « Smart Guitar ») grâce à de nombreux capteurs. Un réseau international est également en train de se mettre en place, entre plusieurs acteurs académiques tels que l’Université de Tokyo, l’EHESS et l’IRCAM. Enfin, un grand évènement est organisé chaque année, ImproTech, qui lie workshop scientifique et festival musical. Le soutien de l’ERC va permettre la poursuite de ce type de rencontres internationales. 

Les recherches sur la créativité computationnelle impliquent des techniques d’Intelligence Artificielle, comme apprentissage statistique, optimisation ou deep learning. Mais ces travaux soulèvent également des questionnements philosophiques : peut-on vraiment parler de créativité pour une machine ? « La nature même du problème réside dans le fait que la machine n’est pas un sujet en soi, on raisonne donc plutôt sur l’interaction, la relation. On utilisait l’apprentissage statistique, c’est-à-dire observer dans le temps ce que font les humains et obtenir ainsi des modèles de séquences (formes, motifs, patterns). Désormais, avec les nouvelles techniques d’IA, comme l’apprentissage génératif de représentations, on fait face à des problèmes de grande dimension, la musique produisant des signaux multivariés (plusieurs dimensions indépendantes et cohérentes à la fois) qu’il s’agit de modéliser à divers niveaux structurels ou sémantiques » indique Gérard Assayag à propos des enjeux de son projet.

« Lorsqu’on crée des interactions entre systèmes complexes tels que l’humain et la machine, on observe plus qu’une simple addition des comportements, c’est l’“émergence” de comportements concomitants et cohérents qui ne sont pas simplement explicables par leurs composantes séparées. » précise le chercheur. De ces processus d’émergence apparaissent de façon non linéaire de nouvelles formes musicales qui n’étaient pas aisément prévisibles, c’est ce que nous appelons co-création.

Démonstration pour l’exposition « Neurones, les intelligences simulées », dans le cadre de Mutations/Créations 4 au Centre Georges Pompidou, 26 février — 27 avril 2020, illustrant les agents créatifs autonomes issus de l’équipe de Gérard Assayag, une des bases de l’ERC REACH.

Les travaux de Gérard Assayag et son équipe pourraient permettre de mieux décrypter nos comportements dans leurs aspects créatifs, notamment la manière dont s’articulent connaissances, intuitions, volition (acte de volonté), communication et poiesis (action de faire, de créer) dans les situations de co-action, qu’elles impliquent des humains, des machines ou les deux.

Techniquement, l’IA est limitée pour cela par son mode d’apprentissage : elle cherche de la régularité — des patterns — lorsqu’elle apprend et analyse des données, donc des stéréotypes, le contraire de la création ! C’est un problème épistémologique majeur qu’il s’agira de prendre en compte. « L’enjeu est de reproduire le savoir-faire humain et donc sa dimension créative à travers de nouvelles stratégies computationnelles, pour un apprentissage moins stéréotypé par l’IA. » résume Gérard Assayag.