Laurence Nigay : décrypter et combiner les modalités des interactions entre l’humain et la machine

Vous travaillez dans le champ des interactions entre l’humain et la machine : pouvez-vous nous en dire plus sur ce sujet de recherche ?

Laurence Nigay : L’Interaction Homme-machine (IHM) représente un domaine de recherche dont l’objectif global est de rendre un système informatique interactif, plus facile à utiliser. On conçoit des techniques permettant d’interagir avec les machines, en se souciant de la performance (en temps, précision, charge cognitive, facilité de prise en main, facilité d’apprentissage, etc.) dans des contextes d’interaction variés comme l’interaction avec un écran distant, la réalité augmentée ou l’interaction sur un téléphone. Il y a une facette expérimentale dans les travaux en IHM : nous faisons régulièrement appel à des « expérimentateurs » (participants volontaires) afin d’utiliser les techniques d’interaction conçues. Ce sont souvent des expériences contrôlées réalisées en laboratoire, avec des variables dépendantes que l’on mesure, comme le temps et le taux d’erreurs. Ces expérimentations contrôlées menées peuvent être complétées par des expérimentations dans un environnement plus écologique, c’est-à-dire dans une situation de la vie courante ou professionnelle !

Mon travail consiste donc à étudier le phénomène de l’interaction entre un utilisateur et un système informatique et à concevoir des modalités d’interaction : quelles sont les façons d’interagir avec le système ? comment l’utilisateur peut combiner plusieurs façons d’interagir ou encore changer de modalités d’interaction ? Je me penche sur les questions de changement de modalités, de leur enchainement et de leur transition, ainsi que sur leur combinaison. Une des premières combinaisons de modalités étudiées dès les années 1980 associait commandes vocales et gestes déictiques mais il est intéressant de réfléchir à d’autres associations et enchainements de modalités. Les enjeux de ces travaux de recherche résident dans la prise en compte des limites humaines, comme la précision du toucher sur une surface tactile, la précision d’un geste 3D de la main dans l’air, la coordination de plusieurs actions, la charge cognitive liée au changement de modalités, le transfert d’expertise d’une modalité vers une autre.

Pourquoi faut-il s’intéresser aux modalités d’interaction en IHM ?

L. N. : Quand on étudie des couples de modalités, ce qui m’intéresse est de comprendre pourquoi cela fonctionne. Le résultat de la recherche n’est pas forcément une nouvelle façon d’interagir, mais les fondements et modèles expliquant pourquoi un couple de modalités est plus « performant ». Je dirige une équipe uniquement composée d’informaticiens, mais nous nous appuyons sur des principes issus des sciences cognitives, par exemple les modèles du mouvement humain orienté vers une cible. Par ailleurs, les résultats des expérimentations en laboratoire sont à compléter avec des expérimentations sur le terrain (mise en contexte, conditions réelles) quand cela est possible : l’enjeu est la validité externe écologique des résultats de recherche.

Lors d’expérimentations avec des utilisateurs, nous mesurons plusieurs critères : le temps de réalisation d’une tâche, le nombre d’erreurs, mais aussi la fatigue, la charge cognitive, l’apprentissage, l’évolution des performances au cours du temps, etc. Il y a aussi de nombreux critères comme le plaisir d’interagir que l’on a encore beaucoup de mal à mesurer mais qui sont néanmoins important à prendre en compte. Grâce à l’analyse de ces mesures, il est possible de faire évoluer les modèles sous-jacents qui expliquent le phénomène de l’interaction.

Quels sont vos projets suite à votre récente distinction à l’Institut Universitaire de France ?

L. N. Le développement logiciel de techniques d’interaction et la mise en place de protocoles expérimentaux tiennent une place importante dans mes projets ainsi qu’un peu de développement matériel. Mais ce sont des artefacts pour conduire des travaux de recherche qui visent à expliquer le phénomène de l’interaction.

Il y a dix ans, lors de ma première nomination à l’IUF en tant que membre junior, je m’intéressais déjà à l’interaction multimodale combinant plusieurs modalités pour augmenter les performances de l’interaction. Aujourd’hui, mon travail s’inscrit dans cette continuité avec l’étude des relations et combinaisons entre les modalités. L’objet d’étude est les transitions entre modalités. Comment l’utilisateur arrive à changer de modalité d’interaction, ce que nous faisons très fréquemment dans une journée (interaction sur l’ordinateur, sur le téléphone mobile, interaction dans la voiture, interaction à distance avec la télévision, etc.). Je souhaite étudier le concept de transition entre modalités au sein de nombreux styles d'interaction comme l’interaction mobile et physique, l’interaction 3D, les interfaces déformables et la réalité augmentée. Comprendre les transitions entre modalités permet aussi d’envisager d’adapter automatiquement les modalités d’interaction. J’envisage cette étude de l’adaptation automatique au niveau le plus bas de l’interaction, au niveau actionnel.

J’envisage aussi des collaborations nouvelles dans l’optique d’ouvrir le champ des possibles, avec des chercheuses et chercheurs d’autres domaines. Je pense par exemple à la physique, science dans laquelle la théorie des transitions de phases est bien établie pour le domaine des matériaux (passage d'un état de la matière à l'autre). L’idée est d’étudier si l’on peut s’inspirer de ce type de modèle pour nos problématiques d’informaticiens. Par exemple, il serait très intéressant de pouvoir transposer la loi de conservation d’énergie en une loi de conservation et transmission des données. Bien sûr, cette démarche est incertaine, mais cela promet de belles perspectives pour la recherche !