Un robot humanoïde doté de capacités accrues à communiquer

Nina a permis aux chercheurs de proposer une nouvelle manière d’apprendre les comportements sociaux aux robots : l’apprentissage par téléopération immersive. Ce dispositif permet à un pilote humain de montrer au robot comment se comporter de manière socialement acceptable dans des situations où il interagit avec des humains par la parole, le regard ou des gestes de pointage.

Pour mettre en place ce système, Nina a été couplé à un dispositif de réalité virtuelle permettant au pilote de « s’incarner » dans le robot à distance. Le pilote peut ainsi voir et entendre ce que voit et entend le robot pendant que ce dernier reproduit en temps réel les mouvements de la tête, des yeux et du visage de son mentor humain. Il s’agit ici pour le pilote d’une expérience « hors-corps », dans la mesure où le robot devient une extension de son propre corps et pour le robot d’un « apprentissage par démonstration cognitive », dans la mesure où le robot prête son corps à une cognition humaine qui lui montre « de l’intérieur » comment se comporter. Les chercheurs ont également doté Nina d’une mémoire comportementale qui lui permet d’accumuler les flux sensoriels et moteurs vécus passivement sous la conduite du pilote humain, de les analyser avec des techniques d’apprentissage automatique, pour lui permettre d’acquérir, in fine, des modèles de comportements autonomes. 

Trois grandes étapes ont permis aux chercheurs de mettre au point ce nouveau système :

1. Morphologie des yeux : ils ont montré que les robots humanoïdes devaient reproduire la morphologie spécifique de l’œil humain2 , c’est-à-dire une surface égale entre le blanc de l’œil et l’iris coloré et une synergie entre élévation des yeux et des paupières, pour que l’interaction entre l’humain et le robot se fasse le plus naturellement possible.
2. Téléopération immersive du regard du robot : la plateforme de pilotage intègre un casque de réalité virtuelle équipé d’un système de suivi du regard binoculaire. Un système de contrôle de la direction du regard de Nina par le regard du pilote – appelé SGCS (stereo gaze-contingent steering) - a été récemment développé3 . Ce système, unique au monde, permet un contrôle indépendant des mouvements de la tête et des yeux.
3. Apprentissage de modèles de comportements interactifs : les chercheurs ont montré qu’il était possible d’apprendre des modèles de comportements interactifs à Nina, c’est-à-dire de lui apprendre des actions conjointes avec plusieurs agents humains engagés dans une même tâche4 .

Le robot Nina est ainsi dédié au développement d’expérimentations innovantes pour permettre des interactions naturelles entre Hommes et robots. Le but : permettre un usage plus généralisé des robots humanoïdes, avec différents publics. Les applications : robotique de téléprésence, apprentissage de comportements socio-communicatifs pour la conduite d’interviews et d’animation de jeux interactifs. 

Voir aussi :

• Brain Invaders : une interface cerveau-machine multisujet
• Comment sécuriser l’utilisation des drones ?
• Biomécanique et neurosciences pour l’analyse des mouvements humains

• 2F. Foerster, G. Bailly, and F. Elisei, “Impact of iris size and eyelids coupling on the estimation of the gaze direction of a robotic talking head by human viewers,” in Humanoids, Seoul, Korea, 2015
• 3Cambuzat, Rémi, Elisei, Frédéric, Bailly, Gérard, Simonin Olivier, and Spalanzani, Anne, “Immersive teleoperation of the gaze of social robots. Assessing gaze-contingent control of vergence yaw and pitch of robotic eyes”, submitted to Human-Robot Interaction (HRI 2018).
• 4Nguyen, Duc-Canh, Bailly, Gérard, and Elisei, Frédéric, “Learning off-line vs. on-line models of interactive multimodal behaviors with Recurrent Neural Networks,” Pattern Recognition Letters (PRL), pp. 29–36, 2017 et A. Mihoub, G. Bailly, C. Wolf, and F. Elisei, “Graphical models for social behavior modeling in face-to face interaction,” Pattern Recognition Letters, vol. 74, pp. 82–89, 2016.