Toucher, entendre, sentir, goûter… pour voir

Résultats scientifiques Informatique

À l’occasion de CHI2016, conférence internationale de référence sur le domaine de l’interaction humain-machine (IHM), nous proposons une série d’articles pour découvrir différentes facettes de ce domaine. Dans ce quatrième article, nous découvrons comment l’IHM peut avoir des applications concrètes pour faciliter l’accès à des informations pour des déficients visuels, notamment pour s’orienter et connaître son environnement, grâce à une carte interactive.

Les enfants déficients visuels perçoivent très souvent le monde qui les entoure par des descriptions verbales. Il leur est très difficile de se faire une image mentale, que ce soit pour se représenter un objet, une activité, ou se repérer dans l’espace. Pour aider à résoudre ce problème, des chercheurs en IHM du projet AccessiMap, avec le soutien de Makina Corpus, ont imaginé MapSense, une carte interactive multi-sensorielle. Leur but, en se basant sur les besoins des enfants et des enseignants, était de fournir des outils et méthodes pour aider les enfants à acquérir des compétences spatiales et fournir des instructions de conception pour les technologies d’aide à l’éducation.

 

Image removed.


Habituellement, les professeurs spécialisés pour la déficience visuelle doivent préparer des éléments d’explications à la main, qu’ils ne pourront pas faire évoluer. Grâce à MapSense, et en s’appuyant sur l’éditeur de cartes complémentaire qui vient d’être mis en ligne, les professeurs ont pu créer eux-mêmes des scénarios pédagogiques. En utilisant l’impression 3D, ils pouvaient aussi fabriquer les éléments nécessaires pour accompagner leurs cartes, afin d’exploiter l’aspect multisensoriel de cet environnement de travail interactif. La carte, imprimée sur du papier en relief, était placée soit sur une tablette de grande taille pour un travail collaboratif, soit sur une tablette personnelle pour un travail individuel. La carte pouvait facilement être complétée par la suite pour ajouter de nouvelles notions.

 

Image removed.
Exemples de différents éléments imprimés ou rassemblés pour compléter la carte.

 

Même si le travail de préparation était réalisé par les professeurs, les élèves pouvaient explorer les cartes en totale autonomie, et ainsi s’approprier les différentes dimensions d’une carte et des objets mis à disposition. Comment par exemple se représenter une abeille si on ne peut pas la toucher ? Les chercheurs, en observation de leur dispositif pendant deux jours à l’Institut des Jeunes Aveugles de Toulouse, ont même été surpris de l’utilisation faite par les professeurs de l’odorat et du goût dans la préparation d’une sortie scolaire avec leurs élèves. L’utilisation de tous ces sens est importante car l’exploitation d’autres canaux sensoriels permettra aux élèves de mieux figer l’expérience en mémoire, tout en lui donnant une réalité tactile, olfactive et auditive.

De plus, le dispositif MapSense permettait une grande interaction dans la classe. En effet, beaucoup d’élèves déficients visuels ont également d’autres handicaps (par exemple auditif), et chacun s’entraidait dans la mesure de ses capacités, une complémentarité se mettait en place. MapSense a suscité un grand intérêt auprès des professeurs d’enseignements spécialisés (géographie, mathématiques, langue, orientation et mobilité) qui ont tous été enthousiastes.

MapSense a été développé en collaboration avec les professeurs et les formateurs spécialisés de l’Institut des Jeunes Aveugles de Toulouse, mais les itérations devront se poursuivre pour affiner le dispositif. Un des objectifs final de MapSense est de permettre à un élève déficient visuel de suivre ses propres cartes dans une classe d’intégration, c’est-à-dire avec des élèves voyants. Les chercheurs souhaitent actuellement proposer dans le cadre du projet d’éducation numérique, en lien avec les académies de Toulouse et de Paris, une intégration de leur dispositif dans la formation des enseignants. En effet, le retour utilisateur est primordial dans ce projet, pour être certain de l’apport du dispositif auprès des élèves.

Les chercheurs envisagent également d’ouvrir l’utilisation de leurs systèmes à d’autres exploitations : en effet l’interaction avec ce dispositif qui enrichit le discours est apprécié par tout le monde, un usage pour tous pourrait donc être envisagé. Une demande leur a déjà été faite pour un travail en lien avec des élèves dyslexiques ou avec des difficultés d’apprentissage.

Publication : MapSense : Multi-Sensory Interactive Maps for Children Living with Visual Impairments par Émeline Brule [1], Gilles Bailly [1], Anke Brock [2], Frédéric Valentin [1], Grégoire Denis [3], Christophe Jouffrais [4]

Voir aussi :

 

[1] Laboratoire Traitement et Communication de l’Information (LTCI - CNRS/Télécom ParisTech)

[2] Laboratoire Bordelais de Recherche en Informatique (LaBRI - CNRS/Université de Bordeaux/Bordeaux INP) dans l’équipe projet-commune Potioc d’Inria Bordeaux – Sud-Ouest

[3] Institut des Jeunes Aveugles Toulouse

[4] Institut de recherche en informatique de Toulouse (IRIT - CNRS/Université Toulouse 1/Université Toulouse - Jean Jaurès/Université Paul Sabatier/Institut National Polytechnique de Toulouse)