Au-delà de la visualisation, l’affichage de données permet de les classifier ou de les ordonner , comme par exemple la classification d’images 3D de cerveaux suivant leur morphologie avec des neurobiologistes, la découverte de similitude dans des dizaines de réseaux sociaux avec des sociologues, ou l’établissement du programme d’une conférence comportant plus de 500 présentations en une douzaine de sessions parallèles.
Toutes ces utilisations nourrissent le travail des chercheurs en interaction humain-machine qui cherchent à faciliter l’interaction sur ces supports exceptionnels. Un point commun est apparu entre ces activités : elles nécessitent toutes la manipulation et le déplacement d’objets (images, graphes, description textuel…) sur le mur. Mais, pour de telles interactions, plus question d’utiliser une souris, un clavier ou même de toucher le mur ! Les utilisateurs doivent pouvoir se déplacer pour avoir une vision d’ensemble ou au contraire se concentrer sur une information, et doivent ainsi interagir à distance. L’emploi d’un pointage "laser" permet ainsi, par exemple, d’attraper un objet à distance pour le déplacer et le déposer à un endroit d’intérêt (drag-and-drop ou pick-and-drop). Les chercheurs ont ainsi conceptualisé ces actions pour l’expérience qu’ils ont menée.
Une autre particularité prometteuse des grands murs d’écrans est qu’ils sont adaptés à l’interaction à plusieurs. En effet, le grand espace devant le mur et la grande surface d’affichage permettent à plusieurs utilisateurs d’interagir ensemble ; soit côte à côte sur un même sujet d’intérêt, soit indépendamment à distance. Cette organisation ouvre la possibilité d’une division du travail à la manière de deux processeurs œuvrant en parallèle. Cela peut permettre également une addition d’expertises complémentaires menant les utilisateurs vers la bonne décision.
Dans une expérience qu’ils ont menée, les chercheurs ont associé l’abstraction des actions de manipulation de données et le concept d’interaction partagée, où deux personnes doivent se synchroniser pour effectuer une action (porter un objet lourd, monter un meuble, allumer une cigarette de quelqu’un d’autre, etc.). Ils ont appliqué ces deux concepts dans le contexte particulier de classification de données. La tâche de classification abstraite à exécuter dans l’expérience avait été spécialement conçue pour leur permettre de tester des hypothèses sur les phénomènes interactifs avec les murs d’écrans, et d’obtenir ainsi des résultats généralisables.
Les chercheurs ont proposé et étudié le pick-and-drop partagé : un utilisateur peut attraper un objet (pick) et un autre utilisateur peut le déposer (drop) à sa convenance. Ils ont pu montrer que ce type d’interaction favorise la coopération, en particulier la collaboration à de grandes distances physiques, ce qui est particulièrement important devant une très grande surface d’affichage. Ceci permet notamment de réduire la navigation physique des utilisateurs et donc la fatigue.
En situation de collaboration, les utilisateurs sont aussi plus performants lorsqu’ils peuvent utiliser le pick-and-drop partagé (en plus du pick-and-drop individuel). Cependant une collaboration explicite a un coût car les utilisateurs doivent se coordonner, ce qui peut les amener à prendre plus de temps que pour le même travail effectué de manière parallèle. Pourtant, de manière surprenante, les utilisateurs se ressentent comme plus rapides avec l’interaction partagée, et surtout préfèrent travailler avec cette interaction.