Résumé

Les systèmes et les modalités d'interaction homme-machine (IHM) évoluent vers l’effacement des intermédiaires entre le corps et les objets numériques pour créer des interactions "naturelles", inspirées des compétences acquises pour interagir avec les objets du monde physique. Cette évolution pose la question du transfert des compétences entre les mondes physiques et numériques et de leur coexistence dans le cerveau sensori-moteur de l’utilisateur. Elle oriente aussi l’évaluation du caractère « naturel » de IHMs vers l’évaluation du transfert de compétences entre les gestualités développées pour interagir avec les objets physiques et celles mises en place pour interagir avec les objets numériques. La question du transfert d’apprentissage est une question centrale en sciences cognitives pour interroger la nature des mécanismes cérébraux qui sous-tendent le contrôle du mouvement. Ainsi, l’objectif de ce projet est d’adapter le paradigme d’apprentissage sensori-moteur pour évaluer le degré de similarité entre différentes modalités de pointage (glisser-déplacer) d’un objet numérique avec le pointage (glisser-déplacer) d’un objet physique. L’enjeu de ce projet est d’explorer de nouvelles voies d’évaluation des IHMs dans le cadre de la cognition incarnée et située, et de mieux comprendre comment différents mécanismes de contrôle se mettent en place et cohabitent dans le cerveau de l’utilisateur. Notre étude principale a fait l’objet d’une publication à CHI’2015 (Bérard et Rochet-Capellan, The Transfer of Learning as HCI Similarity: Towards an Objective Assessment of the Sensory-Motor Basis of Naturalness, In ACM conference on Computer-Human Interaction (CHI), 2015, Seoul, Korea).

Contexte

Pointage au toucher en IHM

En interaction homme-machine (IHM), le pointage spatial permet à l'utilisateur de désigner une position au système, que ce soit pour sélectionner un objet ou le déplacer. Le pointage indirect à la souris a longtemps été le mode dominant de pointage spatial. Cependant le développement des surfaces interactives et la popularisation des dispositifs mobiles ("smartphones" ou tablettes) a développé le pointage spatial direct au toucher. Le pointage direct est aussi l'interaction privilégiée des applications de réalité augmentée (cf. ViewAR, qui permet à l'utilisateur de visionner des objets en 3D dans une pièce).

Figure 1. Pointage spatial. À gauche : pointage à la souris. La main doit se coupler avec la souris, elle-même couplée avec le pointeur. Le pointeur doit alors être couplé avec l'objet à manipuler. A droite : pointage au toucher. Le couplage est direct entre la main et l'objet à manipuler.

 

Comparativement à la souris, le pointage au toucher supprime une étape de couplage dans l'interaction (Figure 1) : l'utilisateur "touche" l'objet numérique, l'interaction est donc directe. Le pointage au toucher est considéré comme une des briques de base des interfaces naturelles (Wigdor et Wixon, 2011). Pourtant, le caractère "naturel'' des interfaces gestuelles est encore mal défini, et son bénéfice fait débat (Norman, 2010). De plus, la diversification des modalités d'interaction et leur accessibilité à un large public interroge les capacités de l'utilisateur à adapter sa gestualité à chacun de ces dispositifs et les possibilités de transfert ou d'indépendance des compétences développées pour un dispositif vers un autre. L'étude des mécanismes de transfert est au coeur des enjeux de la recherche sur le contrôle moteur.

Apprentissage sensori-moteur et transfert

La gestualité humaine se caractérise par une grande capacité d'adaptation et de réadaptation dont les mécanismes peuvent s'étudier en laboratoire en utilisant le paradigme d’apprentissage sensori-moteur (Figure 2).

Figure 2. Paradigme d'apprentissage sensori-moteur. En haut : évolution de la perturbation au cours du temps. En bas : schéma de progression de trajectoire d'acquisition de cible dans 6 directions (1. avant perturbation, 2. début de l'entraînement, 3. fin de l'entraînement et 4. après suppression de la perturbation, d'après Gondolfo et al, 1996)

 

Par exemple, pour étudier l'adaptation d'un geste d'acquisition de cible, ce paradigme consiste à : (1) Caractériser le geste en condition normale d'acquisition (base); (2) Entraîner le sujet à réaliser des acquisitions de cibles en présence d'une perturbation de la trajectoire du bras (cf. Gandolfo et al. 1996) ou du feedback visuel (cf. Fernandes et al. 2012) de manière à ce que le sujet modifie le contrôle de son geste pour atteindre la cible en compensant la perturbation (entraînement); (3) Tester si l'entraînement a abouti à un apprentissage en étudiant, (a) le même geste après suppression de la perturbation (post) ou (b) un geste ou un contexte différent, on parle alors de transfert. L'étude du transfert permet d'interroger la nature des mécanismes de contrôle et leur relation avec l'expérience (au sens de "vécu''). Si la modification d'un geste par apprentissage sensori-moteur a des conséquences sur la réalisation d'un autre geste, on peut supposer que les deux gestes reposent, au moins en partie, sur des mécanismes de contrôle communs et inversement. À l'heure actuelle, la nature des représentations et des mécanismes qui sous-tendent le contrôle moteur des membres ou de la parole est toujours une question ouverte. Le principal challenge est de comprendre comment le cerveau généralise l'action tout en étant capable d'intégrer des spécificités contextuelles (cf. Taylor et al. 2013). Certaines études récentes suggèrent notamment que l'utilisation quotidienne de l'ordinateur augmente la capacité de généralisation des apprentissages visuo-moteurs (cf. Wei et al. 2014).

Problématique et objectifs

L'apprentissage d'une nouvelle modalité d'interaction requiert de mobiliser des compétences sensori-motrices existantes et/ou d'en développer de nouvelles. L'utilisateur fait preuve d'une grande capacité d'adaptation aux outils d'interaction. Cependant, toutes les modalités d'interaction ne sont pas équivalentes, en terme de performances mais aussi en ce qui concerne leur relation avec la gestualité développée pour interagir avec les objets du monde physique. Nous proposons dans ce projet d'utiliser le paradigme d’apprentissage sensori-moteur pour étudier la similarité entre la gestualité sur des objets physiques et celle sur des objets numériques. Cette approche doit en particulier ouvrir la voie à une évaluation objective du caractère "naturel" d'une interaction. Nous proposons pour cela de quantifier les effets de transfert d'habilités motrices dans une tâche réalisée avec différentes modalités d'interactions, impliquant des objets physiques vs. numériques en adaptant le paradigme d'apprentissage sensori-moteur.

Publications

Bérard F. & Rochet-Capellan, A. (2015). The Transfer of Learning as HCI Similarity: Towards an Objective Assessment of the Sensory-Motor Basis of Naturalness, ACM CHI'15 (Computer Human Interaction, acceptance rate ~23%)

Résumé : Human-computer interaction should be natural. However, the notion of natural is questioned due to a lack of theoretical background and methods to objectively measure the naturalness of a HCI. A frequently cited aspect of natural HCIs is their ability to benefit from knowledge and skills that users develop in their interaction with the real (non-digital) world. Among these skills, sensory-motor abilities are essential to operate many HCIs. This suggests that the transfer of these abilities between physical and digital interactions could be used as an experimental tool to assess the sensory-motor similarity between interactions, and could be considered as an objective measurement of the sensory-motor grounding of naturalness. In this framework, we introduce a new experimental paradigm inspired by motor learning research to assess sensory-motor similarity, as revealed by the transfer of learning. We tested this paradigm in an empirical study to question the naturalness of three HCIs: direct-touch, mouse pointing and absolute indirect-touch. The study revealed how skill learning transfers from these three digital interactions towards an equivalent physical interaction. We observed strong transfer of skill between direct-touch and physical interaction, but no transfer from the other two interactions. This work provides a first objective assessment of the sensory-motor basis of direct-touch naturalness, and a new empirical path to question HCI similarity and naturalness.

Partenaires, collaborations

Amélie Rochet-Capellan, équipe PCMD, Gipsa-lab

Les travaux de l'équipe PCMD du Gipsa-lab s'intéressent notamment aux relations entre les fonctions sensori-motrices et la cognition et portent en particulier sur l'implication des mécanismes sensori-moteurs orofaciaux et manuels dans la mise en forme du langage et de la communication. Il existe aussi des passerelles théoriques et expérimentales fortes entre l'étude de la gestualité manuelle et orofaciale (Grimme et al., 2010; Perrier, 2012). Ainsi, le paradigme d'apprentissage sensori-moteur d'abord développé pour l'étude des mouvements des membres a été adapté à l'étude du contrôle moteur de la parole (Houde et Jordan, 1998; Tremblay et al., 2003), également pour interroger spécifiquement le transfert d'apprentissage (Rochet-Capellan et Ostry, 2011, Rochet-Capellan et al., 2012). L'IHM offre des moyens particulièrement intéressants pour l'étude du contrôle moteur car les technologies qu'elle développe permettent de créer de nouvelles situations d'apprentissage sensori-moteur en contrôlant de nombreux paramètres.

François Bérard, équipe IIHM, LIG

L'équipe Ingénierie de l'Interaction Homme-Machine (IIHM) du laboratoire LIG conçoit et évalue de nouvelles formes d'interaction qui visent principalement à améliorer la performance des utilisateurs et à réduire le temps d'apprentissage de l'utilisation du système (Bérard, 2003). La mesure des performances utilisateur est un outil essentiel pour la comparaison de différentes interactions, mais cette mesure ne donne qu'une vision très réduite de l'adéquation d'une interaction aux utilisateurs (Bérard et al, 2011, 2012). L'évolution des recherches vers le pointage au toucher et la réalité augmentée oriente les travaux en IHM vers des interfaces gestuelles et l'utilisation de dispositif de suivi du mouvement. Une meilleure connaissance des mécanismes de contrôle du mouvement et de son évaluation est donc un enjeu central qui appelle des compétences en sciences cognitives et contrôle moteur.

 

Références

BERARD, F. The magic table : Computer-vision based augmentation of a whiteboard for creative meetings. In IEEE International Workshop on Projector-Camera Systems (PROCAMS) (2003).

BERARD, F., AND ROCHET-CAPELLAN, A. Measuring the linear and rotational user precision in touch pointing. In ACM International Conference on Interactive Tabletops and Surfaces (ITS) (2012), ACM, pp. 183–192.

BERARD, F., WANG, G., AND COOPERSTOCK, J. R. On the limits of the human motor control precision : the search for a device’s human resolution. In IFIP Conference on Human-Computer Interaction, INTERACT (2011), Springer-Verlag, pp. 107–122.

FERNANDES, H. L., STEVENSON, I. H., AND KORDING, K. P. Generalization of stochastic visuomotor rotations. PloS one 7, 8 (2012), e43016.

GANDOLFO, F., MUSSA-IVALDI, F., AND BIZZI, E. Motor learning by field approximation. Proceedings of the National Academy of Sciences 93, 9 (1996), 3843–3846.

GRIMME, B., FUCHS, S., PERRIER, P., SCHONER, G., ET AL. Limb versus speech motor control : A conceptual review. Motor control 15, 1 (2011), 5–33.

HOUDE, J. F., AND JORDAN, M. I. Sensorimotor adaptation in speech production. Science 279, 5354 (1998), 1213–1216. NORMAN, D. A. The way i see it : Natural user interfaces are not natural. interactions 17, 3 (2010), 6–10.

PERRIER, P. Gesture planning integrating knowledge of the motor plant’s dynamics : A literature review from motor control and speech motor control. Speech Planning and Dynamics (2012), 191–238.

ROCHET-CAPELLAN, A., AND OSTRY, D. J. Simultaneous acquisition of multiple auditory–motor transforma- tions in speech. The Journal of Neuroscience 31, 7 (2011), 2657–2662.

ROCHET-CAPELLAN, A., RICHER, L., AND OSTRY, D. J. Nonhomogeneous transfer reveals specificity in speech motor learning. Journal of Neurophysiology 107, 6 (2012), 1711–1717.

TAYLOR, J. A., AND IVRY, R. B. Context-dependent generalization. Frontiers in human neuroscience 7 (2013).

TREMBLAY, S., SHILLER, D. M., AND OSTRY, D. J. Somatosensory basis of speech production. Nature 423, 6942 (2003), 866–869.

WEI, K., YAN, X., KONG, G., YIN, C., ZHANG, F., WANG, Q., AND KORDING, K. P. Computer use changes generalization of movement learning. Current Biology 24, 1 (2014), 82–85.

WIGDOR, D., AND WIXON, D. Brave NUI world : designing natural user interfaces for touch and gesture. Elsevier, 2011.