The “Living Book of Anatomy” (LBA)

Home . Project . News . Publications . Demos . Team . Other results

I. Recalage utilisateur et animation temps réel

Résumé :

La complexité de l’anatomie fait de son apprentissage une tâche difficile. Au fil des années, différents supports de connaissances ont vu le jour dans le but de représenter et structurer l’anatomie : des dessins au tableau, aux livres d’anatomie, en passant par l’étape incontournable de la dissection, et des travaux pratiques sur maquettes 3D. Il est néanmoins difficile d’appréhender la dimension dynamique de l’anatomie avec les outils d’apprentissage conventionnels ; notion qui est pourtant essentielle à la formation des médecins. À travers ces travaux de thèse, nous proposons un système original et innovant pour l’apprentissage de l’anatomie intitulé « Living Book of Anatomy » (LBA). L’idée étant, pour un utilisateur donné, de superposer à sa propre image une maquette anatomique 3D (peau, squelette, muscles et viscères) et de l’animer en mimant les mouvements de celui-ci. Nous parlons ici d’une application temps-réel de type « miroir augmenté ». Nous utilisons la Kinect comme capteur de mouvement.

Abstract:

To make the complex task of anatomy learning easier, there exist many ways to represent and structure anatomical knowledge (drawings, books, cadaver dissections, 3D models, etc.). However, it may be difficult from these static media to understand and analyze anatomy motion, which is essential for medicine students. We introduce the "Living Book of Anatomy" (LBA), an original and innovative tool to learn anatomy. For a specific user, a 3D anatomical model (skin, skeleton, muscles and organs) is superimposed onto the user’s color map and animated following the user’s movements. We present a real-time mirror-like augmented reality (AR) system. A Kinect is used to capture body motions.

II. Les Interfaces Homme Machine (IHM)

Résumé :

Le principe de la cognition incarnée explique que la mémorisation est basée sur des expériences sensorielles. Ainsi, nous savons aujourd’hui que l’apprentissage interactif, et en particulier l’utilisation d’interfaces tangibles est bénéfique à la mémorisation. Ce constat a conduit à différentes études qui ont notamment montré que l’utilisation d’un objet physique pour manipuler un modèle 3D affiché sur un écran améliore la mémorisation par rapport à l’utilisation d’une souris. Dans le cadre de nos travaux nous nous concentrons sur l’apprentissage de l’anatomie, et avons pour objectif d’améliorer la mémorisation des différentes parties d’un modèle anatomique. Pour cela, nous souhaitons évaluer une technique d’interaction tangible utilisant la réalité augmentée, permettant à l’utilisateur d’interagir et de visualiser un modèle 3D sur un seul et même objet physique. Notre objectif est d’évaluer la mémorisation de différents labels attachés à ce modèle, en comparant notre technique d’interaction tangible à des techniques utilisant un écran pour visualiser le modèle. Nous pensons en effet que le fait de fusionner les espaces d’interaction (objet physique) et de visualisation (écran) permettra de concentrer l’attention de l’utilisateur à un seul endroit, et sera ainsi bénéfique à la tâche de mémorisation.

Abstract:

Embodied cognition principle explains that memorization is based on sensory experiences. Thus, we know that interactive learning, and especially tangible interfaces are useful for memorization. This assessment leads different studies that showed that using a physical object to manipulate a 3D model displayed on a screen improves the memorization in comparison to the use of a mouse. Within the scope of our work we are focusing on anatomy learning, and aim to improve memorization of different part of an anatomic model. For this purpose, we want to evaluate a tangible interaction technique using augmented reality, allowing users to interact and manipulate a 3D model on the same physical object. Our goal is to evaluate the memorization of different labels attached to this model, comparing our tangible interaction technique with techniques using a screen to visualize the model. We actually think that combining interaction space (physical object) and visualization space (screen) will allow to focus the user attention in one place, and will be useful for the memorization task.

III. La théorie de l'Embodiment

The LBA challenge is to develop a new tool that will allow students learning structural and functional anatomy using their body as a media. This challenge is connected to an embodied conception of cognition and the fact that cognitive abilities are shaped by tools-use and linked to experience through sensori-motors functions (Refs. 1). Hence, the active implication of sensori-motor function into conceptual learning in general may improve learning by contributing to spatial and conceptual memory and mental simulation (Refs. 2). Direct interaction with virtual representations of the body might also improve 3D perceptual skills (Refs. 2). The project is connected with previous works that investigated: (Refs. 3) the bi-directional interaction between visuo-spatial skills and medical practice, and (Refs. 4) how new technologies could improve learning of anatomy or surgery skills.