PhD thesis - Armelle Bauer (2013-2016)

Modélisation anatomique utilisateur spécifique et animation temps-réel. Application à l’apprentissage de l’anatomie.

PhD thesis Armelle Bauer - Documents associés : slides, manuscrit

jury : (defense: 10/11/2016)
abstract

La complexité de l’anatomie fait de son apprentissage une tâche difficile. Au fil des années, différents supports de connaissances ont vu le jour dans le but de représenter et structurer l’anatomie : des dessins au tableau, aux livres d’anatomie, en passant par l’étape incontournable de la dissection, et des travaux pratiques sur maquettes 3D. Il est néanmoins difficile d’appréhender la dimension dynamique de l’anatomie avec les outils d’apprentissage conventionnels ; notion qui est pourtant essentielle à la formation des médecins. À travers ces travaux de thèse, nous proposons un système original et innovant pour l’apprentissage de l’anatomie intitulé « Living Book of Anatomy » (LBA). L’idée étant, pour un utilisateur donné, de superposer à sa propre image une maquette anatomique 3D (peau, squelette, muscles et viscères) et de l’animer en mimant les mouvements de celui-ci. Nous parlons ici d’une application temps-réel de type « miroir augmenté ». Nous utilisons la Kinect comme capteur de mouvement.

Le premier défi à relever est l’identification de caractéristiques morphologiques qui nous permettront de recaler notre maquette anatomique 3D sur l’utilisateur. Nous proposons ici deux méthodes interchangeables en fonction des besoins. La première méthode, temps-réel, est basée sur l’utilisation de transformations affines attachées entre les repères positionnés à chaque articulation du squelette donné par la Kinect pour déformer la maquette 3D à l’aide de poids de skinning prédéfinis. La seconde méthode, plus couteuse en temps (de l’ordre de quelques minutes), se découpe en trois parties : dans un premier temps, nous déformons la peau à l’aide de la position des articulations du squelette d’animation Kinect et du nuage de points partiel de l’utilisateur ; à partir de cela et de règles anatomiques strictes, nous déformons le squelette ; pour finir, nous déformons les tissus mous pour qu’ils comblent l’espace entre le squelette et la peau. Le second défi concerne la capture réaliste et temps-réel des mouvements utilisateurs. Reproduire le comportement des structures anatomiques est une tâche complexe due aux informations Kinect souvent partielles et très bruitées. Nous proposons ici l’utilisation de règles anatomiques concernant les articulations du corps (axes de rotation et butées articulaires) pour contraindre les mouvements donnés par la Kinect et obtenir des mouvements réalistes. Pour obtenir des mouvements fluides, nous nous proposons d’utiliser des filtrages, notamment le filtre de Kalman. Le dernier défi concerne la dominante de retour visuel et d’interaction. Lors de ces travaux, nous nous sommes tout particulièrement intéressés à un rendu corps complet pour montrer le fonctionnement général du corps humain et de ces différentes articulations. Nous avons également choisi le membre inférieur comme structure anatomique d’intérêt avec pour but la mise en avant de phénomènes anatomiques spécifiques, comme l’activité musculaire.

Les différents éléments ont été intégrés dans un système opérationnel présenté en détails dans ce manuscrit de thèse. Grâce à des expérimentations - avec des étudiants et des professionnels de différents domaines - et la présentation de ces travaux sous forme de démonstrations lors de différents congrès, nous avons validé l’intérêt de cet outil et obtenu les premiers éléments de son évaluation.

Mots clés : Miroir anatomique interactif, Réalité augmentée, Capture de mouvement, Recalage 3D, Temps-réel.

Scientific productions :
  • Armelle Bauer, Ali-Hamadi Dicko, François Faure, Olivier Palombi, Laurence Nigay, Amélie Rochet-Capellan, Jocelyne Troccaz. Bouger son corps pour apprendre l’anatomie. Workshop «IHM pour formation» - journées francophones d’IHM 2016 october 2016, Fribourg, Suisse. 2016. page, slides
  • Armelle Bauer, Ali-Hamadi Dicko, François Faure, Olivier Palombi, Jocelyne Troccaz. Anatomical Mirroring: Real-time User-specific Anatomy in Motion Using a Commodity Depth Camera. Motion in Games (MIG'16) october 2016, San Francisco, United States. 2016. page, slides, hal-01366704, video
  • Armelle Bauer, Jocelyne Troccaz, François Faure, Olivier Palombi. L’anatomie virtuelle au service de l’apprentissage. Association des Morphologistes (98ème congrès annuel) - Presentation (best presentation award) march 2016, Toulouse, France. 2016. page, slides
  • Armelle Bauer, Ali-Hamadi Dicko, Olivier Palombi, François Faure, Jocelyne Troccaz. Living Book of Anatomy(LBA) Project : See your Insides in Motion!. Siggraph Asia 2015 - Emerging Technologies november 2015, Kobe, Japan. 2015. page, slides, hal-01186518, video
  • Armelle Bauer, Florent Paclet, Violaine Cahouet, Ali-HamadiDicko, Olivier Palombi, François Faure, Jocelyne Troccaz. Interactive Visualization of Muscle Activity During Limb Movements : Towards Enhanced Anatomy Learning. Eurographics Workshop VCBM september 2014, Vienne, Autriche. 2014. page, slides, hal-01057027, video
  • Armelle Bauer, Federico Ulliana, Ali-Hamadi Dicko, Benjamin Gilles, Olivier Palombi, François Faure. MyCorporisFabrica: Making Anatomy Easy. Siggraph - Studio Talks August 2014, Vancouver, Canada. 2014. page, slides, hal-00987439, video
  • Armelle Bauer, Jocelyne Troccaz, Olivier Palombi, François Faure. The Living Book of Anatomy « Model and user mapping ». Persyval-lab Scientific days - Poster June 2014, Grenoble, France. 2014. poster