Participants

Denis Pellerin GIPSA-Lab, Christian Graff LPNC, Sylvain Huet GIPSA-Lab

Contexte scientifique

Les dispositifs de substitution sensorielle (Sensory Substitution Devices, SSD)

La substitution sensorielle vise à compenser les déficiences d'un sens en transmettant via un autre sens, fonctionnel, tout ou une partie des informations qu'il ne permet plus de percevoir. Les SSD destinés à pallier la déficience visuelle sont généralement constitués d'une caméra qui permet d'extraire des informations visuelles sur l'environnement de l'utilisateur, d'un calculateur qui traite ces informations et pilote des actuateurs pour produire des stimuli tactiles ou sonores. Il a été montré que les SSD permettent de reconnaître des motifs ou des objets, qu'ils permettent de naviguer dans des couloirs ou même de reconnaître des lettres.

Le dispositif AdViS (Adaptive Visual Substitution)

Le dispositif AdViS sur lequel nous travaillons est issu d'un projet interdisciplinaire alliant traitement du signal et de l'image, perception visuelle, architectures logicielles et matérielles, neurosciences et psychophysique. Démarré en 2011, il implique le GIPSA-Lab (équipe AGPIG, Architecture Géométrie Perception Image et Geste) et le LNPC (équipe PSM, Perception et Sensori-Motricité). Ce dispositif est destiné à faciliter la navigation des déficients visuels en transformant des données spatiales venant d'une caméra de profondeur en informations sonores [1,2].

Verrous et défis adressés dans le projet MYSSIV

Nous poursuivons l’élaboration du dispositif AdViS selon deux axes originaux.

Immersion spatiale dans un monde virtuel

Le développement d’un dispositif de substitution sensorielle prototype et son utilisation en environnement réel pour l’évaluation d’une stratégie de substitution soulèvent certaines difficultés: l’acquisition de la modalité sensorielle substituée est entachée des défauts des capteurs et limitée aux capteurs existants, son évaluation ne peut se faire qu’après avoir construit un prototype complet, enfin, les scènes réelles sont complexes voire dangereuses et la mise en place de scènes contrôlées est laborieuse. Pour lever certains de ces verrous, nous proposons d’immerger spatialement un utilisateur dans une scène 3D virtuelle qu’il percevra par l’ouïe au travers du dispositif de substitution sensorielle AdViS.

Exploitation de la mobilité oculaire

La version d’AdViS en cours d'étude privilégie un retour sonore à partir d'une zone d’intérêt, qualifiée de focale, de la carte de profondeur. La taille et la position de la zone focale peuvent être ajustées. Nous projetons de pouvoir modifier la position de cette focale à l'aide d'un oculomètre : en exploitant la mobilité oculaire subsistant chez certaines catégories de déficients visuels, nous espérons pouvoir restaurer une boucle perception action essentielle à la perception de l'espace.

Stages financés par le projet MYSSIV

• Adrien Bardet, Amélioration de l'ergonomie sonore d'un système de substitution sensorielle visuo-auditif, Stage ingénieur Phelma 2ème année, mai à juillet 2016

• Aziliz Guezou-Philippe, Immersion spatiale dans un monde virtuel pour la mise au point de dispositifs de substitution sensorielle, Stage de niveau Master 2, février à août 2017 

Production scientifique

• Aziliz Guezou-Philippe, Sylvain Huet, Denis Pellerin, Christian Graff. Prototyping and Evaluating Sensory Substitution Devices by Spatial Immersion in Virtual Environments. VISIGRAPP, the 13th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISAPP 2018), Jan 2018, Funchal, Portugal. 2018. 〈hal-01663686〉
• Sylvain Huet, Julien Doré, Zélie Buquet, Denis Pellerin, Christian Graff. Eye-movement in the dark for the exploration of virtual scenes encoded by sounds. 19th European Conference on Eye Movements (ECEM), Aug 2017, Wuppertal, Germany. 〈hal-01613512〉

Références

[1] C. Stoll, R. Palluel-Germain, V. Fristot, D. Pellerin, D. Alleysson, and C. Graff, "Navigating from a depth image converted into sound, "Applied Bionics and Biomechanics, vol. 2015, article ID 543492, 2015. 9 pages.

[2] V. Fristot, J. Boucheteil, L. Granjon, D. Pellerin, and D. Alleysson, "Depth - melody substitution," in 20th European Signal Processing Conference (EUSIPCO-2012) (Eurasip, ed.), (Bucarest, Romania), Aug. 2012. 5 pages.