Développement d'une plateforme mobile destinée à participer à la surveillance d'un ensemble de personnes en situation de fragilité.

Motivations

La surveillance de personnes en situation de fragilité par des capteurs placés dans les bâtiments (caméras, micros, …) est en général mal acceptée car ces capteurs sont trop intrusifs. De plus, l'intégration de ces capteurs dans l'infrastructure nécessite des investissements coûteux et leur installation est souvent complexe. Pour éviter un tel écueil, nous proposons de mettre en œuvre une plateforme constituée par un robot, bien visible par les personnes, équipé d'une tête donnant l'impression d'un compagnon. Ce prototype de robot compagnon doit être capable de se déplacer, de percevoir son environnement et d’analyser des situations complexes, de focaliser son attention et naviguer au sein d’environnements dynamiques.

Sur cette plateforme expérimentale, il est possible de concevoir et d'évaluer des algorithmes originaux de traitement et de fusion de données, de localisation et suivi de cible, d'analyse de situation et d'adaptation du système de perception. A terme, il s'agira de développer une recherche dans le domaine de l’assistance aux personnes en situation de fragilité grâce à l’intervention de robots mobiles équipés d’un système de perception adapté et acceptable pour la personne observée.

Partenaires

AYCARD Olivier, LIG/AMA

GARBAY Catherine, LIG/AMA

PELLERIN Denis, GIPSA-Lab/AGPIG

ROMBAUT Michèle, GIPSA-Lab/AGPIG

L'équipe AGPIG a acquis une compétence reconnue sur les méthodes d'extraction et fusion d'informations à partir de documents vidéos, et mène des recherches concernant l’apport des informations sonores en complément des informations de type image.

L'équipe AMA travaille sur l'interprétation de données capteurs, pour la localisation de robots mobiles dans leur environnement et la détection et le suivi d'objets mobiles. Elle a une expertise dans la classification d'objets mobiles dans des images avec des techniques d'apprentissage. Elle est aussi spécialisée en fusion de données hétérogènes et a développé des modèles de raisonnements abductifs mis en œuvre par des agents distribués.

Les deux équipes s'intéressent à la modélisation numérique et symbolique (modèles spatio-temporels des données (AGPIG) vs agents distribués normatifs (AMA)). Un des intérêts majeurs de cette collaboration est la complémentarité entre les chercheurs provenant des laboratoires GIPSA-lab et LIG qui présentent des compétences sur les domaines suivants : capteurs et modèles de données associées (laser (AMA), vision & audio (AGPIG), physiologie & actimétrie (AMA)), modélisation de l’incertain (approches bayésiennes (AMA) et crédibilistes (AGPIG)), modélisation numérique et symbolique (modèles spatio-temporels des données (AGPIG) vs agents distribués normatifs (AMA)).

Laboratoire Grenoble Images Parole Signal Automatique (GIPSA-lab)
Equipe Architecture Géométrie Perception Images Gestes (AGPIG)
http://www.gipsa-lab.grenoble-inp.fr/agpig.php

 

Laboratoire d’Informatique de Grenoble (LIG)
Equipe Apprentissage : modèles et algorithmes (AMA)
http://ama.liglab.fr

 

Résultats et objectifs

Ce projet nous a permis de soutenir un premier travail de recherche dans le cadre du Master recherche de Quentin LABOUREY. Une application a ainsi été réalisée sur un robot Reeti (tête robotique expressive) de la société Robopec munie de micros et de caméras. Par une méthode de fusion multimodale son et image, le robot est capable de détecter la personne qui parle lors d'une conversation entre plusieurs interlocuteurs. Ce travail a donné lieu à une première publication [1].

Figure 1. Exemple de réalisation. Le point rouge indique la personne en train de parler.

 

Les travaux de recherche dans le cadre de la thèse de Quentin LABOUREY sont focalisés sur la reconnaissance de situations d'intérêt et la définition de stratégies de déplacement pour améliorer la connaissance de la situation.

Dans le cadre de ce projet, nous avons acquis une nouvelle plateforme robotique Qbo de la société Thecorpora, elle aussi équipée de micros et caméras, mais ayant en plus la capacité de se déplacer. C'est sur cette plateforme que sont développées les thématiques de recherche de ce projet :

• Analyse de données multi-échelle pour extraire des signatures d’événements

• Focalisation attentionnelle et navigation au sein d’environnements dynamiques

• Evaluation technique et applicative

Figure 2. Robot Qbo de la société Thecorpora

 

Positionnement du sujet par rapport à un des "workpackage" des actions du labex (ADM et SIM)

• exploitation de flots de données distribuées et multimodales, traces numériques d’événements issus de capteurs aux caractéristiques différentes

• fusion entre données de différents type (audio, position, actimétrie, physiologie…),

• combinaison de mesures de nature extrêmement différentes (prise en compte de connaissances a priori sur l’environnement),

• exploitation de variables interdépendantes à des échelles spatiales et temporelles différentes,

• modélisation de l’incertain et prise en compte des diverses sources d’incertitudes dans la gestion de hypothèses d’interprétation

Publications

[1] Labourey Q., Aycard O., Pellerin D., Rombaut M., Audiovisual data fusion for successive speaker tracking, International Conference on Computer Vision Theory and Applications (VISAPP’2014), Lisbon, Portugal, January 2014.

[2] Song G., Pellerin D., Granjon L., Different types of sounds influence gaze differently in videos, Journal of Eye Movement Research, 6(4):1, 1-13, 2013

[3] TD. Vu, J. Burlet, O. Aycard, Grid-based localization and local mapping with moving object detection and tracking. Information Fusion 12(1): 58-69, 2011.

[4] B. Vettier, L. Amate, C. Garbay, J. Fontecave-Jallon, P. Baconnier, Managing Multiple Hypotheses with Agents to Handle Incomplete and Uncertain Data, URMASSN'2011, Belfast, Ireland, 2011.

[5] E. Ramasso, C. Panagiotakis, M. Rombaut, D. Pellerin, Belief Scheduler based on model failure detection in the TBM framework. Application to human activity recognition. Int. J. Approx. Reasoning 51(7): 846-865, 2010