Groupe Cognition, Perception et Usages (CPU)

Thème Systèmes et Modèles Perceptifs

Responsable :  Philippe Tarroux
Permanents :  Jean-Sylvain Liénard, Sylvain Caillou, Philippe Tarroux
Doctorants :  Sylvain Chevallier, Mathieu Dubois, Hervé Guillaume, François Signol

Le thème développe des recherches concernant la perception artificielle. Ces travaux s'appuient sur l'idée principale que les mécanismes de perception sont indissociables du système qui les héberge et de ses compétences comportementales. Ainsi, la perception ne peut être considérée comme un ensemble de mécanismes de filtrage de l'information sensorielle provenant des capteurs conduisant à une représentation interne du monde. Elle doit plutôt être vue comme un processus actif de transformation et de sélection d'information, et d'interaction avec le monde au travers des mécanismes attentionnels et des actions réalisées par le système doté de capacités perceptives.

Dans ce contexte, nos recherches se développent selon trois axes qui concernent la détermination des contextes d'une scène visuelle, la modélisation de processus pre-attentionnels et attentionnels et l'implémentation de nouvelles formes de représentation du monde extérieur par l'intermédiaire des relations perception-action. Ainsi nous considérons les mécanismes perceptifs comme indissociables des processus comportementaux qui les suscitent et qu'ils alimentent. C'est la raison pour laquelle nous avons choisi de tester ces approches sur des systèmes robotiques autonomes.

La détermination du contexte d'une scène est importante si l'on considère que l'identification des objets présents dans la scène est facilitée par la détermination préalable de la situation dans laquelle se trouve le système. En effet, la connaissance du contexte permet très probablement de simplifier les caractéristiques qui doivent être retenues pour l'identification des objets. Un ensemble de références relatives au contexte (pointeurs déictiques) suffit alors au système pour accéder à l'information utile pour agir dans le contexte en question.

Afin de reconnaître l'environnement dans lequel le système évolue, nous développons deux approches. La première se fonde sur la caractérisation de la scène à l'aide de caractéristiques globales fondées sur les fréquences spatiales. En utilisant un filtrage multi-résolution à l'aide d'ondelettes de Gabor suivi d'une classification utilisant des fonctions radiales, une classification efficace de scènes visuelles peut être obtenue. Une seconde approche consiste à exploiter l'idée que la reconnaissance d'un lieu repose sur l'exploration d'un certain nombre de régions l'intérêt caractéristiques. Nous développons actuellement un modèle d'inférence probabiliste de reconnaissance de lieux fondé sur ces idées.

Toute l'information contenue dans une scène visuelle n'est en effet pas forcément pertinente pour son interprétation. Cette constatation pose le problème de savoir ce qui constitue les éléments saillants d'une scène et comment les calculer. On distinguera les éléments qui font saillance pour des raisons intrinsèques à la scène visuelle et ceux qui correspondent à des régions d'intérêt (RoI) dépendant des attentes du système. Nous étudions plusieurs modèles de construction de saillances fondés sur des mesures de contrastes locaux selon diverses modalités (luminance, couleurs, orientations...) mais également sur le mouvement. Nous comparons deux approches de leur implémentation, une approche conventionnelle à base de filtres de traitement d'images en relation avec une approche bayesienne de la relation entre objets et contextes, qui fait l'objet de la thèse d'Hervé Guillaume, et une méthode mettant en œuvre des réseaux de neurones pulsés et des mécanismes de codage temporel qui correspond à la thèse de Sylvain Chevallier.

Un système robotique réellement autonome ne peut s'appuyer sur une représentation du monde donnée a priori de façon arbitraire. Une telle représentation doit émerger de ses interactions avec le monde extérieur et dépendre de ses capacités à agir sur son environnement. La représentation du monde d'un système autonome est intrinsèquement liée à la nature et aux performances de ses capteurs mais également à ses capacités d'exploration du monde extérieur au travers de ses compétences motrices. Ainsi, le concept de contingences sensori-motrices est au centre de l'appréhension de son environnement par un système naturel ou artificiel. La thèse de Cédric Coussinet a été l'occasion d'étudier la mise en œuvre de telles contingences sensori-motrices sur des robots. Pour ce faire, Cédric Coussinet a développé un nouveau système de classeurs prenant en compte la notion d'anticipation. On peut ainsi faire l'apprentissage d'un environnement au travers de la capacité du système à prédire les conséquences sensorielles de ses actions. L'analyse de scènes ne s'applique pas aux seules scènes du monde visuel. La modalité auditive permet également de localiser et de séparer les sources sonores présentes dans notre environnement (ASA, Auditory Scene Analysis). Il s'agit là d'un problème crucial pour l'auditeur humain en situation de malentendance, comme en témoigne le classique effet de Cocktail Party. C'est aussi une pierre d'achoppement pour les systèmes automatiques de traitement de la parole, qui jusqu'à présent ont éludé le problème en pratiquant une prise de son de proximité. Nous nous intéressons à l'approche calculatoire du problème (CASA, Computational Auditory Scene Analysis), tant pour comprendre le phénomène du point de vue de la perception naturelle que dans le but d'améliorer les systèmes artificiels. Dans la cadre de la thèse de François Signom, nous appliquons la même démarche que dans l'analyse des scènes visuelles, en cherchant à faire coopérer un flux d'information ascendant, venant du signal, avec un flux descendant représentant les aspects attentionnels, structuraux et comportementaux de la tâche.

Nous avons le projet de nous intéresser à court terme à la mise en correspondance des aspects visuels et audio et à la question de la fusion de modalités en robotique autonome. A plus long terme, nous envisageons de généraliser le paradigme de la robotique autonome à des systèmes perceptifs diffus dans lesquels un environnement muni de capteurs perceptifs actifs peut être vu comme une entité artificielle.