Ambiant et Interaction

 Y. Bellik, D. Béroule, A. Gharsellaoui

Les modèles classiques d'interaction WIMP ne sont pas adaptés aux environnements ambiants en raison de la mobilité des utilisateurs, de l'hétérogénéité des dispositifs d'interaction et de la variabilité du contexte d'interaction. Ceci nécessite la définition de nouveaux modèles d'interaction qui répondent aux besoins des utilisateurs dans le cadre des environnements ambiants.

Interaction spatiale

Les environnements ambiants visent à intégrer dans l'environnement physique différents capteurs et effecteurs afin d'aider les utilisateurs dans leurs tâches quotidiennes. En particulier, l'utilisation de capteurs de position permet de transformer l'espace physique lui-même en un moyen d'interaction. Par exemple, le simple fait de rapprocher un tag représentant un fichier vidéo d'un autre tag représentant un écran dans la maison, peut déclencher la lecture du fichier vidéo sur l'écen correspondant. Certains systèmes utilisant l'espace comme moyen d'interaction existent déjà (dans le contexte de l'interaction tangible), mais cette utilisation demeure fragmentaire et/ou implémentée de façon ad hoc (utilisation de la proximité pour certains systèmes, de l'orientation pour d'autres ...) et n'offre pas une modélisation formelle et générique d'un langage pour l'interaction spatiale. C'est pourquoi nous avons lancé des actions afin d'explorer en profondeur la façon dont l'espace physique peut être utilisé comme moyen d'interaction. Pour atteindre cet objectif, une étape préliminaire consiste à définir formellement un langage pour la description des interactions spatiales. Ce langage doit être basé sur les différentes propriétés et relations spatiales entre les objets physiques: position, vitesse, accélération, orientation, distance, etc. Ce langage sera utilisée, dans une seconde étape, pour implémenter un outil interactif pour la spécification des interactions spatiales. Un tel outil interactif nous permettra, dans une troisième étape, de mettre rapidement en œuvre des études expérimentales dans notre plate-forme de pièce intelligente (IRoom). Ces études nous permettront d'explorer différentes techniques pour l'interaction spatiale afin de produire des recommandations pour la conception des interactions spatiales.

Le problème de l'affordance

Un problème important auquel on est confronté lorsqu'on veut utiliser l'espace comme canal d'interaction est le problème de l'affordance. A partir du moment où il devient possible, dans les environnements ambiants, de définir certaines zones de l'espace comme des endroits particuliers offrant certains services, une question se pose alors: comment indiquer à l'utilisateur les zones «sensibles» et comment l'informer des services qu'elles offrent ? Il est également possible que la simple proximité de deux objets ou plus puisse provoquer une action donnée sur le système. Comment indiquer à l'utilisateur ce genre d'interactions potentielles entre les objets physiques ? De plus, si l'action induite varie en fonction, par exemple, de l'orientation des objets, de leurs vitesses, etc., fournir à l'utilisateur des indices sur ces interactions potentielles devient un problème encore plus complexe.

Toutes ces considérations nous amènent à exclure l'utilisation d'objets physiques réels pour identifier ces «ambiant-spots" et leurs interactions spatiales potentielles. Nous préférons plutôt explorer d'autres approches telles que les approches de réalité augmentée. L'utilisation de lunettes augmentées, par exemple, offre une option intéressante à explorer. Nous avons également commencé à explorer des méthodes moins intrusives telles que l'utilisation d'un téléphone mobile ou d'un pico-projecteur portable (collaboration avec le thème Image et interaction) pour informer l'utilisateur sur les possibilités d'interaction spatiale.

Système de détection de pannes et assistance aux tâches utilisateurs

Un important avantage des environnements ambiants est qu'ils offrent une large variété de capteurs qui peuvent être utilisés pour suivre aussi bien les actions du système que celles des utilisateurs. Cependant, les capteurs et les effecteurs peuvent être sujets à des pannes. L'objectif de la thèse d'A. Mohamed (co-encadrement Supélec) a été de doter les systèmes ambiants de capacités d'auto-détection de pannes et de diagnostic leur permettant de vérifier de manière autonome si les actions prévues ont été effectuées correctement par les effecteurs. Pour résoudre ce problème, une approche dans laquelle la détection et le diagnostic sont accomplis dynamiquement lors de l'exécution (tandis que le découplage des effecteurs et des capteurs est lui fait au moment de la conception), a été proposée. Nous avons mis en place un cadre de détection des pannes et de diagnostic en modélisant les caractéristiques génériques des effecteurs/capteurs ainsi que les effets qui sont attendus sur l'environnement physique quand une action donnée est effectuée par les effecteurs du système. Ces effets sont ensuite utilisés lors de l'exécution pour lier les effecteurs (qui les produisent) avec les capteurs correspondants (qui les détectent). De plus, le modèle mathématique décrivant chaque effet permet de calculer les valeurs attendues des capteurs. En comparant les valeurs prédites avec les valeurs réelles fournies par les capteurs nous permet de les pannes éventuelles dans le système ambiant.

Concernant les tâches de l'utilisateur, les modèles de tâche existants sont généralement utilisés uniquement au moment de la phase de conception. Dans la thèse de A. Gharsellaoui, nous proposons d'utiliser le modèle de tâches à l'exécution, afin de suivre les actions de l'utilisateur, vérifier qu'il n'a pas commis d'erreurs lors de l'accomplissement de ses tâches et lui fournir de l'aide quand cela s'avère nécessaire. En particulier, nous proposons une extension des modèles de tâches classiques pour les environnements ambiants afin de permettre leur mise à jour dynamique à l'exécution. Cette extension consiste à affecter aux tâches, des états à l'exécution en adéquation avec les informations reçues de l'environnement (début de tâche, suspension de tâche, reprise de tâche, fin de tâche ...).

Une deuxième contribution consiste en un système de suivi et d'assistance basé de notre modèle dynamique de tâches. En outre, un simulateur a été implémenté et nous a permis de valider nos algorithmes de suivi de tâches. Une étude avec des utilisateurs réels dans notre pièce intelligente (IRoom) et qui exploite notre système de suivi et d'assistance a également été réalisée.

LIMSI
Campus universitaire bât 507
Rue du Belvedère
F - 91405 Orsay cedex
Tél +33 (0) 1 69 15 80 15
Email

RAPPORTS SCIENTIFIQUES

Le LIMSI en chiffres

10 équipes de recherche
100 chercheurs et enseignants-chercheurs
40 ingénieurs et techniciens
60 doctorants
70 stagiaires

 Université Paris-Sud nouvelle fenêtre

 

Paris-Saclay nouvelle fenêtre