Actualités

Tracking sans marqueur de modèles physiques modulaires et articulé

Vers une interface tangible pour la manipulation de simulations moléculaires 

Thèse de Xavier Martinez (équipe Venise), le 10 octobre 2017.

Jury

    • Sébastien Limet, Professeur de l’Université d’Orléans, Rapporteur
    • Antoine Taly, Chercheur CNRS, Rapporteur
    • Marc Baaden, Directeur de recherche CNRS , Examinateur
    • Anastasia Bezerianos, Maître de conférence à l’université Paris-Sud, Examinateur
    • Bruno Raffin, Chercheur INRIA, Examinateur
    • Anne Vilnat, Professeure de l’université Paris-Sud, Examinateur
    • Patrick Bourdot, Directeur de recherche CNRS, Directeur de thèse
    • Jean-Marc Vézien, Ingénieur de recherche CNRS, Co-encadrant
    • Nicolas Férey, Maître de conférence à l’université Paris-Sud, Invité

Résumé 

Les modèles physiques moléculaires sont depuis longtemps utilisés dans le domaine de la biologie structurale et de la chimie. Malgré l’apparition de représentations numériques qui offrent une grande variété de visualisations moléculaires dynamiques et permettent notam- ment d’analyser visuellement les résultats de simulations, les modèles physiques moléculaires sont encore fréquemment utilisés. En effet, la manipulation directe et la construction ma- nuelle de modèles physiques moléculaires facilitent l’élaboration et la mémorisation d’une représentation mentale des structures moléculaires 3D. Les techniques d’interaction avec des objets 3D n’atteignent pas encore la finesse et la richesse de perception et de manipulation des modèles physiques. Par ailleurs, l’interaction avec des représentations moléculaires virtuelles est rendue particulièrement difficile car les structures moléculaires sont très complexes du fait de leur taille, de leur caractère tridimensionnel et de leur flexibilité, auquel s’ajoutent la quantité et la variété des informations qui les caractérisent.

Pour aborder la problématique de l’interaction avec ces structures moléculaires, nous proposons dans cette thèse de concevoir une interface tangible moléculaire combinant les avantages des représentations physiques et virtuelles. Pour réaliser une interface tangible flexible et modulaire, à l’image des bio-molécules à manipuler, ce travail de thèse a dû relever plusieurs défis scientifiques avec pour contrainte majeure le fait de proposer une approche se passant de marqueurs et dispositif de capture 3D complexe. La première étape fut de choisir, concevoir et fabriquer un modèle physique permettant la manipulation de molécules avec de nombreux degrés de libertés. La seconde étape consistait à créer un modèle numérique permettant de reproduire le comportement mécanique du modèle physique. Enfin, il a fallut concevoir des méthodes de recalage utilisant des techniques de traitement d’image en temps réel pour que le modèle physique puisse contrôler, par couplage, son avatar virtuel.

En terme de traitement d’image, de nouvelles méthodes ont été conçues implémentées et évaluées afin d’une part, d’identifier et de suivre les atomes dans l’espace image et d’autre part, d’alimenter la méthode de reconstruction 3D avec un faible nombre de points. L’une de nos contributions a été d’adapter la méthode de Structure from Motion en incluant des connaissances biochimiques pour guider la reconstruction.

Par ailleurs, la visualisation conjointe de modèles physiques de molécules et de leur avatar virtuel dynamique, parfois co-localisé dans un contexte de réalité augmentée, a été abordée. Pour cela, des méthodes de visualisation haute performance adaptées à ce contexte ont été conçues afin d’améliorer la perception des formes et cavités, caractéristiques importantes des molécules biologiques. Par exemple, l’occultation ambiante ou le raycasting de sphères avec des ombres portées dynamiques permettent d’augmenter un modèle physique en tenant compte de l’illumination réelle pour une meilleure intégration en réalité augmentée.

Les retombées de ce travail en terme d’usage sont nombreuses dans le domaine de la recherche et de la pédagogie en biologie moléculaire, comme dans le domaine de la conception de médicaments et plus particulièrement du Rational Drug Design. L’expert doit être au centre de la tâche de conception de médicament pour la rendre plus efficace et rationnelle, à l’image du succès du jeu sérieux Fold’It, auquel s’ajoute le bénéfice de l’utilisation d’interface tangible capable de manipuler les nombreux degrés de liberté intrinsèques des bio-molécules. 

Abstract

Physical molecular models have long been used in the structural biology and chemistry fields. Despite the emergence of numerical representations offering various and dynamic molec- ular visualizations to analyze the simulation results, molecular physical models are still being used. Direct manipulation and assembly of physical models ease to create and memorize a mental representation of 3D molecular structures. Interaction techniques to manipulate vir- tual 3D objets are not reaching the fineness and the benefits of the perceptual cues and manipulation skills of physical models. Moreover, iteracting with virtual molecular represen- tations remains a hard task because of the complexity of molecular structures, their size, their flexibility and the various data that define them.

In this thesis, we adress this issue by designing a molecular tangible interface combining the perks of physical and virtual representations. To match the flexibiliy and modularity of biomolecules to manipulate, this work met challenges in different scientific fields with the constraint to not use a tracker based system. The first step was to choose, conceive and build a physical model to handle the manifold degrees of freedom of molecules. The second step consisted in creating a numerical representation of mecanical properties of the physical model. Lastly, we needed to develop tracking methods using real-time image processing algorithms in order to control the virtual representation by coupling it to the physical one.

New image processing methods have been implemented and evaluated to identify and track atoms in the image space. A Structure from Motion method was designed and adapted to reconstruct in 3D the atom positions by using a small amount of points and by including biochemical knowledge to guide the reconstruction.

At last, we adress the visualization of physical and dynamic virtual representations, some- times co-localized in an Augmented Reality context. High performance visualization methods adapted to this context have been developped to enhance shape and cavity perception, two major specifics of biological molecules. For instance, ambient occlusion or sphere raycasting with dynamic shadows can augment a physical object taking the real illumination of the scene for a better insertion in an Augmented Reality context.

The impact of this work targets both the education in molecular biology and the research field: the rational drug design field could benefit from the expertise of the user to optimize the design of drugs by manipulating biomolecule’s numerous degrees of freedom using a tangible interface. Just like Fold’It is contributing to solve the folding problem, a similar approach could be used to solve the molecular docking problem using advanced manipulation interfaces. 

 

LIMSI
Campus universitaire bât 507
Rue du Belvedère
F - 91405 Orsay cedex
Tél +33 (0) 1 69 15 80 15
Email

RAPPORTS SCIENTIFIQUES

Le LIMSI en chiffres

8 équipes de recherche
100 chercheurs et enseignants-chercheurs
40 ingénieurs et techniciens
60 doctorants
70 stagiaires

 Université Paris-Sud nouvelle fenêtre

 

Paris-Saclay nouvelle fenêtre