MAGRIT

copyright INRIA / Photos C. Lebedinsky

Fusion multimodalité

Nous travaillons à la construction d'un modèle articulatoire dynamique à partir d'images ultrasonores, vidéos, IRM et à partir de capteurs magnétiques. L'objectif est de construire une tete augmentée intégrant les articulateurs externes (lèvres) et internes (langues). Les applications de ces travaux concernent l'apprentissage des langues.

Acquisition et fusion de donné multimodales

  • Conception du système d'acquisition, calibrage du système, synchronisation des données:
    • Coupling electromagnetic sensors and ultrasound images for tongue tracking: acquisition set up and preliminary results, ISSP 2006 pdf .
    • Des précisions sur le système sont disponibles ici
  • Extraction des données multimodales et recalage

Modélisation d'une tête parlante réaliste

L'objectif est d'animer de façon très réaliste une tête dense. Dans notre approche, la dynamique du visage est acquise sur un corpus sparse obtenu en peignant des marqueurs sur le visage. Cette dynamique est ensuite transférée sur le visage dense.

  • Realistic face animation from sparse stereo meshes, Audiovisual Speech Processing 2007, pdf
  • Realistic face animation for audiovisual speech applications: a densification approach driven by sparse stereo meshes, Mirage 2009, Computer Vision / Computer Graphics Collaboration Techniques and Applications pdf .
  • Une video montrant l'animation réaliste