Fusion multimodalité

Nous travaillons à la construction d'un modèle articulatoire dynamique à partir d'images ultrasonores, vidéos, IRM et à partir de capteurs magnétiques. L'objectif est de construire une tête augmentée intégrant les articulateurs externes (lèvres) et internes (langues). Les applications de ces travaux concernent l'apprentissage des langues.

Acquisition et fusion de données multimodales

Conception du système d'acquisition, calibrage du système, synchronisation des données : Coupling electromagnetic sensors and ultrasound images for tongue tracking: acquisition set up and preliminary results, ISSP 2006 Des précisions sur le système sont disponibles ici Extraction des données multimodales et recalage : Multimodality acquisition of articulatory data and processing, EUSIPCO 2008 Registration of multimodal data for estimating the parameters of an articulatory model, ICASSP 2009 Une vidéo montrant les modalité fusionnées Segmentation de la langue dans des images IRM guidée par un modèle de référence. A shape based framework to segmentation of tongue contours from MRI data, ICASSP2010.

Modélisation d'une tête parlante réaliste

L'objectif est d'animer de façon très réaliste une tête dense. Dans notre approche, la dynamique du visage est acquise sur un corpus sparse obtenu en peignant des marqueurs sur le visage. Cette dynamique est ensuite transférée sur le visage dense.

Realistic face animation from sparse stereo meshes, Audiovisual Speech Processing 2007 Realistic face animation for audiovisual speech applications: a densification approach driven by sparse stereo meshes, Mirage 2009, Computer Vision / Computer Graphics Collaboration Techniques and Applications Une vidéo montrant l'animation réaliste