RØ alitØEnrichieparSynthLse Pierre JancLne, Christophe Meilhac, Fabrice Neyret, Xavier Provot, Jean-Philippe Tarel, Jean-Marc VØ zien, Anne Verroust INRIA Domaine de Voluceau, ROCQUENCOURT 78153 Le Chesnay cedex FRANCE Contact e-mail: Christophe.Meilhac@inria.fr http://www-rocq.inria.fr/syntim/analyse/video-fra.html RØ sumØ Nous proposons une mØ thode pour automatiser l’in- sertion cohØ rente d’objets 3D de synthLse dans des sØ - quences d’images rØ elles. Celle-ci fait appel conjointe- ment des techniques d’analyse et de synthLse d’images pour calculer les images modifiØ es. Mots-clØ s: analyse d’images, synthLse d’images,rØ alitØ virtuelle . 1 Introduction 1.1 Etat de l’Art La rØ alitØaugmentØ e prend de l’ampleur dans dif- fØ rents domaines comme les processus de fabrication pour l’industrie [1, 2], l’architecture d’intØ rieur [3, 4] et le domaine mØ dical [5]. Dans la plupart de ces appli- cations, le problLme principal est d’assurer la prØ cision de la superposition des images calculØ es sur les images rØ elles. En effet quand on insLre des objets 3D de synthLse dans une sØ quence d’images pour des applications de vidØ o, il faut s’assurer de la cohØ rence de l’illumination, des ombres et des occultations des objets virtuels par les objets rØ els. Il existe plusieurs approches en rØ ponse ce problLme : Les applications actuelles d’effets spØ ciaux pour la production vidØ o superposent simplement l’image de synthLse devant l’image rØ elle (incrustation ou alpha keying). Si l’image de synthLse doit OE tre partielle- ment occultØ e, un masque 2D doit alors OE tre fourni, ce qui interdit l’animation ou contraint interpoler l’Ø volution du masque au cours du temps. La Synthetic TV [6], garantit la cohØ rence gØ omØ - trique entre images rØ elles et objets de synthLse en synchronisant les mouvements de la ‘camØ ra’ de syn- thLse, correctement modØ lisØ e, avec les mouvements de la camØ ra rØ elle. La Computer Augmented Reality [7, 8], s’attache au calcul de l’illumination globale dans une scLne rØ elle enrichie d’objets de synthLse. Ces mØ thodes nØ cessitent une forte interaction avec l’utilisateur lors de l’opØ ration de mixage. Notre but est d’automatiser partiellement ce traitement. Abstract In this paper, a technical solution is presented to automate the mixing of real and synthetic objects in a same animated video sequence. We aim at achieving a close binding between 3D-based analysis and synthesis techniques to compute the interaction between a real scene captured in a sequence of calibrated images, and a computer-generated environment. Keywords: Image analysis, Image synthesis, virtual reality. 1.2 Notre Approche La RØ alitØenrichie par SynthLse (RES) a pourbut l’insertion d’objets 3D de synthLse dans une sØ quence 2D d’images rØ elles, en assurant la cohØ rence 3D pour les occultations, les ombres, les collisions et les contacts. L’idØ e consiste reconna tre et localiser des objets 3D dans les images 2D, afin de construire des sortes de masques 3D. Notre approche associe des techniques d’analyse et de synthLse d’images via la constitution de modLles 3D synthØ tisables compatibles, autorisant un mixage 3D- cohØ rent des objets de synthLse dans les images 2D. Les applications de cette technique peuvent se trou- ver en visualisation (par exemple en imagerie mØ dicale), et pour la production vidØ o (effets spØ ciaux pour les films, publicitØ ,Ø tude d’impact...). Un modLle synthØ tisable dØ crit une scLne composØ e d’objets, de sources de lumiLres et d’une camØ ra. Les objets ont une forme, une position, une orientation, des propriØ tØ s de surface (ex : couleurs ambiante, diffuse et spØ culaire) et Ø ventuellement une Ø volution temporelle (mouvement rigide ou dØ formation). Un modeleur est un outil interactif permettant un utilisateur de dØ crire un modLle synthØ tisable 3D. Les traitements effectuØ s pour la RES sont effectuØ s en diffØ rØ : Les objets rØ els choisis pour l’interaction sont prØ a- lablement modØ lisØ s l’aide du modeleur, qui dis- pose de fonctionnalitØ s spØ cifiques pour ‘dØ calquer’ interactivement les objets rØ els partir de vues sous diffØ rents angles. Cet outil permet de constituer une base de modLles d’objets susceptibles d’OE tre prØ sents dans la scLne enrichir. inria-00588889, version 1 - 26 Apr 2011 Manuscrit auteur, publié dans "RFIA / AFCET (1996)"