ICARE : approche à composants pour l’interaction multimodale Jullien Bouchet CLIPS-IMAG 38000, Grenoble, France Jullien.Bouchet@imag.fr Laurence Nigay CLIPS-IMAG 38000, Grenoble, France Laurence.Nigay@imag.fr Didier Balzagette DGA/DSP/STTC/DT/SH 00303, Armées, France Didier.Bazalgette@dga.defense.gouv.fr RESUME Les applications mobiles et pervasives font intervenir de multiples techniques d’interaction combinant le plus souvent de façon synergique des modalités actives (parole, geste, etc.) et des modalités passives (direction du regard, position de l’utilisateur, etc.). De tels systèmes sont le résultat d’une conception et d’un développement de plus en plus complexes. Or les outils actuels de conception et de développement ne sont pas adaptés. Dans cet article, nous décrivons une approche à composants logiciels, appelée ICARE, permettant de spécifier et de développer des interfaces combinant des modalités actives et passives. Notre approche se base sur deux catégories de composants : (1) les composants élémentaires qui décrivent des modalités pures (actives ou passives) et (2) les composants de composition (Complémentarité, Redondance et Equivalence) qui permettent au concepteur de spécifier l’usage combiné des modalités. Le concepteur assemble graphiquement les composants ICARE et le code est automatiquement généré. La plate-forme ICARE n’est pas complètement développée, aussi nous illustrons notre approche par la conception et le développement de trois systèmes par l’assemblage manuel de composants. Tout d’abord, nous présentons deux systèmes de Post-its ancrés dans le monde réel puis un prototype pour le cockpit d’avion Rafale (avion militaire français). Mots-clés IHM, multimodalité, modalités actives et passives, dispositifs d’entrée / sorties, langages d’interaction, ubiquité, mobilité, composants logiciels. ABSTRACT Mobile and ubiquitous systems support multiple interaction techniques such as the synergistic use of active modalities (speech, gesture, etc.) and passive modalities (gaze, localization of a user, etc.). The flexibility they offer results in an increased complexity that current software development tools do not address appropriately. In this paper we describe a component- based approach, called ICARE, for specifying and developing interfaces combining active and passive modalities. Our approach relies on two types of components: (1) elementary components that describe pure modalities (active and passive) and (2) composition components (Complementarity, Redundancy and Equivalence) that enable the designer to specify combined usage of modalities. The designer graphically assembles the ICARE components and the code of the multimodal user interface is automatically generated. Although the ICARE platform is not fully developed, we illustrate the applicability of the approach with the implementation of three mobiles systems: two GeoNote systems and one prototype of cockpit commands of Rafale (French military plane). Categories and Subject Descriptors H.5.2 [Information Interfaces and Presentation]: User Interfaces - Input devices and strategies, Interaction styles, Prototyping; D.2.2 [Software Engineering]: Design Tools and Techniques – User Interfaces. General Terms Algorithms; Human Factors. Keywords HCI, multimodality, active and passive modalities, I/O devices, interaction languages, ubiquitous, mobility, software components. 1. INTRODUCTION Depuis les travaux fondateurs de R. Bolt « Mets ça là » [5], combinant la voix et le geste, les moyens d’interaction ou modalités se sont multipliés, diversifiés et améliorés. Aujourd’hui, les interfaces multimodales jouent un rôle crucial pour les systèmes mobiles et pervasifs puisque la multimodalité offre la flexibilité exigée pour des contextes variables d’utilisation [29]. Les récents paradigmes d’interaction comme les interfaces tangibles [13] ou les interfaces manipulables [12], couplés aux progrès des systèmes de localisation, à la miniaturisation des dispositifs, à la qualité des réseaux sans fils [16], à l’amélioration de la reconnaissance de la parole ou de gestes [23] ouvrent un vaste champ de possibilités d’interaction pour les systèmes mobiles et pervasifs. Nous retrouvons une grande variété de systèmes combinant plusieurs techniques d’interaction comme les systèmes de réalité augmentée en situation de mobilité [5][9][26][27], les systèmes distribués sur ordinateurs miniatures (ordinateur de poche, téléphone, tablettes PC, etc.) [7][19][25] ou encore les systèmes embarqués dans des véhicules [15]. Au sein de ces systèmes, nous distinguons deux types de modalités : les modalités actives et les modalités passives. En entrée, les modalités actives sont utilisées par l’utilisateur pour spécifier une commande au système comme une commande Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, or republish, to post on servers or to redistribute to lists, requires prior specific permission and/or a fee. Mobilité & Ubiquité 2004, June 1-3, 2004, Nice, France Copyright 2004 ACM 1-58113-915-2/04/0006…$5.00.