Learning and Nonlinear Models - Journal of the Brazilian Computational Intelligence Society, Vol. 11, Iss. 2, pp. 56–73, 2013. c  Brazilian Computational Intelligence Society APRENDIZADO POR TRANSFER ˆ ENCIA PARA APLICAC ¸ ˜ OES ORIENTADAS A USU ´ ARIO: UMA EXPERI ˆ ENCIA EM L ´ INGUA DE SINAIS Lucas F. Brunialti, Sarajane M. Peres, Clodoaldo A. M. Lima Escola de Artes, Ciˆ encias e Humanidades - Universidade de S˜ ao Paulo {lucas.brunialti, sarajane, c.lima}@usp.br Clodis Boscarioli Centro de Ciˆ encias Exatas e Tecnol´ ogicas - Universidade Estadual do Oeste do Paran´ a {clodis.boscarioli}@unioeste.br Resumo – Um grande desafio atual ´ e a interpretac ¸˜ ao automatizada de gestos relacionados ` a comunicac ¸˜ ao em L´ ınguas de Sinais. Nesse contexto, a execuc ¸˜ ao dos gestos assume um car´ ater de grande variabilidade, o que o diferencia daqueles onde os gestos de interesse s˜ ao simples, como no caso de automac ¸˜ ao de “casas inteligentes” ou jogos de computadores. Devido a essa complexi- dade, para induc ¸˜ ao de modelos de reconhecimento de gestos com grande variabilidade de execuc ¸˜ ao, s˜ ao necess´ arios conjuntos de dados rotulados provenientes de diferentes pessoas executando os gestos. ´ E fato que este tipo de aquisic ¸˜ ao e rotulac ¸˜ ao de dados ´ e uma tarefa dif´ ıcil, ent˜ ao, este trabalho apresenta um estudo sobre uma estrat´ egia para minimizar este problema. Com o uso dos algoritmos Multilayer Perceptron (aprendizado supervisionado) e TrAdaBoost (aprendizado por transferˆ encia), este artigo dis- cute uma abordagem para construc ¸˜ ao de aplicac ¸˜ oes orientadas ` a usu´ ario, melhorando o reconhecimento de gestos provenientes de novos usu´ arios. Palavras-chave – An´ alise de Movimentos, An´ alise de Gestos, Aprendizado por Transferˆ encia, TRAdaBoost, Multilayer Per- ceptron, L´ ıngua de Sinais. Abstract – Nowadays, a major challenge is the interpretation of Sign Languages gestures in an automated way. In this context, the gestures assume great variability, which differs Sign Language applications from those where the gestures of interest are simple, such as automation of “smart houses” or computer games. Due to such complexity, in order to build inductive gesture recognition models with a great variability of execution, labeled datasets from different users are needed. Actually, this kind of data acquisition and labeling is a laborious task, thus, this paper presents a study about a strategy to minimize this problem. Ma- king use of the algorithms Multilayer Perceptron (supervised learning) and TrAdaBoost (transfer learning), this paper discusses an approach to build user-oriented applications, improving the recognition of gestures from new users. Keywords – Movement Analysis, Gesture Analysis, Transfer Learning, TrAdaboost, Multilayer Perceptron, Sign Language. 1. INTRODUC ¸ ˜ AO A´ area de pesquisa em an´ alise de gestos tem recebido uma forte atenc ¸˜ ao de diferentes setores da sociedade. Esse aumento de interesse se justifica pelas recentes iniciativas de desenvolvimento, e fabricac ¸˜ ao em larga escala para venda comercial, de dispositivos de baixo custo para sensoriamento de movimentos. Muitas pesquisas na ´ area de an´ alise de gestos tˆ em focado no desenvolvimento de novos m´ etodos para interac ¸˜ ao humano computador, suportando a criac ¸˜ ao de aplicac ¸˜ oes das mais diversas naturezas. Jogos, tecnologias assistivas, controle de equipamentos via gestos e softwares de monitoramento de ambientes s˜ ao alguns exemplos das ´ areas de aplicac ¸˜ ao mais conhecidas pela sociedade. Embora existam muitas aplicac ¸˜ oes que j´ a usam esse tipo de dispositivo de sensoriamento acompanhado de softwares que interpretam gestos, tem-se percebido que as aplicac ¸˜ oes mais populares, em geral, tratam de um escopo limitado de gestos, e trazem algumas restric ¸˜ oes como posicionamento em frente aos sensores ou velocidade de execuc ¸˜ ao do gesto. Algumas revis˜ oes sobre assuntos relacionados ` a an´ alise de gestos foram desenvolvidas por Pickering [1], Mitra e Acharya [2], Moni e Ali [3], Sowa [4], Liu e Kavakli [5] e Madeo e Peres [6]. Especificamente para o caso de interpretac ¸˜ ao de gestos das L´ ınguas de Sinais, existe pouco desenvolvimento j´ a dispon´ ıvel na ind´ ustria. Aplicac ¸˜ oes existentes s˜ ao, geralmente, suportadas por equipamentos com muitos sensores (luvas, acelerˆ ometros e girosc´ opios), que precisam ser “usados” pelo usu´ ario. Existem alguns fatores que contribuem para que aplicac ¸˜ oes baseadas em dispositivos de sensoriamento menos invasivos tenham um escopo de atuac ¸˜ ao mais limitado na ´ area de L´ ıngua de Sinais, entre eles est˜ ao: (a) o n´ ıvel de detalhe que diferencia um sinal de outro, que muitas vezes n˜ ao s˜ ao captados com a devida granularidade (ou resoluc ¸˜ ao) por dispositivos menos invasivos como webcams e dispositivos como o dispositivo Kinect TM1 ; (b) a grande diversidade de tipos de movimentos e configurac ¸˜ oes corporais diferentes que uma l´ ıngua de sinais exige 2 ; (c) a forma como tais movimentos 1 Kinect ´ e um dispositivo para sensoriamento de movimentos, desenvolvido pela Microsoft, originalmente para uso acoplado ao video game Xbox 360. O sensoriamento realizado por ele ´ e baseado, basicamente, em uma cˆ amera RGB e um sensor de profundidade. 2 Para conhecer os movimentos e configurac ¸˜ oes corporais que uma l´ ıngua de sinais engloba, veja a Enciclop´ edia da L´ ıngua de Sinais Brasileira [7]. 56