ÇEVRESEL ZEKA UYGULAMALARI ˙ IÇ ˙ IN TÜM YÖNLÜ KAMERA KULLANIMI MULTI-OMNIDIRECTIONAL CAMERAS FOR AMBIENT INTELLIGENCE Barı¸ s Evrim Demiröz, Albert Ali Salah, Lale Akarun Bilgisayar Mühendisli ˘ gi Bölümü Bo˘ gaziçi Üniversitesi, 34342 Bebek, ˙ Istanbul {baris.demiroz,salah, akarun}@boun.edu.tr ÖZETÇE Bu makalede çevresel zeka uygulamaları çerçevesinde çe¸ sitli kapalı mekan senaryoları içeren ve iki tüm yönlü kamerayla toplanmı¸ s bir veri kümesini tanıtıyoruz. Bu set bir veya birden fazla kullanıcının çe¸ sitli ev içi aktivitelerini gerçekle¸ stirirken alınmı¸ s ve gerçekçi ı¸ sıklandırma ve kapatma ko¸ sulları içeren gö- rüntülerinden olu¸ suyor. Bu veri kümesi üzerinde de˘ gi¸ sik takipçi sistemleri tanımlayıp bunların ba¸ sarımını ölçüyoruz. Sonuçla- rımız ev içi uygulamaları için tüm yönlü kameraların büyük potansiyeli oldu ˘ gunu ortaya koyuyor. ABSTRACT In this paper we describe several indoor scenarios for ambient intelligence settings with a data collection setup that uses two omni-directional cameras, and challenges posed by realistic illu- mination and occlusion settings. Single-person and multi-person activities are recorded and annotated. We describe baseline and feature-based tracking systems and comparatively analyse tracker performance in this setting. Our results show that omni- directional cameras have great potential for indoor settings. 1. G ˙ IR ˙ I¸ S Geleneksel perspektif kameralar kullanarak geni¸ s bir alanın ta- kibini yapmak birden fazla kamera ya da hareketli kameraların kullanımını gerektirir. Birden fazla kamera kullanmak donanım ve bakım masraflarını artırdı˘ gı gibi sisteme eklenecek her ka- mera ba¸ sına bant geni¸ sli˘ gi ihtiyacı da artar. Bunun dı¸ sında, elde edilen görüntüleri e¸ szamanlı kılma ve birden fazla kameradan gelen görüntülerin idaresi de kullanım zorlu˘ gu yaratmaktadır. PTZ kamera gibi hareketli sistemler, i¸ sletme giderleri ve bant geni¸ sli˘ gi açısından ekonomik olsa da, herhangi bir anda tek bir yönden görüntü alabilirler. Bunun yanında, içerdikleri mekanik aksamlar bu tip kameraları arıza yapmaya yatkın kılmaktadır. Geleneksel kameralar ile geni¸ s alanı gözlemenin bir avantajı elde edilen görüntülerin yüksek çözünürlüklü olmasıdır. Çözünürlük- ten ödün verilerek tek bir tüm yönlü kamera kullanılarak tüm Bu çalı¸ sma Bo ˘ gaziçi Üniversitesi BAP-6531 projesi tarafından des- teklenmektedir. 978-1-4673-0056-8/12/$26.00 c 2012 IEEE sahne sürekli bir biçimde kaydedilebilir. Tüm yönlü kameraların bu özellikleri onları çevresel zeka uygulamaları için tercih edilir kılmaktadır. Bu çalı¸ smada insanları takip etmek ve eylemlerini anlam- landırmak amacıyla kullanılabilecek, tüm yönlü kameralar kul- lanılarak iç mekanda kaydedilmi¸ s yeni bir veritabanı sunmak- tayız. ˙ Iyi bir tüm yönlü kamera veritabanında gerçek hayatta kar¸ sıla¸ sılabilecek ko¸ sullar ve zorluklar yansıtılmalıdır. Gerçe˘ ge uygun bir iç mekan kurulumunda herhangi bir kameranın ba- kı¸ s açısından ortamdaki ki¸ siler gözlemlendi ˘ ginde, zaman zaman bu ki¸ silerin ortamdaki di˘ ger ki¸ siler veya nesnelerin arkasında kalarak kapatmaya (occlusion) u˘ graması beklenir. Ortamdaki ı¸ sıklandırma de˘ gi¸ sikliklerine ba˘ glı olarak aydınlatma zamanla de˘ gi¸ sebilir, bu yüzden takip edilecek nesnelerin görünümü de de˘ gi¸ sebilir. Eylem tanımaya gelince, aynı eylem de˘ gi¸ sik ki¸ siler tarafından de˘ gi¸ sik ¸ sekillerde icra edilebilir. Gürültülü ve karma- ¸ sık arkaplanlar gerçek ya¸ samdaki uygulamalarda kar¸ sıla¸ sılan di˘ ger zorluklardır. Hazırlamı¸ s oldu˘ gumuz BOMNI veritabanı bahsedilen ko¸ sulların yanı sıra insanların i¸ saretlenmi¸ s sınırlayıcı kutularını ve i¸ saretlenmi¸ s eylemlerini de içermektedir. Lens ve ayna kullanan tüm yönlü kamera sistemleri kata- dioptrik, sadece özel lens kullanan sistemler dioptrik olarak isimlendirilir. Literatürde de˘ gi¸ sik tüm yönlü kamera tipleriyle toplanmı¸ s sınırlı sayıda veri tabanı bulunmaktadır. Bunlardan PETS 2001 veritabanındaki 4 nolu veri kümesi, dı¸ s mekanda insan ve araç takibine yönelik tüm yönlü kamera ile kaydedil- mi¸ s videolar içermektedir [1]. Birden fazla insanın bir masa çevresinde toplantı ve beyaz tahtada sunum yaparken elde edil- mi¸ s videolarından olu¸ san AMI Toplantı veritabanında da tüm yönlü kamera ile yakalanmı¸ s görüntüler bulunmaktadır [2]. Bir ba¸ ska veri kümesi olan, PETS-ICVS’te benzer bir toplantı or- tamı senaryosunda masanın üzerinde konu¸ slandırılmı¸ s tüm yönlü kamera ile elde edilmi¸ s görüntüler bulunmaktadır [3]. Söz ko- nusu veri kümesinde, el kaldırma, konu¸ sma, esneme gibi toplantı ba˘ glamına uygun eylemler i¸ saretlenmi¸ stir. CLEAR De˘ gerlen- dirme Kampanyası kapsamında CHIL projesi ile de benzer bir veritabanı olu¸ sturulmu¸ stur [4]. Söz konusu veritabanı be¸ s farklı mekanda, be¸ s tane perspektif kameraya ek olarak tavana monte edilmi¸ s bir tüm yönlü kameradan elde edilen görüntülerden olu¸ s- maktadır. TauDance veritabanı dört tane perspektif kameranın yanında bir adet tüm yönlü kamera ile farklı ki¸ silerin geleneksel