Çizgisel Raf Modeli ile Perakende Ürün Tanıma Retail Product Recognition with a Graphical Shelf Model ˙ Ipek Baz 1 , Erdem Yoruk 2 , Müjdat Çetin 1 1 Mühendislik ve Do˘ ga Bilimleri Fakültesi, Sabancı Üniversitesi, ˙ Istanbul, Türkiye 2 Vispera Bilgi Teknolojileri, ˙ Istanbul, Türkiye Email: ibaz@sabanciuniv.edu, e.yoruk@vispera.co, mcetin@sabanciuniv.edu Özetçe —Son zamanlarda, görüntüden perakende ürün ta- nıma bilgisayarla görme alanında ilginç bir ara¸ stırma konusu haline gelmi¸ stir. Ürün sınıflarının ço˘ gu görsel olarak ¸ sekil, renk, doku ve boyut açısından birbirine benzedi˘ gi için ma˘ gaza rafla- rında bulunan ürünlerin sınıflandırılması zor ve karma¸ sık bir sınıflandırma problemidir. Market raflarında, aynı veya benzer ürünlerin yan yana bulunma olasılı˘ gı daha yüksektir ve ürünler rastgele olmayan belli bir düzene göre dizilirler. Raflardaki ürün dizilimleri hem marka ve hem de ürün boyutu açısından devamlılı˘ ga sahiptir. Bu ba˘ glam bilgisi kullanılarak, ürünlerin birlikte bulunması ve ürünler arasındaki kom¸ suluk ili¸ skileri istatistiksel olarak modellenebilir. Bu çalı¸ smada, kolay ayırt edilemeyecek kadar birbirine benzeyen ürün sınıfı tanıma sorunu için ürün dizilimlerinin farkında olan hibrit bir sınıflandırma sistemi sunulmaktadır. Önerilen hibrit yöntem, ürün diziliminden ba˘ gımsız görüntü sınıflandırıcının do˘ grulu˘ gunu, onu raftaki ürün dizilimlerini istatistiksel olarak modelleyen saklı Markov modeli ile birle¸ stirerek arttırır. Bu çalı¸ smanın temel amacı raflardaki ba˘ glamsal ili¸ skileri kullanarak perakendece ürün sınıflandırıcının do˘ grulu˘ gunu arttırmaktır. Anahtar Kelimeler—Ba˘ glam Bilgisi Kullanan Sınıflandırma, Olasılıksal Çizgisel Modelleme, Saklı Markov Modeli. Abstract—Recently, retail product recognition has become an interesting computer vision research topic. The classification of products on shelves is a very challenging classification problem because many product classes are visually similar in terms of shape, color, texture, and metric size. In shelves, same or similar products are more likely to appear adjacent to each other and displayed in certain arrangements rather than at random. The ar- rangement of the products on the shelves has a spatial continuity both in brand and metric size. By using this context information, the co-occurrence of the products and the adjacency relations between the products can be statistically modeled. In this work, we present a context-aware hybrid classification system for the problem of fine-grained product class recognition. The proposed hybrid approach improves the accuracy of the context-free image classifiers, by combining them with a probabilistic graphical model based on Hidden Markov Models. The fundamental goal of this paper is to use contextual relationships in retail shelves to improve accuracy of the product classifier. Keywords—Context-aware Classification, Probabilistic Graphi- cal Model, Hidden Markov Model. I. G ˙ IR ˙ I¸ S Bilgisayarla görme yöntemleri ile tasarlanan perakende ürün tanıma uygulamalarına olan ilgi gün geçtikçe artmaktadır. Perakende ürün tanıma sistemi mü¸ steriler tarafından önceden hazırlanan listeye göre yardımcı alı¸ sveri¸ s mekanizmasında kullanılabilece˘ gi gibi aynı zamanda üreticiler için de önem ta¸ sımaktadır. Üreticiler, market raflarındaki ürün düzenlemele- rinin takibi, envanterin gerçek zamanlı yönetimi, stok fazlası ve biten ürünlerin tespiti gibi birçok konuda otomatik perakende ürün tanıma sistemlerine ihtiyaç duyarlar. Birbirine çok benzeyen nesnelerin sınıflandırılması bilgisa- yarlı görme alanındaki zorlayıcı problemlerden biridir [1], [2]. Marketlerde, çok sayıda ¸ sekil, renk, doku ve boyut açısından benzer görünüme sahip ürün sınıfları vardır. Ayrıca, ürün görüntülerinin ideal stüdyo ortamında de˘ gil de akıllı telefon- larla market ortamında toplanması farklı görü¸ s açılarından görüntü toplama, bulanıklık, çe¸ sitli engellerle ürünün kapan- ması, beklenmeyen arka plan parçaları ve farklı aydınlatma ko¸ sulları gibi pek çok sorunları da beraberinde getirmektedir. Toplanan görüntülerdeki bu gibi karma¸ sıklıklar ürün tanıma problemini daha da zor hale getirmektedir. Bu nedenle, sadece ürün görüntüsünden elde edilen bilgiye dayalı tasarlanan ürün sınıflandırma sistemleri bu problem için yeterli olamayabilir. Perakende sektöründe, raflardaki ürünler rastgele de˘ gil belli bir düzene göre sıralanır. Market ve satı¸ s potansiyelini en üst düzeye çıkarmak için ürün dizilimlerini içeren planog- ram olarak adlandırılan bir diyagram kullanılır. Planogram, ürünlerin raflarda nasıl ve nerede bulunaca˘ gını gösterir. Genel olarak, planogramlarda, aynı veya benzer ürünlerin birbirine kom¸ su olma olasılı˘ gı daha yüksek oldu˘ gu görülmektedir. Ürün yerle¸ stirmelerde hem marka hem de ürün boyutu açısından belli bir düzen ve devamlılık vardır. Bu ba˘ glam bilgisi bize belirli ürünlerin birlikte bulunma ihtimali ve ürün dizilimle- rinin olasılıksal modelinin olu¸ sturulması hakkında bilgi verir. Özellikle veri zorlu oldu˘ gunda, bu olasılıksal model perakende ürün sınıflandırma sistemlerinin performansını artırabilir. Son zamanlarda, perakende raflarda bulunan ürünlerin ta- nınması bilgisayarlı görme alanında popüler bir ara¸ stırma ko-