SAKARYA UNIVERSITY JOURNAL OF COMPUTER AND INFORMATION SCIENCES VOL. 3, NO. 3, DECEMBER 2020 DOI: 10.35377/saucis.03.03.730505 Adding Virtual Objects to Realtime Face Images; A Case Study in Augmented Reality Çağla Ediz 1 1 Sakarya University, Department of Management Information Systems, Turkey; cediz@sakarya.edu.tr; +90 505 493 79 92 Received 1 May 2020; Revised 7 August 2020; Accepted 7 October 2020; Published online 30 December 2020 Abstract Augmented reality applications related with faces such as make-up, hair design, wearing glasses are mostly prepared for entertainment purposes. Facilitating the preparation of augmented reality applications and more accurate analysis of real-world data in applications will enable these applications to be used more widely in different sectors such as R&D, education and marketing. In generally, the steps in image-based augmented reality applications can be listed as follows; detection of the targeted object, finding two reference points for each targeted object in 2D images, determining the boundaries of virtual object in its image and inserting the virtual object in real time. In this study, the problems that may be encountered in preparations of these augmented reality applications expected to be used more in the future are examined through a case study. Firstly, haar cascade classifiers, used to find different face areas, are compared and as a result of the comparison, it is decided to use eye haar cascade. Afterwards, rule-based approaches have been used to eliminate the wrong ones among the found eyes and to match the eyes of the same face. Then the position, size and angle of the virtual object to be added are calculated and it is added to the face using affine transformations. The problems encountered in augmented reality and algorithms used for problem solving are explained through the virtual hat application, but these simply prepared algorithms, can be used for different objects such as hair and glasses by changing the target points. Keywords: augmented reality, image processing, affine transformation, opencv, virtual object, haar cascade. Gerçek Zamanlı Yüz Görüntülerine Sanal Nesneler Eklenmesi; Artırılmış Gerçeklik Üzerine Bir Örnek Çalışma Öz Makyaj, saç tasarımı, gözlük takma gibi yüzlerle ilgili artırılmış gerçeklik uygulamaları çoğunlukla eğlence amaçlı hazırlanmaktadır. Artırılmış gerçeklik uygulamalarının hazırlanmasının kolaylaşması ve uygulamalardaki gerçek dünyaya ait verilerin daha doğru analiz edilebilmesi, bu uygulamaların Ar-Ge, eğitim ve pazarlama gibi farklı sektörlerde daha yaygın olarak kullanılmasını sağlayacaktır. Genel olarak görüntü tabanlı artırılmış gerçeklik uygulamalarındaki adımlar; görüntülerde bulunması hedeflenen nesnelerin tespiti- edilmesi, 2D görüntülerde hedeflenen her nesne için iki referans noktasının bulunması, eklenmesi istenen nesneye ait görüntüdeki sanal nesnenin sınırlarının belirlenmesi ve sanal nesnenin gerçek zamanlı olarak yerleştirilmesi şeklinde sıralanabilir. Bu makalede, gelecekte daha fazla kullanılması beklenen bu artırılmış gerçeklik uygulamalarının hazırlanmasında karşılaşılabilecek problemler bir örnek olay üzerinden incelenmiştir. İlk olarak, farklı yüz alanlarını bulmak için kullanılan haar cascade sınıflandırıcıları karşılaştırılmış ve karşılaştırma sonucunda göz bölgesi haar cascade sınıflandırıcısı kullanılmasına karar verilmiştir. Bulunan gözler arasından yanlış olanların elenmesi ve aynı yüze ait gözlerin eşleştirilmesi için kural tabanlı yaklaşımlardan faydalanılmıştır. Daha sonra eklenecek sanal nesnenin pozisyonu, boyutu ve açısı hesaplanmakta ve afin dönüşüm yöntemleri kullanılarak yüzde istenen bölge görüntüsüne eklenmektedir. Arttırılmış gerçeklikte karşılaşılan problemler ve problem çözümü için kullanılan algoritmalar sanal şapka uygulaması üzerinden anlatılmıştır, ancak yalın olarak hazırlanan bu algoritmalar hedef noktalardeğiştirilerek saç, gözlük gibi farklı objeler için de kullanılabilir. Anahtar Kelimeler: artırılmış gerçeklik, görüntü işleme, afin dönüşüm, opencv, sanal nesne, haar cascade