Üç Tümyönlü Kamera Kullanarak Stereoskopik Video Karelerinin Gerçek Zamanlı Yapımı Real-Time Construction of Stereoscopic Video Frames using Three Omnidirectional Cameras Mehmet ÇALI ve Şevket GÜMÜŞTEKİN Elektrik – Elektronik Mühendisliği İzmir Yüksek Teknoloji Enstitüsü 35430 Urla, İzmir, Türkiye (mehmetcali,sevketgumustekin)@iyte.edu.tr Özetçe—Literatürde monoskopik ve stereoskopik panorama eldesine yönelik pek çok çalışma mevcuttur. Hareket paralaksının doğru ve bozulmalara yer vermeden edinilmesi oldukça zor bir problem olduğundan son dönemde özellikle 360- derece stereoskopik görüntü ve video ile ilgili çalışmalar yaygınlaşmıştır. Fakat bu alandaki çalışmalar, çok kameralı yüksek işlem gücü ve maliyet gerektiren sistemler etrafında yoğunlaşmıştır. İşlem gücü ve maliyet açısından verimli çözüm sunan çalışmamızda, üç adet tüketici seviyesi 360-derece kamera çıktısı görüş açısına göre örneklenip stereoskopik kareler gerçek zamanlı olarak işlenmiştir. Ayrıca görüş alanı sınırlarındaki bozulmaları, seçilen yardımcı kamera ile görüntü harmanlaması kullanarak gideren bir yöntem geliştirilmiştir. Anahtar Kelimeler — stereoskopik video; sanal gerçeklik; 360- derece video; hareket paralaksı. Abstract—There are many studies about acquisition of monoscopic and stereoscopic panorama in the literature. Since obtaining motion parallax accurately without having distortions is a very challenging problem, especially 360-degree stereoscopic image and video capturing has become a prevalent research topic. However, studies in this topic have focused on costly systems with many cameras and high processing power demand. In this study, which presents an efficient solution in terms of processing power and cost, stereoscopic frames are processed in real time using three consumer grade 360-degree cameras whose outputs are sampled according to view orientation. Besides, a method is developed to eliminate the distortions around the borders of the field of view with the help of blending with selected auxiliary camera frames. Keywords — stereoscopic video; virtual reality; 360-degree video; motion parallax. I. GİRİŞ Tümyönlü kamera ve sanal gerçeklik gözlükleri gibi cihazlardaki gelişmeler ve bunların tüketici kullanımında yaygınlaşmaları daha kaliteli ve daha verimli 360 derece video içeriği oluşturma konusunu ön plana çıkarmaktadır. 360 derece videoların deneyim kalitesini arttırmak ve daha uzun süre izlenebilirliğini sağlamak için videoların stereoskopik yani sağ ve sol göze gözler arasındaki mesafeyi dikkate alarak farklı görüntüler sunabilecek özellikte olması önem arz etmektedir. Çünkü monoskopik videoların sanal gerçeklik gözlükleri ile izlenmesi hem üç boyut algısı oluşturmaz hem de uzun süreli kullanımda sanal gerçeklik rahatsızlığı adı verilen bulantı benzeri semptomlara neden olabilir. Bu bağlamda, 360 derece stereoskopik videoların elde edilmesine yönelik çalışmalar yaygınlaşmaktadır. Literatürde stereoskopik panoramik video ve görüntü elde etmek üzerine pek çok makale bulunsa da [1-8] kullanılan metotların çoğu stereo eşleme ve nokta bulutundan görüntü oluşturma gibi yüksek işleme gücü gerektiren yöntemler içerdiği için gerçek zamanlı video oluşturmak için uygun değildir. Video eldesinde de derinlik tahmini veya stereo eşlemeye bağlı görüntü sentezleme kullanan çalışmalar mevcuttur [1] [2] [5]. Fakat panaromik görüntü eldesinde olduğu gibi bu yöntemler yüksek işleme gücü ve çalışma zamanına ihtiyaç duymaktadır. Örneğin [1]’de 16 adet geniş açılı kamera küre yüzeyine homojen olarak konumlandırılarak aynı anda aynı yöne en az 5 kameranın görüş açısının bulunması sağlanmıştır. Stereo eşleme ile elde edilen 16 nokta bulutundan oluşturulan stereoskopik video kareleri 1 dakika 30 saniye gibi gerçek zamandan oldukça uzak bir sürede işlenebilmektedir. Stereoskopik panorama eldesinde en yaygın yöntemlerden birisi tümyönlü stereo [9] (ODS) projeksiyon tipinin kullanılmasıdır. Bu tip yöntemlerde görüntüleme çemberi adı verilen iki göz arası ortalama mesafe (65 mm) çapında bir çember etrafında görüntüleme yapılmaktadır. Örnek olarak bir kameranın teğetsel doğrultuda döndürülmesi veya belirli aralıklarla çok sayıda kameranın yerleştirilip teğet görüş açılarının birleştirilmesi şeklinde stereoskopik görüntüler oluşturulmaktadır [10]. Bu yaklaşımlardan biri olan [3]’te geniş açılı lense sahip iki kameranın bir platform etrafında döndürülmesiyle saniyede 16 kare elde eden bir sistem tasarlanmıştır. Fakat kullandıkları sistem düşük pozlama süresi nedeniyle video modunda özellikle iç mekanda düşük kaliteli görüntüler oluşturmaktadır. ODS kullanan farklı bir çalışmada [4], 17 kameralı bir kamera sistemi kullanılmıştır. Bir kamera üstten görünümü elde ederken diğer 16 kamera çember etrafına dizilerek ODS projeksiyon yardımı ile stereoskopik video elde edilmiştir. Fakat yöntem, birkaç saniyede bir hesaplanılan derinlik tahmini içerdiği için hareketli sahnelerde hatalı 978-1-6654-5092-8/22/$31.00 ©2022 IEEE 2022 30th Signal Processing and Communications Applications Conference (SIU) | 978-1-6654-5092-8/22/$31.00 ©2022 IEEE | DOI: 10.1109/SIU55565.2022.9864681 Authorized licensed use limited to: ULAKBIM UASL - IZMIR YUKSEK TEKNOLOJI ENSTITUSU. Downloaded on October 18,2022 at 11:12:40 UTC from IEEE Xplore. Restrictions apply.