Evan Tanuwijaya, Timotius, David Christian Kartamihardja, Timotius Leonardo Lianoto Jurnal Ilmiah Betrik, Volume.13, No.03, Desember 2021 224 224 DETEKSI EKSPRESI WAJAH MANUSIA MENGGUNAKAN CONVOLUTION NEURAL NETWORK PADA CITRA PEMBELAJARAN DARING Evan Tanuwijaya 1* , Timotius 2 , David Christian Kartamihardja 3 , Timotius Leonardo Lianoto 4 1,2,3,4 Program Studi Informatika, Universitas Ciputra CitraLand CBD Boulevard, Made, Kec. Sambikerep, Kota Surabaya, Jawa Timur Sur-el : evan.tanuwijaya@ciputra.ac.id 1 , tcahyadi@student.ciputra.ac.id 2 , dchristian05@student.ciputra.ac.id 3 , tleonardo@student.ciputra.ac.id 4 Abstrak: Di masa pandemi, banyak kegiatan yang semula dilakukan dengan tatap muka dijadikan tatap maya dikarenakan untuk mengurangi penyebaran virus. Dalam melakukan kegiatan tatap maya, aplikasi video conference banyak digunakan untuk pertemuan dan melakukan kegiatan seperti pembelajaran. Untuk mendukung pembelajaran, terkadang guru ataupun dosen susah dalam mengamati apakah peserta itu paham atau tidak. Pada penelitian ini, digunakan dataset dari KDEF yang memiliki tujuh buah kelas. Untuk mengetahui ekspresi dari peserta, dibuatlah sebuah model menggunakan Convolution Neural Network yang dapat mendeteksi ekspresi wajah manusia. Convolution neural network yang dibuat ini memiliki kontribusi di mana model yang digunakan adalah YOLO-face yang disambung secara pipeline dengan CNN untuk klasifikasi yang memiliki arsitektur Alexnet dan modifikasi dari Alexnet tersebut. Cara kerja dari model ini adalah gambar di proses ke dalam YOLO-face kemudian hasil dari YOLO-face dipakai oleh CNN klasifikasi untuk dapat mengklasifikasikan ekspresi wajah dari peserta. Kemudian foto akan diklasifikasikan menggunakan modifikasi CNN dari arsitektur Alexnet. Didapatkan akurasi sebesar 0,94 saat training, precision sebesar 0,92 saat training, dan recall sebesar 0,96 saat trainng. Pada penelitian ini, wajah berhasil dideteksi dan diklasifikasikan ekspresi yang ada pada wajah. Untuk perkembangan selanjutnya perlu adanya optimasi dan peningkatan akurasi dari model agar mampu mengklasifikasikan ekspresi wajah dengan baik. Kunci Utama: Ekspresi Wajah, Pembelajaran Daring, Convolution Neural Network, You Only Look Once, Alexnet Abstract: During the pandemic, many activities that were originally carried out face-to-face were turned into virtual face-to-face due to reducing the spread of the virus. In conducting face-to-face activities, video conferencing applications are widely used for meetings and conducting activities such as learning. To support learning, sometimes teachers or lecturers find it difficult to observe whether the participants understand or not. In this study, used a dataset from KDEF which has seven classes. To find out the expressions of the participants, a model was made using the Convolution Neural Network that can detect human facial expressions. This convolution neural network has a contribution where the model used is a YOLO-face which is pipelined with CNN for classifications that have Alexnet architecture and modifications of Alexnet. The workings of this model is that the image is processed into a YOLO-face then the results from the YOLO-face are used by CNN classification to be able to classify the facial expressions of the participants. Then