OH. Kelana, Detecting A Botnet by Reverse Engineering Detecting A Botnet By Reverse Engineering Oesman Hendra Kelana dan Khabib Mustofa Abstract— Botnet malware is a malicious program. Botnet that infects computers, called bots, will be controlled by a botmaster to do various things such as: spamming, phishing, keylogging Distributed Denial of Service (DDoS) and other activities that are generally profitable to the owner of the bot (botmaster) or those who use botnet services. The problem is that many computers have been controlled by botnets without the knowledge of the computer owner. There are many ways to examine botnets, for example by studying the traffic from the botnet network, studying how botnets communicate to each, studying how each robot receives orders to do something, and so forth. Of the many methods, the most frequently and commonly used is the reverse engineering, where researchers study how a botnet works by botnet debugging. In this study the author tries to understand or research botnets by taking a type of botnet, namely Agobot, using reverse engineering. One of the result of the research is that malware program files in general and in particular botnet has a technique to obscure the way that research using reverse engineering. Another result also shows that the botnet Agobot runs on computers by using the Windows service, and by changing the Windows registry so that every time the computer starts, Agobot always actively works in the computer memory. Keywords— Malware, Bot, Botnet, Botmaster, Agobot, Spam, Distributed Denial of Services, Identity Theft, Computer Security, Reverse Engineering, Debug, Windows Service, the Registry. I. PENGANTAR otnet adalah sekumpulan komputer yang terhubung ke Internet, yang dikuasai (compromised) dan dikendalikan oleh para penyerang (hacker/cracker) untuk tujuan yang tidak baik dan melanggar hukum (illegal). Kata ini berasal dari kata robot atau disingkat bot, yaitu suatu program komputer yang bisa berjalan secara otomatis [6]. Kadang bot disebut juga dengan istilah zombie [1]. O. Hendra Kelana, Computer Science Study Program, Gadjah Mada University, Yogyakarta, Indonesia 55281. K. Mustofa, Computer Science Study Program, Gadjah Mada University, Yogyakarta, Indonesia 55281. Program komputer bot merupakan program yang ada di Internet yang bersifat jahat (malicious ware, disingkat malware). Bot dikatakan jahat karena program ini menggabungkan unsur-unsur yang terdapat dalam program virus, worm, spyware dan program-program malware lainnya [6]. Dengan kemampuan yang dimilikinya tersebut, bot dapat melakukan banyak hal yang jahat, melebihi yang dapat dilakukan oleh malware lain yang disebut di atas. Orang yang mengendalikan suatu botnet dikenal dengan sebutan botmaster atau bot- herder. Motivasi botmaster menjalankan botnet adalah semata-mata untuk keuntungan finansial. Botnet sangat menguntungkan bagi pemilik atau pengendalinya, karena botnet dapat digunakan untuk mendapatkan uang lewat kegiatan spam, penyebaran sypware yang bekerja untuk mencuri data identitas penting (user ID dan password), dan bahkan untuk mendapatkan uang dari hasil memeras perusahan-perusahaan yang menggunakan teknologi informasi, dengan cara mengancam akan melakukan Distributed Denial of Service (DDoS) [3]. Sebelum adanya botnet, motivasi utama dari penyerangan-penyerangan dalam Internet adalah untuk popularitas dan ketenaran semata. Berdasarkan rancangannya, serangan-serangan ini bersifat noisy (menimbulkan kehebohan) dan mudah dideteksi. Contoh-contoh malware yang terkenal: worm email Mellisa, ILOVEYOU, Code Red, Slammer, dan Sasser. Meskipun dampak dari virus-virus dan worm-worm ini cukup hebat, kerusakan yang ditimbulkan tidak berlangsung lama dan biaya yang dikeluarkan untuk mengatasi kerusakan akibat virus/worm ini adalah terutama dari kerugian karena tidak beroperasinya komputer (lost opportunity cost) dan biaya tenaga kerja untuk membersihkan komputer dari malware. Setelah virus dihapus dari komputer dan celah kerentanan (vulnerability) ditutup, para penyerang tidak dapat mengendalikan lagi komputer tersebut. Mencermati akan hal tersebut di atas, maka bot/botnet dapat dianggap sebagai suatu ancaman yang cukup serius bagi keamanan sistem komputer. Keberadaan botnet dapat B 63