Inspe¸c˜ ao de Componentes de Vag˜oes Ferrovi´ arios Baseado em Vis˜ ao Computacional e Aprendizagem Profunda Leonardo Borges de Castro * Fl´ avio Garcia Pereira * * ProgramadeP´os-Gradua¸c˜ ao em Engenharia de Controle e Automa¸ c˜ao, Instituto Federal de Ciˆ encia e Tecnologia do Esp´ ırito Santo, ES, (e-mail: castro.b.leonardo@gmail.com, flavio.garcia@ifes.edu.br). Abstract: : The health of railroads assets is essential to ensure the safety and efficiency of these logistics operations. Nowadays, inspection activities in railroads operations are made from maintenance teams by on-site observations, inside workshops or at main line operations, exposing the team to operational risks. In some cases, it is not possible to implement the inspection process due to the big amount of assets that need to be inspected in short time available, compromising the quality of the inspections. In the current context of Industry 4.0, with the advancements in hardware to image acquisition and video analytics technologies, this work will propose to study a method to detect multiples objects in wagons, which will open space for future image processing applications using machine learning models to identify defects in wagon components. The experiments were developed using the deep learning methods through convolutional neural networks based on regions, called R-CNN, and application of transfer learning techniques to accelerate the model training process. The results generated by this experiment to detect 8 objects in a side view of the wagons, showed 59.37 % in the mean average precision indicator (mAP). Resumo: Acompanhar a sa´ ude dos ativos das ferrovias de carga s˜ao essenciais para a garantia da seguran¸ca e eficiˆ encia destas opera¸ c˜ oes log´ ısticas. Atualmente atividades de inspe¸ c˜ oes nas opera¸c˜ oes ferrovi´ arias s˜ao realizadas por pessoas de forma visual e presencial, sendo que muitas destasinspe¸c˜ oes ficam invi´ aveis por exigir emprego de grande quantidade de recurso ou expor as pessoas a riscos, comprometendo assim a qualidade dos processos de manuten¸ c˜ ao e opera¸c˜ ao. Com o avan¸ co de tecnologias de aquisi¸ c˜ ao de imagens e m´ etodos de vis˜ ao computacional no contexto atual da Ind´ ustria 4.0, este trabalho ir´ a propor o estudo de um m´ etodo de localiza¸ c˜ ao e classifica¸c˜ ao de componentes de vag˜ oes ferrovi´ arios, o que ir´ a abrir espa¸co para futuras aplica¸c˜ oes de processamento de imagens utilizando modelos de aprendizagem de m´aquina para identifica¸ c˜ ao de defeitos em componentes de vag˜ oes. Assim, foi desenvolvida uma aplica¸c˜ ao utilizando o m´ etodo de aprendizagem profunda atrav´ es de redes neurais convolucionais baseadas em regi˜ oes, chamadas de R-CNN, e tamb´ em a aplica¸ c˜ ao de t´ ecnicas de transferˆ encia de aprendizagem para acelerar o processo de treinamento do modelo. Os resultados gerados por este experimento apresentou 59,37% no indicador de m´ edia da precis˜ao m´ edia (mAP) de detec¸ c˜ ao de 8 objetos em uma vista lateral dos vag˜ oes. Keywords: Railroad, Wagons, Computer Vision, Deep Learning, Region-based Convolutional Neural Networks. Palavras-chaves: Transporte Ferrovi´ ario, Vag˜ oes, Vis˜ao Computacional, Aprendizagem Profunda, Redes Neurais Convolucionais baseadas em Regi˜ ao. 1. INTRODU ¸ C ˜ AO O min´ erio de ferro faz parte do dia a dia da humanidade e a sua minera¸c˜ ao se tornou uma atividade essencial para a vida moderna. Ele est´ a presente em boa parte dos bens de consumo, na constru¸c˜ ao civil, ind´ ustria automotiva e avia¸c˜ ao. Mas para chegar at´ e os consumidores finais e transformar o min´ erio de ferro, ´ e necess´ario um longo percurso, passando pela sua extra¸c˜ ao, britagem, penei- ramento, transportes, estocagem e embarque nos portos quando destinado ` a exporta¸ c˜ ao, conforme ilustrado no infogr´ afico apresentado por VALE (2020). Segundo dados de BRASIL (2020), na sec¸c˜ ao de grupos de produtos, as exporta¸ c˜ oes de min´ erio de ferro no Brasil entre os anos de 2017 a 2019 representaram, em m´ edia, 54,13% das exporta¸c˜ oes brasileiras em peso l´ ıquido, ou 9,11% em valor, demonstrando a importˆ ancia deste pro- duto na balan¸ ca comercial brasileira. Um dos grades dife- renciais das mineradoras de ferro est´ a na sua infraestrutura log´ ıstica para transporte deste produto, utilizando desde