TNU Journal of Science and Technology 227(08): 389 - 394 http://jst.tnu.edu.vn 389 Email: jst@tnu.edu.vn USING MULTI-LAYER LSTMS FOR QUESTION RETRIEVAL Luong Thi Minh Hue * TNU - University of Information and Communication Technology ARTICLE INFO ABSTRACT Received: 01/4/2022 Question retrieval is one of the important problems in the Community Question Answering system. The biggest challenge of this problem is the lexical gap between the words and phrases of the first and second question. Although there are many studies applied to this problem, the exploitation of multi-layer LSTM model has not been tested on this problem. In this paper, we exploit a multi-layer LSTM model applied to the problem of finding similar questions for the purpose of exploiting hidden semantics of sentences. The multi-layer LSTM model is capable of synthesizing semantics by multiple layers and exploits hidden semantics through many layers. Our model learned the semantics of sentences and improved the performance of finding question. The results show that the model with 3 layers gives the best results compared to the original LSTM model and other multi-layer models on the 2017 semeval dataset for the problem of finding similar questions. Revised: 26/5/2022 Published: 27/5/2022 KEYWORDS LSTM NLP Deep learning CQA Multi-layerLSTM SỬ DỤNG MÔ HÌNH LSTM NHIỀU TẦNG VÀO BÀI TOÁN TÌM KIẾM CÂU HỎI Lương Thị Minh Huế Trường ại học Công nghệ Thông tin và Truyền thông – H Thái Nguyên THÔNG TIN BÀI BÁO TÓM TẮT Ngày nhận bài: 01/4/2022 Tìm câu hỏi tương đồng là một trong những bài toán quan trọng trong hệ thống hỏi đáp. Thách thức lớn nhất của bài toán này là thách thức về khoảng cách từ vựng giữa các từ trong câu hỏi thứ nhất và câu hỏi thứ hai. Mặc dù có nhiều nghiên cứu đề xuất các mô hình, tuy nhiên việc khai thác mô hình LSTM nhiều lớp chưa được thử nghiệm trên bài toán này. Trong bài báo này, chúng tôi khai thác mô hình LSTM nhiều tầng áp dụng vào bài toán tìm câu hỏi tương đồng với mục đích khai thác ngữ ngha ẩn của câu. Mô hình LSTM nhiều tầng có khả nng tổng hợp ngữ ngha qua nhiều lớp. Nó khai thác ngữ ngha ẩn qua nhiều tầng, từ đó giúp cho mô hình hiểu được ngữ ngha của câu. Kết quả chỉ ra rằng mô hình 3 tầng cho kết quả tốt nhất so với mô hình gốc LSTM và các mô hình nhiều tầng khác trên tập dữ liệu semeval 2017 cho bài toán tìm câu hỏi tương đồng. Ngày hoàn thiện: 26/5/2022 Ngày đng: 27/5/2022 TỪ KHÓA LSTM Học sâu Xử lý ngôn ngữ tự nhiên Hỏi đáp cộng đồng Mô hình đa tầng DOI: https://doi.org/10.34238/tnu-jst.5799 Email: lmhue@ictu.edu.vn