Detection of Semantic Changes in Russian Nouns with Distributional Models and Grammatical Features Anastasiia Ryzhova Federal Research Center ”Computer Science and Control” of the Russian Academy of Sciences, Lomonosov Moscow State University Moscow, Russia ryzhova@tesyan.ru Daria Ryzhova HSE University Moscow, Russia dryzhova@hse.ru Ilya Sochenkov HSE University Moscow, Russia isochenkov@hse.ru Abstract The paper presents the models detecting the degree of semantic change in Russian nouns developed by the team aryzhova within the RuShiftEval competition of the Dialogue 2021 conference. We base our algorithms mostly on unsupervised distributional models and additionally test a model that uses vectors representing morphological preferences of the words in question. The best results are obtained by the model built on the ELMo architecture with a small window, while the quality of performance of the “grammatical” model is comparable to that of the models based on much more sophisticated algorithms. Keywords: semantic change, COMPARE metric, distributional models, word2vec, ELMo, RuBERT, gram matical profile DOI: 10.28995/20757182202120597-606 Оценка степени семантических изменений у русских существительных с помощью дистрибутивных моделей и грамматических профилей Дарья Александровна Илья Владимирович Анастасия Александровна Рыжова Федеральный исследовательский центр «Информатика и управле ние» Российской академии наук, МГУ имени М.В. Ломоносова Москва, Россия ryzhova@tesyan.ru Рыжова Национальный исследовательский университет «Высшая школа экономики» Москва, Россия dryzhova@hse.ru Соченков Национальный исследовательский университет «Высшая школа экономики» Москва, Россия isochenkov@hse.ru Аннотация В статье представлены методы оценки степени семантических изменений русскоязычных существитель ных, разработанные в рамках соревнования RuShiftEval (Диалог21) командой aryzhova. В качестве осно вы используются дистрибутивные модели в различных архитектурах (word2vec, ELMo, RuBERT), а также грамматические профили – вектора частотностей морфологических форм, в которых встречаются в корпу сах разных временных периодов анализируемые существительные. Лучшие результаты показывает модель на базе архитектуры ELMo, учитывающей также ближайший контекст (окно = 1), а модель на основе од них только грамматических профилей дает результаты, сопоставимые с показателями значительно более сложных алгоритмов. Ключевые слова: семантический сдвиг, метрика COMPARE, дистрибутивные модели, word2vec, ELMo, RuBERT, грамматический профиль 1