Николай Иванович Мулатов
111250, Москва, Красноказарменная ул., д. 14
Nikolai I. Mulatov
14, Krasnokazarmennaya ul., Moscow, 111250
Андрей Сергеевич Мохов
111250, Москва, Красноказарменная ул., д. 14
Andrey S. Mokhov
14, Krasnokazarmennaya ul., Moscow, 111250
Владимир Олегович Толчеев
111250, Москва, Красноказарменная ул., д. 14
Vladimir O. Tolcheev
14, Krasnokazarmennaya ul., Moscow, 111250
Решена задача по составлению русскоязычной текстовой коллекции, состоящей из библиографических описаний научных статей, для обучения классификаторов. Рассмотрены различные подходы к созданию таких коллекций, оценена целесообразность использования экспертов (асессоров) для присвоения меток классов. Проведен анализ известных наборов документов, приведены требования к формируемому текстовому массиву, обоснован выбор предметной области. Отмечено, что по ряду тематик (например, «Интеллектуальный анализ данных», Data and Text Mining) в русскоязычных электронных библиотеках находится мало статей, что затрудняет формирование сбалансированных наборов документов. Для решения этой проблемы предложено составлять коллекцию с помощью автоматизированного перевода публикаций из известных англоязычных электронных библиотек (ACM digital library, IEEE Xplore digital library, CiteSeerX) с последующим экспертным контролем качества перевода. Исследована сформированная коллекция библиографических научных документов с помощью методов кластеризации (латентный семантический анализ) и визуализации (метод главных компонент). Составлены обучающие и тестовые выборки, применены «стандартные» классификаторы (метод K-ближайших соседей, логистическая регрессия, случайный лес), рассчитаны меры качества (аккуратность, точность и полнота). Экспериментальные результаты показали, что при проведении жесткой классификации все рассчитанные меры для исследуемых классификаторов находятся в диапазоне [0,79; 0,87], мягкой классификации — [0,91; 0,95]. При этом эксперименты выявили практически идентичные результаты при использовании для обучения-тестирования русско- и англоязычных библиографических описаний (различия не превосходят двух процентов). Предложенный способ формирования текстовой коллекции сокращает трудоемкость процесса проставления меток по сравнению с экспертным подходом, решает проблему недостатка русскоязычных документов в области «Интеллектуальный анализ данных», позволяет сформировать достаточно большие сбалансированные наборы библиографических документов для обучения-тестирования классификаторов.
We report on solving the problem of forming a Russian-language text collection (dataset) consisting of bibliographic descriptions of scientific articles for training classifiers. Various approaches to creating such collections are considered. The expediency of using expert estimates for assigning class labels is assessed. The known datasets are analyzed, the requirements for the generated text array are formulated, and the choice of the subject area (Computer Science) is justified. We propose a technology of forming collection in conditions of the shortage of Russian-language articles. To do this we use automated translation of publications (bibliographic descriptions) from available English-language electronic libraries (ACM digital library, IEEE Xplore digital library, CiteSeerX) with additional expert quality control of the translation. The bibliographic collection thus formed was studied using methods of clustering (Latent Semantic Analysis) and visualization (Principal Component Analysis). Training and test samples were compiled and «standard» classifiers (K-Nearest Neighbor Method, Logistic Regression, Random Forest) were used. Then we calculated standard quality measures (accuracy, precision, recall). The rigid and soft classification were carried out. For rigid and soft classification all calculated measures (for the studied classifiers) ranged within [0.79; 0.87], and [0.91; 0.95], respectively. The experiments showed almost identical results for Russian and English bibliographic descriptions (the difference did not exceed 2%). The proposed method of forming text collections reduces the complexity of the labeling process compared to the expert approach, solves the problem of the lack of Russian-language documents, allows formation of sufficiently large balanced bibliographic datasets for training and testing classifiers.
The authors declare that there are no conflicts of interest present.