zldmЗаводская лаборатория. Диагностика материаловIndustrial laboratory. Diagnostics of materials1028-68612588-0187ООО «Издательство «ТЕСТ-ЗЛ»10.26896/1028-6861-2022-88-7-79-87zldm-1705Research ArticleМАТЕМАТИЧЕСКИЕ МЕТОДЫ ИССЛЕДОВАНИЯMATHEMATICAL METHODS OF INVESTIGATIONСравнительный анализ бинарных классификаторов на массиве научных публикацийComparative analysis of binary classifiers on an array of scientific publicationsКозловП. А.KozlovP. A.

Павел Андреевич Козлов

Россия, 111250, Москва, Красноказарменная улица, д. 14

Pavel A. Kozlov

14, Krasnokazarmennaya ul., Moscow, 111250, Russia

МоховА. С.MokhovA. S.

Андрей Сергеевич Мохов

Россия, 111250, Москва, Красноказарменная улица, д. 14

Andrey S. Mokhov

14, Krasnokazarmennaya ul., Moscow, 111250, Russia

НазаровН. А.NazarovN. A.

Николай Алексеевич Назаров

Россия, 111250, Москва, Красноказарменная улица, д. 14

Nikolay A. Nazarov

14, Krasnokazarmennaya ul., Moscow, 111250, Russia

СафинШ. И.SafinSh. I.

Шахим Ильмирович Сафин

Россия, 111250, Москва, Красноказарменная улица, д. 14

Shahim I. Safin

14, Krasnokazarmennaya ul., Moscow, 111250, Russia

ТолчеевВ. О.TolcheevV. O.

Владимир Олегович Толчеев

Россия, 111250, Москва, Красноказарменная улица, д. 14

Vladimir O. Tolcheev

14, Krasnokazarmennaya ul., Moscow, 111250, Russia

tolcheevvo@mail.ruНациональный исследовательский университет «МЭИ»РоссияNational Research University «Moscow Power Engineering Institute»Russian Federation2022210720228877987Copyright © Козлов П.А., Мохов А.С., Назаров Н.А., Сафин Ш.И., Толчеев В.О., 20222022Козлов П.А., Мохов А.С., Назаров Н.А., Сафин Ш.И., Толчеев В.О.Kozlov P.A., Mokhov A.S., Nazarov N.A., Safin S.I., Tolcheev V.O.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.zldm.ru/jour/article/view/1705

Исследованы бинарные классификаторы на сбалансированных текстовых выборках. Выборки сформированы из научных публикаций в области Компьютерных наук (Computer Science). Первый класс содержит статьи по «Интеллектуальному анализу текстовых данных» (класс «ИАД»), второй — работы по другим тематикам Computer Science (класс «не ИАД»). Рассмотрены основные этапы предварительной обработки текстовых документов, проанализированы модели их представления. Поставлена задача бинарной классификации и приведены показатели качества, которые использованы в исследовании. Предложена методика формирования выборки из российской цифровой библиотеки Elibrary. Сформированная выборка состоит из библиографических описаний документов (название, аннотация и ключевые слова). Проведен разведочный анализ и изучена структура выборки. Построены и проанализированы «облака терминов» для двух классов, проведена визуализация документов с помощью метода стохастического вложения соседей с t-распределением (t-distributed Stochastic Neighbor Embedding). На основе обзора и анализа известных классификаторов для исследования отобраны следующие методы: K-ближайших соседей, случайный лес, градиентный бустинг, логистическая регрессия, метод опорных векторов. В исследовании также использовали профильные методы, которые основаны на построении вектора (профиля) наиболее информативных терминов, определенных по частоте совстречаемости терминов и классов. Параметры методов были настроены с помощью пятикратной перекрестной проверки. Наилучшее качество классификации на рассматриваемой выборке показали методы, использующие ансамблевый (коллективный) принцип принятия решений (случайный лес, градиентный бустинг), а также метод опорных векторов. У лучшего классификатора — градиентного бустинга — доля правильных ответов составила 0,98, полнота и точность — 0,99. Остальные (более простые) методы, использовавшиеся в исследовании, в целом также показали достаточно хорошее качество классификации; для наименее точного метода K-ближайших соседей доля правильных ответов, полнота и точность составили соответственно 0,90, 0,81 и 0,91.

Binary classifiers are studies on balanced text samples. The samplings are formed from scientific publications in the field of Computer Science (Computer Science). The first class contains articles on «Text Data Mining» (the «TDM» class), the second one contains works on other topics of Computer Science (the «non-TDM» class). All the main stages of preliminary processing of text documents are considered, models of their presentation are analyzed. The problem of binary classification is formulated and the quality indicators used in the study are given. A method of sampling from the Russian digital library (Elibrary) is proposed. The generated sampling consists of bibliographic descriptions of documents (title, abstract and keywords). An exploratory analysis was carried out and the sampling structure was studied. «Term clouds» for two classes are constructed and analyzed, documents are visualized using the method of stochastic embedding of neighbors with t-distribution (t-SNE). Based on the review and analysis of known classifiers, the following methods were selected for the study: the K-nearest neighbor method, random forest, gradient boosting, logistic regression, and the support vector method. Profile methods based on the construction of a vector (profile) of the most informative terms determined by the frequency of occurrence of terms and classes are also used in the study. The parameters of the methods were configured using a five-fold cross-validation. The best quality of classification in our sampling demonstrated the methods using the ensemble (collective) decision-making principle (random forest, gradient boosting), as well as the support vector method. The best classifier, gradient boosting, had the proportion of correct answers (accuracy) about 0.98, recall and precision about 0.99. The other (simpler) methods used in the study also generally showed rather good quality of classification (for the least accurate k-nearest neighbor method accuracy, recall and precision were 0.90, 0.81, and 0.91, respectively).

бинарная классификациякритерии качества классификациибиблиографические документымодели представления текстовформирование выборокразведочный анализbinary classificationclassification quality criteriabibliographic documentstext representation modelssample formationexploratory analysisReferencesEvangeline M., Shyamala K. Text Categorization Techniques: A Survey / International Conference on Innovative Practices in Technology and Management (ICIPTM), 2021. P. 137 – 142.Evangeline M., Shyamala K. Text Categorization Techniques: A Survey / International Conference on Innovative Practices in Technology and Management (ICIPTM), 2021. P. 137 – 142.Surya K., Nithin R., Prasanna S., Venkatesan R. A comprehensive study on machine learning concepts for text mining / International Conference on Circuit, Power and Computing Technologies (ICCPCT), 2016. P. 1 – 5.Surya K., Nithin R., Prasanna S., Venkatesan R. A comprehensive study on machine learning concepts for text mining / International Conference on Circuit, Power and Computing Technologies (ICCPCT), 2016. P. 1 – 5.Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск. — М.: Вильямс, 2014. — 528 с.Manning K., Raghavan P., Schutze H. Introduction to information retrieval. — Moscow: Vil’yams, 2014. — 528 p. [Russian translation].Флах П. Машинное обучение — Наука и искусство построения алгоритмов, которые извлекают знания из данных. — М.: ДМК-пресс, 2015. — 400 с.Flakh P. Machine Learning: The Art and Science of Algorithms that Make Sense of Data. — Moscow: DMK-press, 2015. — 400 p. [in Russian]Орлов А. И. Три основных результата математической теории классификации / Заводская лаборатория. Диагностика материалов. 2016. Т. 82. № 5. С. 63 – 70.Orlov A. I. Three main results of the mathematical theory of classification / Zavod. Lab. Diagn. Mater. 2016. Vol. 82. N 5. P. 63 – 70 [in Russian].Орлов А. И. Основные требования к математическим методам классификации / Заводская лаборатория. Диагностика материалов. 2020. Т. 86. № 11. С. 67 – 78. DOI: 10.26896/1028-6861-2020-86-11-67-78Orlov A. I. Basic requirements for mathematical methods of classification / Zavod. Lab. Diang. Mater. 2020. Vol. 86. N 11. P. 67 – 78 [in Russian].Che W., Liu Y., Wang Y., Zheng B., Liu T. Towards better UD parsing: Deep contextualized word embeddings, ensemble, and treebank concatenation / CoRR. arXiv: 1807.03121. 2018.Che W., Liu Y., Wang Y., Zheng B., Liu T. Towards better UD parsing: Deep contextualized word embeddings, ensemble, and treebank concatenation / CoRR. arXiv: 1807.03121. 2018.Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding / Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Vol. 1 (Long and Short Papers). 2019. P. 4171 – 4186.Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding / Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Vol. 1 (Long and Short Papers). 2019. P. 4171 – 4186.Жеребцова Ю. А., Чижик А. В. Сравнение моделей векторного представления текстов в задаче создания чат-бота / Вестник НГУ. Серия: Лингвистика и межкультурная коммуникация. 2020. Т. 18. № 3. С. 17 – 32. DOI: 10.25205/1818-7935-2020-18-3-16-34Zherebtsova Yu. A., Chizhik A. V. Comparison of models of vector representation of texts in the problem of creating a chat-bot / Vestnik NGU. Series: Linguistics and intercultural communication. 2020. Vol. 18. N 3. P. 17 – 32 [in Russian]. DOI: 10.25205/1818-7935-2020-18-3-16-34Kilimci Z. H., Akyokuş S. The Analysis of Text Categorization Represented With Word Embeddings Using Homogeneous Classifiers / IEEE International Symposium on Innovations in Intelligent SysTems and Applications (INISTA). 2019. P. 1 – 6. DOI: 10.1109/INISTA.2019.8778329Kilimci Z. H., Akyokuş S. The Analysis of Text Categorization Represented With Word Embeddings Using Homogeneous Classifiers / IEEE International Symposium on Innovations in Intelligent SysTems and Applications (INISTA). 2019. P. 1 – 6. DOI: 10.1109/INISTA.2019.8778329Kreutz C. K., Schenkel R. Scientific Paper Recommendation Systems: a Literature Review of recent Publications / arXiv-CS-Digital Libraries (IF). Pub Date. 2022-01-03. DOI: arxiv-2201.00682Kreutz C. K., Schenkel R. Scientific Paper Recommendation Systems: a Literature Review of recent Publications / arXiv-CS-Digital Libraries (IF). Pub Date. 2022-01-03. DOI: arxiv-2201.00682Шокин Ю. И., Федотов А. М., Жижимов О. Л. Технологии создания распределенных информационных систем поддержки научных исследований / Вычислительные технологии. 2015. Т. 20. № 5. С. 251 – 274.Shokin Yu. I., Fedotov A. M., Zhizhimov O. L. Technologies for creating distributed information systems for scientific research support / Vychisl. Tekhnol. 2015. Vol. 20. N 5. P. 251 – 274 [in Russian].Бершадская Е. Г. Анализ технологий поддержки научных исследований / XXI век: итоги прошлого и проблемы настоящего. Серия: Технические науки. Информационные технологии. 2015. Вып. 3. Т. 1. С. 11 – 17.Bershadskaya E. G. Analysis of research support technologies / XXI century: results of the past and problems of the present. Series: Engineering sciences. Information Technology. 2015. Issue 3. Vol. 1. P. 11 – 17 [in Russian].Ширяев А. А. Управленческие информационные системы в научной сфере / Научно-техническая информация. Сер. 1. Организация и методика информационной работы. 2015. № 10. С. 31 – 36.Shiryaev A. A. Management information systems in the scientific sphere / Scientific and technical information. Series 1. Organization and methodology of information work. 2015. N 10. P. 31 – 36 [in Russian].Козлов П. А., Мохов А. С., Толчеев В. О. Кластеризация научных публикаций кафедры (на основе данных из библиотеки eLibrary.ru) / VIII Международная научно-практическая конференция «Нечеткие системы, мягкие вычисления и интеллектуальные технологии» НСМВИТ-2020 / Труды конференции. Т. 2. — Смоленск: Универсум, 2020. С. 189 – 199.Kozlov P. A., Mokhov A. S., Tolcheev V. O. Clustering scientific publications of the department (based on data from the library eLibrary.ru) / VIII International Scientific and Practical Conference «Fuzzy Systems, Soft Computing and Intelligent Technologies» NSMVIT-2020 / Proceedings of the conference. Vol. 2. — Smolensk: Universum, 2020. P. 189 – 199 [in Russian].Павлов Н. А., Андрейченко А. Е., Владзимирский А. В., Ревазян А. А., Кирпичев Ю. С., Морозов С. П. Эталонные медицинские датасеты (MosMedData) для независимой внешней оценки алгоритмов на основе искусственного интеллекта в диагностике / Digital Diagnostics. 2021. Т. 2. № 1. С. 49 – 65. DOI: 10.17816/DD60635Pavlov N. A., Andreichenko A. E., Vladzimirsky A. V., Revazyan A. A., Kirpichev Y. S., Morozov S. P. Reference medical datasets (MosMedData) for independent external evaluation of algorithms based on artificial intelligence in diagnostics / Digital Diagnostics. 2021. Vol. 2. N 1. P. 49 – 65 [in Russian]. DOI: 10.17816/DD60635Simon C., Davidsen K., Hansen C. A text mining tool for performing classification of biomedical literature / Bioinformatics 19 — BioReade, 2019. P. 57. DOI: 10.1186/s12859-19-2607-xSimon C., Davidsen K., Hansen C. A text mining tool for performing classification of biomedical literature / Bioinformatics 19 — BioReade, 2019. P. 57. DOI: 10.1186/s12859-19-2607-xНаучная электронная библиотека eLibrary.ru. https://www.elibrary.ruScientific electronic library eLibrary.ru. https://www.elibrary.ru.Van der Maaten L., Hinton G. Visualizing High-Dimensional Data Using t-SNE / Journal of Machine Learning Research. 2008. No. 9. P. 2579 – 2605.Van der Maaten L., Hinton G. Visualizing High-Dimensional Data Using t-SNE / Journal of Machine Learning Research. 2008. No. 9. P. 2579 – 2605.Мохов А. С., Толчеев В. О. Разработка профильных методов классификации двуязычных текстовых документов / Материалы 6-й Всероссийской мультиконференции по проблемам управления. Т. 1. Дивноморское, 2013. С. 75 – 79.Mokhov A. S., Tolcheev V. O. Development of specialized methods for classifying bilingual text documents / Proceedings of the 6th All-Russian Multi-Conference on Management Problems. Vol. 1. — Divnomorskoe, 2013. P. 75 – 79 [in Russian].Scikit-learn tutorial: statistical-learning for scientific data processing. Marsland Machine Learning (An Algorithmic Perspective). CRC Press, 2009. https://scikit-learn.org/stable/index.htmlScikit-learn tutorial: statistical-learning for scientific data processing. Marsland Machine Learning (An Algorithmic Perspective). CRC Press, 2009. https://scikit-learn.org/stable/index.htmlWord Cloud for Python. http://amueller.github.io/word_cloudWord Cloud for Python. http://amueller.github.io/word_cloudGradient Boosting and XGBoost. https://medium.com/hackernoon/gradient-boosting-and-xgboost-90862daa6c77Gradient Boosting and XGBoost. https://medium.com/hacker- noon/gradient-boosting-and-xgboost-90862daa6c77

The authors declare that there are no conflicts of interest present.