Шахим Ильмирович Сафин
111250, Москва, ул. Красноказарменная, д. 14
Shahim I. Safin
14, Krasnokazarmennaya ul., Moscow, 111250
Владимир Олегович Толчеев
111250, Москва, ул. Красноказарменная, д. 14
Vladimir O. Tolcheev
14, Krasnokazarmennaya ul., Moscow, 111250
При построении высокоточных классификаторов одной из важнейших задач является формирование достаточно больших репрезентативных и непротиворечивых выборок. В частности, при анализе и обработке текстовых документов объединяют наборы данных, полученных из различных информационных источников. В ряде случаев из-за нехватки профильных текстов на русском языке датасет расширяют за счет добавления переведенных англоязычных документов. В таких ситуациях целесообразно оценивать однородность-неоднородность объединяемых массивов. Однако подобная проверка осложняется тем, что документы представляют собой многомерные векторы, корректное сопоставление которых является весьма нетривиальной задачей. Недостаточная разработанность процедур проверки однородности выборок для многомерного случая приводит к тому, что на практике проблема возможных различий в данных игнорируется как несущественная. Как следствие, обучение классификаторов проводится по выборкам, представляющим собой смесь достаточно разнотипных текстов, и результирующее качество категоризации не улучшается (или даже ухудшается). Все это обуславливает актуальность разработки процедуры проверки однородности документальных выборок. Для этого авторы провели комплексное изучение проблемы сдвига в текстовых данных, выявили и проанализировали причины, которые определяют неоднородность документальных массивов. Исследуемые выборки состоят из библиографических описаний научных статьей (название, аннотация, ключевые слова). Авторы разработали процедуру оценки однородности двух выборок, имеющих приблизительно одинаковый объем и единый способ расчета весов терминов. Для сопоставления использовали центроиды, которые имеют размер общего словаря двух датасетов (в случае отсутствия некоторых терминов в соответствующие позиции центроидов проставляют нулевые значения). Представление выборок в виде «терминологических портретов» (центроидов) позволяет свести проверку однородности многомерных векторов-документов к хорошо изученной задаче анализа двух одномерных связанных выборок, для решения которой применяли непараметрические критерии (в частности, критерий знаков и критерий знаковых рангов Вилкоксона). Предложенная процедура проверки однородности выборок на основе непараметрических критериев проверена на трех коллекциях документов, полученных из русско- и англоязычных источников.
One of the most important tasks in Text Mining is the formation of sufficiently large representative and consistent samples (datasets). Usually, datasets are obtained from various information sources. In some cases, due to the lack of specialized texts in Russian, the dataset is expanded by adding translated English-language documents. In such situations, it is advisable to evaluate the uniformity-heterogeneity of the combined arrays. However, such a verification is complicated by the fact that the documents are multidimensional vectors, the correct comparison of which is a very non-trivial task. Insufficient elaboration of procedures for checking the uniformity of samples for the multidimensional case leads to the fact the problem of possible differences in data is ignored that in practice as insignificant. As a result, classifiers are trained on samples that are a mixture of quite diverse texts, and the resulting quality of categorization does not improve (or even deteriorates). Thus, it seems relevant to develop a procedure for checking the uniformity of documentary samples. To do this, we provide a comprehensive study of the problem of shift in textual data, identified and analyzed the reasons that cause the heterogeneity of documentary arrays. In this study, the datasets consist of bibliographic descriptions of scientific articles (title, abstract, keywords). The authors develop a procedure for assessing the homogeneity of two samples having approximately the same volume and the same method for calculating the weights of terms. For comparison, centroids are used, which have the size of a common dictionary of two datasets (in the absence of some terms, zero values are put in the corresponding positions of the centroids). The representation of samples in the form of «terminological portraits» (centroids) allowed us to reduce the verification of the homogeneity of multidimensional document vectors to a well-studied problem of analyzing two one-dimensional connected samples, for which nonparametric criteria were used. The sign criterion and the Wilcoxon sign rank criterion were used in the study. The proposed procedure for checking the uniformity of samples was tested on three collections of documents obtained from Russian and English-language sources.
The authors declare that there are no conflicts of interest present.