Математическая теория классификации весьма многообразна, содержит большое число подходов, моделей, методов, алгоритмов. Выделим в ней три результата - оптимальный метод диагностики (дискриминантного анализа), адекватный показатель качества алгоритма дискриминантного анализа, утверждение об остановке после конечного числа шагов итерационных алгоритмов кластер-анализа. На основе леммы Неймана - Пирсона показано, что оптимальный метод диагностики существует и выражается через плотности распределения вероятностей, соответствующие классам. Если плотности неизвестны, следует использовать их непараметрические оценки по обучающим выборкам. Часто используют такой показатель качества алгоритма диагностики, как «вероятность (или доля) правильной классификации (диагностики)»; чем этот показатель больше, тем алгоритм лучше. Показана нецелесообразность повсеместного применения этого показателя и обоснован другой - «прогностическая сила», полученная путем пересчета на модель линейного дискриминантного анализа. Остановка после конечного числа шагов итерационных алгоритмов кластер-анализа продемонстрирована на примере метода k-средних. Эти результаты являются важными в теории классификации, они должны быть известны каждому специалисту, развивающему эту теорию или применяющему ее.
The mathematical theory of classification is rather diverse, it contains a large number of approaches, models, methods, and algorithms. We distinguish three main results: the best method of diagnosis (discriminant analysis), an adequate indicator of the quality of algorithm of discriminant analysis, and the statement about stopping after a finite number of steps of iterative algorithms of cluster analysis. Proceeding from the Neyman - Pearson Lemma it is shown that the optimal method of diagnosis exists and is expressed through the probability density function corresponding to the classes. If the probability density is unknown, the non-parametric estimators of the training samples should be used. “The probability (or share) the correct classification (diagnosis)” is often used as a quality indicator of the diagnostic algorithm - the more the better. Is shown that a widespread use of this indicator is unreasonable and the other “predictive power” indicator obtained by conversion in the model of linear discriminant analysis is offered. Stopping after a finite number of steps of iterative algorithms of cluster analysis is demonstrated on an example of k-means. In our opinion, the results make a fundamental contribution to the theory of classification and each expert should be informed about the obtained conclusions for further developing and application of the theory of classification.
The authors declare that there are no conflicts of interest present.