Дифференциальная энтропия и корреляционный анализ: системный подход

С каждым годом повышаются требования к эффективности функционирования как создаваемых, так и существующих систем. Это приводит к усложнению решаемых задач при создании таких систем, диагностике их состояния и управлении ими. Одной из таких задач является установление характера и структуры взаимосвязей между протекающими процессами, которые имеют стохастическую природу и обычно описываются с помощью корреляционных зависимостей. Однако их многомерность и многосвязанность вносят определенные затруднения при использовании корреляционного анализа. Для более ясного понимания и использования корреляционных зависимостей необходима их системная интерпретация. Фундаментальной характеристикой любых систем с неоднозначным, или вероятностным, поведением является энтропия. В частности, в настоящее время получен ряд результатов, связывающих дифференциальную энтропию случайных векторов с корреляционными характеристиками. Цель работы — исследовать и систематизировать соотношения между дифференциальной энтропией и показателями корреляционной связи, используемыми в многомерном статистическом анализе. В статье рассмотрены все основные варианты корреляционных связей в многомерных системах, включая взаимную корреляцию между всеми элементами, между подсистемами (на разных уровнях системы), между одним элементом (подсистемой) и группой элементов (подсистем). Во всех случаях установлено, что корреляционные показатели аналитически определяются из дифференциальной энтропии системы, рассматриваемой в форме случайного вектора. Приведены примеры, иллюстрирующие полученные результаты.

1. Лоскутов А. Ю., Михайлов А. С. Основы теории сложных систем. 2-е изд. — М. – Ижевск: Регулярная и хаотическая динамика, 2019. — 619 с. ISBN: 978-5-4344-0686-4

2. Смородинская Н. В. Усложнение организации экономических систем в условиях нелинейного развития / Вестник Института экономики Российской академии наук. 2017. № 5. С. 104 – 115.

3. Каляев И. А. Искусственный интеллект: камо грядеши? / Экономические стратегии. 2019. Т. 21. № 5(163). С. 6 – 15. DOI: 10.33917/es-5.163.2019.6-15

4. Станкович М., Гарба А. А., Нефтенов Н. Возникающие тенденции в области технологий 2021: искусственный интеллект и большие данные для развития 4.0. — Женева: Международный союз электросвязи, 2021. — 108 с. https://www. itu.int/dms_pub/itu-d/opb/tnd/D-TND-02-2021-PDF-R.pdf

5. Айвазян С. А., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: Исследование зависимостей. — М.: Финансы и статистика, 1985. — 488 с.

6. Орлов А. И. Многообразие моделей регрессионного анализа (обобщающая статья) / Заводская лаборатория. Диагностика материалов. 2018. Т. 84. № 5. С. 63 – 73. DOI: 10.26896/1028-6861-2018-84-5-63-73

7. Adachi K. Matrix-based introduction to multivariate data analysis. 2nd edition. — Springer, 2020. — 457 p. DOI: 10.1007/978-981-15-4103-2

8. Härdle W. K., Simar L., Fengler M. R. Applied multivariate statistical analysis. 6th edition. — Springer, 2024. — 613 p. DOI: 10.1007/978-3-031-63833-6

9. Прангишвили И. В. Энтропийные и другие системные закономерности: вопросы управления сложными системами. — М.: Наука, 2003. — 428 с. ISBN: 5-02-006524-2

10. Маторин С. И., Жихарев А. Г. Общесистемные закономерности как содержательные элементы системной теории, основанной на системно-объектном подходе / Научные ведомости Белгородского государственного университета. Серия: Экономика. Информатика. 2018. Т. 45. № 2. С. 372 – 384. DOI: 10.18413/2411-3808-2018-45-2-372-384

11. Mobus G. E. Systems science theory, analysis, modeling, and design. — Switzerland: Springer Nature, 2022. — 814 p. DOI: 10.1007/978-3-030-93482-8

12. Cox L. A. Risk analysis of complex and uncertain systems. — Springer, 2009. — 442 p. DOI: 10.1007/978-0-387-89014-2

13. Масаев С. Н., Доррер М. Г. Методика оценки системы управления компанией на основе адаптационной корреляции к внешней среде / Вестник Сибирского государственного аэрокосмического университета им. академика М. Ф. Решетнева. 2009. № 1 – 2(22). С. 157 – 160.

14. Gorban A. N., Tyukina T. A., Pokidysheva L. I., Smirnova E. V. Dynamic and thermodynamic models of adaptation / Phys. Life Rev. 2021. Vol. 37. P. 17 – 64. DOI: 10.1016/j.plrev.2021.03.001

15. Шпитонков М. И. Применение метода корреляционной адаптометрии в биомедицинских задачах / Моделирование, декомпозиция и оптимизация сложных динамических процессов. 2022. Т. 37. № 1(37). С. 82 – 92. DOI: 10.14357/24098639220106

16. Kurkin S. A., Smirnov N. M., Paunova R., et al. Beyond pairwise interactions: higher-order Q-analysis of fMRI-based brain functional networks in patients with major depressive disorder / IEEE Access. 2024. Vol. 12. P. 197168 – 197186. DOI: 10.1109/access.2024.3521249

17. Voigt J. Stochastic operators, information, and entropy / Comm. Math. Phys. 1981. Vol. 81. P. 31 – 38. DOI: 10.1007/bf01941799

18. Климонтович Ю. Л. Энтропия и информация открытых систем / Успехи физических наук. 1999. Т. 169. № 4. С. 443 – 452. DOI: 10.3367/ufnr.0169.199904e.0443

19. Скоробогатов С. М. Катастрофы и живучесть железобетонных сооружений (классификация и элементы теории). — Екатеринбург: УрГУПС, 2009. — 512 с.

20. Тимашев С. А., Тырсин А. Н. Построение линейной регрессионной модели на основе энтропийного подхода / Заводская лаборатория. Диагностика материалов. 2009. Т. 75. № 3. С. 66 – 69.

21. Wilson A. G. Entropy in urban and regional modelling: retrospect and prospect / Geogr. Anal. 2010. Vol. 42. No. 4. P. 364 – 394. DOI: 10.1111/j.1538-4632.2010.00799.x

22. Jakimowicz A. The role of entropy in the development of economics / Entropy. 2020. Vol. 22. No. 4. 452. DOI: 10.3390/e22040452

23. Razmjooy N., Estrela V. V., Loschi H. J. Entropy-based breast cancer detection in digital mammograms using world cup optimization algorithm / Int. J. Swarm Intell. Res. 2020. Vol. 11. No. 3. P. 1 – 18. DOI: 10.4018/ijsir.2020070101

24. Zachary D., Dobson S. Urban development and complexity: Shannon entropy as a measure of diversity / Plan. Pract. Res. 2020. Vol. 36. No. 2. P. 157 – 173. DOI: 10.1080/02697459.2020.1852664

25. Shannon C. E. A mathematical theory of communication / The Bell Syst. Tech. J. 1948. Vol. 27. P. 379 – 423, 623 – 656.

26. Вентцель Е. С. Теория вероятностей. 10-е изд. — М.: Высшая школа, 2006. — 575 с.

27. Гельфанд И. М., Колмогоров А. Н., Яглом А. М. Количество информации и энтропия для непрерывных распределений / Труды III Всесоюзного математического съезда. — М.: АН СССР, 1958. Т. 3. С. 300 – 320.

28. Joe H. Relative entropy measures of multivariate dependence / J. Am. Stat. Assoc. 1989. Vol. 84. No. 405. P. 157 – 164. DOI: 10.1080/01621459.1989.10478751

29. Peña D., Van der Linde A. Dimensionless measures of variability and dependence for multivariate continuous distributions / Comm. Stat. Theory Meth. 2007. Vol. 36. No. 10. P. 1845 – 1854. DOI: 10.1080/03610920601126449

30. Peña D., Rodriguez J. Descriptive measures of multivariate scatter and linear dependence / J. Multivar. Anal. 2003. Vol. 58. P. 361 – 374. DOI: 10.1016/s0047-259x(02)00061-1

31. Тырсин А. Н. Мера совместной корреляционной зависимости многомерных случайных величин / Заводская лаборатория. Диагностика материалов. 2014. Т. 80. № 1. С. 76 – 80.

32. Тырсин А. Н. Энтропийное моделирование многомерных стохастических систем. — Воронеж: Научная книга, 2016. — 156 с. https://elibrary.ru/item.asp?id=25475510

33. Хардле В. Прикладная непараметрическая регрессия / Пер. с англ. — М.: Мир, 1993. — 349 с.

34. Тырсин А. Н. Скалярная мера взаимозависимости между случайными векторами / Заводская лаборатория. Диагностика материалов. 2018. Т. 84. № 7. С. 76 – 82. DOI: 10.26896/1028-6861-2018-84-7-76-82

35. Тырсин А. Н. Скалярная мера взаимосвязи между несколькими случайными векторами / Заводская лаборатория. Диагностика материалов. 2022. Т. 88. № 3. С. 73 – 80. DOI: 10.26896/1028-6861-2022-88-3-73-80

36. Тырсин А. Н., Шалькевич Л. В., Остроушко Д. В. и др. Исследование перинатального поражения центральной нервной системы у детей в неонатальном периоде методами многомерного статистического анализа / Системный анализ и управление в биомедицинских системах. 2017. Т. 16. № 3. С. 595 – 605.