Регрессионный анализ данных на основе метода наименьших модулей в динамических задачах оценивания

Применение регрессионного анализа в динамических задачах оценивания систем требует от алгоритма высокого быстродействия определения параметров модели. Также исходные данные могут иметь стохастическую неоднородность. Поэтому наряду с быстродействием необходимо, чтобы оценки параметров модели были устойчивыми к различным аномалиям в данных. Однако устойчивые методы оценивания, включая метод наименьших модулей, значительно уступают параметрическим методам. Цель работы — описание вычислительно эффективного алгоритма реализации метода наименьших модулей для динамического оценивания регрессионных моделей и исследование его возможностей для решения практических задач. Этот алгоритм основан на спуске по узловым прямым. При этом вместо значений целевой функции рассматривают ее производную по направлению спуска. Вычислительная трудоемкость алгоритма снижена также за счет использования в качестве начальной точки решения задачи на предыдущем шаге и эффективного обновления наблюдений в текущей выборке данных. Проведен сравнительный анализ фактического быстродействия предложенного динамического варианта алгоритма градиентного спуска по узловым прямым со статическим вариантом, а также с методом наименьших квадратов. Показано, что динамический вариант алгоритма градиентного спуска по узловым прямым позволил для распространенных практических ситуаций приблизиться по быстродействию к методу наименьших квадратов. Это позволяет использовать предложенный вариант алгоритма градиентного спуска по узловым прямым на практике в динамических задачах оценивания широкого класса систем.

1. Вероятность и математическая статистика: Энциклопедия / Гл. ред. Ю. В. Прохоров. — М.: Большая Российская энциклопедия, 1999. — 910 с.

2. Arkes J. Regression Analysis: A Practical Introduction. — New York: Taylor & Francis Group, 2019. — 363 p.

3. Hoffmann J. P. Linear Regression Models: Applications in R. — Boca Raton: CRC Press, 2022. — 437 p.

4. Демиденко Е. З. Линейная и нелинейная регрессия. — М.: Финансы и статистика, 1981. — 302 с.

5. Мудров В. И., Кушко В. Л. Методы обработки измерений. Квазиправдоподобные оценки. — М.: Радио и связь, 1983. — 304 с.

6. Bloomfield P., Steiger W. L. Least Absolute Seviations: Theory, Applications, and Algorithms. — Boston – Basel – Stuttgart: Birkhauser, 1983. — 349 p.

7. Birkes D., Dodge Y. Alternative Methods of Regression. — John Wiley & Sons, 1993. — 239 p.

8. Armstrong R. D., Kung D. S. Algorithm AS 132: Least absolute value estimates for a simple linear regression problem / Applied Statistics 1978. Vol. 7. P. 363 – 366. DOI: 10.2307/2347181

9. Wesolowsky G. O. A new descent algorithm for the least absolute value regression problem / Communications in Statistics, Simulation and Computation. 1981. Vol. 10. N 5. P. 479 – 491. DOI: 10.1080/03610918108812224

10. Акимов П. А., Матасов А. И. Уровни неоптимальности алгоритма Вейсфельда в методе наименьших модулей / Автоматика и телемеханика. 2010. № 2. С. 4 – 16.

11. Krzic A. S., Sersic D. L1 Minimization Using Recursive Reduction of Dimensionality / Signal Processing. 2018. Vol. 151. P. 119 – 129. DOI: 10.1016/j.sigpro.2018.05.002

12. Wei Xue, Wensheng Zhang, Gaohang Yu. Least absolute deviations learning of multiple tasks / Journal of Industrial & Management Optimization. 2018. N 14(2). P. 719 – 729. DOI: 10.3934/jimo.2017071

13. Тырсин А. Н. Алгоритмы спуска по узловым прямым в задаче оценивания регрессионных уравнений методом наименьших модулей / Заводская лаборатория. Диагностика материалов. 2021. Т. 87. № 5. С. 68 – 75. DOI: 10.26896/1028-6861-2021-87-5-68-75

14. Акимов П. А., Матасов А. И. Итерационный алгоритм для L1-аппроксимации в динамических задачах оценивания / Автоматика и телемеханика. 2015. № 5. С. 7 – 26. DOI: 10.1134/S000511791505001X

15. Тырсин А. Н., Голованов О. А. Динамическое регрессионное моделирование на основе градиентного спуска по узловым прямым / Современные наукоемкие технологии. 2021. № 10. С. 88 – 93. DOI: 10.17513/snt.38859

16. Тырсин А. Н., Азарян А. А. Точное оценивание линейных регрессионных моделей методом наименьших модулей на основе спуска по узловым прямым / Вестник ЮУрГУ. Серия «Математика. Механика. Физика». 2018. Т. 10. № 2. С. 47 – 56. DOI: 10.14529/mmph180205

17. Местников С. В., Эверстова Г. В. Преобразование Жордана-Гаусса и линейная оптимизация. — Якутск: Издательский дом СВФУ, 2019. — 160 с.

18. Михайлов Г. А., Войтишек А. В. Численное статистическое моделирование. Методы Монте-Карло. — М.: Издательский центр «Академия», 2006. — 368 с.

19. Tukey J. W. A Survey of Sampling from Contaminated Distribution / Contributions to Probability and Statistics. — Stanford: Stanford Univ. Press, 1960. P. 443 – 485.

20. Хьюбер П. Робастность в статистике / Пер. с англ. — М.: Мир, 1984. — 304 с.

21. Орлов А. И. Многообразие моделей регрессионного анализа (обобщающая статья) / Заводская лаборатория. Диагностика материалов. 2018. Т. 84. № 5. С. 63 – 73. DOI: 10.26896/1028-6861-2018-84-5-63-73