<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">zldm</journal-id><journal-title-group><journal-title xml:lang="ru">Заводская лаборатория. Диагностика материалов</journal-title><trans-title-group xml:lang="en"><trans-title>Industrial laboratory. Diagnostics of materials</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">1028-6861</issn><issn pub-type="epub">2588-0187</issn><publisher><publisher-name>ООО «Издательство «ТЕСТ-ЗЛ»</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.26896/1028-6861-2023-89-5-71-80</article-id><article-id custom-type="elpub" pub-id-type="custom">zldm-1936</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>МАТЕМАТИЧЕСКИЕ МЕТОДЫ ИССЛЕДОВАНИЯ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>MATHEMATICAL METHODS OF INVESTIGATION</subject></subj-group></article-categories><title-group><article-title>Регрессионный анализ данных на основе метода наименьших модулей в динамических задачах оценивания</article-title><trans-title-group xml:lang="en"><trans-title>Regression analysis of data based on the method of least absolute deviations in dynamic estimation problems</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Голованов</surname><given-names>О. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Golovanov</surname><given-names>O. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Олег Александрович Голованов</p><p>620002, г. Екатеринбург, ул. Мира, д. 19; 620014, г. Екатеринбург, ул. Московская, д. 29</p></bio><bio xml:lang="en"><p>Oleg A. Golovanov</p><p>19, ul. Mira, Yekaterinburg, 620002; 29, Moskovskaya ul., Yekaterinburg, 620014</p></bio><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Тырсин</surname><given-names>А. Н.</given-names></name><name name-style="western" xml:lang="en"><surname>Tyrsin</surname><given-names>A. N.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Александр Николаевич Тырсин</p><p>620002, г. Екатеринбург, ул. Мира, д. 19; 620049, г. Екатеринбург, ул. Студенческая, д. 54а</p></bio><bio xml:lang="en"><p>Aleksandr N. Tyrsin</p><p>19, ul. Mira, Yekaterinburg, 620002; 54a, Studencheskaya ul., Yekaterinburg, 620049</p></bio><email xlink:type="simple">at2001@yandex.ru</email><xref ref-type="aff" rid="aff-2"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Уральский федеральный университет имени первого Президента России Б. Н. Ельцина; Институт экономики Уральского отделения РАН</institution><country>Россия</country></aff><aff xml:lang="en"><institution>The first President of Russia B. N. Yeltsin Ural Federal University; Institute of Economics, Ural Branch of RAS</institution><country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-2"><aff xml:lang="ru"><institution>Уральский федеральный университет имени первого Президента России Б. Н. Ельцина; Научно-инженерный центр «Надежность и ресурс больших систем и машин» Уральского отделения РАН</institution><country>Россия</country></aff><aff xml:lang="en"><institution>The first President of Russia B. N. Yeltsin Ural Federal University; Science and Engineering Center «Reliability and Resource of Large Systems and Machines», Ural Branch of RAS</institution><country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2023</year></pub-date><pub-date pub-type="epub"><day>26</day><month>05</month><year>2023</year></pub-date><volume>89</volume><issue>5</issue><fpage>71</fpage><lpage>80</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Голованов О.А., Тырсин А.Н., 2023</copyright-statement><copyright-year>2023</copyright-year><copyright-holder xml:lang="ru">Голованов О.А., Тырсин А.Н.</copyright-holder><copyright-holder xml:lang="en">Golovanov O.A., Tyrsin A.N.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://www.zldm.ru/jour/article/view/1936">https://www.zldm.ru/jour/article/view/1936</self-uri><abstract><p>Применение регрессионного анализа в динамических задачах оценивания систем требует от алгоритма высокого быстродействия определения параметров модели. Также исходные данные могут иметь стохастическую неоднородность. Поэтому наряду с быстродействием необходимо, чтобы оценки параметров модели были устойчивыми к различным аномалиям в данных. Однако устойчивые методы оценивания, включая метод наименьших модулей, значительно уступают параметрическим методам. Цель работы — описание вычислительно эффективного алгоритма реализации метода наименьших модулей для динамического оценивания регрессионных моделей и исследование его возможностей для решения практических задач. Этот алгоритм основан на спуске по узловым прямым. При этом вместо значений целевой функции рассматривают ее производную по направлению спуска. Вычислительная трудоемкость алгоритма снижена также за счет использования в качестве начальной точки решения задачи на предыдущем шаге и эффективного обновления наблюдений в текущей выборке данных. Проведен сравнительный анализ фактического быстродействия предложенного динамического варианта алгоритма градиентного спуска по узловым прямым со статическим вариантом, а также с методом наименьших квадратов. Показано, что динамический вариант алгоритма градиентного спуска по узловым прямым позволил для распространенных практических ситуаций приблизиться по быстродействию к методу наименьших квадратов. Это позволяет использовать предложенный вариант алгоритма градиентного спуска по узловым прямым на практике в динамических задачах оценивания широкого класса систем.</p></abstract><trans-abstract xml:lang="en"><p>The use of regression analysis in dynamic problems of system estimation requires a high-speed algorithm of model parameter determination. Moreover, the original data may have stochastic heterogeneity which entails the necessity of the estimates of model parameters be resistant to various data anomalies. However, stable estimation methods, including the least absolute deviations method, are significantly inferior to the parametric ones. The goal of the study is to describe a computationally efficient algorithm for implementing the method of least absolute deviations for dynamic estimation of regression models and to study its capabilities for solving practical problems. This algorithm is based on descending along nodal lines. In this case, instead of the values of the objective function, its derivative in the direction of descent is considered. The computational complexity of the algorithm is also reduced due to the use of the solution of the problem at the previous step as a starting point and efficient updating of observations in the current data sample. The external performance of the proposed dynamic version of the algorithm of gradient descent along nodal lines has been compared with the static version and with the least squares method. It is shown that the dynamic version of the algorithm of gradient descent along the nodal lines make it possible to bring the speed close to that of the least squares method for common practical situations and to use the proposed version in dynamic estimation problems for a wide class of systems.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>метод наименьших модулей</kwd><kwd>линейная регрессия</kwd><kwd>динамика</kwd><kwd>алгоритм</kwd><kwd>узловая прямая</kwd><kwd>вычислительная эффективность</kwd></kwd-group><kwd-group xml:lang="en"><kwd>least absolute deviations method</kwd><kwd>linear regression</kwd><kwd>dynamics</kwd><kwd>algorithm</kwd><kwd>nodal straight line</kwd><kwd>computational efficiency</kwd></kwd-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Вероятность и математическая статистика: Энциклопедия / Гл. ред. Ю. В. Прохоров. — М.: Большая Российская энциклопедия, 1999. — 910 с.</mixed-citation><mixed-citation xml:lang="en">Probability and mathematical statistics: Encyclopedia. — Moscow: Bol’shaya Rossiiskaya Éntsiklopediya, 1999. — 910 p. [in Russian].</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Arkes J. Regression Analysis: A Practical Introduction. — New York: Taylor &amp; Francis Group, 2019. — 363 p.</mixed-citation><mixed-citation xml:lang="en">Arkes J. Regression Analysis: A Practical Introduction. — New York: Taylor &amp; Francis Group, 2019. — 363 p.</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Hoffmann J. P. Linear Regression Models: Applications in R. — Boca Raton: CRC Press, 2022. — 437 p.</mixed-citation><mixed-citation xml:lang="en">Hoffmann J. P. Linear Regression Models: Applications in R. — Boca Raton: CRC Press, 2022. — 437 p.</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Демиденко Е. З. Линейная и нелинейная регрессия. — М.: Финансы и статистика, 1981. — 302 с.</mixed-citation><mixed-citation xml:lang="en">Demidenko E. Z. Linear and non-linear regression. — Moscow: Finansy i Statistika, 1981. — 302 p. [in Russian].</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Мудров В. И., Кушко В. Л. Методы обработки измерений. Квазиправдоподобные оценки. — М.: Радио и связь, 1983. — 304 с.</mixed-citation><mixed-citation xml:lang="en">Mudrov V. I., Kushko V. L. Measurement processing methods. Quasi-plausible estimates. — Moscow: Radio i svyaz’, 1983. — 304 p. [in Russian].</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Bloomfield P., Steiger W. L. Least Absolute Seviations: Theory, Applications, and Algorithms. — Boston – Basel – Stuttgart: Birkhauser, 1983. — 349 p.</mixed-citation><mixed-citation xml:lang="en">Bloomfield P., Steiger W. L. Least Absolute Seviations: Theory, Applications, and Algorithms. — Boston – Basel – Stuttgart: Birkhauser, 1983. — 349 p.</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Birkes D., Dodge Y. Alternative Methods of Regression. — John Wiley &amp; Sons, 1993. — 239 p.</mixed-citation><mixed-citation xml:lang="en">Birkes D., Dodge Y. Alternative Methods of Regression. — John Wiley &amp; Sons, 1993. — 239 p.</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Armstrong R. D., Kung D. S. Algorithm AS 132: Least absolute value estimates for a simple linear regression problem / Applied Statistics 1978. Vol. 7. P. 363 – 366. DOI: 10.2307/2347181</mixed-citation><mixed-citation xml:lang="en">Armstrong R. D., Kung D. S. Algorithm AS 132: Least absolute value estimates for a simple linear regression problem / Applied Statistics 1978. Vol. 7. P. 363 – 366. DOI: 10.2307/2347181</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Wesolowsky G. O. A new descent algorithm for the least absolute value regression problem / Communications in Statistics, Simulation and Computation. 1981. Vol. 10. N 5. P. 479 – 491. DOI: 10.1080/03610918108812224</mixed-citation><mixed-citation xml:lang="en">Wesolowsky G. O. A new descent algorithm for the least absolute value regression problem / Communications in Statistics, Simulation and Computation. 1981. Vol. 10. N 5. P. 479 – 491. DOI: 10.1080/03610918108812224</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Акимов П. А., Матасов А. И. Уровни неоптимальности алгоритма Вейсфельда в методе наименьших модулей / Автоматика и телемеханика. 2010. № 2. С. 4 – 16.</mixed-citation><mixed-citation xml:lang="en">Akimov P. A., Matasov A. I. Nonoptimality levels of the Weisfeld algorithm in the method of the least modules / Avtom. Teplomekh. 2010. N 2. P. 4 – 16 [in Russian].</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Krzic A. S., Sersic D. L1 Minimization Using Recursive Reduction of Dimensionality / Signal Processing. 2018. Vol. 151. P. 119 – 129. DOI: 10.1016/j.sigpro.2018.05.002</mixed-citation><mixed-citation xml:lang="en">Krzic A. S., Sersic D. L1 Minimization Using Recursive Reduction of Dimensionality / Signal Processing. 2018. Vol. 151. P. 119 – 129. DOI: 10.1016/j.sigpro.2018.05.002</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Wei Xue, Wensheng Zhang, Gaohang Yu. Least absolute deviations learning of multiple tasks / Journal of Industrial &amp; Management Optimization. 2018. N 14(2). P. 719 – 729. DOI: 10.3934/jimo.2017071</mixed-citation><mixed-citation xml:lang="en">Wei Xue, Wensheng Zhang, Gaohang Yu. Least absolute deviations learning of multiple tasks / Journal of Industrial &amp; Management Optimization. 2018. N 14(2). P. 719 – 729. DOI: 10.3934/jimo.2017071</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Тырсин А. Н. Алгоритмы спуска по узловым прямым в задаче оценивания регрессионных уравнений методом наименьших модулей / Заводская лаборатория. Диагностика материалов. 2021. Т. 87. № 5. С. 68 – 75. DOI: 10.26896/1028-6861-2021-87-5-68-75</mixed-citation><mixed-citation xml:lang="en">Tyrsin A. N. Algorithms for descending along nodal lines in the problem of estimating regression equations by the method of least modules / Zavod. Lab. Diagn. Mater. 2021. Vol. 87. N 5. P. 68 – 75 [in Russian]. DOI: 10.26896/1028-6861-2021-87-5-68-75</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Акимов П. А., Матасов А. И. Итерационный алгоритм для L1-аппроксимации в динамических задачах оценивания / Автоматика и телемеханика. 2015. № 5. С. 7 – 26. DOI: 10.1134/S000511791505001X</mixed-citation><mixed-citation xml:lang="en">Akimov P. A., Matasov A. I. Iterative algorithm for L1-approximation in dynamic estimation problems / Avtom. Teplomekh. 2015. N 5. P. 7 – 26 [in Russian]. DOI: 10.1134/S000511791505001X</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Тырсин А. Н., Голованов О. А. Динамическое регрессионное моделирование на основе градиентного спуска по узловым прямым / Современные наукоемкие технологии. 2021. № 10. С. 88 – 93. DOI: 10.17513/snt.38859</mixed-citation><mixed-citation xml:lang="en">Tyrsin A. N., Golovanov O. A. Dynamic regression modeling based on gradient descent along nodal lines / Sovr. Naukoem. Tekhnol. 2021. N 10. P. 88 – 93 [in Russian]. DOI: 10.17513/snt.38859</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">Тырсин А. Н., Азарян А. А. Точное оценивание линейных регрессионных моделей методом наименьших модулей на основе спуска по узловым прямым / Вестник ЮУрГУ. Серия «Математика. Механика. Физика». 2018. Т. 10. № 2. С. 47 – 56. DOI: 10.14529/mmph180205</mixed-citation><mixed-citation xml:lang="en">Tyrsin A. N., Azaryan A. A. Accurate least moduli estimation of linear regression models based on nodal descent / Vestn. YuUrGU. Ser. Mat. Mekh. Fiz. 2018. Vol. 10. N 2. P. 47 – 56 [in Russian]. DOI: 10.14529/mmph180205</mixed-citation></citation-alternatives></ref><ref id="cit17"><label>17</label><citation-alternatives><mixed-citation xml:lang="ru">Местников С. В., Эверстова Г. В. Преобразование Жордана-Гаусса и линейная оптимизация. — Якутск: Издательский дом СВФУ, 2019. — 160 с.</mixed-citation><mixed-citation xml:lang="en">Mestnikov S. V., Everstova G. V. Jordan – Gauss transform and linear optimization. — Yakutsk: Izd. dom SVFU, 2019. — 160 p. [in Russian].</mixed-citation></citation-alternatives></ref><ref id="cit18"><label>18</label><citation-alternatives><mixed-citation xml:lang="ru">Михайлов Г. А., Войтишек А. В. Численное статистическое моделирование. Методы Монте-Карло. — М.: Издательский центр «Академия», 2006. — 368 с.</mixed-citation><mixed-citation xml:lang="en">Mikhailov G. A., Voitishek A. V. Numerical statistical modeling. Monte-Carlo methods. — Moscow: Akademiya, 2006. — 368 p. [in Russian].</mixed-citation></citation-alternatives></ref><ref id="cit19"><label>19</label><citation-alternatives><mixed-citation xml:lang="ru">Tukey J. W. A Survey of Sampling from Contaminated Distribution / Contributions to Probability and Statistics. — Stanford: Stanford Univ. Press, 1960. P. 443 – 485.</mixed-citation><mixed-citation xml:lang="en">Tukey J. W. A Survey of Sampling from Contaminated Distribution / Contributions to Probability and Statistics. — Stanford: Stanford Univ. Press, 1960. P. 443 – 485.</mixed-citation></citation-alternatives></ref><ref id="cit20"><label>20</label><citation-alternatives><mixed-citation xml:lang="ru">Хьюбер П. Робастность в статистике / Пер. с англ. — М.: Мир, 1984. — 304 с.</mixed-citation><mixed-citation xml:lang="en">Huber P. Robustness in statistics. — Moscow: Mir, 1984. — 304 p. [Russian translation].</mixed-citation></citation-alternatives></ref><ref id="cit21"><label>21</label><citation-alternatives><mixed-citation xml:lang="ru">Орлов А. И. Многообразие моделей регрессионного анализа (обобщающая статья) / Заводская лаборатория. Диагностика материалов. 2018. Т. 84. № 5. С. 63 – 73. DOI: 10.26896/1028-6861-2018-84-5-63-73</mixed-citation><mixed-citation xml:lang="en">Orlov A. I. Diversity of the models for regression analysis (generalizing article) / Zavod. Lab. Diagn. Mater. 2018. Vol. 84. N 5. P. 63 – 73 [in Russian]. DOI: 10.26896/1028-6861-2018-84-5-63-73</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
