Preview

Заводская лаборатория. Диагностика материалов

Расширенный поиск
Доступ открыт Открытый доступ  Доступ закрыт Только для подписчиков

Алгоритмы спуска по узловым прямым в задаче оценивания регрессионных уравнений методом наименьших модулей

https://doi.org/10.26896/1028-6861-2021-87-5-68-75

Полный текст:

Аннотация

Рассмотрена задача оценивания линейных регрессионных уравнений методом наименьших модулей. Точные методы его реализации значительно проигрывают по быстродействию методу наименьших квадратов. Наиболее быстрый алгоритм, основанный на покоординатном спуске по узловым прямым, имеет вычислительную сложность, пропорциональную квадрату числа наблюдений, что ограничивает практическое применение в задачах мониторинга и диагностики. Цель работы — описание более быстрого варианта реализации спуска по узловым прямым, а также оценка его быстродействия. Снижение вычислительных затрат достигнуто за счет того, что вместо вычисления значений целевой функции в узловых точках находят ее производную в окрестности этих точек по направлению узловой прямой. Приведена оценка вычислительной эффективности градиентного спуска по узловым прямым. Для типового компьютера проведен сравнительный анализ среднего времени вычислений для различных алгоритмов. Приведен простой пример, иллюстрирующий реализацию градиентного спуска. Наряду со снижением вычислительных затрат устранена возможность накопления вычислительных погрешностей при определении значений целевой функции для больших выборок. Кроме этого, градиентный спуск достаточно просто реализуется. Это позволяет использовать метод наименьших модулей как альтернативу методу наименьших квадратов в различных практических приложениях.

Об авторе

А. Н. Тырсин
Уральский федеральный университет имени первого Президента России Б. Н. Ельцина; Южно-Уральский государственный университет (национальный исследовательский университет)
Россия

Александр Николаевич Тырсин

620002, г. Екатеринбург, ул. Мира, 19;

454080, г. Челябинск, пр. Ленина, 76



Список литературы

1. Вероятность и математическая статистика: Энциклопедия / Гл. ред. Ю. В. Прохоров. — М.: Большая Российская энциклопедия, 1999. — 910 с.

2. Демиденко Е. З. Линейная и нелинейная регрессия. — М.: Финансы и статистика, 1981. — 302 с.

3. Королюк В. С., Портенко Н. И., Скороход А. В., Турбин А. Ф. Справочник по теории вероятностей и математической статистике. Изд. 2-е, перераб. и доп. — М.: Наука, Физматлит, 1985. — 640 с.

4. Налимов В. В. Применение математической статистики при анализе вещества. — М.: Физматлит, 1960. — 430 с.

5. Лойко В. И., Луценко Е. В., Орлов А. И. Высокие статистические технологии и системно-когнитивное моделирование в экологии. — Краснодар: КубГАУ, 2019. — 258 с.

6. Вучков И., Бояджиева Л., Солаков Е. Прикладной линейный регрессионный анализ / Пер. с болг. — М.: Финансы и статистика, 1987. — 239 с.

7. Мудров В. И., Кушко В. Л. Методы обработки измерений. Квазиправдоподобные оценки. — М.: Радио и связь, 1983. — 304 с.

8. Bloomfield P., Steiger W. L. Least absolute seviations: theory, applications, and algorithms. — Boston – Basel – Stuttgart: Birkhauser, 1983. — 349 p.

9. Basset G., Koenker R. Asymptotic theory of least absolute error regression / J. Am. Stat. Assoc. 1978. Vol. 73. N 363. P. 618 – 622.

10. Болдин М. В., Симонова Г. И., Тюрин Ю. Н. Знаковый статистический анализ линейных моделей. — М.: Наука. Физматлит, 1997. — 288 с.

11. Тырсин А. Н., Максимов К. Е. Оценивание линейных регрессионных уравнений с помощью метода наименьших модулей / Заводская лаборатория. Диагностика материалов. 2012. Т. 78. № 7. С. 65 – 71.

12. Wei Xue, Wensheng Zhang, Gaohang Yu. Least absolute deviations learning of multiple tasks / J. Industr. Manag. Optim. 2018. N 14(2). P. 719 – 729. DOI: 10.3934/jimo.2017071

13. Тырсин А. Н., Азарян А. А. Точное оценивание линейных регрессионных моделей методом наименьших модулей на основе спуска по узловым прямым / Вестник ЮУрГУ. Серия «Математика. Механика. Физика». 2018. Т. 10. № 2. С. 47 – 56. DOI: 10.14529/mmph180205

14. Бусленко Н. П., Шрейдер Ю. А. Метод статистических испытаний (Монте-Карло) и его реализация на цифровых вычислительных машинах. — М.: Физматлит, 1961. — 228 с.

15. Орлов А. И. Метод статистических испытаний в прикладной статистике / Заводская лаборатория. Диагностика материалов. 2019. Т. 85. № 5. С. 67 – 79. DOI: 10.26896/1028-6861-2019-85-5-67-79


Для цитирования:


Тырсин А.Н. Алгоритмы спуска по узловым прямым в задаче оценивания регрессионных уравнений методом наименьших модулей. Заводская лаборатория. Диагностика материалов. 2021;87(5):68-75. https://doi.org/10.26896/1028-6861-2021-87-5-68-75

For citation:


Tyrsin A.N. Algorithms for descent along nodal straight lines in the problem of estimating regression equations using the least absolute deviations method. Industrial laboratory. Diagnostics of materials. 2021;87(5):68-75. (In Russ.) https://doi.org/10.26896/1028-6861-2021-87-5-68-75

Просмотров: 39


ISSN 1028-6861 (Print)
ISSN 2588-0187 (Online)