Применение методов математической статистики при оценке надежности судебно-экспертных методик тестирования

Вопросам количественной оценки надежности судебно-экспертных методик тестирования (СЭМТ) не уделяется достаточного внимания. В настоящей работе для этой цели использован такой метрологический параметр валидации методики, как надежность — воспроизводимость результатов тестирования при многократном повторении тестов образцов с известными признаками/свойствами при варьировании условий (разные операторы, использование разного оборудования, разное время). Количественной характеристикой надежности СЭМТ является уровень ложноположительных и ложноотрицательных результатов в общем количестве тестирований. Отмечены специфика контрольных образцов для эксперимента и необходимость учета вариационности признаков в них, рекомендовано использование для валидации образцов с отчетливым проявлением контролируемых признаков. Статистическая оценка результатов тестирования заключается в расчете показателей (опытной вероятности) ошибок по приведенным формулам. Приведены формулы расчета разных показателей, относящихся к правильным положительным и отрицательным результатам, наряду с таблицей бинарной классификации для представления результатов валидационного эксперимента. В качестве примера рассмотрено соответствие показателей (опытных вероятностей) истинным вероятностям событий для случая сравнительного исследования ситуации с парой образцов: «тот же источник происхождения (совпадение)» и «разные источники происхождения (несовпадение)». Даны формулы приближенного расчета границ достоверности для биноминального распределения, которому подчиняется большинство рассматриваемых в работе методик бинарного отклика. Рассчитан доверительный интервал при валидации конкретной методики СЭМТ и показано, что на основе экспериментально установленных показателей правильных результатов «чувствительности» и «специфичности» при наличии априорных данных о распространенности образцов по совокупности контролируемых признаков с использованием байесовской формулы можно рассчитать доли ложных положительных/отрицательных аналитических сигналов (ЛПС и ЛОС). Низкие значения показателей ЛПС и ЛОС свидетельствуют о правильности тестирования или правильности принятого решения и пригодности методики для целей назначения.

1. PCAST. Report to the President. Forensic Science in Criminal Courts: Ensuring Scientific Validity of Feature-Comparison Methods. — Washington, 2016. http://www.documentcloud.org/documents/3121011-Pcast-Forensic-Science-Report-Final.html (дата обращения 27.08.2024).

2. Murriea D. C., Gardner B. O., Kelley S., Dror I. E. Perceptions and estimates of error rates in forensic science / Forensic Sci. Int. 2019. Vol. 302. 109887. DOI: 10.1016/j.forsciint.2019.109887

3. Cole S. A. More than zero: accounting for error in latent fingerprint identification / J. Crim. Law Criminol. 2005. Vol. 95. N 3. P. 985 – 1078.

4. Baldwin D. P., Bajic S. J., Morris M., Zamzow D. A Study of False-Positive and False-Negative Error Rates in Cartridge Case Comparisons / Ames Laboratory, Defense Forensic Science Center, 2014. Technical Report #IS-5207. https://www.ncjrs. gov/pdffiles1/nij/249874.pdf (дата обращения 27.08.2024).

5. Kelley S., Gardner B. O., Murrie D. C., et al. How do latent print examiners perceive proficiency testing? An analysis of examiner perceptions, performance, and print quality / Sci. Justice. 2020. Vol. 60. N 2. P. 120 – 127. DOI: 10.1016/j.scijus.2019.11.002

6. Thompson W. C., Taroni F., Aitken C. G. G. How the Probability of a False Positive Affects the Value of DNA Evidence / J. Forensic Sci. 2003. Vol. 48. N 1. P. 1 – 19. DOI: 10.1520/JFS2003315

7. Martire K. A., Ballantyne K. N., Balia A., et al. Forensic science evidence: Naive estimates of false positive error rates and reliability / Forensic Sci. Int. 2019. Vol. 302. 109877. DOI: 10.1016/j.forsciint.2019.109877

8. Mattijssen E., Witteman C., Berger C., et al. Validity and reliability of forensic firearm examiners / Forensic Sci. Int. 2020. Vol. 307. 110112. DOI: 10.1016/j.forsciint.2019.110112

9. Smith T. P., Smith A. S., Snipes J. B. A validation study of bullet and cartridge case comparisons using samples representative of actual casework / J. Forensic Sci. 2016. Vol. 61. N 4. P. 939 – 946. DOI: 10.1111/1556-4029.13093

10. Ulery B. T., Hicklin R. A., Buscaglia J., Roberts M. A. Repeatability and reproducibility of decisions by latent fingerprint examiners / PLoS One. 2012. Vol. 7. N 3. e32800. DOI: 10.1371/journal.pone.0032800

11. Koehler J. J. Proficiency tests to estimate error rates in the forensic sciences / Law, Probab. Risk. 2013. Vol. 12. N 1. P. 89 – 98. DOI: 10.1093/lpr/mgs013

12. DrorItiel E., Scurich N. (Mis)use of scientific measurements in forensic science / Forensic Sci. Int.: Synergy. 2020. Vol. 2. P. 333 – 338. DOI: 10.1016/j.fsisyn.2020.08.006

13. Dror I. E. The Error in «Error Rate»: Why Error Rates Are So Needed’ Yet So Elusive / J. Forensic Sci. 2020. Vol. 65. N 4. P. 1034 – 1039. DOI: 10.1111/1556-4029.14435

14. Смирнова С. А., Усов А. И., Омельянюк Г. Г. и др. Опыт аккредитации судебно-экспертных лабораторий Минюста России на соответствие ИСО/МЭК 17025 / Теория и практика судебной экспертизы. 2011. № 2(22). С. 40 – 56.

15. Смирнова С. А., Омельянюк Г. Г., Микляева О. В. Методика экспертная / Энциклопедический словарь теории судебной экспертизы. Часть II / Под ред. С. А. Смирновой. — М.: ЭКОМ, 2012. С. 184 – 185.

16. The Expression of Uncertainty in Qualitative Testing: EURACHEM/CITAC guide. — Teddington: EuraChem, 2003. No. LGCN/VAM/2003/048/.

17. Пантелеймонов А. В., Никитина Н. А., Решетняк Е. А. и др. Методики качественного анализа с бинарным откликом: метрологические характеристики и вычислительные аспекты / Методы и объекты химического анализа. 2008. Т. 3. № 2. С. 128 – 146.

18. Мильман Б. Л. Введение в химическую идентификацию. — СПб.: ВВМ, 2008. — 179 с.

19. Мильман Б. Л., Конопелько Л. А. Неопределенность результатов качественного химического анализа. Общие положения и бинарные тест-методы / Журн. аналит. химии. 2004. Т. 59. № 12. С. 1244 – 1258.

20. Mil’man B. L. Identification of chemical compounds / Trends Anal. Chem. 2005. Vol. 24. N 6. P. 493 – 508. DOI: 10.1016/j.trac.2005.03.013

21. Смирнова С. А., Афанасьев И. Б., Бебешко Г. И., Омельянюк Г. Г. Валидация экспертной методики «Обнаружение конденсированных следов продуктов выстрела, содержащих соединения тяжелых металлов, на различных объектах методом сканирующей электронной микроскопии и рентгеноспектрального микроанализа» / Заводская лаборатория. Диагностика материалов. 2021. Т. 87. № 12. С. 63 – 72. DOI: 10.26896/1028-6861-2021-87-12-63-72

22. Бебешко Г. И., Омельянюк Г. Г., Самойлова О. В., Усов А. И. Оценка надежности судебно-экспертной методики идентификационного исследования автомобильных бензинов с использованием газожидкостной хроматографии / Заводская лаборатория. Диагностика материалов. 2023. Т. 89. № 12. С. 31 – 43. DOI: 10.26896/1028-6861-2023-89-12-31-43

23. Гаврилов О. А. Применение математических методов и ЭВМ в судебной экспертизе / Курс правовой информатики: учебник для вузов. Гл. 9. — М.: Норма, 2002. — 432 с.

24. Смирнова С. А., Градусова О. Б., Нестерина Е. М. и др. Методика диагностирования микровключений в почвах и грунтах: валидация и практическое применение / Заводская лаборатория. Диагностика материалов. 2021. Т. 87. № 6. С. 70 – 77. DOI: 10.26896/1028-6861-2021-87-6-70-77

25. Градусова О. Б., Пеленева М. В., Нестерина Е. М. Атлас микровключений в почвах. — М.: ФБУ РФЦСЭ при Минюсте России, 2014. — 94 с.

26. Smith A. M., Neal T. M. S. The distinction between discriminability and reliability in forensic science / Sci. Justice. 2021. Vol. 61. N 4. P. 319 – 331. DOI: 10.1016/j.scijus.2021.04.002

27. Бебешко Г. И., Усов А. И., Омельянюк Г. Г., Любецкая И. П. Оценка надежности качественной судебно-экспертной методики «Микроскопическое исследование текстильных волокон» / Заводская лаборатория. Диагностика материалов. 2022. Т. 88. № 12. С. 21 – 27. DOI: 10.26896/1028-6861-2022-88-12-21-27

28. Усов А. И., Омельянюк Г. Г., Бебешко Г. И. и др. Методологические особенности валидации судебно-экспертных методик / Теория и практика судебной экспертизы. 2023. Т. 18. № 1. С. 76 – 96. DOI: 10.30764/1819-2785-2023-1-76-96

29. Kafadar K. Statistical Issues in Assessing Forensic Evidence / Int. Stat. Rev. 2015. Vol. 83. N 1. P. 111 – 134. DOI: 10.1111/insr.12069

30. Brown L. D., Cai T. T., DasGupta A. Interval estimation for a binomial proportion / Statistical Science. 2001. Vol. 16. N 2. P. 101 – 133.

31. Шор Я. Б. Статистические методы анализа и контроля качества и надежности. — М.: Советское радио, 1962. — 552 с.