zldmЗаводская лаборатория. Диагностика материаловIndustrial laboratory. Diagnostics of materials1028-68612588-0187ООО «Издательство «ТЕСТ-ЗЛ»10.26896/1028-6861-2024-90-11-29-37zldm-2338Research ArticleАНАЛИЗ ВЕЩЕСТВАSUBSTANCES ANALYSISПрименение методов математической статистики при оценке надежности судебно-экспертных методик тестированияApplication of mathematical statistics methods in assessing the reliability of forensic testing methodsБебешкоГ. И.BebeshkoGalina I.

Галина Ивановна Бебешко,

109028, Москва, Хохловский пер., д. 13, стр. 2.

Galina I. Bebeshko,

13, str. 2, Khokhlovskii per., Moscow, 109028.

109382@mail.ruНовоселецкийИ. Н.NovoseletskyIgor N.

Игорь Николаевич Новоселецкий,

109028, Москва, Хохловский пер., д. 13, стр. 2.

Igor N. Novoseletsky,

13, str. 2, Khokhlovskii per., Moscow, 109028.

ОмельянюкГ. Г.Omel’yanyukGeorgii G.

Георгий Георгиевич Омельянюк, 

109028, Москва, Хохловский пер., д. 13, стр. 2;

105005, Москва, 2-я Бауманская ул., д. 5, стр. 1.

Georgii G. Omel’yanyuk, 

13, str. 2, Khokhlovskii per., Moscow, 109028;

5 – 1, 2ya Baumanskaya ul., Moscow, 105055.

УсовА. И.UsovAleksandr I.

Александр Иванович Усов, 

109028, Москва, Хохловский пер., д. 13, стр. 2;

105005, Москва, 2-я Бауманская ул., д. 5, стр. 1.

Aleksandr I. Usov,

13, str. 2, Khokhlovskii per., Moscow, 109028;

5 – 1, 2ya Baumanskaya ul., Moscow, 105055

ФедотовС. В.FedotovSergey V.

Сергей Викторович Федотов,

109028, Москва, Хохловский пер., д. 13, стр. 2.

Sergey V. Fedotov,

13, str. 2, Khokhlovskii per., Moscow, 109028.

Российский федеральный центр судебной экспертизы им. профессора А. Р. Шляхова при Министерстве юстиции Российской ФедерацииРоссияProfessor A. R. Shlyakhov Russian Federal Centre of Forensic Science, Ministry of Justice of the Russian FederationRussian FederationРоссийский федеральный центр судебной экспертизы им. профессора А. Р. Шляхова при Министерстве юстиции Российской Федерации; Московский государственный технический университет им. Н. Э. БауманаРоссияProfessor A. R. Shlyakhov Russian Federal Centre of Forensic Science, Ministry of Justice of the Russian Federation; Bauman Moscow State Technical UniversityRussian Federation20242211202490112937Copyright © Бебешко Г.И., Новоселецкий И.Н., Омельянюк Г.Г., Усов А.И., Федотов С.В., 20242024Бебешко Г.И., Новоселецкий И.Н., Омельянюк Г.Г., Усов А.И., Федотов С.В.Bebeshko G.I., Novoseletsky I.N., Omel’yanyuk G.G., Usov A.I., Fedotov S.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.zldm.ru/jour/article/view/2338

Вопросам количественной оценки надежности судебно-экспертных методик тестирования (СЭМТ) не уделяется достаточного внимания. В настоящей работе для этой цели использован такой метрологический параметр валидации методики, как надежность — воспроизводимость результатов тестирования при многократном повторении тестов образцов с известными признаками/свойствами при варьировании условий (разные операторы, использование разного оборудования, разное время). Количественной характеристикой надежности СЭМТ является уровень ложноположительных и ложноотрицательных результатов в общем количестве тестирований. Отмечены специфика контрольных образцов для эксперимента и необходимость учета вариационности признаков в них, рекомендовано использование для валидации образцов с отчетливым проявлением контролируемых признаков. Статистическая оценка результатов тестирования заключается в расчете показателей (опытной вероятности) ошибок по приведенным формулам. Приведены формулы расчета разных показателей, относящихся к правильным положительным и отрицательным результатам, наряду с таблицей бинарной классификации для представления результатов валидационного эксперимента. В качестве примера рассмотрено соответствие показателей (опытных вероятностей) истинным вероятностям событий для случая сравнительного исследования ситуации с парой образцов: «тот же источник происхождения (совпадение)» и «разные источники происхождения (несовпадение)». Даны формулы приближенного расчета границ достоверности для биноминального распределения, которому подчиняется большинство рассматриваемых в работе методик бинарного отклика. Рассчитан доверительный интервал при валидации конкретной методики СЭМТ и показано, что на основе экспериментально установленных показателей правильных результатов «чувствительности» и «специфичности» при наличии априорных данных о распространенности образцов по совокупности контролируемых признаков с использованием байесовской формулы можно рассчитать доли ложных положительных/отрицательных аналитических сигналов (ЛПС и ЛОС). Низкие значения показателей ЛПС и ЛОС свидетельствуют о правильности тестирования или правильности принятого решения и пригодности методики для целей назначения.

Quantitative assessment of reliability of forensic testing methods (FTM) is not given sufficient attention. In this paper, we use the metrological parameter of validation — «reliability», which is understood as the reproducibility of test results, with multiple repetitions of tests for samples with known characteristics/properties under varying conditions: different operators, use of different equipment, different time. The quantitative characteristic of FTM reliability is the level of false positive and false negative results in the total number of tests. The specificity of control samples for the experiment and the need to take into account the variability of features in them are emphasized, the use of samples with a distinct manifestation of controlled features for validation is recommended. Statistical assessment of test results consists in calculating the indicators (experimental probability) of errors according to the given formulas. Formulas for calculating various indicators related to truene positive and negative results are also given. A binary classification table is provided to present the results of the validation experiment. As an example, the correspondence of the indicators (experimental probabilities) to the true probabilities of events is given for the case of a comparative study of the situation with a pair of samples: «the same source of origin (coincidence)» and «different sources of origin (mismatch)». Formulas are given for the approximate calculation of the confidence limits for the binomial distribution, which most of the binary response methods considered in the work obey. A practical example of calculating the confidence interval in the validation of a specific SEMT method is considered. It is shown that, based on the experimentally established indicators of the correct results of «sensitivity» and «specificity» and in the presence of a priori data on the prevalence of samples by a set of controlled characteristics, using the Bayesian formula, it is possible to calculate the proportions of false positive/negative analytical signals (FPS and FNS). Low values of the FPS and FNS indicators indicate the correctness of testing or the correctness of the decision made and the suitability of the method for its intended purposes.

метрологический параметр — надежность судебно-экспертной методики тестированияложноположительные и ложноотрицательные результаты тестированияконтрольные образцы для валидацииграницы достоверностиоценка правильности тестированияmetrological parameter — reliability of forensic testing methodfalse positive and false negative test resultscontrol samples for validationreliability limitsassessment of testing truenessReferencesPCAST. Report to the President. Forensic Science in Criminal Courts: Ensuring Scientific Validity of Feature-Comparison Methods. — Washington, 2016. http://www.documentcloud.org/documents/3121011-Pcast-Forensic-Science-Report-Final.html (дата обращения 27.08.2024).PCAST. Report to the President. Forensic Science in Criminal Courts: Ensuring Scientific Validity of Feature-Comparison Methods. — Washington, 2016. http://www.documentcloud.org/documents/3121011-Pcast-Forensic-Science-Report-Final.html (accessed 27.08.2024).Murriea D. C., Gardner B. O., Kelley S., Dror I. E. Perceptions and estimates of error rates in forensic science / Forensic Sci. Int. 2019. Vol. 302. 109887. DOI: 10.1016/j.forsciint.2019.109887Murriea D. C., Gardner B. O., Kelley S., Dror I. E. Perceptions and estimates of error rates in forensic science / Forensic Sci. Int. 2019. Vol. 302. 109887. DOI: 10.1016/j.forsciint.2019.109887Cole S. A. More than zero: accounting for error in latent fingerprint identification / J. Crim. Law Criminol. 2005. Vol. 95. N 3. P. 985 – 1078.Cole S. A. More than zero: accounting for error in latent fingerprint identification / J. Crim. Law Criminol. 2005. Vol. 95. N 3. P. 985 – 1078.Baldwin D. P., Bajic S. J., Morris M., Zamzow D. A Study of False-Positive and False-Negative Error Rates in Cartridge Case Comparisons / Ames Laboratory, Defense Forensic Science Center, 2014. Technical Report #IS-5207. https://www.ncjrs. gov/pdffiles1/nij/249874.pdf (дата обращения 27.08.2024).Baldwin D. P., Bajic S. J., Morris M., Zamzow D. A Study of False-Positive and False-Negative Error Rates in Cartridge Case Comparisons / Ames Laboratory, Defense Forensic Science Center, 2014. Technical Report #IS-5207. https://www.ncjrs. gov/pdffiles1/nij/249874.pdf (accessed 27.08.2024).Kelley S., Gardner B. O., Murrie D. C., et al. How do latent print examiners perceive proficiency testing? An analysis of examiner perceptions, performance, and print quality / Sci. Justice. 2020. Vol. 60. N 2. P. 120 – 127. DOI: 10.1016/j.scijus.2019.11.002Kelley S., Gardner B. O., Murrie D. C., et al. How do latent print examiners perceive proficiency testing? An analysis of examiner perceptions, performance, and print quality / Sci. Justice. 2020. Vol. 60. N 2. P. 120 – 127. DOI: 10.1016/j.scijus.2019.11.002Thompson W. C., Taroni F., Aitken C. G. G. How the Probability of a False Positive Affects the Value of DNA Evidence / J. Forensic Sci. 2003. Vol. 48. N 1. P. 1 – 19. DOI: 10.1520/JFS2003315Thompson W. C., Taroni F., Aitken C. G. G. How the Probability of a False Positive Affects the Value of DNA Evidence / J. Forensic Sci. 2003. Vol. 48. N 1. P. 1 – 19. DOI: 10.1520/JFS2003315Martire K. A., Ballantyne K. N., Balia A., et al. Forensic science evidence: Naive estimates of false positive error rates and reliability / Forensic Sci. Int. 2019. Vol. 302. 109877. DOI: 10.1016/j.forsciint.2019.109877Martire K. A., Ballantyne K. N., Balia A., et al. Forensic science evidence: Naive estimates of false positive error rates and reliability / Forensic Sci. Int. 2019. Vol. 302. 109877. DOI: 10.1016/j.forsciint.2019.109877Mattijssen E., Witteman C., Berger C., et al. Validity and reliability of forensic firearm examiners / Forensic Sci. Int. 2020. Vol. 307. 110112. DOI: 10.1016/j.forsciint.2019.110112Mattijssen E., Witteman C., Berger C., et al. Validity and reliability of forensic firearm examiners / Forensic Sci. Int. 2020. Vol. 307. 110112. DOI: 10.1016/j.forsciint.2019.110112Smith T. P., Smith A. S., Snipes J. B. A validation study of bullet and cartridge case comparisons using samples representative of actual casework / J. Forensic Sci. 2016. Vol. 61. N 4. P. 939 – 946. DOI: 10.1111/1556-4029.13093Smith T. P., Smith A. S., Snipes J. B. A validation study of bullet and cartridge case comparisons using samples representative of actual casework / J. Forensic Sci. 2016. Vol. 61. N 4. P. 939 – 946. DOI: 10.1111/1556-4029.13093Ulery B. T., Hicklin R. A., Buscaglia J., Roberts M. A. Repeatability and reproducibility of decisions by latent fingerprint examiners / PLoS One. 2012. Vol. 7. N 3. e32800. DOI: 10.1371/journal.pone.0032800Ulery B. T., Hicklin R. A., Buscaglia J., Roberts M. A. Repeatability and reproducibility of decisions by latent fingerprint examiners / PLoS One. 2012. Vol. 7. N 3. e32800. DOI: 10.1371/journal.pone.0032800Koehler J. J. Proficiency tests to estimate error rates in the forensic sciences / Law, Probab. Risk. 2013. Vol. 12. N 1. P. 89 – 98. DOI: 10.1093/lpr/mgs013Koehler J. J. Proficiency tests to estimate error rates in the forensic sciences / Law, Probab. Risk. 2013. Vol. 12. N 1. P. 89 – 98. DOI: 10.1093/lpr/mgs013DrorItiel E., Scurich N. (Mis)use of scientific measurements in forensic science / Forensic Sci. Int.: Synergy. 2020. Vol. 2. P. 333 – 338. DOI: 10.1016/j.fsisyn.2020.08.006DrorItiel E., Scurich N. (Mis)use of scientific measurements in forensic science / Forensic Sci. Int.: Synergy. 2020. Vol. 2. P. 333 – 338. DOI: 10.1016/j.fsisyn.2020.08.006Dror I. E. The Error in «Error Rate»: Why Error Rates Are So Needed’ Yet So Elusive / J. Forensic Sci. 2020. Vol. 65. N 4. P. 1034 – 1039. DOI: 10.1111/1556-4029.14435Dror I. E. The Error in «Error Rate»: Why Error Rates Are So Needed’ Yet So Elusive / J. Forensic Sci. 2020. Vol. 65. N 4. P. 1034 – 1039. DOI: 10.1111/1556-4029.14435Смирнова С. А., Усов А. И., Омельянюк Г. Г. и др. Опыт аккредитации судебно-экспертных лабораторий Минюста России на соответствие ИСО/МЭК 17025 / Теория и практика судебной экспертизы. 2011. № 2(22). С. 40 – 56.Smirnova S. A., Usov A. I., Omel’yanuk G. G., et al. Practice of Accreditation of Forensic Laboratories of the Ministry of Justice of Russia on Compliance with ISO/MEK17025 / Teor. Prakt. Sud. Ékspert. 2011. N 2(22). P. 40 – 56 [in Russian].Смирнова С. А., Омельянюк Г. Г., Микляева О. В. Методика экспертная / Энциклопедический словарь теории судебной экспертизы. Часть II / Под ред. С. А. Смирновой. — М.: ЭКОМ, 2012. С. 184 – 185.Smirnova S. A., Omel’yanuk G. G., Miklyaeva O. V. Expert’s Procedure / Encyclopedic Dictionary of the Theory of Forensic Science. Part II (ed. by S. A. Smirnova). — Moscow: ÉKOM, 2012. P. 184 – 185 [in Russian].The Expression of Uncertainty in Qualitative Testing: EURACHEM/CITAC guide. — Teddington: EuraChem, 2003. No. LGCN/VAM/2003/048/.The Expression of Uncertainty in Qualitative Testing: EURACHEM/CITAC guide. — Teddington: EuraChem, 2003. No. LGCN/VAM/2003/048/.Пантелеймонов А. В., Никитина Н. А., Решетняк Е. А. и др. Методики качественного анализа с бинарным откликом: метрологические характеристики и вычислительные аспекты / Методы и объекты химического анализа. 2008. Т. 3. № 2. С. 128 – 146.Panteleimonov A. V., Nikitina N. A., Reshetnyak E. A., et al. Binary response procedures of qualitative analysis: methodological characteristics and calculation aspects / Met. Ob’ekty Khim. Analiza. 2008. Vol. 3. N 2. P. 128 – 146 [in Russian].Мильман Б. Л. Введение в химическую идентификацию. — СПб.: ВВМ, 2008. — 179 с.Mil’man B. L. Introduction to forensic identification. — St. Petersburg: VVM, 2008. — 179 p. [in Russian].Мильман Б. Л., Конопелько Л. А. Неопределенность результатов качественного химического анализа. Общие положения и бинарные тест-методы / Журн. аналит. химии. 2004. Т. 59. № 12. С. 1244 – 1258.Mil’man B. L., Konopel’ko L. A. Uncertainty of qualitative chemical analysis: General methodology and binary test methods / J. Anal. Chem. 2004. Vol. 59. N 12. P. 1128 – 1141. DOI: 10.1023/B:JANC.0000049712.88066.e7Mil’man B. L. Identification of chemical compounds / Trends Anal. Chem. 2005. Vol. 24. N 6. P. 493 – 508. DOI: 10.1016/j.trac.2005.03.013Mil’man B. L. Identification of chemical compounds / Trends Anal. Chem. 2005. Vol. 24. N 6. P. 493 – 508. DOI: 10.1016/j.trac.2005.03.013Смирнова С. А., Афанасьев И. Б., Бебешко Г. И., Омельянюк Г. Г. Валидация экспертной методики «Обнаружение конденсированных следов продуктов выстрела, содержащих соединения тяжелых металлов, на различных объектах методом сканирующей электронной микроскопии и рентгеноспектрального микроанализа» / Заводская лаборатория. Диагностика материалов. 2021. Т. 87. № 12. С. 63 – 72. DOI: 10.26896/1028-6861-2021-87-12-63-72Smirnova S. A., Afanasyev I. B., Bebeshko G. I., Omel’yanyuk G. G. Validation of the Expert Methodology «Detection of Condensed Traces of Gunshot Residue Containing Heavy Metal Compounds on Various Objects by Scanning Electron Microscopy and X-Ray Microanalysis» / Inorg. Mater. 2022. Vol. 58. N 14. P. 1491 – 1499. DOI: 10.1134/S002016852214014XБебешко Г. И., Омельянюк Г. Г., Самойлова О. В., Усов А. И. Оценка надежности судебно-экспертной методики идентификационного исследования автомобильных бензинов с использованием газожидкостной хроматографии / Заводская лаборатория. Диагностика материалов. 2023. Т. 89. № 12. С. 31 – 43. DOI: 10.26896/1028-6861-2023-89-12-31-43Bebeshko G. I., Omel’yanyuk G. G., Samoi’lova O. V., Usov A. I. Assessing the reliability of the forensic technique for the identifications study of motor gasoline using gas-liquid chromatography / Industr. Lab. Mater. Diagn. 2023. Vol. 89. N 12. P. 31 – 43 [in Russian]. DOI: 10.26896/1028-6861-2023-89-12-31-43Гаврилов О. А. Применение математических методов и ЭВМ в судебной экспертизе / Курс правовой информатики: учебник для вузов. Гл. 9. — М.: Норма, 2002. — 432 с.Gavrilov O. A. Application of mathematical methods and computers in forensic examination / Course of legal informatics: textbook for universities. Part 9. — Moscow: Norma, 2002. — 432 p. [in Russian].Смирнова С. А., Градусова О. Б., Нестерина Е. М. и др. Методика диагностирования микровключений в почвах и грунтах: валидация и практическое применение / Заводская лаборатория. Диагностика материалов. 2021. Т. 87. № 6. С. 70 – 77. DOI: 10.26896/1028-6861-2021-87-6-70-77Smirnova S. A., Gradusova O. B., Nesterina E. M., et al. Diagnostic Methodology for Microinclusions in Objects of Soil and Geological Origin: Validation and Practical Application / Inorg. Mater. 2022. Vol. 58. N 14. P. 1484 – 1490. DOI: 10.1134/S0020168522140138Градусова О. Б., Пеленева М. В., Нестерина Е. М. Атлас микровключений в почвах. — М.: ФБУ РФЦСЭ при Минюсте России, 2014. — 94 с.Gradusova O. B., Peleneva M. V., Nesterina E. M. Atlas of microinclusions in soils. — Moscow: FBU RFCFS of Justice of RF, 2014. — 94 p. [in Russian].Smith A. M., Neal T. M. S. The distinction between discriminability and reliability in forensic science / Sci. Justice. 2021. Vol. 61. N 4. P. 319 – 331. DOI: 10.1016/j.scijus.2021.04.002Smith A. M., Neal T. M. S. The distinction between discriminability and reliability in forensic science / Sci. Justice. 2021. Vol. 61. N 4. P. 319 – 331. DOI: 10.1016/j.scijus.2021.04.002Бебешко Г. И., Усов А. И., Омельянюк Г. Г., Любецкая И. П. Оценка надежности качественной судебно-экспертной методики «Микроскопическое исследование текстильных волокон» / Заводская лаборатория. Диагностика материалов. 2022. Т. 88. № 12. С. 21 – 27. DOI: 10.26896/1028-6861-2022-88-12-21-27Bebeshko G. I., Usov A. I., Omel’yanyuk G. G., Lyubetskaya I. P. Evaluation of the Reliability of the Qualitative Forensic Technique Microscopic Examination of Textile Fibers / Inorg. Mater. 2023. Vol. 59. N 14. P. 1482 – 1487. DOI: 10.1134/S0020168523140017Усов А. И., Омельянюк Г. Г., Бебешко Г. И. и др. Методологические особенности валидации судебно-экспертных методик / Теория и практика судебной экспертизы. 2023. Т. 18. № 1. С. 76 – 96. DOI: 10.30764/1819-2785-2023-1-76-96Usov A. I., Omel’yanyuk G. G., Bebeshko G. I., et al. Methodological Features of ValidatingForensic Expert Techniques / Teor. Prakt. Sud. Ékspert. 2023. Vol. 18. N 1. P. 76 – 96 [in Russian]. DOI: 10.30764/1819-2785-2023-1-76-96Kafadar K. Statistical Issues in Assessing Forensic Evidence / Int. Stat. Rev. 2015. Vol. 83. N 1. P. 111 – 134. DOI: 10.1111/insr.12069Kafadar K. Statistical Issues in Assessing Forensic Evidence / Int. Stat. Rev. 2015. Vol. 83. N 1. P. 111 – 134. DOI: 10.1111/insr.12069Brown L. D., Cai T. T., DasGupta A. Interval estimation for a binomial proportion / Statistical Science. 2001. Vol. 16. N 2. P. 101 – 133.Brown L. D., Cai T. T., DasGupta A. Interval estimation for a binomial proportion / Statistical Science. 2001. Vol. 16. N 2. P. 101 – 133.Шор Я. Б. Статистические методы анализа и контроля качества и надежности. — М.: Советское радио, 1962. — 552 с.Shor Ya. B. Statistical methods of analysis and quality and reliability control. — Moscow: Sovetskoye Radio, 1962. — 552 p. [in Russian].

The authors declare that there are no conflicts of interest present.