В работе проанализированы различные методы оценки согласованности экспертных оценок, которые зависят от способов измерения свойств объектов. Показана возможность использования метода «Надежность и позиционный анализ» для оценки степени совпадения мнений экспертов в случае, когда результаты экспертных оценок представлены в балльной шкале. На примере дегустации вин показано, что данный метод многомерного анализа данных может быть использован для оценки согласованности экспертных оценок посредством вычисления статистики α Кронбаха как интегрального числового критерия надежности экспертизы. Отмечено, что оценка единодушия экспертов - важная проблема с учетом того, что экспертная оценка является достаточно субъективным процессом, зависящим не только от индивидуальных особенностей объектов экспертизы, но и от физического и психоэмоционального состояния экспертов, подверженных влиянию большого количества случайных неуправляемых факторов. Анализируемый метод позволяет выявить не только объекты экспертизы, по которым в наибольшей степени расходятся мнения экспертов, но и экспертов, мнения которых не согласуются с мнением большинства. Приведены результаты применения метода в среде пакета STATISTICA для оценки согласованности экспертов при проведении дегустации вин.
Various methods of assessing the consistency of the expert estimates which depend on the procedure of measuring the properties of the objects are analyzed. A possibility of using the method “Reliability and positional analysis” in assessing the degree of convergence of the expert evidences when the results of expert estimates are presented as a rating scale is demonstrated. Case study of wine tasting showed that the considered method of multivariate data analysis can be used to assess the consistency of expert assessments through the calculations of α Cronbach’s statistics as an integral numeric criterion of the reliability of the expert report. It is noted that the assessment of the expert consensus is an important issue given the fact that peer review is a subjective process which depends not only on the individual characteristics of objects to be assessed, but also on the physical and emotional state of the experts faced with a variety of random uncontrollable impacts. The analyzed method enables one to detect not only the objects characterized with the most divergent opinions of the experts, but also to fetch out the experts having the opinion inconsistent with the majority of colleages. The results of using the method in the framework of “STATISTICA” software to assess the consistency of experts estimates in wine tasting are presented.
The authors declare that there are no conflicts of interest present.