Positional Analysis as a Method to Assess the Consistency of the Expert Estimates

Various methods of assessing the consistency of the expert estimates which depend on the procedure of measuring the properties of the objects are analyzed. A possibility of using the method “Reliability and positional analysis” in assessing the degree of convergence of the expert evidences when the results of expert estimates are presented as a rating scale is demonstrated. Case study of wine tasting showed that the considered method of multivariate data analysis can be used to assess the consistency of expert assessments through the calculations of α Cronbach’s statistics as an integral numeric criterion of the reliability of the expert report. It is noted that the assessment of the expert consensus is an important issue given the fact that peer review is a subjective process which depends not only on the individual characteristics of objects to be assessed, but also on the physical and emotional state of the experts faced with a variety of random uncontrollable impacts. The analyzed method enables one to detect not only the objects characterized with the most divergent opinions of the experts, but also to fetch out the experts having the opinion inconsistent with the majority of colleages. The results of using the method in the framework of “STATISTICA” software to assess the consistency of experts estimates in wine tasting are presented.

expert assessment, reliability and positional analysis, product quality, wine tasting, Cronbach’s α, экспертная оценка, надежность и позиционный анализ, качество продукции, дегустация вин, статистика α Кронбаха

1. Орлов А. И. Организационно-экономическое моделирование. Ч. 2. Экспертные оценки. - М.: Изд-во МГТУ им. Н. Э. Баумана, 2011. - 486 с.

2. Орлов А. И. Теория экспертных оценок в нашей стране / Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2013. № 93. С. 1652 - 1683.

3. Григан А. М. Управленческая диагностика: теория и практика. - Ростов-на-Дону: Изд-во РСЭИ, 2009. - 316 с.

4. Орлов А. И. Математические методы исследования в теории измерений / Заводская лаборатория. Диагностика материалов. 2006. Т. 72. № 1. С. 67-70.

5. Барский Б. В., Соколов М. В. Средние величины, инвариантные относительно допустимых преобразований шкал измерения / Заводская лаборатория. Диагностика материалов. 2006. Т. 72. № 1. С. 59 - 66.

6. Цейтлин Н. А. Среднемедианный показатель положения выборки экспертных оценок / Заводская лаборатория. Диагностика материалов. 2010. Т. 76. № 7. С. 69 - 72.

7. Стрижов В. В. Уточнение экспертных оценок, выставленных в ранговых шкалах, с помощью измеряемых данных / Заводская лаборатория. Диагностика материалов. 2011. Т. 77. № 7. С. 72 - 78.

8. Орлов А. И., Савинов Ю. Г., Богданов А. Ю. Экспертные технологии и их применение при оценивании вероятностей редких событий / Заводская лаборатория. Диагностика материалов. 2014. Т. 80. №3. С. 63 -68.

9. Надежность и позиционный анализ. URL: http://statsoft.ru/home/ textbook/modules/streliab.html#general.

10. Валуйко Г. Г., Шольц-Куликов Е. П. Теория и практика дегустации вина. - Симферополь: Таврида, 2005. - 232 с.

11. The Aroma of Rojal Red Wines from La Mancha Region - Determination of Key Odorants / Ed. by Dr. Bekir Salih. - In Tech Europe, Rijeka, Croatia. P. 147 - 170.

12. ГОСТ Р ИСО 8588-2008. Органолептический анализ. Методология. Испытания «А» - «Не А». - М.: Стандартинформ, 2009. - 12 с.

13. ГОСТ Р 53161-2008. Органолептический анализ. Методология. Метод парного сравнения. - М.: Стандартинформ, 2009. - 20 с.

14. ГОСТ Р 53159-2008. Органолептический анализ. Методология. Метод треугольника. - М.: Стандартинформ, 2009. - 16 с.