Проверка согласованности мнений экспертов на основе коэффициента конкордации

Пример экспертного оценивания

Группа, состоящая из пяти экспертов, провела непосредственную оценку пяти факторов риска. Каждый из экспертов распределил выделенные факторы риска в порядке предпочтительности, и присвоил им ранги (ранг 1 присваивается наиболее важному фактору). Результаты ранжирования сведены в табл.2. Необходимо произвести итоговое ранжирование по важности факторов риска.

Таблица 2

Эксперты	Факторы риска

1. Построение ранжировки по методу средних арифметических рангов

Таблица 3

Эксперты	Факторы риска
Суммарный ранг важности
Средний ранг		1,8		2,2	4,6
Итоговый ранг по среднему арифметическому

1. Построение ранжировки по медианам рангов

Таблица 4

Эксперты	Факторы риска
Медианы рангов
Итоговый ранг по медианам	1,5	1,5

Построение ранжировки по непосредственному оцениванию (баллам)

Эксперты	Факторы риска
Сумма баллов
Итоговый ранг по баллам

Проверка согласованности мнений экспертов на основе коэффициента конкордации.

Коэффициент конкордации (согласованности)вычисляется по формуле:

,

где m – количество экспертов; n –количество сравниваемых объектов

- отклонения сумм рангов объектов S_i от среднего значения

.

, где t_p – количество равных (связанных) рангов в p – группе, r – количество групп.

Проведем расчет коэффициента по данным табл.2.

Таблица 5

Эксперты	Факторы риска
Суммарный ранг важности

Среднее значение суммарной оценки равно: Рассчитаем квадрат отклонения сумм рангов объектов S_i от среднего значения ().

Таблица 6

Эксперты	Факторы риска
Суммарный ранг важности
Отклонение от среднего
Квадрат отклонения от среднего

Сумма квадратов отклонения от среднего: .

Для нашего примера все ранги (в строке «суммарный ранг важности») различны, а значит T_i = 0.

Тогда .

Коэффициент конкордации изменяется в пределах от 0 до 1. При полной согласованности экспертов W =1. При W <0,5 согласованность низкая; при W >0,5 согласованность удовлетворительная. В рассматриваемом примере W =0,664, следовательно, можно считать мнения экспертов достаточно согласованным.

Учитывая, что оценки экспертов являются случайными величинами, необходимо полученное значение коэффициента проверить на значимость, т.е. определить вероятность согласованности их мнений. Для этого необходимо использовать квантили распределения хи-квадрат , где α – уровень значимости критерия; k = n -1 – число степеней свободы.

Для рассматриваемого примера с α =10% и k=4:

< 13,28 = c² расчетное.

Следовательно, мнения экспертов следует признать согласованными.

Метод Дельфи. Задача: оценка качества информационной системы.

Состав - 12 экспертов.

Эксперт ставит себе индивидуальную самооценку в баллах (от 0 до 10).

Эксперт оценивает уровень обслуживания в процентах (0т 0 до 100).

Работа проводится индивидуально и анонимно.

Критерий оценки - длина интервала не более 20%.

Результаты после первого тура имеют вид:

№ эксперта	Коэффициент самооценки	Уровень качества информационной системы
	7,5
	8,6
	9,6
	6,1
	8,4
	5,8

Анализ результатов:

Среднегрупповая оценка:

Среднее значение оценки уровня качества:

Средневзвешенная оценка уровня качества:

Расчет медианы:

Упорядоченные оценки:

Расчет доверительного интервала:

Минимальная оценка из набора экспертиз – 50, максимальная – 98. Квантиль – .

Нижняя–

Верхняя граница доверительной области – .

Доверительный интервал: от 62% до 86%. Длительность интервала = 24%, следовательно, переходим во второй тур.