Достоверность оценок

Одной из наиболее актуальных проблем в области коллективной экспертной оценки при анкетной форме проведения экспертизы является повышение достоверности групповой оценки.

Эта проблема решается по двум направлениям:

1) проведение экспертизы в виде последовательности туров с вве­дением обратной связи, действующейпосле каждого тура. Под обратной связью понимается ознакомление экспертов с результатами каждого тура перед началом следующего;

2) учет степени компетентности участвующих в экспертизе экспертов. Компетентность экспертов может оцениваться как до проведения опроса, так и в ходе обработки полученных результатов. Эти вопросы рассматриваются, например, в учебнике.

Количественным выражением компетентности является вес, при­писываемый оценке эксперта, который учитывается при формирова­нии групповых опенок. Вес выражается в баллах некоторой шкалы. Чаше других принимается десятибалльная шкала оценок компетент­ности.

Различают следующие способы оценки компетентности экспертов:

• объективные - их можно подразделить на документальные и экспериментальные;

• субъективные - их можно подразделить на взаимооценочные и самооценочн ые.

При первом способе уровень компетентности экспертов определяется на основании характеристик, данных им другими участниками экспертизы.

Наиболее простым с точки зрения получения исходных данных является самооценочный способ определения компетентности экс­пертов. Этот способ не требует предварительной обработки каких-то данных для получения веса оценки эксперта. Сам эксперт определяет вес своей оценки по некоторому вопросу, пользуясь оценочной шка­лой, представляемой ему лицом, принимающим решение.

Как элементы совокупности соотносятся друг с другом по степе­ни важности, можно установить с помощью приема ранжирования. Ранжирование в общем случае представляет собой упорядочение по определенному признаку некоторой совокупности элементов. Такая упорядоченная цепочка элементов, составленная одним экс­пертом, называется ранжировкой. Каждый элемент, согласно месту, занимаемому им в ранжировке, получает свой порядковый номер или ранг.

При коллективном способе экспертной оценки результаты экспертизы можно считать достоверными лишь в случае, если будет достигнута достаточная степень согласия между участвующими в экс­пертизе экспертами. Поэтому необходимо выбрать меру, с помощью которой мы имели бы возможность измерять степень согласия между экспертами, а также оценивать приемлемость степени согласия.

Мерой близости ранжировок двух экспертов может служить коэффициент ранговой корреляции. В зависимости от способа исчисления связи между парами рангов в ранжировках экспертов коэффициент ранговой корреляции может быть посчитан по Кендаллу или по Спирмену.

При практических расчетах корреляционной зависимости ран­жировок предпочтительнее использовать удобную для расчетов фор­мулу коэффициента ранговой корреляции Спирмена:

где т - количество ранжируемых элементов; r_j1, r_j2 - ранг, полученный j-м элементом соответственно от первого и второго эксперта.

Значение коэффициента ρ может изменяться в пределах от -1 до +1:

• если ρ = 1, мнения экспертов относительно важности эле­ментов полностью совпадают;

• если ρ = -1, мнения экспертов полностью противоположны.

Пример 7.3. Два эксперта провели ранжирование шести экономических

признаков (табл. 7.1.).

Таблица 7.1.. Результаты ранжирования

Эксперт	Ранг элемента
Х1	Х2	Х3	Х4	Х5	Х6
Первый		2				6
Второй
d	-1	-1			-1
d2						I

Рассчитаем коэффициент ранговой корреляции Спирмена:

Таким образом, существует достаточно сильная положительная корре­ляция между ранжировками двух экспертов.

Для оценки степени согласованности мнений N экспертов используются специальные показатели, называемые коэффициентами конкордации (согласованности).

Предположим, что каждый эксперт ранжирует (упорядочивает) т элементов по убыванию их важности.

Первый член ранжировки получает1-й ранг, последний- ранг, равный m (прямое ранжирование).

Наиболее известным является коэффициент конкордации Кендалла:

Коэффициент конкордации Кендалла меняется в пределах от 0 (в случае наименьшей согласованности мнений нескольких экспер­тов) до 1 (в случае абсолютной согласованности).

Величина N(m-1)W имеет распределение χ² с ν = m - 1 степенями свободы. Для признания значимости коэффициента кон­кордации необходимо и достаточно, чтобы найденное N(m - 1) W было больше табличного χ², определяемого числом степеней сво­боды и уровнем значимости α (вероятностью ошибки).

Таким образом, задавшись уровнем значимости и зная число сте­пеней свободы, можно получить в Excel с помощью функции = ХИ2ОБР табличное значение χ² и оценить значимость вычисленного по фор­муле коэффициента конкордации W. Чаще всего в подобных расчетах уровень значимости задается равным 0,05 или 0,01.

♦ Пример 7.4. Десять экспертов ранжировали по значимости следующие четыре показателя, характеризующие эффективность инвестиционных про­ектов:

Х₁— объем инвестиций;

Х₂ — срок окупаемости;

X3 — чистый дисконтированный доход;

Х₄ — рентабельность инвестиций (табл. 3.2). Определим коэффициент конкордации при m=4, N = 10:

Получим расчетное значение χ²:

χ² = 10×3× 0,24 = 7,2.

При уровне значимости α = 0,03 для ν = m - 1 = 3 степеней свободы находим табличное значение χ² с помощью функции =ХИ20БР (Мастер функций Excel/категория Статистические): χ²_табл = 7,8.

Так как χ² < χ²_табл, то степень согласованности мнений экспертов W = 0,24 не только мала, но и не значима.

Таблица 7.2. Результаты ранжирования

Эксперт Эm	Ранг rjm показателя Xj
X1	X2	X3	X4
Э1
Э2
Э3
Э4
Э5
Э6
Э7
Э8
Э9
Э10
Σrjm
dj		-5	-5
dj2
R (d2)

К обобщению мнений экспертов можно приступать лишь при достаточно высокой и статистически значимой согласованности мнений членов экспертной группы. II противном случае требуется дополнительная работа, в частности по выделению подгрупп экспертов с близкими мнениями.

Чем более согласованными являются ответы экспертов, темнадежнее их групповая оценка или суммарная ранжировка.

Один из подходов к обобщению мнений экспертов состоит в том, чтобы групповой считать ранжировку, наиболее тесно коррелирован­ную с N обрабатываемыми ранжировками.

Другой подход в рассматриваемой задаче состоит в том, чтобы групповую ранжировку искать как медиану индивидуальных.

Значительно шире на практике используется метод «сумм рангов». Данный метод заключается в суммировании рангов по элемен­там, выставленных каждым экспертом, и определении групповой (обобщенной) ранжировки на основе суммарных рангов.

В примере 7.4 (см. строку Σ r_jm таблице) обобщенная груп­пировка может быть представлена (прямое ранжирование) сле­дующим образом:

(Х₂) = (Х₃)> (Х₁) > (X₄),

где знак «=» означает «одинаково, равномерно», а знак «>» надо понимать как «предпочтительнее, важнее».

Определение групповых ранжировок при использовании других способов выражения предпочтений экспертов также основано на осреднении соответствующих оценок (балльных, непосредственных числовых) и построении на основе средних результатов обобщенной ранжировки.

В результате обобщения объективных данных и информации, получаемой от экспертов, а также собственных предпочтений ЛПР выбирает наилучшую альтернативу.

Контрольные задания по теме 7

Во всех вариантах заданий сделать точечный и интервальный прогнозы оцениваемого показателя. Достоверность оценок не проверять.

Вариант 1. Десять экспертов оценили прогнозные значения объёма продаж акций "Газпрома" (в млн. р.). Данные оценки приведены в таблице

эксперт
прогноз	16,8	12,9	12,8	13,6	11,9		16,1		17,8	13,4

Методом Дельфи экспертных оценок найти точечный и интервальный прогнозы объёма продаж.

Вариант 2. Десять экспертов оценили прогнозные значения объёма продаж акций "Газпрома" (в млн. р.). Данные оценки приведены в таблице:

эксперт
прогноз	16,8	12,9	12,8	13,6	11,9		16,1		17,8	13,4

Методом статистической обработки результатов экспертных оценок найти точечный и интервальный прогнозы объёма продаж.

Вариант 3. Восемь экспертов оценили объём кредитования юридических лиц некоторого коммерческого банка в условиях инфляции. Оценки приведены в таблице:

эксперт
прогноз	10,1	13,6	8,8	9,6	11,7		14,6	12,4

Методом Дельфи найти точечный и интервальный прогнозы объёма кредитования.

Вариант 4. Восемь экспертов оценили объём кредитования юридических лиц некоторого коммерческого банка в условиях инфляции. Оценки приведены в таблице:

эксперт
прогноз	10,1	13,6	8,8	9,6	11,7		14,6	12,4

Методом статистической обработки результатов экспертных оценок найти точечный и интервальный прогнозы объёма кредитования.

Вариант 5. Двенадцать экспертов оценили перспективный объём продажи механических наручных часов (в тысячах штук). Данные приведены в таблице:

эксперт
прогноз	7,8	9,6	13,1	8,4	10,2	11,6	12,5	13,6			9,8	10,4

Методом Дельфи найти точечный и интервальный прогнозы объёма продаж часов.

Вариант 6. Двенадцать экспертов оценили перспективный объём продажи механических наручных часов (в тысячах штук). Данные приведены в таблице:

эксперт
прогноз	7,8	9,6	13,1	8,4	10,2	11,6	12,5	13,6			9,8	10,4

Методом статистической обработки результатов экспертных оценок найти точечный и интервальный прогнозы объёма продаж часов.

Вариант 7. Восемь экспертов Красногорского завода оценили объём спроса на стеклопакеты (в млн. рублей) на 2013 год. Результаты приведены в таблице:

эксперт
прогноз	6,8	9,1	8,3		7,4	6,6	8,3	8,7

Методом Дельфи найти точечный и интервальный прогнозы спроса на стеклопакеты.

Вариант 8. Восемь экспертов Красногорского завода оценили объём спроса на стеклопакеты (в млн. рублей) на 2013 год. Результаты приведены в таблице:

эксперт
прогноз	6,8	9,1	8,3		7,4	6,6	8,3	8,7

Методом статистической обработки результатов экспертных оценок найти точечный и интервальный прогнозы спроса на стеклопакеты.

Вариант 9. Девять экспертов оценили спрос на малолитражные автомобили в городе N (в тысячах штук). Результаты приведены в таблице:

эксперт
прогноз	2,8	5,6	3,2	4,8			2,5	3,7	3,9

Методом Дельфи найти точечный и интервальный прогнозы спроса на малолитражные автомобили.

Вариант 10. Девять экспертов оценили спрос на малолитражные автомобили в городе N (в тысячах штук). Результаты приведены в таблице:

эксперт
прогноз	2,8	5,6	3,2	4,8			2,5	3,7	3,9

Методом статистической обработки результатов экспертных оценок найти точечный и интервальный прогнозы спроса на малолитражные автомобили.

Литература

а) Основная литература

1. Федосеев В.В., Гармаш А.Н., Орлова И.В. Экономико-математические методы и прикладные модели: учебник для бакалавров. 3-е изд., перераб. и доп.- М.: Издательство Юрайт, 2012.

2. Гармаш А.Н., Орлова И.В. Математические методы в управлении: учебное пособие, - М.: Вузовский учебник, 2012.

3. Орлова И.В., Половников В.А. Экономико-математические методы и модели: компьютерное моделирование Учебное пособие. - М.: ВЗФЭИ, Вузовский учебник, 2012.

4. Орлова И.В. Экономико-математическое моделирование: Практическое пособие по решению задач. – 2-е изд., испр. и доп. - М.: Вузовский учебник: ИНФРА-М, 2012.

б) Дополнительная литература

5. Кремер Н.Ш. Исследование операций в экономике. 2-е изд., перераб. и доп.- М.: Издательство Юрайт, 2012.

6. Афанасьев М.Ю., Багриновский К.А., Матюшок В.М. Прикладные задачи исследования операций: Учеб. пособие – М.: ИНФРА-М, 2006.

7. Экономико-математические методы и модели. Задачник: учебно-прак. пособие/под ред. С.И. Макарова, С.А. Севастьяновой.-2-е изд.,перераб.-М.: КНОРУС, 2009.

8. Томас Р. Количественные методы анализа хозяйственной деятельности.- М.: ДИС, 1999. - 432 с.

9. Эддоус М., Стэнсфилд Р. Методы принятия решения. – М.: ЮНИТИ, 1997. -590 с.

10. Стрикалов А.И.. Экономико-математические методы и модели: пособие к решению задач.- Ростов н/Д: Феникс, 2008.- 348 с.

11. Мур Дж., Уэдерфорд Л. Экономическое моделирование в Microsoft Excel. – М.: Издательский дом «Вильямс», 2004.

Приложение