Тема 10: Экспертные оценки

Цель: изучить методологию использования экспертных оценок в экономическом анализе. Уметь рассчитывать коэффициент конкордации и давать ему экономическую интерпретацию.

План:

1.Понятие экспертных оценок и методы проведения экспертиз.

2.Расчет коэффициента конкордации и оценка его значимости.

3.Пример.

1 Понятие экспертных оценок и методы проведения экспертиз.

Метод экспертных оценок представляет собой обобщение оценок экспертов, касающихся перспектив развития того или иного экономического субъекта. Особенность метода состоит в последовательном, индивидуальном анонимном опросе экспертов. Такая методика исключает непосредственный контакт экспертов между собой и, следовательно, групповое влияние, возникающее при совместной работе и состоящее в приспособлению к мнению большинства. Цель метода экспертных оценок, опираясь на опыт, знания, компетенцию ученых-практиков, выявить производственные факторы, существенно влияющие на те или иные показатели.

Исходя из конкретной цели исследования, специфики отрасли, размеров предприятия берется определенное множество факторов и произвольное число независимых экспертов. При большом числе исходных данных метод экспертных оценок может осуществляться через стандартное программное обеспечение.

Анализ с помощью метода экспертных оценок проводится в несколько этапов, а результаты анализа обрабатываются статистическими методами.

Экспертные оценки – количественные, качественные (порядковые) оценки процессов, явлений неподдающихся непосредственному измерению.

Экспертные оценки базируются на суждениях независимых специалистов.

Для обобщения индивидуальных экспертных оценок, повышения степени их достоверности и объективности применяются методы, включающие правила формирования групп экспертов, продуманные формы, предлагаемые к опросу, возможность сведения результатов и выработку общей позиции, привлекаемых к работе экспертов.

Экспертные оценки применяются при прогнозировании экономических явлений и процессов, возможных изменений спроса и предложения, курсов акций и валют и др.

Существуют различные методы проведения экспертиз, такие как метод комиссий, метод суда, метод "мозговой атаки", метод "Дельфы".

Метод комиссий состоит в открытой дискуссии по проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования, иногда к голосованию не прибегают, выявляя мнение в процессе обсуждения.

Преимущества метода комиссий:

А) Возможен рост информированности экспертов, т. к. при обсуждении эксперты приводят обосновакния своих оценок;

Б) Обратная связь (меняется первоначальная точка зрения).

Недостатки метода комиссий

А) Отсутствие анонимности- дискуссия сводится к полемике авторитетных экспертов;

Б) Различная активность экспертов не всегда связанная с их компетентностью;

В) Публичность выступления может привести к нежеланию отказа от своего мнения, даже если оно изменилось.

Экспертиза по методу суда использует аналогии с судебным процессом.

Часть экспертов объявляется сторонниками рассматриваемой альтернативы и выступает в качестве защиты. Часть экспертов объявляется противниками и пытается выявить отрицательные стороны. Часть экспертов регулирует ход экспертизы и выносит окончательное мнение.

Достоинства и недостатки аналогичны с методом комиссий.

Основная направленность метода "мозговой атаки" – выявление новых идей.

Для этой цели организаторы экспертизы должны создать атмосферу наиболее благоприятствующую генерированию идей, атмосферу благожелательности, поддержки.

Обсуждаемая проблема должна быть четко сформулирована, любая высказываемая идея должна быть обсуждена и не может объявляться ложной, даже если она бесперспективна.

Метод "Дельфы" предполагает создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии - это достигается анонимностью процедуры и возможностью пополнить информацию о предмете экспертизы. Ещё одно важное свойство – обратная связь, позволяющая корректировать свои суждения с учетом промежуточных оценок и пояснений экспертов, высказавших крайние мнения.

Для реализации обратной связи необходима многотуровая экспертиза.

На первом туре экспертам сообщается цель экспертизы и формируются вопросы. Вопросы предъявляются каждому эксперту персонально в виде анкеты, иногда сопровождают пояснительной запиской. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организации проведение, обработку промежуточных и окончательных результатов экспертизы. Аналогичная группа определяет экспертов, высказавших крайние точки зрения; усредненное мнение экспертов – медиану, верхнюю и нижнюю квартелли, т.е. значения оцениваемой альтернативы, выше и ниже которых расположены 25 % численных оценок значений. Расстояние между квартеллями характеризует разброс экспертных оценок, их среднеквадратическое отклонение и тем самым характеризует согласованность точек зрения.

На втором туре экспертам предъявляется усредненная оценка и обоснования экспертов, высказавших крайние точки зрения. После получения информации эксперты корректируют свои оценки и информация поступает в аналитическую группу.

Туры могут повторяться несколько раз.

Характерной особенностью метода является уменьшающийся разброс оценок экспертов, их возрастающая согласованность.

Методы оценки качества эксперта.

Для проведения экспертиз должны быть отобраны компетентные эксперты, хорошо знакомые с предметом экспертизы, обладающие опытом, способные выносить обоснованные и объективные суждения.

Методы оценки качества:

А) документационный метод проводит оценку качества эксперта на основании числа

Б) тестовый метод представляет собой отбор экспертов на основании решения или тестовых задач, в которых отражена специфика предмета экспертизы. В качестве теста могут рассматриваться результаты участия эксперта в аналогичных экспертизах;

В) метод взаимооценкии самооценки экспертов. Взаимооценка осуществляется двумя путями:

- каждый предполагаемый член экспертной комиссии оценивает компетентность других предполагаемых экспертов

- оценку качества осуществляет аналитическая группа

2.Расчет коэффициента конкордации и оценка его значимости.

Одна из основных целей проведения экспертиз – получение согласованного мнения экспертов. Согласованность оценивается с помощью коэффициентов ранговой корреляции и конкордации.

Коэффициент ранговой корреляции оценивает согласованность ранжирования альтернатив двумя экспертами.

Коэффициент конкордации - согласованность ранжирования всех членов комиссии, либо их части.

Степень согласованности оценок характеризуется коэффициентом конкордации (согласия) W и соответствующим уровнем значимости .

Коэффициент конкордации определяется по формуле:

W =

N – количество экспертов;

m– количество оцениваемых вариантов;

Si – сумма рангов, присвоенных решению Pi всеми экспертами

(Rij- ранг, присвоенный этому решению j экспертом).

Sj =

Scp.- сумма среднеарифметической суммы рангов, полученных

всеми объектами;

Scp=

Tj – показатель, связанных (равных) рангов, назначенных

j экспертом.

Tj=

Если все m оценок эксперта различны, то Tj = 0, а если среди рангов есть одинаковые, то Tj определяется по приведенной формуле.

Если эксперт задал ранги 1, 2, 2, 4, то Tj= 2³-2 =6

Во всех случаях показатель степени n равен трем.

Коэффициент конкордации изменяется от 0 до 1.

Обычно согласованность считается удовлетворительной, если W 0,5, если W 0,7, то согласованность считается хорошей.

Величина уровня значимости определяется с помощью критерия Пирсона с n -1 степенями свободы.

3 Пример.

Для формирования первоначального набора технико-экономических показателей, влияющих на рост производительности труда машиностроительных и металлообрабатывающих предприятиях Гомеля, работникам отделов труда и заработной платы заводов "Центролит", пусковых двигателей, станкостроительного имени С. М. Кирова, измерительных приборов была роздана анкета. В анкете первого тура указывалось: "В целях изыскания резервов роста производительности труда на Вашем предприятии предлагаем Вам указать по 5 технико-экономических показателей, оказывающих по Вашему мнению наибольшее влияние на рост производительности труда". Так как мнения опрашиваемых экспертов-специалистов на совпали полностью, то в первоначальный набор вошли 9 технико–эжкономических показателей работы предприятия: X1- машиновооруженность рабочих, грн.;X2-фондовооруженность рабочих, грн.;X3- электровооруженность рабочих, кВт.ч; X4- энерговооруженность рабочих, Гкал; X5- интегральный коэффициент работы оборудования;X 6- использование баланса рабочего времени (отработано рабочим чел/дней); X7- социально-экономические факторы (разряд, стаж, уровень образования и т.д.); X8- условия труда на рабочем месте (освещенность, загазованность, шум, вибрация и т.д.); X9- специализация предприятия, коэффициент. Все они были внесены в анкету второго тура, розданную тем же экспертам-специалистам с предложением проранжировать влияние этих технико–эжкономических показателей на рост производительности труда, (технико–эжкономическому показателю, оказывающему наибольшее влияние на рост производительности труда присваивается ранг 1, следующему 2, далее 3 и 4 и т. д.(случай несвязанных рангов)). Если же эксперт затрудняется разграничить влияние каких-то показателей на рост производительности труда, то присваивает им одинаковые ранги (случай развитых рангов). Ответы экспертов сводятся в матрицу рангов, где m - количество экспертов, n- количество технико-экономических показателей-факторов.

Степень согласованности мнений специалистов характеризует коэффициент конкордации W, величина которого изменяется от 0 до 1 (W=0, мнения экспертов не совпадают,W =1, полностью совпадают).

Наличие (отсутствие) связанных рангов обуславливает методику определения коэффициента конкордации, характеризующего степень согласованности мнения экспертов. При анализе анкет по отдельным заводам имелись случаи наличия связанных (завод "Ценролит") (табл.1) рангов в ответах экспертов. Методика расчета коэффициента конкордации в случае связанных рангов состоит в следующем:

1. Складываются порядковые номера мест факторов.

2. Полученная сумма рангов делится на количество связанных рангов.

3. Каждому связанному фактору присваивается ранг, полученный в результате переранжировки.

4. Последующим факторам присваивается очередной номер, не участвовавший в предыдущих расчетах.

Таблица 1- Матрица рангов ответов экспертов литейного завода"Ценролит"

Факторы	Эксперты
X1
X2
X3
X4
X5
X6
X7
X8
X9

Переранжировка рангов факторов в первом столбце табл.1.Ранг фактора X1=1, X3 = X6= (2+3)/2=2,5; X7 = X8= (4+5) / 2= 4,5; X5=6; X2=X4= X9 = (7+8+9 / 3 = 8.

В остальных столбцах переранжировки рангов факторов осуществляются аналогично.

Результаты переранжировки сводятся в матрицу переранжировки рангов (табл.2).

Таблица 2- Матрица переранжировки рангов.

Факторы	Эксперты			()2
		2
X1			1,5			6,5	-18,5	342,25
X2		8,5	3,5				+11
X3	2,5		3,5	3,5	4,5	14,5	-10,5	110,25
X4		8,5				40,5	+15,5	240,25
X5		6,5			5,5		+7
X6	2,5		1,5	3,5	5,5		-10
X7	4,5	4,5	5,5	3,5			-4
X8	4,5	4,5	5,5	3,5			-4
X9		6,5				38,5	+13,5	182,25

1. Суммы рангов столбцов после переранжировки должны быть равны между

собой -45.

2. Подсчитываются суммы рангов каждой в отдельности взятой строки и всех строк.

3. Сумма рангов столбцов должна быть равна сумме рангов строк-225 (графа 7, табл.2).

4. Определяется средний ранг фактора.

= = = 25

5. Определяется величина 5 (графа 9, табл.2).

S = ()² = 1177

6. Формула коэффициента конкордации имеет вид:

W = ,

Ti = ,

Где t –число связанных рангов в каждом отдельно взятом столбце матрицы рангов.

T₁ = [ (2 -2) + (2 -2) +(3 - 3)]=3,

………………………………………

T₅ = [ (3 -3) + (2 -2) +(3 - 3)]=4,5

Ti = 3+3,5 +3,5 +7 +4,5 = 21,5

W = = 0,845

7. Для определения значимости коэффициента конкордации исчисляется критерий (Пирсона) с числом степеней свободы n-1.

=

= = 33,81

Значение сравнивается с табличным _т. Величина должна быть больше _т. Так как > _т. при 5 %-ном уровне значимости, то нулевую гипотезу случайности совпадений мнений экспертов следует считать отвергнутой.

Рис.1-Гистограмма распределения факторов по степени их влияния на рост производительности труда на заводе "Ценролит".

8 Строится гистограмма распределения факторов степени их влияния на рост производительности труда (графа 7, табл.2) и дается ее анализ.

Из данных табл.2 и рис.1 видно., что влияние факторов на рост производительности труда на заводе "Ценролит" распределяется следующим образом: X1, X3, X6, X7, X8, X5, X2, X9, X4.

Данное распределение почти такое же, как и на заводе пусковых двигателей (замены места только рядом стоящих факторов X3 с X6 и X4 с X9). На других промышленных предприятиях, где проводился опрос специалистов, распределение факторов по степени их влияния на рост производительности труда аналогично.