Методы экспертных оценок

Экспертными (латинское слова expert – опытный) называются методы, основанные на использовании суждений экспертов. Эти методы применяются при отсутствии количественной оценки изучаемого объекта, когда исследователь не может опираться ни на прямое наследие прошлого опыта, ни на возможность эксперимента.

Это может быть вызвано недостаточной изученностью объекта, либо трудностями (невозможностью) получения такой оценки. Первая ситуация характерна для новых или сложных объектов в новых областях науки и техник, сложных технических или комбинированных систем типа человек-машина и др. Вторая ситуация характерна при анализе реакций потребителей или производителей, проблем менеджмента и др.

В данном подходе специалисты-эксперты прибегают к приемам обработки оценок на основе своей интуиции, выработанной приобретенным в прошлом опытом.

Экспертные методы используются при решении проблем качества на всех этапах жизненного цикла продукции. Особенно часто их применяют при прогнозировании потребностей, технического уровня и качества продукции, проектировании и производстве продукции, оценке эффективности систем СМК и организации в целом, удовлетворительности потребителей, качества продукции (эргономических, эстетических, показателей безопасности и др.), разработке мероприятий по совершенствованию продукции, процессов и т.п.

Группа методов экспертных оценок наиболее часто используется в практике оценивания сложных систем на качественном уровне. При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. К числу таких требований относятся: распределение оценок, полученных от экспертов, должно быть "гладким"; две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом, должны быть близки.

Все множество проблем, решаемых методами экспертных оценок, делится на два класса.

К первому классу относятся такие, в отношении которых имеется достаточное обеспечение информацией. При этом методы опроса и обработки основываются на использовании принципа "хорошего измерителя", т.е. эксперт источник достоверной информации; групповое мнение экспертов близко к истинному решению.

Ко второму классу относятся проблемы, в отношении которых знаний для уверенности и справедливости указанных гипотез недостаточно. В этом случае экспертов нельзя рассматривать как "хороших измерителей" и необходимо осторожно подходить к обработке результатов экспертизы.

Экспертные оценки несут в себе как узкосубъективные черты, присущие каждому эксперту, так и коллективно-субъективые, присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, какие бы способы обработки не применялись.

При проведении экспертизы выделяют следующие этапы:

· формирование цели;

· разработка процедуры экспертизы;

· формирование группы экспертов;

· опрос;

· анализ и обработка информации.

При формулировке цели экспертизы разработчик должен выработать четкое представление о том, кем и для каких целей будут использованы результаты.

При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции.

Для наглядности представления о степени согласованности мнений двух любых экспертов А и В служит коэффициент парной ранговой корреляции ρ, когда коррелируются не сами значения показателей, например x и y, а их ранги, т.е. номера мест, занимаемых в каждом ряду значений по возрастанию или убыванию. Коэффициент корреляции рангов Спирмена (ρ) рассчитывается по формуле

где d_i = N_x – N_y – разность рангов каждой пары значений x и у; n – число наблюдений.

Коэффициент Спирмена принимает любые значения в интервале от-1 до +1. Значимость коэффициента корреляции рангов Спирмена проверяется на основе t -критерия Стьюдента (t _{α, n -2}). Расчетное значение критерия определяют по формуле

Значение коэффициента корреляции считается статистически существенным, если t _p > t _{α, n -2}.

Коэффициент корреляции рангов Кендалла можно использовать для измерения взаимосвязи между качественными и количественными признаками, характеризующими однородные объекты, ранжированные по одному принципу. Расчет коэффициент корреляции Кендалла осуществляют по формуле

где S – сумма разностей между числом последовательностей и числом инверсий по второму признаку.

Коэффициент корреляции Кендалла должен стремиться к единице в случае сильной связи.

Как правило, коэффициент корреляции Кендалла меньше коэффициента корреляции рангов Спирмена. При достаточно большом объеме совокупности значения данных коэффициентов имеют следующую зависимость:

Связь между признаками можно признать статистически значимой, если значения коэффициентов ранговой корреляции рангов Спирмена и Кендалла больше 0,5.

Для количественной оценки степени согласованности мнений экспертов (для определения тесноты связи между произвольным числом ранжированных признаков) применяется коэффициент конкордации W, который позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом.

где m – количество коррелируемых факторов; n – число наблюдений; S – сумма квадратов отклонений суммы рангов по m факторам от их средней арифметической, т.е.

а) или, что тоже самое,

б)

где R_i – ранг i –го показателя.

Значение коэффициента конкордации находится в пределах 0 ≤ W ≤ 1.

Рассмотрим расчет коэффициента конкордации на следующем примере.

Пример 2.1.

Имеются данные экспертов по 5 предприятиям (графы 1, 2, 3, 4 табл. 2.1). Требуется определить тесноту зависимости между y, x и z с помощью коэффициента конкордации.

Таблица 2.1

Предприятие	Прибыль, млн. руб., y	Стоимость основных фондов, млн. руб., х	Затраты на 100 руб. продукции, руб., z	Ранжирование факторов	Сумма рангов	Квадраты суммы рангов
Ry	Rx	Rz
		4,1 6,6 3,9 4,2 6,3

Решение.

По данным таблицы

Решение проводим в следующей последовательности:

1. Ранжируем каждый из трех показателей (факторов) (графы 5, 6, 7).

2. Находим сумму рангов по каждой строке (графа 8) и общую сумму пяти строк.

3. Возводим в квадрат сумму рангов в каждой строке и находим общую сумму пяти строк (графа 9).

4. Находим S, используя формулу «б»: S = 425 – (45)²/5 = 20.

Этот же результат получим, рассчитывая S по формуле «а»:

· Сначала определяем тогда

5. Рассчитываем коэффициент конкордации:

Малая величина значения W свидетельствует о том, что зависимость между рассматриваемыми показателями (факторами) весьма незначительна, так как практически достоверность считается хорошей, если W = 0,7…0,8.

Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием того, что в рассматриваемой совокупности экспертов действительно отсутствует общность мнений или внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.

Если W = 0, то это означает полную противоположность ранжировок, a если W = 1 – полное совпадение ранжировок.

Коэффициент корреляции рангов принимает значения -1 ≤ ρ ≤ +1. Значение ρ = +1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а значение ρ = -1 -двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого). Тип используемых процедур экспертизы зависит от задачи оценивания.

К наиболее употребительным процедурам экспертных измерений относятся:

· ранжирование;

· парное сравнивание;

· множественные сравнения;

· непосредственная оценка;

· Черчмена-Акоффа;

· метод Терстоуна;

· метод фон Неймана-Моргенштерна.

Целесообразность применения того или иного метода во многом определяется характером анализируемой информации. Если оправданы лишь качественные оценки объектов по некоторым качественным признакам, то используются методы ранжирования, парного и множественного сравнения.

Если характер анализируемой информации таков, что целесообразно получить численные оценки объектов, то можно использовать какой-либо метод численной оценки, начиная от непосредственных численных оценок и кончая более тонкими методами Терстоуна и фон Неймана-Моргенштерна.

При описании каждого из перечисленных методов будет предполагаться, что имеется конечное число измеряемых или оцениваемых альтернатив (объектов) А = { а ₁,..., а_n } и сформулированы один или несколько признаков сравнения, по которым осуществляется сравнение свойств объектов. Следовательно, методы измерения будут различаться лишь процедурой сравнения объектов. Эта процедура включает построение отношений между объектами эмпирической системы, выбор преобразования φ и определение типа шкал измерений. С учетом изложенных выше обстоятельств рассмотрим каждый метод измерения.

Ранжирование (от фр. ranger – ставить в ряд) – способ оценки переменной, когда ее значению приписывается место в последовательности величин, расположенных в порядке возрастания или убывания (так называемый ранг). Метод представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. Если значения признака имеют одинаковую количественную оценку, то ранг всех этих значений принимают равным средней арифметической от соответствующих номеров мест, которые определяют. Данные ранги называют связными.

Пусть экспертиза проводится группой из l экспертов, которые являются квалифицированными специалистами в той области, где принимается решение. Метод ранжирования основан на том, что каждого эксперта просят расставить частные критерии F_i(X), i = 1:n проектируемого объекта в порядке их важности. При этом цифрой 1 обозначают наиболее важный частный критерий (параметр), цифрой 2 – следующий по степени важности частный критерий и т. д. Эти ранги преобразовывают таким образом, что ранг 1 получает оценку п, ранг 2 – оценку (п—1) и т. д. до ранга п, которому присваивается оценка 1, где п – число частных критериев. Зная преобразованный ранг i -гo критерия у k -го эксперта (k= 1 :l), весовые коэффициенты определяют из следующего соотношения:

. (1.12)

В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов.

Рассмотрим эти варианты. Пусть среди объектов нет одинаковых по сравниваемым показателям, т.е. нет эквивалентных объектов. В этом случае между объектами существует только отношение строгого порядка. В результате сравнения всех объектов по отношению строгого порядка составляется упорядоченная последовательность а ₁ > а ₂ >... > a_N, где объект с первым номером является наиболее предпочтительным из всех объектов, объект со вторым номером менее предпочтителен, чем первый объект, но предпочтительнее всех остальных объектов и т.д. Полученная система объектов с отношением строгого порядка при условии сравнимости всех объектов по этому отношению образует полный строгий порядок.

Для этого отношения доказано существование числовой системы, элементами которой являются действительные числа, связанные между собой отношением неравенства >. Это означает, что упорядочению объектов соответствует упорядочение чисел x ₁ >... > х_N, где x_i = φ (a_i). Возможна и обратная последовательность x ₁ <... < х_N, в которой наиболее предпочтительному объекту приписывается наименьшее число и по мере убывания предпочтения объектам приписываются большие числа.

Соответствие перечисленных последовательностей, т.е. их гомоморфизм (от гомо и греч. morpha – вид, форма), можно осуществить, выбирая любые числовые представления. Единственным ограничением является монотонность преобразования. Следовательно, допустимое преобразование при переходе от одного числового представления к другому должно обладать свойством монотонности. Таким свойством допустимого преобразования обладает шкала порядков, поэтому ранжирование объектов есть измерение в порядковой шкале.

В практике ранжирования чаще всего применяется числовое представление последовательности в виде натуральных чисел:

x ₁ = φ (a ₁) = 1, x ₂ = φ (a ₂) = 2,..., x_N = φ (a_N) = N,

т.е. используется числовая последовательность. Числа x ₁, x ₂,..., x_N в этом случае называются рангами и обычно обозначаются буквами r ₁, r ₂,..., r_N.

Применение строгих численных отношений "больше" (>), "меньше" (<) или "равно" (=) не всегда позволяет установить порядок между объектами. Поэтому наряду с ними используются отношения для определения большей или меньшей степени какого-то качественного признака (отношения частичного порядка, например полезности), отношения типа "более предпочтительно" (), "менее предпочтительно" (), "равноценно" (≈) или "безразлично" (~). Упорядочение объектов при этом может иметь, например, следующий вид:

а ₁ а ₂ а ₃ ≈ а ₄ ≈ а ₅ а ₆ … а _N-1≈ а _N.

Такое упорядочение образует нестрогий линейный порядок.

Для отношения нестрогого линейного порядка доказано существование числовой системы с отношениями неравенства и равенства между числами, описывающими свойства объектов. Любые две числовые системы для нестрогого линейного порядка связаны между собой монотонным преобразованием. Следовательно, ранжирование при условии наличия эквивалентных объектов представляет собой измерение также в порядковой шкале.

В практике ранжирования объектов, между которыми допускаются отношения как строгого порядка, так и эквивалентности, числовое представление выбирается следующим образом. Наиболее предпочтительному объекту присваивается ранг, равный единице, второму по предпочтительности - ранг, равный двум, и т.д. Для эквивалентных объектов удобно с точки зрения технологии последующей обработки экспертных оценок назначать одинаковые ранги, равные среднеарифметическому значению рангов, присваиваемых одинаковым объектам. Такие ранги называют связанными рангами. Для приведенного примера упорядочения на основе нестрогого линейного порядка при N = 10 ранги объектов а ₃, а ₄, а ₅ будут равными r ₃ = r ₄ = r ₅ = (3+4+5) /3 = 4.

В этом же примере ранги объектов а ₉, а ₁₀ также одинаковы и равны среднеарифметическому r ₉ = r ₁₀ = (9+10) / 2 = 9,5. Связанные ранги могут оказаться дробными числами. Удобство использования связанных рангов заключается в том, что сумма рангов N объектов равна сумме натуральных чисел от единицы до N. При этом любые комбинации связанных рангов не изменяют эту сумму. Данное обстоятельство существенно упрощает обработку результатов ранжирования при групповой экспертной оценке. При групповом ранжировании каждый S -й эксперт присваивает каждому i -му объекту ранг r_iS. В результате проведения экспертизы получается матрица рангов | | r_iS | | размерности N_k, где k – число экспертов; N – число объектов; S = 1: k; i = 1: N. Результаты группового экспертного ранжирования удобно представить в виде табл. 2.5.

Аналогичный вид имеет таблица, если осуществляется ранжирование объектов одним экспертом по нескольким показателям сравнения. При этом в таблице вместо экспертов в соответствующих графах указываются показатели. Напомним, что ранги объектов определяют только порядок расположения объектов по показателям сравнения. Ранги как числа не дают возможности сделать вывод о том, на сколько или во сколько раз предпочтительнее один объект по сравнению с другим.

Таблица 2.5 Результаты группового ранжирования

Объект	Э 1	Э 2	...	Эk
а 1	r 11	r 12	...	r 1 k
а 2	r 21	r 22	...	r 2 k
...	...	...	...	...
аn	rn 1	rn 2	...	rnk

Достоинство ранжирования как метода экспертного измерения – простота осуществления процедур, не требующая трудоемкого обучения экспертов. Недостатком ранжирования является практическая невозможность упорядочения большого числа объектов. Как показывает опыт, при числе объектов, большем 10…15, эксперты затрудняются в построении ранжировки. Это объясняется тем, что в процессе ранжирования эксперт должен установить взаимосвязь между всеми объектами, рассматривая их как единую совокупность. При увеличении числа объектов количество связей между ними растет пропорционально квадрату числа объектов.

Сохранение в памяти и анализ большой совокупности взаимосвязей между объектами ограничиваются психологическими возможностями человека. Психология утверждает, что оперативная память человека позволяет оперировать в среднем не более чем 7 ± 2 объектами одновременно. Поэтому при ранжировании большого числа объектов эксперты могут допускать существенные ошибки.

Парное сравнение. Этот метод представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов является более простой задачей. При сравнении пары объектов возможно либо отношение строгого порядка, либо отношение эквивалентности. Отсюда следует, что парное сравнение так же, как и ранжирование, есть измерение в порядковой шкале.

В результате сравнения пары объектов а_i, а_j эксперт упорядочивает ее, высказывая либо a_i а_j, либо а_j > a_i, либо a_i ≈ a_j. Выбор числового представления φ (a_i) можно произвести так: если a_i а_j, то φ (a_i) > φ (a_j); если предпочтение в паре обратное, то знак неравенства заменяется на обратный, т.е. φ (a_i) < φ (a_j). Если объекты эквивалентны, то можно считать, что φ (a_i) = φ (a_j).

В практике парного сравнения используются следующие числовые представления:

(2.1)

(2.2)

Результаты сравнения всех пар объектов удобно представлять в виде матрицы. Пусть, например, имеются пять объектов a ₁, a ₂, a ₃, a ₄, a ₅ и проведено парное сравнение этих объектов по предпочтительности. Результаты сравнения представлены в виде.

a₁ а₂, a₁ а₃, a₁ а₄, a₁ а₅, a₂ а₃, a₂ а₄, a₂ а₅,

a₃ ≈ а₄, a₃ а₅, a₄ а₅.

Используя числовое представление (2.1), составим матрицу измерения результатов парных сравнений (табл. 2.6).

Таблица 2.6