Главная Случайная страница Контакты | Мы поможем в написании вашей работы! | ||
|
без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными, вполне компетентными и достаточно опытными специалистами. Весьма полезно их предварительное специальное обучение и совершенно необходим инструктаж. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов и проверку согласованности мнений.
Тестирование состоит в решении экспертами задач, подобных реальным/с известными (но не экспертам) ответами. На основании результатов тестирования по критерию Р. А. Фишера проверяется равноточность отсчетов, даваемых экспертами, если нужно, измеряется рассеяние отсчета у каждого члена экспертной комиссии для определения значений нормированных весовых коэффициентов в формуле (2.28), устанавливается компетентность и профессиональная пригодность экспертов.
Самооценка экспертов состоит в том, что каждый из них в строго ограниченное время отвечает на вопросы специально составленной анкеты, в результате чего быстро и просто проверяет свои профессиональные знания и деловые качества. Оценка их дается каждым экспертом по балльной системе. При всей субъективности такой оценки опыт показывает, что экспертные группы с высокими показателями самооценки экспертов ошибаются в меньшей степени.
Весьма показательной является взаимная оценка экспертами друг друга (также по балльной системе). Для этого, разумеется, необходим опыт совместной работы.
При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надежности — отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы к общему числу экспертиз, в которых он участвовал. Использование этого подхода к отбору экспертов требует накопления и анализа большого объема информации, но открывает возможность непрерывного совершенствования качественного состава экспертных групп.
На заключительном этапе подготовки экспертной комиссии согласованность мнений экспертов, включенных в ее состав, определяют по общему для всей комиссии показателю качества — коэффициенту конкордации
где S— сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического ранга; n — число экспертов; m— число объектов экспертизы.
В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от -нуля'' (при отсутствии согласованности) до единицы (при полном единодушии).
Пример 2.24а. Определить степень согласованности мнений пяти экспертов, результаты ранжирования которыми семи объектов экспертизы приведены в примере 2.19.
Решение. 1. Составим вспомогательную табл. 2.13.
Таблица 2.13
Номер объекта экспертизы | Оценка эксперта | Сумма рангов | Отклонение от среднего арифметического | Квадрат отклонения от среднего арифметического | ||||
1-го | 2-го | 3-го | 4-го | 5-го | ||||
-5 | ||||||||
-13 | ||||||||
2. Среднее арифметическое рангов
21+15+9+28+7+25+35 =20
3. Используя результаты промежуточных вычислений, приведенные втабл. 2.1.3, получаем.
S=630.
4. Коэффициент конкордации.
Степень согласованности мнений экспертов можно считать удовлетворительной.
Если степень согласованности мнений экспертов оказывается неудовлетворительной, принимают специальные меры для ее повышения. Сводятся они в основном к проведению тренировок с обсуждением результатов и разбором ошибок. Если возможности для предварительной подготовки экспертов нет, измерение проводится по методу Дельфы. Характерными чертами этого метода являются:
анонимность—эксперты не встречаются друг с другом, чтобы избежать влияния авторитета и красноречия кого-либо из них;
многоэтапность—после каждого тура опроса эксперты знакомятся с мнениями друг друга и при необходимости представляют письменные обоснования своих точек зрения. Соглашаясь или не соглашаясь с мнениями коллег, они могут пересматривать свою точку зрения;
контроль — после каждого тура проверяется согласованность мнений экспертов до тех пор, пока разброс отдельных мнений не снизится до заранее выбранного значения.
При особо ответственных измерениях экспертным методом могут учитываться весовые коэффициенты квалификации экспертов.
Количество экспертов тоже играет важную роль. С ростом числа экспертов в группе точность измерения повышается. Это фундаментальное свойство любого многократного измерения определено выражением (2.33). Чтобы воспользоваться им для определения численности экспертной группы n обеспечивающей заданную точность измерения/нужно опять-таки в подготовительный период установить закон распределения вероятности отсчета, получаемого экспертным методом, или хотя бы его стандартное отклонение S x. Тогда по графику на рис. 2.10, отражающему зависимость (2.33), Можно найти число экспертов n, при котором стандартное отклонение среднего арифметического, будет соответствовать заданному.
Исходная численность экспертной группы составляет обычно не менее семи человек. В отдельных случаях она достигает 20экс-пертов (массовый опрос проводится, как правило, только при социологических исследованиях). Если в подготовительный период S x не определено, то требуемая точность за счет расширения экспертной группы достигается уже в процессе измерения.
В некоторых случаях требуется обеспечить максимально возможную точность измерения экспертным методом. Тогда состав экспертной группы целесообразно ограничить таким числом экспертов n, при котором различие между средними арифметическими и оценками дисперсий результатов измерений при n и n+1 экспертах перестает быть значимым.
Дата публикования: 2015-01-23; Прочитано: 626 | Нарушение авторского права страницы | Мы поможем в написании вашей работы!