Определение значимости экспертов

Экспертные методы применяют при выборе наилучших решений в процессе создания новой техники, при оценке конкурентоспособности и качества изделий и оценке нормативно-технический документации на продукцию. С помощью экспертных методов определяется номенклатура показателей качества изделий и критериев выбора технических решений, осуществляется ранжирование этих показателей и критериев, определяются коэффициенты весомости показателей и критериев. Экспертный метод реализуется группой специалистов, то есть субъектами экспертизы. Объектами экспертизы являются потребительские свойства товаров. Результатом экспертизы является фиксация количественных или /и качественных свойств товара. Результат зависит от компетенции экспертов (рис. 19).

КАЧЕСТВА ЭКСПЕРТОВ

заинтересованность

деловитость

объективность

для использования в работе результатов экспертизы для повышения компетентности результатов экспертизы

собранность контактность мотивированность

сам только определяет учитывает и мнение других экспертов

компетентность

Квалификация – хорошие знания об объекте

квалиметрическая – знание методологии

Рис. 19. Качества экспертов

Качества экспертов могут быть определены с помощью эвристических оценок, статистических оценок, тестовых оценок, документальных оценок и комбинированных оценок. Экспертные методы оценки качества: метод Дельфи, метод ПАТТЕРН, обобщенный метод.

Метод Дельфи произошел от названия местечка Делфи (в древней Греции), где жили оракулы-прорицатели при храме Аполлона. Эксперты отказываются от совместной работы, чтобы исключить влияние друг на друга. Эксперт высказывает свое суждение в анкете, снабженной подробной пояснительной запиской. Затем эксперты знакомятся с аналогичными анкетами других экспертов. На основании знакомства каждый эксперт может скорректировать составленную ранее им самим анкету. Недостатки этого метода заключаются в сложности опроса экспертов, заполнении анкет, высокой трудоемкости, громоздкости пояснительной записки к анкетам.

Метод ПАТТЕРН – первые буквы английских слов «помощь планированию посредством количественной оценки технических данных». Проблема расчленяется на ряд подпроблем, которые в свою очередь расчленяются на ряд элементов. Строится дерево целей. Определяются коэффициенты важности каждой задачи в процессе открытого обсуждения экспертами. В отличие от предыдущего метода эксперты работают сообща. Недостатки этого метода заключаются в отсутствии обоснованности по количеству экспертов, обработке результатов без учета компетентности экспертов, взаимном влиянии экспертов друг на друга.

В настоящее время все чаще используют обобщенный метод экспертных оценок. Алгоритм использования этого метода следующий.

Шаг 1. Учет качеств экспертов при формировании экспертной группы.

Шаг 2. Определение качества экспертов по одному из способов.

Шаг 3. Выбор способа опроса экспертов (индивидуальный или групповой).

Шаг 4. Выбор техники опроса экспертов (интервью, интервью-анкета, анкета и др.)

Шаг 5. Решение, могут ли эксперты получить информацию о мнениях других экспертов (да, нет).

Шаг 6. Выбор метода передачи информации (анонимное, персональное).

Шаг 7. Обсуждение (в форме дискуссии, без дискуссии).

Шаг 8. Определение формы экспертной оценки.

Шаг 9. Выбор шкалы, которую будут применять (порядок интервалов, отношений).

Шаг 10. Выбор метода опроса (предпочтения, парное сравнение, последовательное сопоставление фиксированных сумм).

Шаг 11. Подсчет итоговых оценок (усреднением, голосованием).

С учетом организационных факторов (допустимой трудоемкости опроса и сроков проведения экспертизы, возможности управления экспертной группой и др.) целесообразно включать в экспертную группу 6-15 экспертов, а при оценке отдельных групп показателей экспертной группой постоянного состава из высококвалифицирован­ных специалистов (преподавателей, специалистов заводов, НИИ и КБ) количество экспертов может быть меньшим. Количество экспер­тов можно согласовать и с руководителем (консультантом) дипломного проекта.

С целью повышения требовательности студентов к уровню своей подготовки и более полного учета человеческого фактора целесообразно использование эвристических методов оценки, включающих самооценку, при которой каждый студент оценивает свою информированность и степень знакомства с различными сторонами производства и использования анализируемой техники, а также взаимооценку, которую члены экспертной группы дают друг другу по профессиональной компетентности (табл. 24) с определением обобщающей компетентности каждого эксперта К_вз (по средней из величин взаимооценок, назначенных остальными экспертами).

Коэффициент взаимооценки К_вз j -го эксперта определяется по формуле:

К_взj = ,

где K_взj – балльная оценка j -го эксперта каждым другим экспертом, причем 1≤ K_i ≤ 5;

m – число экспертов, участвующих во взаимооценке.

Документальным показателем компетентности студентов может быть средний балл успеваемости дипломника-эксперта К_усп, по данным зачетной книжки, который показывает общий уровень подготовки студента.

Таблица 24

Взаимооценка экспертов

Ф.И.О. эксперта	Балльная взаимооценка Квз профессиональной компетентности эксперта, назначенная остальными экспертами
			…	m
1.	х
2.		х
…….
m					х

Поскольку при оценке весомости эксперта в процессе оценки качества техники или технических решений особенно важна профессиональная компетентность эксперта, целесообразнее использовать средний балл успеваемости только по специальным дисциплинам, формирующим студента как будущего специалиста в определенной области техники.

Таблица 25

Самооценка экспертов

Фамилия, имя, отчество экспертов

№1

…

№2

Степень информированности по регулярности чтения литературы

источники информации по вопросам уровня качества производства и потребностям оцениваемой продукции

Читаю часто и регулярно

Читаю часто, но не регулярно

Читаю редко

Не читаю

…

Читаю часто и регулярно

Читаю часто, но не регулярно

Читаю редко

Не читаю

Возможная балльная оценка Кi

1. Отечественная литература 2. Зарубежная литература 3. Патентная информация 4. Каталоги, проспекты и др, фирменная информация 5. Интернет и т.д.

Степень знакомства с производством и использованием техники

Характер знакомства (участия)

Степень знакомства (участия)

высокая

средняя

низкая

отсутствует

…

высокая

средняя

низкая

отсутствует

Возможная балльная оценка Кi

1. Знакомство с образцами изделий 1.1. На заводах-изготовителях 1.2. В местах эксплуатации 1.3. На выставках, показах 2. Знакомство с результатами опросов потребителей о требованиях к качеству техники 2.1. Участие в опросах потребителей о требованиях к качеству техники 3. Участие в разработке и проектировании техники

Для уменьшения субъективности самооценки по действовавшим ГОСТам каждый эксперт использует «карту самооценки» (табл. 25), затем рассчитывается значение самооценки К_сам j -го эксперта по формуле:

,

где K _ij – значение i- й оценки по степени информированности и знакомства j -го эксперта с анализируемой техникой по знанию литературы К _Л и по знанию этой техники при ее производстве и эксплуатации К _ПР.

Варианты возможных значений K_j приведены в табл. 28. В этом случае самооценка отдельного эксперта будет в пределах I ≤ K_i ≤ 5.

Полная характеристика качества (весомости) эксперта определяется вычислением комбинированной оценки З_Эj по рекомендуемой ГОСТами зависимости

,

где 0,4 и 0,6 – коэффициенты весомости, рекомендуемые при этих показателях ГОСТами;

К_Вз – коэффициент взаимооценки (весомости) эксперта по мнению остальных экспертов;

К_УСП – средний балл успеваемости студента по профилирующим предметам.

Для обобщения суждений экспертов используют методы голосования (мнение экспертов выявляется по большинству голосов) и усреднения, когда обобщенное мнение определяется расчетным путем обработки экспертных оценок. Для расчета таких характеристик используют средние величины.

Подобранная группы экспертов прежде всего отбирает показатели качества изделия для оценки его конкурентоспособности (табл. 29).

Для проверки согласованности состава показателей качества техники (или состава критериев оценки качества технического решения) при отборе состава показателей качества и критериев оценки выбора технических решений, необходимо проверить согласованность индивидуальных перечней таких показателей, предложенных разными экспертами, т.е. проверить близости суждений экспертов по составу этих показателей.

При такой проверке в анализируемой группе показателей вычисляют характеристику согласованности α (а) для каждого показателя а, включённого хотя бы одним экспертом в состав этой совокупности показателей:

,

где m (a) – число экспертов, включивших показатель «а» в состав данной совокупности показателей;

m – общее число экспертов.

Пример расчета α (а) показан в табл. 26.

В совокупность показателей для дальнейшего использования при оценке технического решения включают все показатели, для которых α (а) ≥ α_о (а), причем согласно ГОСТам обычно принимается 0,5 ≤ α_о (а) ≤ 1.

Таблица 26

Характеристика согласованности экспертов

Наименование показателя	Показатели, включенные экспертами	α (а)
1. Надежность 2. Вес 3. Эстетичность и т.д.	+ +	+ +	+   +	1,0 2/3 1/3

Пример.

Полная характеристика качества (весомости) j -го эксперта определяется вычислением комбинированной оценки З_Эj по рекомендуемой ГОСТами зависимости

,

где 0,4 и 0,6 – коэффициенты весомости, рекомендуемые при этих показателях ГОСТами;

К_сам – самооценка j- го эксперта;

К_др – оценка, проставляемая другими экспертами.

Экспертами могут выступать как специалисты, давно работающие в рассматриваемой области, так и студенты. При оценке эксперта-студента учитывается его успеваемость.

,

где К _Л – оценка j -го эксперта по степени информированности по регулярности чтения литературы;

К _ПР – оценка степени знакомствас подходами и разработкой программных продуктов;

К _Вз – коэффициент взаимооценки (весомости) эксперта по мнению остальных экспертов;

К _усп – средний балл успеваемости эксперта-студента по профилирующим предметам.

Оценка экспертов-специалистов проводится по формуле:

.

Взаимооценка экспертов (j=1,.. m) приведена в табл. 27.

Для оценки показателей выбрана группа из трех экспертов (m = 3).

Оценка проставляется по пятибалльной шкале.

Таблица 27

Пример взаимооценки экспертов

Ф.И.О. эксперта	Сидоров С.С.	Иванов И.И.	Петров П.П.
Сидоров С.С.	х
Иванов И.И.		х
Петров П.П.			х
КВз	3,5		4,5

Показатель взаимооценки для эксперта-студента Сидорова С.С. рассчитывается следующим образом:

К_Взj =

Показатели для остальных экспертов рассчитываются аналогично.

К_УСП берется равным среднему баллу успеваемости по специальным дисциплинам, формирующим студента как будущего специалиста в области информационных технологий. Для эксперта Сидорова С.С. средний балл успеваемости составил 3,8.

Расчет самооценки К _сам j -го эксперта. Заполняется карта самооценки эксперта Сидорова С.С. (табл. 28) и рассчитывается средняя оценка по степени информированности в зависимости от регулярности чтения литературы и по степени знакомства с разработкой ПП и участия в ней.

Для эксперта Сидорова С.С. самооценка рассчитывается следующим образом:

Расчет значимости эксперта-студента Сидорова С.С. определяется по формуле:

Значимость по другим экспертам определяется аналогично.

Таблица 28

Пример самооценки экспертов

ФИО эксперта	Сидоров С.С.
Степень информированности по регулярности чтения литературы (КЛ)
Источники информации по вопросам проектирования и области применения ИТ	Читаю часто и регулярно	Читаю часто, но не регулярно	Читаю редко	Не читаю
Возможная балльная оценка Кi
Отечественная литература	-		-	-
Зарубежная литература	-	-		-
Интернет	-	-	-
Патентная информация	-	-		-
Каталоги, проспекты и др., фирменная информация	-		-	-
Степень знакомства с подходами и разработкой ПО (КПР)
Характер знакомства (участия)	Степень знакомства (участия)
Возможная балльная оценка Кi	высокая	средняя	низкая	отсутствует
Знакомство с аналогами ПО	-	-		-
Участие в разработке ПО	-	-		-
Участие во внедрении ПО	-	-	-

Группа экспертов отбирает показатели качества изделия для оценки его конкурентоспособности (табл. 29).

Таблица 29

Выбор показателей качества инженерного решения

Наименование показателя	Показатели, включенные экспертами	α (а)
Время безотказной работы	-	-	+	1/3
Объем требуемой оперативной памяти	-	-	-	-
Время ввода исходных данных	-	-	+	1/3
Доступность интерфейса	+	+	-	2/3
Время обработки данных	+	+	+	1,0
Универсальность	+	-	-	1/3
Количество этапов сжатия графа	+	+	+	1,0
и т.д.

В совокупность показателей для дальнейшего использования при оценке технического решения включают все показатели, для которых согласно ГОСТам α (а) ≥ 0,5. Таким образом, для рассмотрения должны остаться показатели: доступность интерфейса, время обработки данных, количество этапов сжатия графа.