Тема 4.2. Экспертные методы в разработке балловых шкал и в профильном анализе

Экспертные методы требуют проведения каждого вида работы в три этапа.

На первом (подготовительном) этапе формируется цель работы, осуществляется выбор методов и процедуры выполнения работы, формируется экспертная группа (дегустационная комиссия), разрабатывается анкета опроса экспертов (дегустационные листы).

На втором этапе (работа экспертной группы) определяются номенклатура показателей, их коэффициенты весомости, терминология, осуществляется выбор базовых значений изучаемых признаков, выполнение оценок единичных показателей качества (иногда также комплексных), определяются граничные пределы категорий качества продукции.

На третьем (заключительном) этапе проводят обработку и анализ результатов опроса экспертов, обычно этот этап включает также расчет комплексных показателей качества оцениваемой продукции и определение ее качественного уровня.

При использовании экспертных методов надо соблюдать следующие условия.

Эксперту в одном сеансе не рекомендуется ставить более семи вопросов. В каждом вопросе может быть сформулировано до трех (максимально четырех) подвопросов. Одновременно с вопросами эксперту обычно предлагают варианты возможных ответов с числом альтернатив не более семи.

Карты, анкеты, дегустационные листы, разрабатываемые для опроса экспертов, должны содержать примерный перечень оцениваемых показателей и порядок их оценки, а также ориентировочные характеристики базовых значений показателей для каждого уровня градации оценочных шкал. Действующая нормативная документация (НД) на оцениваемую продукцию является обязательной основой при определении номенклатуры показателей, их базовых значений, коэффициентов весомости и градации продукции по уровням качества.

Уровнем качества продукции называется относительная характеристика качества, основанная на сравнении совокупности показателей качества оцениваемой продукции с соответствующей совокупностью базовых показателей. Систему базовых показателей выбирают в зависимости от цели оценки и научно-исследовательских или практических задач. Наряду с нормативной документацией для базовых значений показателей используют лучшие отечественные и зарубежные образцы продукции. Эталонами служит реально существующая и гипотетическая продукция, для которой установлены все необходимые показатели качества.

Эталоны могут представлять следующие уровни качества: средний и высший мировой и отечественный, экономически оптимальный, перспективный отечественный и мировой. Эталоны, представляющие высший и средний мировой и отечественный уровни качества, предназначены для оценки уровней качества (сортности, категорий) выпускаемой продукции. Эталоны, представляющие перспективный мировой и отечественный уровни качества, можно использовать для проектируемой продукции с целью оптимизации решения научно-исследовательских задач. Таким образом, в качестве эталонов для выбора базовых показателей можно использовать стандарт, конкретное или планируемое изделие.

Обобщение мнений экспертов относительно номенклатуры показателей, их базовых значений, коэффициентов весомости показателей, диапазона балловой шкалы, терминологии, градации продукции по категориям качества можно проводить методами обсуждения и голосования (опрос с взаимодействием) или методом усреднения (опрос без взаимодействия). В первом случае обобщенное мнение экспертной группы выявляется большинством голосов (не менее 2/3).

Неоднородность качества экспертной группы можно скорректировать введением коэффициентов компетентности экспертов. Интервьюированием, анкетированием или процедурой смешанного анкетирования выявляют све-дения, касающиеся профессиональной и квалиметрической компетентности каждого эксперта. Ответы экспертов на вопросы анкеты оценивают количественными значениями, которые используют для расчета коэффициента компетентности эксперта (ККЭ) по формуле

если принять все вопросы равнозначными, или

при введении коэффициентов значимости вопросов, где
n - количество вопросов (ответов);
В_i- - количественное выражение оцен-ки ответа на i-й вопрос;
Н_i - коэффициент значимости i-гo вопроса.

Оценить свою компетентность эксперт может по анкете, приведенной ниже: