Формирование экспертной группы

Из всех вопросов, которые приходится решать в процессе экспертной оценки качества продукции, главным является вопрос выбора экспертов. Также как точность результата измерения зависит в основном, как правило, от точности прибора, которым производится это измерение, так и объективность экспертной оценки, её точность и достоверность зависят в основном от квалификации экспертов. Исходя из этого, к подбору экспертов на практике необходимо подходить очень ответственно. Формирование экспертной группы начинается с составления списка возможных кандидатов в эксперты, который и является основой их отбора. При отборе экспертов в состав экспертной группы необходимо учитывать, что они должны удовлетворять определённым специальным требованиям.

Совокупность основных требований, предъявляемых к эксперту, делится на требования к его компетентности, заинтересованности в участии в работе экспертной комиссии, деловитости и объективности. Компетентность эксперта должна распространяться на оцениваемую продукцию (профессиональная компетентность) и методологию оценки качества (квалиметрическая компетентность). Профессиональная компетентность экспертавключает знание различных сторон проектирования и производства продукции, значений показателей качества аналогов, перспектив развития продукции, отражённых в научно-исследовательских работах, патентах, конструкторских разработках и т.д., требований потребителей, условий и характера эксплуатации (потребления) продукции.

Квалиметрическая компетентность подразумевает чёткое понимание экспертом сущности количественной оценки (измерения) качества продукции. Квалиметрическая компетентность включает знание каждым экспертом принципов, методов, способов и процедур оценки качества продукции и практическое умение пользоваться ими.

Заинтересованность эксперта в работе экспертной комиссии зависит от его индивидуальных особенностей, загруженности на основной работе, целей экспертизы и возможностей использования её результатов в своей практической деятельности.

Деловитость эксперта включает, в частности, его собранность, оперативность, пунктуальность и обоснованность суждений.

Объективность эксперта заключается в вынесении им суждений, характеризующих действительный уровень качества оцениваемой продукции. Необъективность эксперта состоит в завышении или занижении им оценок показателей качества продукции по причинам, не имеющим отношения к её качеству.

Кроме того, к эксперту могут предъявляться и некоторые специфические требования, определяемые конкретными целям оценки качества и особенностями оцениваемой продукции. Например, в пищевой промышленности следует учитывать психофизиологические возможности экспертов и их состояние здоровья. При разработке требований к экспертам по пищевой продукции в рабочую группу следует включать специалиста-психолога. Эксперты, оценивающие такие потребительские свойства технических изделий, как эстетические и эргономические, должны быть хорошо осведомленными в области художественного конструирования (дизайна).

13.3. Методы количественной оценки качества экспертов (методы «квалиметрии квалиметрологов»)

На практике при формировании экспертных групп широко используются различные методы количественной оценки качества экспертов (методы «квалиметрии квалиметрологов»), которые условно могут быть разделены на следующие группы:

1) эвристические;

2) статистические;

3) тестовые;

4) документальные;

5) комбинированные.

13.3.1. Методы эвристической оценки

Методы эвристической оценки основаны на том, что представление, сложившееся о данном эксперте у окружающих (или у него самого), достаточно правильно отражает его истинное качество. Эвристические оценки включают самооценку, взаимооценку, оценку эксперта членами рабочей группы.

Методом самооценки эксперт оценивает свою информированность и степень знакомства с различными сторонами производства и эксплуатации (потребления) оцениваемой продукции. Чтобы уменьшить субъективность самооценки, рекомендуется проводить её более дифференцированно. Например, каждому эксперту предлагается заполнить карту самооценки, подготовленную рабочей группой, в которой он должен отметить регулярность чтения перечисленных в ней источников информации и степень знакомства с оцениваемой продукцией. Значение показателя самооценки К_{сам .} вычисляют при этом по формуле:

,

где m_i – коэффициенты весомости показателей информированности и знакомства;

K_i – значение i -ой оценки эксперта, зависящей от степени его информированности и знакомства, определяемое в соответствии с картой самооценки; n – количество учитываемых показателей.

Значения m_i и K_i определяются рабочей группой на основании информации, представленной в карте самооценки. Если , а , то .

К эвристическим оценкам относится и взаимооценка, которую члены экспертной группы дают друг другу по профессиональной компетентности. Значение оценки компетентности К_вз. каждого эксперта определяется как среднее из значений оценок, назначенных всеми остальными экспертами. Эту процедуру достаточно легко восполнить только при относительно небольшом количестве членов экспертной группы (N ≤15).

При N >15 рекомендуется каждому эксперту делить всех остальных экспертов на три подгруппы в соответствии со своим представлением об их качестве (высокое, среднее, низкое). Количество экспертов в подгруппе не должно превышать 6-8 человек. Эксперт сначала ранжирует, а затем оценивает их по 10-балльной шкале. Значения оценок даются с точностью до половины балла. Значения индивидуальных оценок сводятся в значение средней оценки. Взаимооценка менее субъективна, чем самооценка, но имеет специфический недостаток, состоящий в том, что члены экспертной группы могут слабо знать друг друга.

При определении значения оценки эксперта членами рабочей группы К_рг. они исходят из отношения экспертов к выполняемой экспертной оценке качества продукции и их деловитости (собранности, пунктуальности, оперативности), а также активности при обсуждении значений оценок.

13.3.2. Методы статистической оценки

При использовании этих методов значения оценок экспертов получают в результате статистической обработки их суждений по какому-либо вопросу.

К методам статистической оценки относят оценку по отклонению от среднего мнения экспертной группы К_ос и оценку воспроизводимости результатов К_вр, которые могут быть получены после обработки результатов специальных опросов, предшествующих операции формирования экспертной группы. В основе первой оценки лежит посылка, что истинным значением определяемой экспертами величины является значение средней оценки экспертной группы. Чем меньше отклонение значения индивидуальной оценки, назначенной некоторым экспертом, от групповой средней, тем выше качество этого эксперта.

В том случае, когда эксперты ранжируют оцениваемые величины по некоторому признаку, например, по их значимости, для оценки согласованности суждений экспертов применяются способы, основанные на определении коэффициента конкордации или коэффициента ранговой корреляции:

,

где – сумма рангов, присвоенных m экспертами i -му фактору;

– среднее значение сумм рангов.

Величины и определяются соотношениями:

, ,

где k – номер эксперта (k=1,2,…,m).

Величина T_k определяется из выражения:

,

где t_{k l} – число одинаковых рангов l -го вида в оценках k -го эксперта;

L – количество групп факторов с совпавшими рангами в оценках k -го эксперта.

Коэффициент конкордации изменяется от нуля до единицы и его значение, равное единице, соответствует полной согласованности мнений экспертов. Считается приемлемым значение коэффициента конкордации, удовлетворяющее условию W≥0,5.

Когда эксперт определяет численные значения оцениваемых величин или свойств объекта (например, в баллах), т.е. осуществляет их прямое оценивание, предлагается в качестве оценки эксперта использовать расстояние между «средним» рядом значений оценок и значениями оценок, назначенными данным экспертом. Для расчёта такой оценки может быть использована формула

,

при этом

,

где K_i – среднее значение i -ой оцениваемой величины;

K_ij - значение i -ой величины, назначенное j -ым экспертом.

.

В основе второй оценки К_вр лежит посылка, что высоким может считаться качество такого эксперта, для которого свойственна высокая воспроизводимость назначаемых значений оценок, т.е. значения оценок одного и того же объекта, назначенные экспертом в нескольких (обычно двух) турах опроса должны быть достаточно близкими. В этом случае можно говорить о стабильности мнения эксперта. Способы оценки качества эксперта по воспроизводимости результатов аналогичны способам оценки по отклонению от среднего мнения экспертной группы.

13.3.3. Тестовые методы

Суть тестовых методов состоит в проведении специальных испытаний, в ходе которых оцениваются прежде всего психофизиологические возможности эксперта, от которых зависит его качество.

Кроме этого, с помощью специальных тестов оценивают такие свойства экспертов, как объективность, квалиметрическая и профессиональная компетентность. При разработке и применении тестовых задач следует соблюдать ряд требований, основными из которых являются следующие:

- эксперт должен ясно понимать постановку тестовой задачи и условия, которым должно удовлетворять ее решение;

- вероятность случайного угадывания решения задачи должна быть близка к нулю;

- тестовая задача должна иметь точное и однозначное решение;

- должна быть обоснована близость тестовой задачи и тех реальных задач, которые предстоит решать эксперту при оценке качества продукции.

13.3.4. Методы документальных оценок

К документальным оценкам относят: 1) оценку компетентности эксперта по отдельным документальным данным(количество научных публикаций, наличие авторских свидетельств, патентов, владение иностранными языками, участие в конференциях, совещаниях, симпозиумах, рабочий стаж, награждения эксперта, а также возраст, состояние здоровья, отражающееся на работоспособности эксперта и т.д.); 2) оценку компетентности эксперта по научной степени и званию, по служебному статусуи т.д.

Применяя документальные оценки, нужно учитывать следующие обстоятельства: большая часть факторов, влияющих на документальные оценки в той или иной степени уже учитывается при взаимооценке и других частных оценках; cтепень выраженности факторов, влияющих на документальную оценку зависит от области работы эксперта.

13.3.5. Методы комбинированной оценки

Сущность этих методов заключается в том, что значения оценок экспертов получаются с помощью любой совокупности перечисленных выше частных методов. Комплексная характеристика качества эксперта может быть получена при совместном использовании перечисленных методов путем вычисления значения некоторой комбинированной оценки.

Для сведения значений частных оценок в значение комплексной (комбинированной) оценки качества эксперта на практике чаще всего используют формулу средней взвешенной арифметической величины, полученную экспертным методом:

К_э = 0,15·К_сам+0,20·К_вз+0,10·К_рг+0,25·К_ос+0,3·К_вр,

где 0,15; 0,20; 0,10; 0,25; 0,30 – коэффициенты весомостей соответствующих частных оценок.

Если по каким-либо причинам бывает невозможно или слишком сложно получить значения частных оценок К_рг, К_ос и К_вр, то можно ограничиться упрощенной комбинированной оценкой, зависящей только от самооценки и взаимооценки, с коэффициентами весомостей при этих значениях оценок, полученными соответствующим нормированием из коэффициентов весомости, представленных в общей формуле:

К_э = 0,4·К_сам+0,6·К_вз.

В зависимости от конкретных условий оценки качества продукции возможно использование различных сочетаний рассмотренных частных методов.