Применение экспертных методов при разрабртке балловых шкал

В качестве примера приводится алгоритм действий экспертов при разработке 5-балловой шкалы с коэффициентами весомости показателей качества.

Процесс разработки балловой шкалы состоит из следующих этапов:

• выбор номенклатуры единичных показателей, характеризующих органолептические свойства продуктов; составление схем-таблиц, содержа-щих словесную характеристику каждого показателя по всем качественным уровням шкалы;
• назначение коэффициентов весомости показателей;
• установление критериев для разных качественных уровней (категорий качества) продукции;
• предварительное обсуждение разработанных элементов балловой шкалы;
• двуx- и троекратное опробование шкалы на нескольких образцах продукции - этот этап включает в себя оценку в баллах единичных показателей качества с помощью зрительных, обонятельных, осязательных и вкусовых органов чувств, затем расчет комплексных показателей и отнесение продукции к определенной категории качества.

Для выбора наилучших решений в каждом из этапов применяют экспертные методы, основанные на использовании суждений экспертов.

Первый этап - выбор номенклатуры показателей качества.

Номенклатура единичных показателей установлена соответствующими стандартами на пищевые продукты, но расширить возможности использования балловой шкалы для дифференцирования качества продуктов можно введением дополнительных показателей. Например, иногда целесообразно отдельно оценить запах и вкус, приводимые в стандартах обычно одним показателем, или, если необходимо, ввести дополнительные показатели, не включенные в НД, например "вкус и запах вареной рыбы".

В выборе номенклатуры показателей для балловой шкалы должны участвовать профессионально компетентные эксперты, обладающие необходи-мыми знаниями и опытом в области товароведения и технологии пищевых производств.

Второй этап - составление схем-таблиц характеристики уровней качества. Эксперты разрабатывают схемы-таблицы, давая подробную словесную характеристику качественных уровней единичных показателей, руководствуясь при этом требованиями соответствующей нормативной и технической документации.

В таблице показан пример схемы-таблицы словесного описания органолептических свойств рыбы холодного копчения по пяти качественным уровням.

Характеристика органолептических показателей рыбы холодного копчения (неразделанной)

Показатели	Качественные уровни
5 баллов	4 балла	3 балла	2 балла	1 балл
Внешний вид	Поверхность рыбы чистая, сухая, брюшко целое, плотное; чешуя не сбита; рыба однородна по размеру	Поверхность рыбы чистая, сухая, брюшко целое; чешуя частично сбита	Поверхность рыбы чистая, может быть слегка увлажненная, с незначительными белково-жировыми натеками; имеются срывы кожи	Поверхность рыбы может быть влажная, с натеками белка и жира, имеются разрывы брюшка с оголением внутренностей	Целостность рыбы сильно нарушена
Цвет чешуйчатого покрова	Золотистый, однородный	Oт светло-золотистого до темно-золотистого	От соломенно-желтого до темно-коричневого, неоднородный	Светло-желтый или серебристый	Не свойственный рыбе
Консистенция	Сочная, нежная	Слегка уплотненная	Плотная или слегка ослабленная	Слабая или сухая	Грубая, жесткая или мазеобразная
Запах	Очень приятный, хорошо выраженный копченый	Приятный, умеренно выраженный копченый	Запах копчения без порочащих оттенков дымных, окисления жира или др.	Излишне резкий, дымный или слабый копченый, с оттенками окисленного жира	Неприятный, не свойственной копченой или некопченой рыбе
Вкус	Очень приятный, хорошо выраженный копченый	Приятный, умеренно выраженный копченый	Без порочащих признаков, копченый	Резкий или слабый копченый, может быть некопченый	Несъедобный
Категория качества	Высшая	Первая	Вторая	Пищевая неполноценная	Технический брак
	Стандартная	Нестандартная

Схемы-таблицы разрабатываются по каждому виду продуктов или группе однородных продуктов и предназначены для дегустаторов, которые руководствуются необходимой информацией, заложенной в схемах-таблицах, при назначении балловых оценок в процессе дегустационного контроля качества продуктов.

Третий этап - назначение коэффициентов весомости показателей качества.

Коэффициенты весомости используют в связи с различной значимостью единичных показателей в общем восприятии товарного качества продукции. Они выражают долевое участие признака в формировании качества продукта и служат множителями при расчете обобщенных балловых оценок. Таким образом, коэффициенты весомости являются количественными характеристиками значимости показателей.

Для назначения коэффициентов весомости применяются экспертные методы с групповым или индивидуальным опросом. Эксперты сравнивают между собой значимость единичных показателей, используя процедуры ранжирования, оценивания, парного и последовательного сравнения. При этом должны быть выделены главные показатели, наиболее полно отражающие способность изделия выполнять основное назначение. Следует учитывать традиционное распределение баллов в шкалах, нашедших практическое применение в действующей нормативной и технической документации. Наиболее важными для пищевых продуктов являются вкус, запах, консистенция. Обычно вкусоароматическим показателям в шкалах отводят до 40-60 % общего количества баллов, консистенции - 20-25 % баллов. Согласно рекомендациям, сумма коэффициентов весомости должна быть равна 20, чтобы 5-балловые шкалы при любом количестве показателей трансформировались в 100-балловые и комплексные показатели можно было воспринимать в процентах от оптимального качества (эталона).

Коэффициенты весомости можно варьировать в зависимости от цели исследования. Например, если необходимо установить влияние какого-либо фактора на качество продукта, то среди единичных показателей, характеризующих качество, повышается значимость тех показателей, которые более лабильны и подвержены действию рассматриваемого фактора. Такой прием позволяет выделить главный фактор среди прочих и более четко выявить его роль в качественных изменениях продукции. Номенклатура показателей также не является стабильной для каждого вида продуктов питания. В зависимости от поставленной задачи в одних случаях целесообразно фракционировать единичные показатели, например, рассматривать вкус и запах как два разных показателя, в других - объединять несколько единичных показателей в групповой. В некоторых случаях уместно вводить дополнительные показатели, не включенные в стандарты на пищевую продукцию.

Эксперты, работая индивидуально, ранжируют показатели по значимости и назначают коэффициенты весомости. Мнения экспертов обобщаются расчетным путем. В таблице в качестве примера приводится листок опроса мнений экспертов при назначении коэффициентов весомости показателей с усредненными значениями.

В следующую таблицу включены определенные экспертным путем коэффициенты весомости единичных показателей качества мороженой, соленой, вяленой, копченой и консервной рыбной продукции. Согласно обобщенному мнению экспертов, коэффициенты весомости показателей распределены так: 50 % баллов шкалы (55 % для мороженой рыбы) отводятся вкусоароматическим признакам, 25 % баллов - консистенции. В консервах "Шпроты в масле" по-казатель "состояние тушек рыбы и кожных покровов" имеет непосредственное отношение к консистенции рыбы. Поэтому оба показателя принимают долевое участие в распределении коэффициентов весомости, назначаемых обычно для консистенции рыбных продуктов.

Листок опроса мнений экспертов при назначении коэффициентов весомости (KB) показателей качества консервов из копченой рыбы

Эксперты	Коэффициенты весомости показателей
запах и вкус	качество разделки	качество укладки	прозрачность масла	цвет кожных покровов	целостность кусков рыбы	консистенция	сумма КВ
Первый
Второй
Третий
Четвертый
Пятый
Шестой
Седьмой
Сумма значений КВ по ка-ждому показателю
Среднее арифметическое значение КВ	8.6	1.2	1.1	1.7	1.3	1.7	4.4
Усредненные значения КВ, целые числа

Коэффициенты весомости единичных показателей качества некоторых рыбных продуктов

Показатели	Лосось дальневосточный соленый (разделанный)	Рыба мороженая (неразделанная)	"Шпроты в масле" (консервы)	Рыба холодного копчения (неразделанная)	Рыба вяленая (разделанная)
Внешний вид продукта			-
Укладка	-	-		-	-
Размеры тушек рыбы	-	-		-	-
Цвет кожных или чешуй-чатых покровов	-	-			-
Состояние тушек рыбы и кожных покровов	-	-		-	-
Внешний вид масляной заливки	-	-		-	-
Разделка		-		-
Цвет мяса (мышц) рыбы		-	-	-	-
Запах	-	3* 4**
Вкус		4**
Консистенция мяса рыбы
Сумма коэффициентов весомости

^* - После оттаивания рыбы.
^** - После варки рыбы.

Четвертый этап - градация категорий качества и назначение граничных пределов для разных категорий оцениваемой продукции.

Эксперты определяют граничные пределы значений комплексных и единичных показателей для каждой категории качества в соответствии с градацией качественных уровней, установленной этими же экспертами. Мнения экспертов заносят в индивидуальные листы, а затем обобщают.

Пятый этап - обсуждение разработанных элементов балловой шкалы.

Проводится предварительное обсуждение разработанных элементов шкалы. Коллектив экспертов решает вопрос о возможности испытания балловой шкалы или необходимости доработки отдельных ее элементов. На этом этапе могут быть внесены коррективы относительно номенклатуры по-казателей, схем-таблиц, коэффициентов весомости, а также градации продук-та по качественным уровням. Шестой этап - опробование балловой шкалы.

Коллектив из 5-9 экспертов-дегустаторов, выдержавших испытания на сенсорную чувствительность, проводит оценку единичных показателей качества нескольких образцов продукции по 5-балловой шкале, используя схемы-таблицы.

В таблице показан пример дифференцирования продуктов по качеству в зависимости от дегустационных оценок.

Дифференцирование пищевых продуктов по качественным уровням в зависимости от балловых оценок

Категория качества	Средние оценки по единичным показателям без учета коэффициентов весомости, не ниже	Комплексный показатель k с учетом коэффициентов весомости, не ниже
Стандартная
Высшая	4.5
Первая	4.0
Вторая	3.0
Нестандартная
Пищевая неполноценная	2.0

Оценивая показатели продукции, эксперты сопоставляют их характеристики с базовыми признаками аналогов и словесным описанием свойств в схемах-таблицах. Задачей экспертов служит определение зависимости количественных оценок показателей от качественной характеристики. Если комиссия состоит из высококвалифицированных дегустаторов, можно применять шкалу с девятью уровнями качества. Для работы экспертов более удобно использовать 5-балловую шкалу с характеристикой признаков продукта по пяти ступеням качества. При введении оценок 0,5 балла такая шкала трансформируется в 9-балловую, достаточно подробную для научных целей, например при поиске оптимальных технологических режимов и параметров производства продуктов, условий транспортирования и хранения.

Балловую оценку продуктов эксперты выполняют, используя приемы ранжирования, оценивания, парного сравнения и последовательного сравнения.

Ранжирование состоит в том, что эксперты располагают оцениваемые образцы продукции в порядке, определяемом каким-либо признаком, например, располагают образцы оцениваемой продукции в порядке понижения их качества.

Прием оценивания заключается в том, что испытуемым объектам дают качественную или количественную оценку в соответствии с выраженностью определенного признака. Этот прием наиболее употребляем в органолепти-ческом анализе пищевых продуктов. Показатели образцов оценивают коли-чественно в баллах по их качественным характеристикам.

При методе парного сравнения каждый объект сравнивают с каждым из всех остальных в соответствии с определенным признаком с целью их ранжирования или оценивания.

Процедура последовательного сравнения включает несколько операций в следующем порядке: ранжирование; назначение заданного числа (количественной оценки) образцу, оказавшемуся первым в ранжированном ряду; количественное оценивание последующих объектов путем сравнивания с первым.

Результаты оценочных операций эксперты заносят в дегустационные листы. Затем проводится статистическая обработка индивидуальных оценок, рассчитываются комплексные показатели и количественные меры согласо-ванности экспертов.

Обобщение дегустационных оценок качества продукции выполняется методом усреднения. При обработке дегустационных листов и расчете комплексных показателей используют основные приемы статистического анализа для получения количественных характеристик органолептических свойств продуктов, а также принятия количественных мер для анализа этих характеристик и согласованности мнений экспертов. С этой целью рассчитывают средние величины, например среднюю арифметическую. Чтобы охарактеризовать разброс совокупности оценок отдельных дегустаторов, рассчитывают статистические показатели согласованности этих оценок: среднее квадратическое отклонение, коэффициенты конкордации (согласия), вариации, корреляции, размах и другие количественные меры. Порядок расчета коэффициента конкордации приведен в работе "Органолептические испытания при оценке уровня качества консервов" авторов С. Ю. Гельфанд и др.

Снижение трудоемкости обработки экспертных оценок достигается применением ЭВМ и других технических средств. Наиболее простые приемы обработки результатов дегустации при не-большом числе экспертов-дегустаторов (5-9 человек) включают расчет среднего арифметического значения показателей, стандартного отклонения и комплексных показателей качества с учетом коэффициентов весомости. Порядок проведения расчетов следующий. Сначала усредняют оценки дегустаторов по единичным показателям. Оператор заносит в сводные листы оценки всех дегустаторов по каждому образцу и рассчитывает средние арифметические значения оценок единичных показателей (в баллах) по формуле

где - сумма оценок дегустаторов по конкретному показателю (вкусу, запаху и т. д.) одного образца продукции, баллы; n - число дегустаторов. Для характеристики разброса совокупности оценок дегустаторов оператор рассчитывает стандартное отклонение для каждого единичного показателя по формуле

где - сумма квадратов оценок дегустаторов, баллы; - квадрат среднего значения оценок показателя, баллы.

Стандартное отклонение S характеризует согласованность мнений экспертов при условии однородности анализируемых проб. Если оценки однозначны, то по 5-балловой шкале S обычно не превышает ±0,5 балла. При отклонении ±1 и более (это соответствует коэффициенту вариации 20 % и более по 5-балловой шкале) анализируемая совокупность оценок статистически неоднородна. Если при подготовке проб или во время дегустации не было допущено ошибок, то сомнению подвергается качество подготовки дегустаторов: профессиональная и квалиметрическая компетентность, сенсорные способности, объективность. В таком случае проводится повторная проверка сенсорной восприимчивости дегустаторов, подвергаются переоценке другие показатели качества дегустаторов. Оценки дегустаторов, не выдержавших повторного испытания, исключают из анализируемой совокупности, которую вновь статистически обрабатывают.

Коэффициенты весомости показателей используют на стадии обработки дегустационных листов при расчете комплексного показателя, представляющего собой сумму произведений оценок единичных показателей на соответствующие коэффициенты весомости показателей.

Оператор умножает средние арифметические оценки единичных показателей на соответствующие коэффициенты весомости показателей и полученные произведения суммирует по каждому образцу продукции. В результате получают значения комплексных показателей качества пищевого продукта.

По единичным и комплексным показателям в соответствии с разработанными ранее критериями устанавливается уровень качества (категория качества) оцениваемой продукции.

В таблицах ниже приведены результаты опробования балловой шкалы. Коллективом из семи дегустаторов, выдержавших сенсорные испытания, был проведен органолептический анализ девяти образцов производственной продукции, различавшихся по условиям и срокам хранения. Повторяемость опытов двукратная. Рассчитаны средние арифметические значения оценок, стандартные отклонения S и комплексные показатели. Полученные результаты показывают, что в соответствии с критериями, установленными экспертами, испытанные образцы по органолептическим показателям являются стандартными. Наиболее высокую оценку дегустаторов получили образцы 1, 2, 3, отнесенные к высшей категории качества; образцы 4, 6, 7 соответствуют нормам первой категории; образцы 5, 8, 9 имеют более низкий уровень качества.

Органолептическая оценка качества рыбы холодного копчения (без учета коэффициентов весомости)

Показатели	Оценка (в баллах) ± S по образцам продукции
Внешний вид	5,0 ± 0	4,8 ± 0,40	4,8+ 0,40	4,3 ± 0,20	4,3 ± 0,24	4,1 ± 0,24	4,0 ± 0,28	4,0 ± 0,28	4,0 ± 0,20
Цвет чешуйчатого или кожного покрова	4,8 ±0,20	4,7 ± 0,40	4,7 ± 0,40	4,3 ± 0,24	4,3 ± 0,24	4,1 ± 0,25	4,0 ± 0	3,8 ± 0,28	3,9 ± 0,29
Запах	5,0 ± 0	4,8 ± 0,40	5,0 ± 0	4,6 + 0,37	4,4 ± 0,37	4,5 ± 0,29	4,4 ± 0,42	4,3 ± 0,38	4,2 ± 0,50
Вкус	5,0 ± 0	4,8 ± 0,40	4,7 ± 0,40	4,3 ± 0,68	3,9 ± 0,49	4,5 ± 0,41	4,5 ± 0,50	3,9 ± 0,40	3,8 ± 0,28
Консистенция	4,8 ± 0,20	4,8 ± 0,24	4,8 ± 0,40	4,2 ± 0,24	3,9 ± 0,37	4,2 ± 0,25	4,3 ± 0,29	3,7 ± 0,25	3,6 ± 0,20

Оценка показателей качества копченой рыбы с учетом коэффициентов весомости k, баллы

Показатели	Оценки единичных показателей iki по образцам продукции
Внешний вид	10,0	9,6	9,6	8,6	8,6	8,2	8,0	8,0	8,0
Цвет чешуйчатого или кожного покрова	14,4	14,1	14,1	12,9	12,9	12,3	12,0	11,4	11,7
Запах	25,0	24,0	25,0	23,0	22,0	22,5	22,0	21,5	21,0
Вкус	25,0	24,0	23,5	21,5	19,5	22,5	22,5	19,5	19,5
Консистенция	24,0	24,0	24,0	21,0	19,5	21,0	21,5	18,5	18,0
Оценки по сумме показателей
Комплексный показатель качества	98,4	95,7	96,2	87,0	82,5	86,5	86,0	78,9	77,7
Категория качества (стандартная)	Высшая	Первая	Вторая	Первая	Вторая

Седьмой этап - обсуждение результатов и корректирование балловой шкалы. Методом группового опроса экспертов с взаимодействием проводится обобщение мнений экспертов относительно качества разработанной шкалы, ее надежности и удобства в работе. Мнение каждого эксперта должно быть обосновано. На заседании экспертной группы обсуждаются результаты испытания балловой шкалы и способом голосования составляется заключение о ее качестве. Решение (обобщенное мнение) принимается 2/3 голосов: пять из семи, шесть из восьми или девяти, семь из десяти, восемь из одиннадцати или двенадцати. При серьезном расхождении во мнениях проводят повторные туры опросов экспертов и обсуждений.

Привлечение коллектива опытных специалистов-экспертов, прошедших подготовку, является гарантией получения надежных результатов в профильном методе и при разработке балловых шкал анализа качества продуктов.

К оглавлению

<< Предыдущий раздел Следующий раздел >>

К оглавлению

<< Предыдущий раздел