Использование методов экспертной оценки для прогнозирования социально-экономических процессов

Одна из важных методологических проблем построения системы показателей – определение критериев отбора показателей. Среди различных подходов к этой проблеме по значению выделяются логический и исторический. Первый связан с анализом формальной структуры исследуемого объекта, второй – с конкретно-историческим контекстом функционирования объекта. Последний обладает тем преимуществом, что позволяет выдвинуть гипотезу методологического характера о том, что эффективным критерием отбора социально значимых показателей может служить степень отражения им наиболее актуальных социальных проблем и наиболее важных социальных целей общества. До проведения социальных исследований проблемно-целевых аспектов изучаемого объекта наиболее подходящим способом проверки данной гипотезы представляется использование методов экспертных оценок. При этом социальные проблемы следует рассматривать в единстве с социальными целями. Наиболее важные этапы поискового и нормативного прогнозов – построение соответственно «дерева проблем» и «дерева целей». «Дерево целей» не должно строиться реально существующих проблем, оно не должно строиться и чисто эмпирически-индуктивно, в отрыве от определенного, теоретически разработанного социального идеала. Односторонний подход таит в себе опасность ошибок при постановке целей. Кроме того, при построении «дерева проблем» не следует игнорировать теоретически разработанные цели во избежание разрыва между теорией и практикой. В идеале нижний (наиболее детальный) уровень «дерева целей» должен совпадать с нижним уровнем «дерева проблем», Иначе говоря, ближайшие практические цели должны сводиться к решению наиболее актуальных социальных проблем, но иметь четко ориентированную долгосрочную перспективу. С учетом этих особенностей взаимосвязи между «деревом целей» и «деревом проблем» к экспертизе приходится предъявлять довольно строгие требования. Эксперты должны быть специалистами по конкретным социальным проблемам и вместе с тем иметь представление о всей проблематике исследуемого социального явления, о тенденциях развития его каждого конкретного аспекта. Предъявлять такого рода требования к какой-то одной группе экспертов в условиях недостаточно разработанной пока проблематики большинства социальных явлений и процессов было бы нереальным. Поэтому для участия в опросе полезно привлекать различные группы экспертов. Совокупность этих групп призвана обеспечить большую степень репрезентативности выборки респондентов в целом. Для обеспечения надежности результатов желательно использовать несколько (две-три) методик опроса экспертов. Опросы должны иметь определенную логическую последовательность. Участие экспертов в определении проблем и целей исследуемо­го объекта является весьма эффективным приемом. Специалисты по экспертизе считают, что по существу ни один иной метод про­гнозирования не является столь эффективным. Это объясняется не столько достоинствами самого метода, сколько ограничениями, воз­никающими при использовании более точных и сложных методов, прежде всего недостаточностью исходной информации и необходи­мостью трудоемких подготовительных процедур. Что же касается экспертных оценок, то они достаточно экономичны и эффективны при сравнительно незначительной потере точности. В методическом отношении цель разовой заочной экспертизы сводится к выработке элементов типовой методики заочного экс­пертного опроса, способной обеспечить эффективное использова­ние экспертов при построении систем социальных показателей. В содержательном отношении целью такого опроса является определение степени социальной значимости перспективных проблем (и соответствующих им показателей) исследуемого объекта. Успех экспертизы во многом определяется составом и компетентностью опрашиваемой группы. Выбор экспертов, а также членов параллельной контрольной группы – один из важных вопросов этого этапа исследования. Полезно составить группу экспертов из специалистов-практиков, имеющих опыт работы в различных отраслях народного хозяйства. Контрольная же группа может быть представлена теоретиками ѕ научными сотрудниками, исследующими различные аспекты избранной проблемы. На первом этапе работы по проведению экспертизы составляют исходный перечень основных проблем изучаемого объекта, обобщают и уточняют его путем контент-анализа. Панельный очный опрос экспертов из параллельной контрольной группы «методом комиссии» позволяет обобщить формулировки проблем, устранить дублирующие друг друга или носящие специфический, частный характер, относящиеся не ко всему объекту в целом, а к его отдельным деталям. В итоге будет получен перечень, который станет основой материала экспертизы – окончательного варианта «Анкеты эксперта». Цель экспертизы – упорядочить выделенные социальные проблемы и соответствующие им показатели, первые – по степени их актуальности в общественной жизни, вторые – по степени эффективности отражения связанных с ними проблем. Проблемы и показатели могут оцениваться при помощи двух независимых методик: ранжирования и непосредственно балльных оценок. Обработка результатов экспертизы проводится традиционными математико-статистическими методами. Следующую задачу – определение значимости социальных целей исследуемого объекта следует рассматривать в плане решения социальных проблем. Последние ранжируют по степени важности и актуальности, но теперь уже в диалектической взаимосвязи с целями. Для решения этой задачи используют технику деструктивной отнесенной оценки, касающуюся группы экспертных интуитивных методов, коллективное обсуждение мнений и генерацию новых идей. Метод основан на хорошо известных правилах проведения одной экспертизы и принадлежит к классу управляемых экспертных опросов, но с такой степенью свободы высказываний экспертов, которая позволяет рассчитывать как на конструктивную критику даваемых оценок, так и на получение оригинальных, нетривиальных оценок. Сущность этой техники получения экспертных оценок заключается в стимулировании творческого потенциала экспертов с помощью критики (деструкции) предложенных оценок и выработки (отнесения) новых известными приемами «мозговой атаки». Стимулирующий эффект создается, во-первых, за счет искусственной элиминации ограничений при высказывании критических экспертных суждений на первом (деструктивном) этапе работы, во-вторых, за счет «расковывания» творческого потенциала экспертов при высказывании оригинальных конструктивных суждений на втором этапе работы (отнесение оценок), в-третьих, за счет нового, неожиданного «видения» экспертом проблемы глазами своих коллег по ходу дискуссии с ними. Все это позволяет рассчитывать на высокую эффективность применения данной техники при экспертизе сложных социальных явлений. Наиболее эффективна эта техника при вынесении оценок, предполагающих ряд альтернативных вариантов, один из ко­торых может быть расценен как оптимальный по заранее за­данным критериям. При таком подходе цель экспертизы сво­дится к определению набора альтернатив. Кроме того, метод доста­точно конструктивен при оценках, связанных с выявлением факто­ров, влияющих на характер альтернатив. Процедуры метода деструктивной отнесенной оценки включа­ют следующие этапы: 1. Составление проблемной записки (материала для обсуж­дения), включающей описание процедуры опроса и формули­ровку предмета обсуждения. Она начинается с постановки про­блемы и перечня задач опроса. Здесь очень важна четкость формулировки, поэтому сложные объекты обычно расчленя­ются на более простые элементы. 2. Формирование экспертной группы. Оптимальная численность ее найдена эмпирическим путем: один человек – при рассмотрении сравнительно простых вопросов, несколько больше – при сложных. Желательно, чтобы в группу включались эксперты с сильно развитыми критическими наклонностями (модераторы), обладающие конструктивным мышлением (генераторы), хорошо знакомые с одним из аспектов рассматриваемой проблемы или со всей проблемой в целом. Желательно также, чтобы в группе были представлены специалисты из разных областей знания с высоким уровнем общей эрудиции. 3. Генерация идей на основе обсуждения проблемной записки по правилам «мозговой атаки». Она начинается с того, что веду­щий ставит проблему обсуждения, т.е. раскрывает основное со­держание проблемной записки, которая раздается экспертам за несколько дней до опроса (им предоставляется возможность осве­жить ее в памяти непосредственно перед началом опроса), отвеча­ет на вопросы, возникшие у экспертов при ознакомлении с запис­кой, формулирует подлежащие обсуждению положения и концен­трирует внимание участников на правилах проведения «мозговой атаки»: – высказывания экспертов должны быть четкими и сжатыми (регламент: не более 1-2 минут); – скептические замечания и критика предыдущих выступлений не допускаются; каждый эксперт имеет право выступать несколько раз; – не разрешается зачитывать ответы, приготовленные заранее; – слово предоставляется в первую очередь желающему высказаться в связи с предыдущим выступлением; – ведущий поощряет экспертов за оригинальный подход к рассматриваемым вопросам; – создается по возможности самая непринужденная обстановка собеседования, «расковывающая» инициативу и творческие потенции экспертов, активизирующая обмен мнениями. 4. Систематизация идей, высказанных на предыдущем этапе. Ее осуществляет специальная аналитическая группа организаторов опроса; – составляется перечень всех высказанных идей; – каждая идея формулируется в общепринятых терминах, стандартных для данного исследования; – выявляются дублирующие или взаимодополняющие друг друга идеи, которые сводятся в комплексы; – идеи классифицируются по группам, и создается перечень групп с перечислением составляющих их идей в логическом порядке значимости; – составляется записка (доклад), представляющая собой тезисы-вопросы для последующего этапа (деструкции). Опыт показывает, что если представить экспертам для деструкции просто развернутую записку (доклад), то повышается риск отвлечения их внимания в сторону от обсуждаемых вопросов. 5. Деструкция идей и выдвижение контр идей (желательно на одном и том же задании группы). Обсуждение проводится так же, как и на этапе «мозговой атаки», с той лишь разницей, что при деструкции от экспертов требуется возможно более смелая, последовательная и исчерпывающая критика поочередно каждого выдвинутого положения (в порядке очередности выдвигаемых по­ложений, а не выступающих). При выработке новых оценок проце­дура «мозговой атаки» повторяется полностью. Результатом данно­го этапа являются материалы для дальнейшего уточнения содержа­ния проблемной записки. 6. Подведение итогов экспертизы: составляется систематический перечень всех критических замечаний, полученных на этапе дест­рукции, сводный список идей и контридей, не опровергнутых крити­ческими замечаниями. Использование этого метода позволяет уточнить и систематизировать экспертные оценки социальных целей исследуемого объекта, необходимые для разработки проблемно-целевой модели, которая может выступать в роли исходной (базовой) модели прогноза социального явления. Предыдущие типы опроса экспертов ставили задачу апробиро­вать различные методические подходы к использованию экспер­тизы с целью совершенствования систем показателей сложных со­циальных явлений. Особое внимание при этом уделялось вопро­сам определения степени компетентности экспертов и структуры экспертных групп. Однако огромный интерес представляют и со­держательные экспертные оценки, дающие возможность развивать и совершенствовать различные направления социальной статис­тики. Процедуры экспертизы включают следующие этапы: 1. Уточнение исходного набора показателей. Для этого про­водится специальный очный опрос экспертов, осуществляемый одним из методов, имеющихся в распоряжении исследовате­лей. В роли экспертов выступают специалисты исследуемой области. Серия таких опросов позволяет существенно уточ­нить исходный набор показателей. 2. Формирование экспертной группы для оценки уточненного набора показателей. Этому вопросу следует уделить особое внимание. Опыт опроса экспертов в заранее формализованных группах (отдел или сектор научно-исследовательского учреждения, группа ведущих практических работников и т.п.) наряду с очевидными достоинствами имеет и недочеты: чрезмерная однородность экспертной группы по уровню и профилю компетентности порождает односторонние оценки, даваемые почти под одним и тем же углом зрения без учета иных точек зрения. Возникает проблема поисков оптимума в сочетании экспертов разного уровня и профиля компетентности, способных дать слож­ному социальному явлению основательную, разностороннюю оценку. В этом плане наиболее предпочтителен метод так называемого «снежного кома»: проводится серия экспертных опросов, где каж­дому эксперту предлагается назвать одного или несколько специа­листов, наиболее подходящих, по его мнению, для включения в свод­ную экспертную группу. Можно прибегнуть к другим методам, например к использова­нию авторского библиографического указателя по исследуемой проблеме, а также к приемам отбора из первоначального списка наиболее компетентных экспертов с помощью документального метода, эксперимента, голосования и самооценки. Документальный метод позволяет определить компетентность эксперта по формальным данным – ученой степени и званию, должности, стажу работы в соответствующей области и т.д. Экспериментальный метод учитывает эффективность работы экспертов в предыдущих опросах. Метод голосования предполагает взаимооценки экспертов при условии достаточно устойчивых научных контактов между ними. Метод самооценки позволяет определить компетентность эксперта в зависимости от его ответов: занимался ли он рассматриваемой проблемой специально, знаком с ней только по специальной литературе или имеет о ней лишь самое общее представление. Используя эти методы, следует помнить, что по эксперт­ным оценкам не всегда можно с достаточной точностью выя­вить различие между научным статусом эксперта, фиксируе­мым документально, и степенью его действительной компе­тентности, а также связи между действительной компетентно­стью и самооценкой. Данные, приводящиеся в специальной литературе по экспертным оценкам, свидетельствуют, что наи­более эффективным показателем компетентности эксперта является самооценка (разумеется, подкрепленная данными, полу­ченными другими методами). Что касается достижения оптимальности в структуре экспертной группы (соотношение специалистов различных областей знания), для того чтобы быть уверенным, что выявленная система показателей отражает все стороны исследуемого объекта на одинаково высоком уровне, в экспертной группе должны быть более или менее равномерно представлены специалисты всех профилей исследуемой области. Оптимальное же соотношение специалистов широкого и узкого профиля – величина непостоянная и требует специального расчета для каждого конкретного исследования. Оптимальная численность экспертной группы как величи­на формальных способов определения не имеет. Очевидно, что минимальный предел должен обеспечивать возможность при­менения статистических процедур и известную гарантию про­тив односторонности подбора экспертов, а максимальный диктуется реальными возможностями подготовки, проведения и обработки результатов экспертизы. 3. Проведение собственно экспертизы одним из известных ме­тодов. Методические сложности этого этапа состоят в необходи­мости сосредоточить внимание на таких аспектах, как заинтересо­ванность экспертов в точности их оценок, выборе адекватных ме­тодов групповой оценки, согласованности мнений и ряда других моментов.

Основные виды моделей, используемых в социальном прогнозировании и планировании.

Изучение уже разработанных систем, сравнение их друг с другом, выявление преимуществ и недостатков каждой из них – один из апробированных методов совершенствования системы показателей. Сложность этого вида исследования состоит в том, что подобрать достаточное количество однотипных систем с одинаковым содержанием, структурой и целенаправленностью практически невозможно Обычно приходится иметь дело со сложным информационным массивом сравнений (компаративным массивом), состоящим из разнотипных систем. Процедуры сравнения в подобных случаях значительно затрудняются, т.к. появляется опасность случайных, субъективных произвольных выводов. В информатике, статистике и компаративистике имеется доста­точно много методик сравнительного анализа рассматриваемого объекта. Здесь же целесообразно остановиться на проблеме мето­дологии формирования компаративного массива, компаративных процедур и получения выводов из проведенного сравнения. • Формирование компаративного массива. Опыт показывает, что минимальное количество различных показателей, с которым можно вести сравнительное исследование – не более нескольких десятков единиц. Иначе потребуются годы работы большого исследовательского коллектива при значительных затратах времени и средств. Кроме того, наращивание информационного массива сверхдостаточного репрезентативного минимума существенно снижает эффективность выходных данных. Имеются два метода отбора репрезентативного минимума: концентрического сужения потенциального массива информации по заранее заданным критериям; последовательного расширения какого-либо элемента указанного массива, принятого за исходный. Сужение потенциального массива информации ведут несколькими этапами с удалением на каждом из них тех частей, которые признаются выходящими за рамки исследования или не имеют к нему непосредственно отношения. В итоге определяются узкие рам­ки окончательного отбора системы социальных показателей изуча­емого объекта в целом, изложенные в специальных изданиях в опре­деленном временном промежутке. Такому жесткому критерию обычно удовлетворяет лишь несколько названий работ в советской и зарубежной социологической литературе. Для обеспечения мини­мума достаточной репрезентативности требуется некоторое его расширение по другому ряду критериев. Однако этот список необходимо дополнить работами, в названиях которых не фигурирует сам термин, обозначающий исследуемые явления, но которые по своему содержанию посвящены социальным показателям именно этого явления. Это относится в первую очередь к зарубежным работам, затем – к социальной статистике, охватывающей проблематику изучаемого объекта в целом, далее – к литературе по тем или иным социальным проблемам, где в центре внимания автора оказалась фактически интересующая нас проблематика. Последний критерий наиболее сложен: тщательное изучение каж­дого издания и вынесение решения о включении или исключении его на основании индивидуальной экспертной оценки связано с по­вышением риска ошибки, особенно в тех случаях, когда содержа­ние, структура и направленность издания не могут быть определе­ны однозначно. Здесь возможен наибольший процент ошибочного выбора. Перечисленные процедуры касаются содержательной сто­роны информационного массива. Аналогичную работу сле­дует проделать и по критериям формальной стороны. Часто число изданий, опубликованных в виде монографий строго по данной проблематике по указанным критериям, насчиты­вает всего несколько единиц. Поэтому есть смысл добавить к ним статьи этого же характера из специальной научной пе­риодики, издания по социальной статистике, полностью от­вечающие установленным критериям, а также ротапринтные или ксерокопированные доклады. Эта последняя группа не уступает по своей содержательности монографиям и стать­ям, а по степени оперативности информации может их и пре­восходить. В схематическом виде компаративный массив может быть пред­ставлен как совокупность блоков показателей (или отдельных агре­гированных показателей) исследуемого объекта. В целом сформированный таким образом информационный массив достаточно репрезентативен, чтобы вести сравнительное исследование, выводы которого могли бы иметь значение для всей совокупности систем и показателей исследуемого объекта в отече­ственной и зарубежной литературе. • Компаративные процедуры: блоки показателей. Срав­нительное исследование делится на два этапа: сравнение бло­ков показателей; исследовательские процедуры, той части ком­паративного массива, которая содержит сведения о конкрет­ных показателях. Собственно процедуры таковы: а) сравнение числа блоков показателей (или отдельных агрегированных показателей) в различных системах; б) сравнительный анализ структуры блоков изучаемых систем. Процедура количественно-качественного характера, где на первом плане стоят вопросы соотношения различных блоков; в) сравнительный анализ внутренней структуры каждого блока обозреваемых систем, для чего необходим частичный выход за рамки простой номенклатуры сопоставительной таб­лицы и изучение особенностей названий отдельных блоков. Здесь наиболее приемлем способ членения основных блоков типичной компактной системы, в котором выделяют три глав­ных подхода: • Разделение основных блоков на подблоки, выступающие в ка­честве самостоятельных наряду с основными. • Разделение блока на несколько подгрупп показателей, об­разующих относительно самостоятельные подблоки. Это де­ление близко к первому, но отличается от него гораздо боль­шей степенью детализации, причем каждый блок обычно выс­тупает как совокупность нескольких подблоков под одной рубрикой. • Сведение нескольких подблоков в один сложный блок, выступающий как совокупность подблоков под одной рубрикой. Достигается примерно тот же результат, что и в предыдущем случае, но уже не дифференциацией (декомпозицией) блока на подблоки, а, напротив, интеграцией (композицией) подблоков в блок, значительно более агрегированный и более сложный по своей структуре, чем обычные. По характеру – это качественно-количественная процедура; г) сравнительный анализ внутреннего содержания систем, для чего необходим полный выход за рамки номенклатуры сопостави­тельной таблицы и изучение внутренней структуры каждого блока. Процедура сугубо качественного характера. • Компаративные процедуры: отдельные показатели. Для того, чтобы выработать рекомендации по дальнейшему совершенствова­нию отдельных показателей, необходимо путем сравнительного ана­лиза выявить наиболее эффективные Компаративные процедуры: отдельные показатели. Для того, чтобы выработать рекомендации по дальнейшему совершенствова­нию отдельных показателей, необходимо путем сравнительного ана­лиза выявить наиболее эффективные частные типы показателей. С этой целью проводятся еще три процедуры исследования: д) сравнение систем, состоящих не из блоков, а из отдельных агрегированных показателей; е) сравнение блоков остальных систем компаративного масси­ва, содержащих не только блоки, но и конкретные показатели; ж) сравнительно-качественный анализ выявленных частных типов показателей. Приведенный перечень не исчерпывает все существующие и потенциально возможные частные типы показателей (см. табл. 3). Требуется специальное исследование, чтобы свести эти типы в сис­тему, сопряженную с системами классификации показателей. В существующих системах социальных показателей в основном используются простейшие частные типы показателей, по которым сравнительно легко индицировать информацию, но которые дают невысокий уровень материалов для обобщений и выводов, необходимых в теоретической или практической работе с показателями. Наиболее распространенный тип – процентная доля. При правильной постановке дела этот показатель сообщает исследователю или практическому работнику гораздо больше, чем простое абсолютное число, но все же гораздо меньше, чем более сложные и более трудоемкие показатели. Вместе с тем следует иметь в виду, что социальные показатели – это не вся социальная статистика, а только та количественно небольшая ее часть, которая позволяет измерять важнейшие социальные изменения, строить динамические ряды для сравнений во времени и пространстве. Такой подход непосредственно связывает любую систему социальных показателей с той или иной стороной исследуемого объекта или со всем объектом в целом, но в то же время предъявляет жесткие требования к каждому отдельному показателю. В частности, при подборе каждого из них, как показывает сравнительный анализ существующих индикаторных систем, необходимо установить: • информационную базу для практического использования показателя; • степень адекватности показателя сущности индицируе­мого объекта; • возможность формализации (стандартизации) показателя; • степень его взаимосвязи с другими показателями индика­торной системы; • соответствие показателя целям теоретической или практичес­кой работы; • возможность замены показателя в случае необходимости столь же эффективным; • потенция показателя для различительных и сравнительных опе­раций при анализе результатов измерения. В целом сравнительный анализ требует, чтобы логическому подходу к изучению индикаторных систем во всей совокупности их составных частей предшествовал исторический подход – рассмотрение конкретных особенностей создания той или иной системы. Только сочетание обоих подходов может дать достаточно полную информацию, извлечь из нее действительно конструктивные элементы. В индикаторных системах должны сочетаться структурный и проблемный принципы. Первый требует достаточной полноты набора блоков показателей сообразно структуре индицируемого объекта. Второй подразумевает обязательное сосредоточение внимания на той проблеме, решение которой требует создания системы показателей. Следовательно, имеется в виду максимальная дезагрегация самих показателей и их блоков на профильных направлениях теоретической или практической работы и столь же максимальная агрегация – на «фоновых», вспомогательных направлениях. Нарушения обоих принципов чреваты падением информативности, вообще эффективности индикаторных систем. Подбор конкретных показателей каждого блока должен возможно полнее соответствовать детально разработанным в со­циологической литературе принципам системности, репрезентатив­ности, адекватности, информативности (различительности), сопос­тавимости, обоснованности, эффективности, экономичности, агрегатируемости, универсальности и функциональности. Это означает, что каждый показатель должен быть не случайным элементом оп­ределенной системы показателей, придающей операции измерения заранее установленный смысл; должен достаточно полно отражать особенности и характер той или иной стороны измеряемого явле­ния, содействовать четкому разграничению оценок различного состояния последнего, давать достаточную информацию для его содержательного анализа, обеспечивать возможность соизмерения двух или более различных состояний явления либо одинаковых со­стояний различных (но однородных) явлений. Показатель должен содействовать достижению определенных целей теории или практи­ки, должен быть максимально эффективным при минимальной зат­рате времени, сил и средств на измерительные операции с его помо­щью, должен обладать способностью к агрегации и дезагрегации, должен быть пригоден для измерения всех однотипных явлений, со­ответствовать цели и задачам каждой исследовательской операции, в которой он применяется.