А.К. Замбржицкая Пилотирование формулировки анкетного вопроса

В повседневной деятельности социологов пило­таж обычно понимается как пробный, сокращен­ный вариант основного поля. И логика проведе­ния такого пилотажного исследования проста: собрать некоторое количество анкет, обсудить затруднения респондентов, внести необходи­мые изменения в формулировки вопросов. Мы провели ряд экспериментов по освоению новых приемов, полезных при проведении пи­лотажа. Мы представляем рефлексивные на­блюдения за собственным опытом во время про­ведения пилотажного маркетингового исследо­вания, главной целью которого была апробация вопросника с последующим анализом исполь­зовавшихся в нем методических приемов и про­цедур. Таким образом, была наработана эконо­мичная и эффективная схема проведения пило­тажа в маркетинговом исследовании. Пилотажное исследование состояло из следую­щих этапов. Подготовка интервьюеров к ап­робации вопросника. Когда интервьюер при­ступает к работе по новой для него анкете, он обязательно «осваивает» вопросник: пробует звучание формулировок вопросов, оценивает и запоминает логику расположения тематических блоков, переходов от вопроса к вопросу. И, не­смотря на строгие инструкции задавать вопро­сы именно так, как они написаны, невольно из­меняет их формулировки на более удобные для себя и работает уже не по написанным, а «при­своенным» вопросам. В поле он постепенно пе­рестраивает вопросы еще и с учетом реакции респондентов. Мы полагаем, что процесс «при­своения» вопросов интервьюером не нужно ис-

коренять в соответствии с требованиями унифи­кации процедуры сбора данных. Мы предлага­ем использовать этот процесс для апробации «кабинетных» вопросов.

Инструкция, которую мы давали интервьюерам перед пилотажным исследованием, первым пунк­том содержала следующее замечание: «Вы мо­жете переформулировать вопросы, как Вам и респондентам будет удобно. Но обязательно запоминайте, как именно Вы задаете вопрос. Если Вы несколько раз будете менять формули­ровку, постарайтесь запомнить все варианты». Таким образом, мы планировали получить набор из различных формулировок одного и того же вопроса и соответствующих им реакций респон­дентов, чтобы к полевому этапу выбрать те,

которые будут самыми «хорошими», т.е. адек­ватными содержательным целям исследования. Мы обращались к интервьюерам как активным помощникам и союзникам исследователя, и, как оказалось, наши надежды полностью оправда­лись: интервьюеры с любопытством и энтузиаз­мом приняли это задание и старательно наблю­дали за своей речью и поведением респонден­тов во время пилотажа.

Проведение пилотажа. В нашем исследовании опрашивались покупатели и посетители магази­нов детских игрушек при выходе из магазина, поэтому анкета по размеру была короткой (один лист), а интервью в целом занимало от 3 до 10 минут. Мы не ограничивали пилотаж каким-то заранее заданным количеством анкет, а от­вели первый день опроса на апробацию. Каждый сделал около 20 интервью, и этого оказалось до­статочно для того, чтобы интервьюер получил представление о том, каким образом респон­денты воспринимают те или иные вопросы, и проэкспериментировал с формулировками воп­роса, подстраиваясь под респондентов. Послепилотажное групповое обсуждение. Снять содержание этих мини-экспериментов можно через введение в ситуацию интервью третьего персонажа — наблюдателя, который бы фиксировал ходы, сделанные интервьюером, и реакции респондентов на них. Такой материал позволил бы точно отследить все возможные ва­рианты и формулировки. В идеальном случае таким наблюдателем могли бы стать скрытая от респондента видео- и аудиозапись, поскольку присутствие третьего лица, не влияющее на си­туацию опроса, вообразить сложно. Мы не мог­ли выделить каждому интервьюеру дополни­тельное техническое обеспечение (опять же из соображений экономии средств заказчика). По­этому мы опробовали групповое обсуждение как форму фиксации результатов пилотажа. Это обсуждение организовывалось в свободной форме (без жесткого вопросника для дискус­сии). Обсуждались следующие основные вопро­сы: что было сложным для вас, когда вы прово­дили интервью? Какие вопросы вы переформу­лировали? Что вам или респондентам в них было ^неУДобно/непонятно? Как именно вы задавали этот вопрос? Какие вопросы для респондентов были трудными? Какую эмоциональную реакцию ^вызывал вопрос у респондентов?

Само по себе обсуждение с интервьюерами ка­чества инструмента очень полезно и для интер­вьюера (меняется его отношение к работе, ста­новится более ответственным и осмысленным), и для социолога, который получает важные све­дения для коррекции инструмента. Преимуще­ство группового обсуждения заключается в том, что высказывания одного из участников стиму­лируют работу памяти другого, и он более точ­но воспроизводит свои ситуации опроса. Таким образом, были высказаны все наработанные впечатления и замечания, которые появились в процессе пробного опроса, и тут же были най­дены и оформлены рекомендации по улучшению анкеты.

После группового обсуждения целый ряд вопро­сов был существенно изменен. Таким образом, мы получили практически новый вариант воп­росника, который тоже нужно было апробиро­вать перед основным полем. По окончании опроса мы провели еще одн> групповую встречу с интервьюерами и обсуди­ли эффективность новых формулировок. Такое послеполевое обсуждение дало нам возмож­ность еще раз «подчистить» вопросы, прежде чем положить их в «копилку» для будущих ис­следований. Мы поняли, что нельзя экономить место на вопросах-фильтрах, что порядок за­даваемых вопросов влияет на характер отве­тов респондентов и понимание смысла вопро­са, научились сложные вопросы разбивать не простые и делать многое другое, что состав ляет методическую культуру современного со циолога.

Сокращено по источнику: Замбржицкая А.К Эмпирическая апробация вопросника в марке тинговом исследовании // Социологические ис следования. 1999. № 11. С. 115-122.

Неустойчивые вопросы не только длиннее устойчивых, но содержат грам­матически более сложные слова. Отсюда вытекает практический совет соци­ологу: формулируй свои мысли не только кратко, но и просто, иначе проиг­раешь в качестве получаемой информации.

Новый подъем интереса к внутрипрофессиональным делам социологов наблюдался в 1960—1970-е гг., когда в США происходило активное обсуж­дение таких аспектов, как методические особенности использования откры­тых и закрытых вопросов, влияние альтернатив, порядка их расположения отсутствия градации «нет ответа» на распределение ответов респондентов и др. из крупных исследовательских центров, которые могут финансиро­вать специальные обследования на достаточно больших выборках (от 1,5 до 2,5 тыс. респондентов), стали появляться многочисленные публикации обобщающие методический опыт, проекты, наработки. Ученые в таких цент­рах проводят как специализированные методические эксперименты, «об­катывая» формулировки вопросов из своей исследовательской копилке, так и вторичный анализ данных, в которых использовались сходные формули­ровки вопросов.

Большая работа была проделана университетами Мичигана и Северной Ка­ролины. Исследование проводилось дважды — в январе и апреле 1979 г. Было выбрано два вопроса, показавших в 1940-х гг. наиболее значимые различия в ответах. Теперь уже был зафиксирован эффект конца списка. Он гласил, что в вопросах, произносимых вслух, респондент чаще выбирает альтернативу, сто­ящую в конце списка. Возможно, респонденты лучше запоминают слова, услы­шанные в последнюю очередь. Данные психологических экспериментов свиде­тельствуют о том же самом. Когда в формулировке вопроса у вас содержатся две идеи, лучше всего респондент запомнит и поймет последнюю. Она же окажет­ся для него более притягательной, а стало быть, и более выбираемой⁹.

Рис. 14. Необходимо наличие внешнего контроля за интервьюерами

В СССР и в России интерес к методической культуре анкетирования был, но не было денег на проведение массовых экспериментов, призванных со­вершенствовать исследовательский инструментарий. Крупные исследова­тельские центры, работающие с большими выборками, например ВЦИОМ и ФОМ, могли бы проводить серьезные методические эксперименты, но не проводят. Большинство анкетных вопросов используются ими по многу лет, поскольку они не давали серьезных сбоев; таким образом, сам по себе стаж служит критерием надежности вопроса. Кроме того, частая смена формули­ровок могла и повредить ученым: вопросы-ветераны, обкатываемые во всех исследованиях, вносят единообразие и позволяют сравнивать данные иссле­дований разных периодов. Зачастую критерием адекватности вопроса (со­зданного в середине 90-х гг.) остается только доля затруднившихся ответить, и если она невелика (порядка 15—20%), исследователи предпочитают не про­водить специальных экспериментов и не менять формулировки. «Менее

⁹ См.: Методология и методы социологических исследований (Итоги работы поисковых исследова­тельских проектов за 1992-1996 годы) / Ин-т социологии РАН. М., 1996.

крупные исследовательские коллективы ориентируются на экономию средств заказчиков, которыми выступают организации, выдающие гранты, или от­дельные фирмы. Из-за ограничения бюджета исследования возникают слож­ности с серьезной апробацией вопросника, которая зачастую не проводится вообще. В результате непилотированные вопросники содержат ошибки, ко­личество которых не поддается исчислению. Некоторые из ошибок, обнару­живаемых даже при логическом анализе вопросов, приводят к серьезным сме­щениям в полученных данных, хотя способов проверить коммуникативную адекватность и точность формулировки вопроса наработано достаточно мно­го. При этом большинство из них затратны, требуют значительных матери­альных и временных ресурсов»¹⁰.