Анализ качества анкеты

Социологическая анкета, помимо всего прочего, — это еще текст, изло женный по определенным грамматическим и стилистическим нормам. Ffpi его составлении ученого интересует не только язык, но и речь (по Соссюру) в том числе интерпретация вербального материала говорящим и слушающим Соответственно каждый вопрос представляет собой не только фрагмент шп отрывок из анкетного текста, но также самостоятельную стилистическук конструкцию, подобно тому, как отдельный абзац научного или повество вательного текста представляет собой самостоятельное целое (в рамках су ществующей стилистической конструкции всего текста), подчиняющеес: собственным жанровым законам (зачин, интрига, заключение).

Анкета существует на узком пространстве между исследователем и респон дентом, тем, кто задает вопросы, и теми, кто на них отвечает. Как средств научного измерения и канал общения социологическая анкета должна в точ ности выполнять предписанные ей функции, обладая высокой надежность! и качеством. Качество социологической анкеты определяется рядом факгорот в том числе тем, как мудро, проницательно и умело сформулировал ее пози ции разработчик, и тем, насколько адекватно его поняли респонденты.

К изучению того, как воспринимают респонденты анкетные вопрось специалисты применяют разнообразные техники. Обычно практикуютс следующие методы: экспертные оценки разработчиков анкеты; экспертны оценки интервьюеров; логический анализ анкеты; когнитивные методы анг лиза текста анкет⁶. При этом в основном тестируют лексическую или лога ческую правильность вопросов (например, сбалансированность закрытий их семантическое соответствие теме исследования. Кроме того, специалис ты обращают внимание на способы предъявления вопросов или карточе интервью, их понимание, проводят разграничение письменного текста воп­росника и воспроизведения его отдельных элементов в устной речи и т.д.

^ueMaio T.J., Rothgeb J.M., Hess J. Improving survey quality through pretesting // Working papers survey methodology: U.S. Bureau of the Census. 1998. № 3.

Цель когнитивных методов — понять мыслительные процессы, управля­ющие ответами респондента при опросе, используя полученные знания для конструирования более эффективного опросного инструмента. Эмпиричес­ки удалось выяснить, что письменный вопрос и его произнесение — вслух анкетером (интервьюером) или мысленно респондентом —две разные вещи. Не существует даже такой объективной формы, как дословное произнесение текста. В большинстве случаев оно представляет собой лишь устойчивый миф, укоренившийся в среде разработчиков анкет. Социолог читает респон­денту одним образом, сам респондент — другим. При этом тот и другой в разное время могут прочитать, а соответственно, и понять один и тот же текст по-разному в зависимости от своего настроения, эмоционального и физичес­кого самочувствия, форс-мажорных обстоятельств и т.д. В конечном итоге с помощью когнитивного анализа можно установить, что именно человек ду­мает, отвечая на вопросы интервьюера. Здесь анкета трактуется не как бумаж­ный документ с записанным текстом, а как коммуникативная среда, в кото­рой взаимодействуют: 1) содержание, направленность и последовательность анкетных вопросов; 2) формулировка вопроса и многообразие его интерпре­таций; 3) характеристики и условия ситуации опроса; 4) личность интервью­ера и респондента. При когнитивном анализе используются два метода, на­правленных на уменьшение семантического многообразия слов и выраже­ний: 1) улучшение формулировки вопроса и снятие неоднозначных понятий; 2) повышение качества коммуникации между интервьюером и респонден­том. По мнению Т. Димайо и Дж. Ротгеба, к первой группе относятся следу­ющие техники: метод парафразы, метод артикулированного (проговоренно­го) суждения, метод оценки уверенности в ответах и метод пробных вопро­сов⁷. Вторая группа включает: метод когнитивного кодирования, метод экспертных оценок, семантическое кодирование вербального протокола, экспертное кодирование вербального протокола и метод временных харак­теристик⁸. При этом первую группу методов называют качественными, а вторую количественными.

Методы когнитивного интервью направлены на вовлечение респондента в процесс тестирования вопросника: от респондентов требуется артикулиро­вать свои размышления по поводу вопроса и показать интервьюеру, как они понимают конкретный вопрос и формулируют на него ответ⁹. Метод пара­фразы заключается в том, что респондента просят изложить услышанный вопрос, попытаться задать его самостоятельно, используя собственные лек­сические конструкции. Метод оценки уверенности в ответе позволяет выя- вить трудности, связанные с формулированием ответа. Респондента просят оценить (например, по пятибалльной шкале) каждый ответ в зависимости от уверенности, с которой он был выбран. С помощью метода артикулирован­ного суждения можно установить, что говорит респондент о причинах вы­бора определенного варианта ответа. Для этого его либо просят проговари­вать все мысли, которые приходят ему в голову при ответе на вопрос, либо ответить на дополнительные вопросы типа «почему»¹⁰.

⁷ DeMaio T.J., Rothgeb J.M. Cognitive interviewing techniques: In the lab and in the field // Answeringquestions: Methodology for determining cognitive and communicative processes in survey research. SanFrancisco: Jossey-Bass Publisher, 1996. P. 177-196.

⁸ Bassili J.N. Response latency and the accessibility of voting intentions: What contributes to accessibility andhow it affects vote choice//Personality and social psychology bulletin. 1995. No. 21; CannelC. F., Kalton С Oksenberg L. New strategies for pretesting survey questions // J. of official statistics. 1991. Vol. 7. No. 3;Bickart В., Felcher M. E. Expanding and enhancing the use of verbal protocols in survey research// Answeringquestions: Methodology for determining cognitive and communicative processes in survey research / Ed. byN. Schwarz, S. Sudman. San Francisco: Jossey-Bass Publisher, 1996.

DeMaio T.J., Rothgeb J.M., Hess J. Improving survey quality through pretesting // Working papers in survey methodology: U.S. Bureau of the Census. 1998. No. 3.

Предложенная Д.М. Рогозиным" четырехшаговая схема анализа когни­тивного перехода (рис. 9) вскрывает лингвистические ресурсы (знания и ре­чевые навыки), которые использует респондент при ответе на анкетный воп­рос. Различная когнитивная компетентность, которой обладают разные люди, заставляет их по-разному отвечать на прозвучавший вопрос. Но не только она влияет на качество получаемой информации. Не меньшее значение имеют экстралингвистические факторы, в том числе молчание, кивки, ухмылка, движения руками, покачивание головой интервьюера.