Исследовании

Задача оценки качества измерения — это, если говорить обобщенно, исключение ошибки при анализе и интерпретации данных.

Надежность измерения связана с его устойчивостью и воспроизводимостью.

Показатель может считаться надежным в той мере, в какой полученные распределения могут быть воспроизведены на данной совокупности объектов измерения.

Основной вид надежности — это повторяемость результатов, которые сохраняются при каждом последующем проведении процедуры. Таким образом, показатель (вопрос или тест) считается надежным, если респонденты, входящие в одну и ту же выборку, отвечают одинаково и в первом, и во втором, и в третьем и т.д. случаях.

Важно понимать, что надежность инструмента измерения еще не отражает его точности или правильности. Так, в частности, уже говорилось о том, что многие люди склонны завышать или, напротив занижать свои доходы, причем эти не соответствующие реальности сведения они могут повторять неоднократно. Измерение — надежно, хотя оно и не отражает истину.

К недостаткам оценки повторяемости относится:

♦ сложность проведения повторных замеров на больших выборках, присущих социологическому исследованию. Подобной проблемы при проверке надежности теста у психологов не существует, так как они работают с небольшими выборками, редко превышающими 10—15 человек;

♦ истинное значение переменной может с течением времени изменяться. Так, например, какое-то общественное событие может резко поменять политические пристрастия людей, и тогда при повторном замере результаты будут иными и перед социологом встанет сложная задача отделить колебания, связанные с изменением истинного значения переменной, от колебаний, которые обусловлены ненадежностью показателя.

Поэтому еще важнее другой вид надежности — согласованность, которую можно определить только в том случае, если для измерения одной и той же переменной используется не один, а множество индикаторов, взаимно контролирующих друг друга. Вот почему необходимо усвоить: ни один, даже безукоризненно сформулированный, вопрос, если он является единственным референтом исследуемой переменной, не гарантирует надежности измерения.

Психологи для обеспечения надежности результатов пользуются батареей тестов, измеряющих одно и то же качество личности человека или его способности. Социологи чаще всего прибегают к расщеплению пополам набора вопросов, измеряющих одну и ту же переменную.

Рассмотрим этот способ определения индекса согласованности на конкретном примере. В нашем исследовании национального самосознания русских для выявления уровня и степени этнической самоидентификации использовалось 10 вопросов.

Процедура выглядела следующим образом:

• сначала каждому из вопросов был присвоен 1 балл, максимальная степень этнической самоидентификации оценивалась 10 баллами;

• затем вопросы были перетасованы и случайным образом разделены на два равных по количеству списка, по 5 вопросов в каждом;

• вопросы были один раз предъявлены группе испытуемых;

• далее подсчитывался коэффициент корреляции между ответами одних и тех же испытуемых по обеим половинкам набора вопросов.

Величина этого коэффициента («чем выше — тем согласованнее») позволила сделать вывод о согласованности оценок истинного значения этнической самоидентификации, получаемых посредством этого набора индикаторов. Существуют и другие процедуры проверки инструментария на согласованность.

Понятие надежности связано еще и со случайными ошибками измерения, т.е. с ошибками, которые не имеют отношения друг к другу или к каким-то систематически воздействующим внешним переменным (например, возрасту или уровню образования респондента).

Наиболее распространенные источники ненадежности — это несистематические факторы, которые могут быть связаны со следующими моментами.

Во-первых, с колебаниями внимания респондентов (трудно гарантировать, что при каждом измерении уровень внимательности испытуемых является неизменным).

Во-вторых, неоднозначностью формулировки вопроса, которая может привести к его различной интерпретации разными испытуемыми. Уже говорилось, что качество вопроса по критерию адекватности его восприятия следует тщательно проверять на стадии пилотажа.

В-третьих, ошибки могут быть связаны с организацией исследования, особенно если оно проходит в форме интервью, где каждый интервьюер при проведении одного и того же по содержанию интервью имеет свои особенности общения с информантом, которые могу повлиять на его результаты.

И, наконец, в-четвертых, ошибки могут возникнуть на стадии кодировки или ввода данных.

Чтобы повысить надежность своего инструментария, надо без сожаления отказываться от тех вопросов, при формулировке которых не удается избежать двусмысленности. Ненадежны и те вопросы, на которые респонденты не могут или не хотят отвечать, но из вежливости или из-за желания продемонстрировать свою высокую информированность отвечают наугад, «абы как». Для исключения или хотя бы снижения вероятности такой ошибки существуют вопросы фильтры.

Валидность (обоснованность) измерения — это точность при измерении именно того, что должно быть измеренным. Иными словами, социолог должен быть совершенно уверен в том, что тот или иной индикатор соответствует именно той социальной реальности, которую предстоит изучить. Таким образом, валидность определяет «чистоту» измерения теоретического конструкта.

Валидность взаимосвязана с надежностью, поскольку надежность является необходимым условием валидности и задает верхний предел его значения. В психологии широко известен тот факт, что ненадежный тест не может быть валиден, а валидный тест всегда надежен.

Однако если мы измеряем интересующее нас свойство косвенно, а именно так чаще всего и бывает в социологическом исследовании, между надежностью и валидностью возникает различие.

Рассмотрим это на примере. Изучая степень и направленность этнической самоидентификации, социолог, естественно, не будет задавать респонденту вопрос впрямую: «Какова ваша этническая самоидентификация?», а разработает серию косвенных показателей данной переменной. Однако какой-то индикатор может, обладая высокой надежностью, измерять интересующее нас явления недостаточно «чисто». Так, в обсуждаемом исследовании при изучении ксенофобии, которая является одной из сторон отрицательной этнической идентичности, существовала вероятность конформизма, ухода от откровенного ответа в том случае, если позиция респондента не совпадала с известной ему нормой толерантности.

Систематические ошибки, которые чаще всего влияют на валидность референта, связаны с эффектом «социальной желательности», установки на положительный или отрицательный ответ. Как уже говорилось ранее, эти ошибки удается почти полностью исключить, если набор вопросов, измеряющих одну переменную, достаточно велик, а сами вопросы как по своей формулировке, так и по формату ответов разнообразны и взаимно контролируют друг друга. Кстати, именно «игровые» и психологические процедуры, подробно обсуждавшиеся в предыдущих главах, существенно повышают валидность показателей.

Основной процедурой оценки валидности по содержанию является суждение эксперта. В некоторых случаях валидность является очевидной: так, например, если спросить у респондента, сколько в среднем времени он проводит у экрана телевизора, то он скорее всего ответит правдиво, так как в таком вопросе не почувствует никакого «подвоха».

Другое дело, если вопрос, к примеру, затрагивает престижность потребления художественной информации определенными социальными группами.

Так, если человек с невысоким уровнем образования спокойно признается в том, что регулярно смотрит сериал «Бедная Настя», то интеллектуал, вполне возможно, будет это отрицать, хотя является столь же страстным поклонником костюмных сериалов, как и первый респондент.

Этот пример доступно иллюстрирует сложность валидизации показателя.

Чем сложнее этот индикатор и чем вероятнее уклонение испытуемого от откровенного ответа в силу сензитивности или остроты задаваемого вопроса, тем важнее формулировать вопросы: во-первых, как можно проще, «невиннее»; во-вторых, еще и по возможности так, чтобы истинный смысл выявляемой переменной остался для респондента нераскрытым — этому служат специальные методики и процедуры, которые по своей форме и содержанию намеренно «затемняют» изучаемый показатель.

Кроме того, судить о полноте набора вопросов для выявления какого-то социального явления могут специалисты. Полезно, в частности, использовать так называемый метод судей, которые оценивают адекватность индикаторов исследуемой области жизни. Так, например, при разработке инструментария для изучения национального самосознания в качестве «судей» выступали наряду с компетентными социологами еще и этнопсихолог, этнограф и культурный антрополог. Именно так следует поступать в тех случаях, когда исследуемое явление многомерно и по своему содержанию предметные поля смежных наук.

Итак, можно констатировать, что повышение уровня обеспечивается:

● грамотным пилотажем с серьезной и вдумчивой коррекцией инструментария по его результатам;

● набором взаимосвязанных вопросов, пересекающихся друг с другом, на выявление одной переменной;

● адекватным отражением содержания переменной в простых для респондента вопросах, сформулированных таким образом, чтобы об истинном значении переменной он не догадывался;

● использованием методик и процедур тестового типа, которые направлены на выявление нерефлексивного уровня отражения окружающей действительности.