![]() |
Главная Случайная страница Контакты | Мы поможем в написании вашей работы! | |
|
Задача оценки качества измерения — это, если говорить обобщенно, исключение ошибки при анализе и интерпретации данных.
Надежность измерения связана с его устойчивостью и воспроизводимостью.
Показатель может считаться надежным в той мере, в какой полученные распределения могут быть воспроизведены на данной совокупности объектов измерения.
Основной вид надежности — это повторяемость результатов, которые сохраняются при каждом последующем проведении процедуры. Таким образом, показатель (вопрос или тест) считается надежным, если респонденты, входящие в одну и ту же выборку, отвечают одинаково и в первом, и во втором, и в третьем и т.д. случаях.
Важно понимать, что надежность инструмента измерения еще не отражает его точности или правильности. Так, в частности, уже говорилось о том, что многие люди склонны завышать или, напротив занижать свои доходы, причем эти не соответствующие реальности сведения они могут повторять неоднократно. Измерение — надежно, хотя оно и не отражает истину.
К недостаткам оценки повторяемости относится:
♦ сложность проведения повторных замеров на больших выборках, присущих социологическому исследованию. Подобной проблемы при проверке надежности теста у психологов не существует, так как они работают с небольшими выборками, редко превышающими 10—15 человек;
♦ истинное значение переменной может с течением времени изменяться. Так, например, какое-то общественное событие может резко поменять политические пристрастия людей, и тогда при повторном замере результаты будут иными и перед социологом встанет сложная задача отделить колебания, связанные с изменением истинного значения переменной, от колебаний, которые обусловлены ненадежностью показателя.
Поэтому еще важнее другой вид надежности — согласованность, которую можно определить только в том случае, если для измерения одной и той же переменной используется не один, а множество индикаторов, взаимно контролирующих друг друга. Вот почему необходимо усвоить: ни один, даже безукоризненно сформулированный, вопрос, если он является единственным референтом исследуемой переменной, не гарантирует надежности измерения.
Психологи для обеспечения надежности результатов пользуются батареей тестов, измеряющих одно и то же качество личности человека или его способности. Социологи чаще всего прибегают к расщеплению пополам набора вопросов, измеряющих одну и ту же переменную.
Рассмотрим этот способ определения индекса согласованности на конкретном примере. В нашем исследовании национального самосознания русских для выявления уровня и степени этнической самоидентификации использовалось 10 вопросов.
Процедура выглядела следующим образом:
• сначала каждому из вопросов был присвоен 1 балл, максимальная степень этнической самоидентификации оценивалась 10 баллами;
• затем вопросы были перетасованы и случайным образом разделены на два равных по количеству списка, по 5 вопросов в каждом;
• вопросы были один раз предъявлены группе испытуемых;
• далее подсчитывался коэффициент корреляции между ответами одних и тех же испытуемых по обеим половинкам набора вопросов.
Величина этого коэффициента («чем выше — тем согласованнее») позволила сделать вывод о согласованности оценок истинного значения этнической самоидентификации, получаемых посредством этого набора индикаторов. Существуют и другие процедуры проверки инструментария на согласованность.
Понятие надежности связано еще и со случайными ошибками измерения, т.е. с ошибками, которые не имеют отношения друг к другу или к каким-то систематически воздействующим внешним переменным (например, возрасту или уровню образования респондента).
Наиболее распространенные источники ненадежности — это несистематические факторы, которые могут быть связаны со следующими моментами.
Во-первых, с колебаниями внимания респондентов (трудно гарантировать, что при каждом измерении уровень внимательности испытуемых является неизменным).
Во-вторых, неоднозначностью формулировки вопроса, которая может привести к его различной интерпретации разными испытуемыми. Уже говорилось, что качество вопроса по критерию адекватности его восприятия следует тщательно проверять на стадии пилотажа.
В-третьих, ошибки могут быть связаны с организацией исследования, особенно если оно проходит в форме интервью, где каждый интервьюер при проведении одного и того же по содержанию интервью имеет свои особенности общения с информантом, которые могу повлиять на его результаты.
И, наконец, в-четвертых, ошибки могут возникнуть на стадии кодировки или ввода данных.
Чтобы повысить надежность своего инструментария, надо без сожаления отказываться от тех вопросов, при формулировке которых не удается избежать двусмысленности. Ненадежны и те вопросы, на которые респонденты не могут или не хотят отвечать, но из вежливости или из-за желания продемонстрировать свою высокую информированность отвечают наугад, «абы как». Для исключения или хотя бы снижения вероятности такой ошибки существуют вопросы фильтры.
Валидность (обоснованность) измерения — это точность при измерении именно того, что должно быть измеренным. Иными словами, социолог должен быть совершенно уверен в том, что тот или иной индикатор соответствует именно той социальной реальности, которую предстоит изучить. Таким образом, валидность определяет «чистоту» измерения теоретического конструкта.
Валидность взаимосвязана с надежностью, поскольку надежность является необходимым условием валидности и задает верхний предел его значения. В психологии широко известен тот факт, что ненадежный тест не может быть валиден, а валидный тест всегда надежен.
Однако если мы измеряем интересующее нас свойство косвенно, а именно так чаще всего и бывает в социологическом исследовании, между надежностью и валидностью возникает различие.
Рассмотрим это на примере. Изучая степень и направленность этнической самоидентификации, социолог, естественно, не будет задавать респонденту вопрос впрямую: «Какова ваша этническая самоидентификация?», а разработает серию косвенных показателей данной переменной. Однако какой-то индикатор может, обладая высокой надежностью, измерять интересующее нас явления недостаточно «чисто». Так, в обсуждаемом исследовании при изучении ксенофобии, которая является одной из сторон отрицательной этнической идентичности, существовала вероятность конформизма, ухода от откровенного ответа в том случае, если позиция респондента не совпадала с известной ему нормой толерантности.
Систематические ошибки, которые чаще всего влияют на валидность референта, связаны с эффектом «социальной желательности», установки на положительный или отрицательный ответ. Как уже говорилось ранее, эти ошибки удается почти полностью исключить, если набор вопросов, измеряющих одну переменную, достаточно велик, а сами вопросы как по своей формулировке, так и по формату ответов разнообразны и взаимно контролируют друг друга. Кстати, именно «игровые» и психологические процедуры, подробно обсуждавшиеся в предыдущих главах, существенно повышают валидность показателей.
Основной процедурой оценки валидности по содержанию является суждение эксперта. В некоторых случаях валидность является очевидной: так, например, если спросить у респондента, сколько в среднем времени он проводит у экрана телевизора, то он скорее всего ответит правдиво, так как в таком вопросе не почувствует никакого «подвоха».
Другое дело, если вопрос, к примеру, затрагивает престижность потребления художественной информации определенными социальными группами.
Так, если человек с невысоким уровнем образования спокойно признается в том, что регулярно смотрит сериал «Бедная Настя», то интеллектуал, вполне возможно, будет это отрицать, хотя является столь же страстным поклонником костюмных сериалов, как и первый респондент.
Этот пример доступно иллюстрирует сложность валидизации показателя.
Чем сложнее этот индикатор и чем вероятнее уклонение испытуемого от откровенного ответа в силу сензитивности или остроты задаваемого вопроса, тем важнее формулировать вопросы: во-первых, как можно проще, «невиннее»; во-вторых, еще и по возможности так, чтобы истинный смысл выявляемой переменной остался для респондента нераскрытым — этому служат специальные методики и процедуры, которые по своей форме и содержанию намеренно «затемняют» изучаемый показатель.
Кроме того, судить о полноте набора вопросов для выявления какого-то социального явления могут специалисты. Полезно, в частности, использовать так называемый метод судей, которые оценивают адекватность индикаторов исследуемой области жизни. Так, например, при разработке инструментария для изучения национального самосознания в качестве «судей» выступали наряду с компетентными социологами еще и этнопсихолог, этнограф и культурный антрополог. Именно так следует поступать в тех случаях, когда исследуемое явление многомерно и по своему содержанию предметные поля смежных наук.
Итак, можно констатировать, что повышение уровня обеспечивается:
● грамотным пилотажем с серьезной и вдумчивой коррекцией инструментария по его результатам;
● набором взаимосвязанных вопросов, пересекающихся друг с другом, на выявление одной переменной;
● адекватным отражением содержания переменной в простых для респондента вопросах, сформулированных таким образом, чтобы об истинном значении переменной он не догадывался;
● использованием методик и процедур тестового типа, которые направлены на выявление нерефлексивного уровня отражения окружающей действительности.
Дата публикования: 2014-12-11; Прочитано: 510 | Нарушение авторского права страницы | Мы поможем в написании вашей работы!