Валидность эксперимента и факторы ее нарушения

Валидность исследования – это характеристика достоверности его результатов. Выделяют внутреннюю и внешнюю валидность экспериментального исследования. Внутренняя валидность заключается в вопросе о том, насколько в установленном в эксперименте факте отра­жена подлинная связь “причина – следствие”. Д. Кемпбелл так определяет внутреннею валидность: действительно ли именно экспериментальное воздействие (независимая переменная) привело к изменениям в данном эксперименте (зависимая переменная)[14].

Внешняя валидность касается того, насколько обобщаемым и экстраполируемым является установ­ленный в эксперименте факт для генеральной совокупности в целом: можно ли распространить полученные в эксперименте результа­ты на представителей генеральной совокупности, на других людей, не участвовавших в эксперименте.

Д. Кэмпбелл выделил факторы, нарушающие внутреннюю валидность психологического эксперимента. Первая группа факторов назевается факторами выборки:

1) cелекция – неэквивалентность групп по составу, вызывающая появление систематической ошибки в результатах;

2) cтатистическая регрессия – частный случай селекции, связанный с отбором групп на ос­нове “крайних” показателей измеренных переменных, например, высоко- и низкоактивные участники;

3) отсев участников – неравномерное выбывание испытуе­мых из сравниваемых групп;

4) естественное развитие участников, являющееся следствием течения времени.

Вторая группа факторов, нарушающих внутреннюю валидность психологического эксперимента, называется побочными факторами:

1) фактор фона, или “истории” – конкретные события, которые могут произойти в период проведения эксперимента и повлиять наряду с экспериментальным воздействием на поведение участников;

2) фактор тестирования – влияние процедуры измерения на результаты повторного тестирования;

3) инструментальная погрешность, ненадежность измерительного инструмента;

Факторы, нарушающие внешнюю валидность эксперимента:

1) условия проведения эксперимента как фактор, вызываю­щий неадекватную реакцию испытуемых на участие в исследовании;

2) взаимное наложение экспериментальных воздействий — остаточные “следы” более ранних экспериментальных воздей­ствий — “научение”.

Таким образом, основными характеристиками эксперимента как базового метода исследования являются выделение зависимой, независимой, внешней переменных; формирование контрольной и экспериментальной групп; контроль валидности, в частности предварительным планированием эксперимента. Элементом планирования выступает выбор конкретного исследовательского плана.

Вопросы для самопроверки

1. В чем заключаются признаки причинно-следственных связей?

2. В чем состоит отличие независимой и внешней переменных?

3. Каковы фундаментальные признаки экспериментального исследования?

4. В чем заключается процедура контроля в психологическом эксперименте?

5. Какие существуют способы контроля внешних переменных?

6. С какой целью в эксперимент вводят контрольную группу?

7. В чем состоит суть критерия репрезентативности при формировании эксперименталь­ной выборки?

8. Чем отличается внутренняя валидность экспериментального исследования от внешней?

9. Что такое рандомизация?

10. В чем заключается процедура манипулирования независимой переменной?

Тема 4. планирование эксперимента

Истинные экспериментальные планы Планы сравнительного исследования

Исследовательский план – это порядок действий экспериментатора со специально отобранными группами участников исследования.

В современной психологии выделяют четыре базовых исследовательских плана (дизайна, стратегии, схемы) проведения эмпирических психологических исследований[15]:

1) введение какого-либо воздействия в контролируемые условия и измерение эффекта его влияния на поведение уча­стников (истинное экспериментальное исследование);

2) выбор группы, обладающей определенными свойствами, напри­мер, группы подростков с асоциальным поведением, измерение психологи­че­ских ха­рактеристик этой группы и их сравнение с аналогичными харак­тери­стиками контрольной группы, например, группы подростков с просоциальным пове­дением (сравнительное исследование);

3) наблюдение поведения людей в естественных условиях и фиксирова­ние вербальных и невербальных показателей (исследование с применением метода наблюдения);

4) выявление характера связи между двумя изучаемыми характеристиками у одной и той же группы людей (корреляционное исследование).

Рассмотрим первый и второй исследовательские планы.

Истинные экспериментальные планы

Ранее были обозначены фундаментальные признаки экспериментального исследования (тема 3).

1. Наличие процедуры непосредственного манипулирования уровнями независимой переменной.

2. Контроль сопутствующих внешних переменных. Рандомизации участников эксперимента как частный случай контроля внешних переменных, связанных с индивидуальными особенностями испытуемых.

3. Наблюдение и фиксирование изменений зависимой переменной в контрольной и экспериментальной группах.

Наличие данных признаков характерно для истинных экспериментальных исследований, которыепозволяютс высокой вероятностью установить причинно-следственные связи между явлениями.

Истинное экспериментальное исследование строится по 4-м планам, выделенным Д. Кэмпбеллом, которые различаются способом контроля валидности. При их описании используем следующие символы:

R – процедура рандомизации участников исследования.

X – процедура экспериментального воздействия в виде манипулирования уровнями независимой переменной.

X₁, X₂ (X с нижним индексом в виде арабской цифры) – разные уровни независимой переменной.

О – наблюдение и фиксирование изменений зависимой переменной[16].

O₁, O₂ (O с нижним индексом в виде арабской цифры) – количество наблюдений зависимой переменной.

О^I, O^II (О с верхним индексом в виде римской цифры) – моменты времени наблюдений зависимой переменной.

Контрольная и экспериментальная группы обозначаются соответственного КГ и ЭГ.

План 1. План для двух рандомизированных групп с тестированием после воздей­ствия. (План Р.А. Фишера).

ЭГ R X O₁^I

КГ R O₂^I

Равенство экспериментальной и контрольной групп является необ­ходимым условием применения этого плана и достигается рандомизацией. Если рандомизация проведена качественно, то этот план позволяет контролировать боль­шинство факторов, нарушающих валидность эксперимента.

После проведения рандомизации как процедуры уравнивания групп осуще­ствляется экспериментальное воздействие (Х). Если необходимо использовать не один уровень воздействия, то применяются пла­ны с несколькими экспериментальными группами (по числу уровней воздействия) и одной контрольной.

Поскольку предварительное тестирование отсут­ствует, исключен эффект тестирования. Однако при проведении большинства психологических экспериментов необходимо жестко фиксировать исходный уровень зависимой переменной, например, интеллект, тревож­ность, знания, статус личности в группе и т.п. Данный контроль возможен с помощью процедуры рандомизации. Если возникает сомнение по поводу качества ее проведения, применяют план с предварительным тестированием.

План 2. План для двух рандомизированных групп с предварительным и итоговым тестированием (план “тест-воздействие-ретест”).

ЭГ R O₁^I X O₂^II

КГ R O₃^I O₄^II

Этот план контролирует фактор “фона”, или “истории”, так как в промежутке между пер­вым и вторым тестированием обе группы подвергаются одинаковым “фоновым” воздействиям. Естественное развитие и эффект тестирования контролируются за счет того, что они одинаково проявляются в экспериментальной и контрольной группах, а эффек­ты неэквивалентности групп – при помощи проце­дуры рандомизации.

Главный фактор, нарушающий внешнюю валидность этого плана, – взаимодействие тестирования с экспериментальным воздействием. Напри­мер, тестирование уровня знаний по определенному предмету перед проведением эксперимента по заучиванию материала может привести к актуализации исходных знаний и к общему повышению продуктивности запоминания. Достигается это за счет создания установки на запоми­нание.

Для контроля данного фактора, снижающего внешнюю валидность, используется план Р.Л. Соломона, предложенный им в 1949 г.

План 3. План Соломона включает исследование двух экспериментальных и двух контрольных групп.

ЭГ₁ R O₁^I X O₂^II

КГ₁ R O₃^I O₄^II

ЭГ₂ R X O₅^II

КГ₂ R O₆^II

План Соломона представляет собой объединение двух ранее рассмотренных пла­нов: первого, когда не производится предварительное тестирование, и второго – “тест-воздействие-ретест”. С помощью “первой части” плана можно контроли­ровать эффект взаимодействия первого тестирования и экспериментального воздей­ствия.

Сравнение O₂ и O₄ позволяет выявить эффект экспериментально­го воздействия — влияние независимой переменной на зависимую. Сравнение O₁ и O₂, а также O₃ и O₄ показывают эффект предварительного тестирования.

План 4. Лонгитюдный план.

ЭГ₁ R O₁^I X O₂^II

КГ₁ R O₃^I O₄^II

ЭГ₂ R O₅^I X O₆^III

КГ₂ R O₇^I O₈^III

В случае необходимости проверить сохранение во времени эф­фекта воздействия независимой переменной на зависимую, например, выяснить, приводит ли новый метод обучения к долгосрочному запоминанию материала, применяют лонгитюдныйплан.

Планы сравнительного исследования

Сравнительные исследования – это виды исследований, в которых отсутствуют или нарушаются обозначенные выше фундаментальные признаки истинного экспериментального исследования. Сравнительные исследования также называют квазиэкспериментальными. Квазиэксперимент (от лат. quasi – напоминающий, подобный) – план исследования, при котором экспериментатор отказывается от полного контроля за переменными ввиду его неосуществимости по объективным причинам[17].

По мнению В.Н. Дружинина, квазиэкспериментальные планыявляются попыткой учета объективной реальности жизни при проведении эмпирических исследований. Условия, в которые ставит жизнь, а также практические задачи исследователей не всегда позволяют реализовать планы “истинных экспериментов”, использовать схемы контроля внешних переменных. … Исследователь осознает те внешние перемен­ные, которые он не может контролировать. … Квазиэкспериментальный план используется тогда, когда применение истинного плана невозможно[18].

В качестве основных выделяют два типа квазиэкспериментальных планов: 1) планы экспериментов для неэквивалентных (неодинаковых по одному или нескольким признакам) групп; 2) планы ex-post-facto, когда исследуются участники уже происшедшего события.

План 1. План для неэквивалентных групп

О₁ X О₂

О₃ О₄

В исследовании участвуют две естественные группы, например, два параллельных школьных класса. Обе группы тестируются. Затем одна группа подвергается воздействию, ста­вится в особые условия деятельности, а другая – нет. Через определенное время обе группы проходят тестирование повторно. Разница результатов первичного тестирования двух групп (О₁и О₃) позволяет установить меру их эквивалентности в отношении измеряе­мой зависимой переменной. Результаты первого и второго тести­рования обеих групп сопоставляются. Для выявления эффекта действия независимой переменной сравнивают О₂и О₄. Значимость различий показателей будет свиде­тельствовать о влиянии независимой переменной на зависимую. Различие О₂и О₄ свидетельствует о естественном развитии и фоновом воздействии.

План 2. План ex-post-facto.

(R) X О₁

(R) О₂

В плане ex-post-factoэкспериментатор сам не воздействует на испытуемых. В качестве воздействия (независимой переменной) выступает некоторое реальное собы­тие из их жизни. Отбирается группа “испытуемых”, подвергшаяся воздействию, и группа, не испытавшая его. Отбор осуществляется на основании личных воспоминаний и автобиографий, сведений из архивов, анкетных данных, медицин­ских карт и т.д. Затем проводится тестирование зависимой переменной у предста­вителей “экспериментальной” и контрольной групп. Данные, полученные в резуль­тате тестирования групп, сопоставляются и делается вывод о влиянии “естествен­ного” воздействия на дальнейшее поведение испытуемых.

Вопросы для самопроверки

1. Каковы фундаментальные признаки истинного экспериментального исследования?

2. Какие факторы нарушения валидности позволяет контролировать план Р.А. Фишера?

3. Что такое квазиэксперимент?

4. Чем отличаются истинные эксперименты от квазиэкспериментов?

5. С какой целью в плане Соломона используют две контрольные и две экспериментальные группы?

6. Что подразумевают под лонгитюдным планом исследования?

7. Позволяют ли сравнительные исследования устанавливать причинно-следственные связи?

8. В чем состоит суть реализации плана ex-post-facto?