Методология тестирования

Приступая к рассказу о тестировании, мы начнем с самого главного — с определения понятия «тест». В общенаучном смысле тест (от англ. test — опыт, проба) — это кратковременное стандартизованное испытание, направ­ленное на получение в относительно сжатый отрезок времени наиболее су­щественной информации о признаках данного конкретного объекта с целью установления у него наличия или степени выраженности определенного пси­хического свойства (черты, характеристики) или качества, а также совокуп­ности психических свойств личности или психических состояний (отноше­ний, взаимовосприятия) групп и коллективов. Тест позволяет с заранее ус­тановленной степенью вероятности определить существующий у человека в данное время уровень знаний, относительно устойчивые личностные свой­ства, черты поведения, а также получить качественные и количественные оценки измеряемых характеристик.

Концепция тестирования как метода оценки и измерения качеств личнос­ти базируется на следующих общих предпосылках²:

1. Внутренние (психологические) свойства личности выявляются с помо­щью индикаторов — показателей или внешних поведенческих характеристик (ответов на вопросы, результатов решения разного рода задач и т.п.), посред­ством которых проявляются структуры и свойства личности.

2. Эти индикаторы имеют такое выражение, которое может быть объек­том наблюдения и измерения с помощью специальных процедур.

3. Между внешней (поведенческой) чертой и внутренним свойством лич­ности существует однозначная причинная зависимость: наблюдаемое дей­ствие или реакция человека порождены определенным личностным свой­ством и только им.

4. Измеряемые тестами черты и соответственно получаемые результаты распределены среди большой совокупности людей достаточно равномерно. Это означает, что тест должен не только оценивать конкретно взятого чело­века, но и быть применимым к большой совокупности людей.

Последнее требование отражается в понятии «норма теста», под кото­рой понимается «средний уровень развития большой совокупности людей, похожих на данного испытуемого по ряду социально-демографических ха­рактеристик»³. Иными словами, норма теста — это средний уровень распре­деления выявляемых с его помощью характеристик в большой группе людей, на применимость в которой он претендует. В большинстве случаев норма теста определяется с помощью усреднения результатов тестирования боль­шой выборки людей одного пола, примерно одинакового возраста и диффе­ренциации полученных результатов по важнейшим показателям. Норма те­ста отражает сто репрезентативность или свойство выборочной совокупно­сти людей (группы или ряда групп, на основе анализа качеств которых был разработан тест) представлять генеральную совокупность всех лиц, облада­ющих подобными типологическими характеристиками. Репрезентативность позволяет классифицировать результаты тестирования и выступает показа­телем качественности тестовой методики.

Еще одним критерием добротности теста, тесно связанным с репрезента­тивностью, является его адаптированность — способность учитывать нацио­нальные (в том числе и социальные) и региональные особенности. Авторы берут нужный для построения тестов материал из исторически сложившейся культуры близкой им социальной общности. Тесты, «свободные от культуры», а значит одинаково понятные по материалу индивидам из разных социальных общностей, создать нельзя — это неустранимое свойство тестовых программ⁴. При использовании тестов, разработанных в иной социально-культурной сре­де, в проверке и переоценке нуждаются нормы, валидность, надежность тес­тов, а также их применимость в целом. Особенно остро проблема адаптиро-ванности заявила о себе в последние годы, когда в Россию широким потоком хлынули западные тестовые методики и российские специалисты в области кадрового менеджмента бросились применять их, подчас не задумываясь о необходимости внесения определенных корректив⁵.

В силу фактического запрета на использование тестов, существовавшего в. СССР (после известного постановления ЦК ВКПб 1936 г. «О педологических извращениях в системе Наркомпроса»), российский кадровый менеджмент является дилетантом в этой области. Многих буквально очаровывает магия «фирменных» латинских букв, аббревиатур, обозначающих «классические» методики, такие, например, как MMPI (личностный опросник, разработан­ный в Миннесотском университете), на основании которых предлагается по­лучение развернутых заключений о сотрудниках фирмы или кандидатах на имеющиеся вакансии. Несомненно, вышеупомянутый тест занимает в миро­вой психологии лидирующую (по популярности) позицию. Однако нельзя забывать тот факт, что он был разработан специально для пациентов психиат­рических клиник (!) и широко используется в практике частного психоанали­за. При приеме нормальных здоровых людей в американские фирмы этот тест в последние годы не применяется! Лица, подвергшиеся подобному тестиро­ванию, уже выиграли по суду немало исков, а компаниям пришлось уплатить солидные штрафы за нанесение морального ущерба.

Вообще западные личностные тесты, в том числе и более подходящие для ситуации приема на работу («16 личностных факторов» Кэттелла— X6PF, Ка­лифорнийский личностный перечень — CPI, Опросник Айзенка — EPI, Тест Майерс—Бриггс, основанный на типологии Юнга), для корректного приме -

Если в тестируемую группу входят индивиды, представляющие различные по своей социальной ха­рактеристике слои, то тест измерит совместное действие двух разных факторов, и не представится возможным установить раздельно вклад каждого из них.

Помимо процедуры первичной адаптации не следует забывать и о том, что раз в пять лет работу по замеру параметров теста и калибровке его шкал надо повторять заново (эта процедура носит назва­ние «реадаптация»).

нения в России нуждаются в серьезной доработке («культурной и психомет­рической адаптации»). Неадаптированное, без внесения существенных по­правок использование этих и подобных им тестов в современных российских условиях явно неправомерно, хотя бы уже потому, что в нашей стране усло­вия труда, его оплаты, традиции трудового сознания во многом отличны от западных. Далеко не для всех тестов проведена адаптация, что уж говорить о «пиратских» версиях западных тестов. Как правило, неадаптированные вер­сии используют дилетанты в области психометрики, которые наивно пола­гают, что достаточно просто перевести на русский язык тестовые задания и тест будет работать. На самом же деле работа по адаптации тестовых мето­дик должна включать пересчет не толь­ко так называемых тестовых норм, но и ключей к тест-заданиям (пунктам).

Для того чтобы тесты соответствова­ли своему назначению, адекватно выяв­ляли и достаточно точно измеряли оп­ределенные качества, они должны так­же соответствовать таким критериям, как объективность, валидность, надеж­ность и научность. Объективность оз­начает, что результаты тестирования должны быть интерсубъективны, т.е. независимы от того, кто проводит тест. Валидность (от англ. valid — действи­тельный, пригодный) — это пригодность теста для измерения именно того качества, на оценку которого он направлен. Так, например, если тест исполь­зуется для оценки уровня знаний человека в области управления персоналом, он должен измерять именно эти знания, а не, например, общую эрудицию или знания в области экономики. Существуют, по меньшей мере, три усло­вия обоснования валидности: валидность относительно критерия (требующая демонстрации корреляции или иного статистического взаимоотношения между результатами теста и требованиями работы); валидность относитель­но содержания (требующая демонстрации того, что содержание теста пред­ставляет важнейшие относительно работы черты поведения); валидность от­носительно конструктов (требующая демонстрации того, что тест определя­ет именно тот конструкт или характеристику, для определения которой он предназначен, и что эта характеристика важна для успешности в работе).

Надежность отражает степень точности и постоянства, с которой измеряется качество личности, и характеризует свободу процедуры тестирования от погреш­ностей. Точность проявляется в уровне совпадения результатов данного теста с показателями других тестов, используемых для этой же цели, постоянство — в устойчивости, стабильности результатов при повторной оценке той же группы тестируемых. Вместе с тем специалисты отмечают существование нескольких причин, по которым индивид, вновь пгюходящий тест, не получает сходные оцен­ки. К ним относятся: временные психологические или физические изменения состояния тестируемого; факторы окружения (температура комнаты, освещение, уровень шума или даже личность проводящего тест); форма теста (многие тесты имеют разную форму или версию — на бумажном носителе, в электронном виде, в устном исполнении) и т.п. Указателем надежности теста является степень, е которой сфера оценок теста не подвержена влиянию указанных факторов.

Надежность теста определяется его коэффициентом, который может ко­лебаться от 0 до 1. Обычно говорится, что если надежность теста 0,9 и более, то результаты его превосходны, тест с надежностью 0,8—0,89 дает хорошие результаты, тест с надежностью 0,7—0,79 дает адекватные результаты, тест с надежностью менее 0,7 имеет ограниченную применимость. Допустимый уровень надежности будет отличаться в зависимости от типа теста и исполь­зуемой оценки его надежности. Ниже приводятся основные типы надежно­сти тестовых процедур:

♦ надежность типа «тест — повторный тест» указывает на возможность получения таких же результатов по тесту по прошествии времени;

♦ надежность альтернативной, или параллельной, формы: речь идет о том, что результаты теста подобны, если индивид выбирает одну или несколько его альтернативных форм;

♦ надежность типа «интероценка» указывает, что результаты теста подоб­ны при проведении его двумя или более оценщиками;

♦ надежность типа «внутренняя непротиворечивость» указывает грани­цы, в которых тест измеряет одно и то же.

Надежность и валидность теста взаимосвязаны. Вместе с тем между ними следует проводить различия: надежность говорит о том, насколько истинные результаты дает тест, валидность — насколько хорош тест для отдельной си­туации. Таким образом, тест может быть надежным, но не быть валидным. Он может оказаться невалидным для различных целей: например, адекват­но показывать технические навыки, но быть бесполезным при определении лидерских качеств. Сходным образом валидность теста обоснована относи­тельно специфических групп индивидов (так называемых референтных групп); вполне реальна ситуация, когда целевая группа может не входить в число последних. В целом валидность теста может быть либо равна (идеаль­ный случай), либо меньше его надежности.

Научность — это обоснованность теста фундаментальными исследовани­ями, его концептуальная осмысленность. Особенно необходимо научное обоснование при обращении к батарее тестов — серии испытаний, призван­ных оценить комплекс качеств человека, свидетельствующий о его профес­сиональной пригодности и ожидаемых трудовых успехах, — широко приме­няемой при отборе персонала.

Масштабность использования процедуры тестирования в управлении персоналом объясняется, на наш взгляд, целым рядом ее достоинств:

♦ объективностью оценки (итоги тестирования практически не зависят от субъективного подхода тестирующего; к тому же они могут быть оценены не только качественно, но и количественно);

♦ оперативностью оценки (сама процедура тестирования занимает срав­нительно немного времени, в то же время с ее помощью можно в короткий срок собрать требующуюся информацию о большом количестве людей);

♦ простотой и доступностью тестирования (в управлении персоналом используются стандартизированные тесты, которые содержат описание про­цедуры их проведения и оценки результатов; после профессиональной ап­робации ими может пользоваться широкий круг руководителей, а также со­трудников служб персонала);

♦ пригодностью результатов тестирования для компьютерной обработки и использования статистических методов оценки;

♦ большими эвристическими оценочными возможностями;

♦ конкретностью и непосредственной практической направленностью (те­сты позволяют получить сведения об определенных свойствах личности и ее поведении, а не о человеке вообще).

В то же время, как и любые другие инструменты кадрового менеджмен­та, метод тестирования имеет свои ограничения и тонкости, которые необхо­димо знать в процессе его применения:

♦ существует серьезная проблема установления однозначной причинно-следственной связи между выявляемыми вопросами (заданиями) тестов и качествами личности, определяющими ее профессиональный успех: при разработке тестов далеко не всегда удается однозначно «перевести» тестовые задания (индикаторы черт) в конкретные качества личности, а последние — в факторы трудовых достижений;

♦ результаты тестов обычно оценивают лишь актуальные, т.е. существу­ющие в данный момент, качества; в то же время большинство характерис­тик личности и ее поведения подвержены изменениям, порой достаточно динамичным;

♦ квалифицированное использование тестов требует соответствующей психодиагностической и этической подготовки тестирующего;

♦ применение тестов может вызывать у испытуемых страх, искажающий результаты тестирования;

♦ публичное объявление результатов тестирования может задевать чув­ство собственного достоинства аутсайдеров, компрометировать их в глазах окружающих и тем самым осложнять отношения в коллективе.

Существует строго математизированная, экспериментальная наука —тес-тология, мало известная в нашей стране, которая позволяет вполне однознач­но установить, какой тест можно считать хорошим, а какой — плохим. В раз­витых странах все профессиональные и психологические тесты проходят сер­тификацию — независимую экспертизу. В некоторых случаях проводящие специалисты объединены в национальную психологическую ассоциацию, в других — в специализированную тестологическую ассоциацию. К сожалению, в России подобная практика находится пока в зачаточном состоянии.

Тесты могут быть полезными только при условии их грамотного приме­нения подготовленными к этому специалистами. Избегать проблем и полу­чать объективные результаты помогают общие правила тестирования, к ко­торым относятся следующие⁶:

♦ любое сложное тестирование должно проводиться при участии специ­алиста по психодиагностике или при последующем его участии в качестве консультанта;

♦ человека нельзя подвергать психологическому обследованию обманным путем или против его воли, недопустимы никакие формы прямого или кос­венного принуждения;

♦ перед проведением тестирования испытуемого необходимо предупре­дить о том, что в ходе исследования он невольно может сообщить такую информацию о себе, своих мыслях и чувствах, которую не осознает сам;

См.: Батаршев А.В. Тестирование: Основной инструментарий практического психолога: Учеб. по­собие. М, 1999. С. 69-71.

♦ любой человек (за исключением случаев, оговоренных законом) имеет право знать результаты своего тестирования; итоговые данные в доступной для понимания форме предоставляет испытуемым тот, кто проводил обследова­ние; ознакомление с результатами тестирования должно исключать их непра­вильное толкование или появление у испытуемых каких-либо опасений;

♦ результаты тестирования не должны травмировать исследуемого или снижать его самооценку, поэтому их следует сообщать в ободряющей фор­ме, по возможности сопровождая конструктивными рекомендациями;

♦ испытуемый должен быть информирован о целях тестирования и фор­мах использования его результатов;

4 тестирующий должен обеспечить беспристрастный подход к процеду­ре и результатам исследования;

♦ информация о результатах тестирования должна предоставляться толькотем, кому она предназначается; тестирующий обязан обеспечить конфиден­циальность психодиагностической информации, полученной от испытуемогона основе «личного доверия» или в социометрических тестах.

Помимо вышеперечисленных правил, обеспечивающих эффективность процедуры тестирования, особые требования предъявляются и к тестирую­щему. Общеизвестно, что эффективность тестирования во многом зависит не только от соответствующих знаний, но и от личностных качеств прово­дящего его человека. Важными для профессионального тестирования каче­ствами являются: общительность и коммуникабельность; динамичность и гибкость поведения; эмоциональная сдержанность и терпимость; професси­ональный такт (основой которого являются прежде всего соблюдение про­фессиональной тайны и деликатность); умение держать свою линию пове­дения; эмпатия (т.е. готовность и способность проникнуться чувствами и переживаниями других людей и тем самым эмоционально понять их); уме­ние привлекать других людей к активному сотрудничеству, совместному анализу и решению проблем, а также конфликтологическая грамотность.

В процессе подготовки и проведения тестирования можно выделить че­тыре основных этапа, учет особенностей которых во многом определяет ус­пех использования этого метода:

♦ выбор тестовых методик (ознакомление с методиками и их проверка на предмет соответствия целям исследования и удобности применения);

♦ инструктирование испытуемых (разъяснение им целей и задач тестиро­вания, порядка выполнения тестовых заданий и поведения во время их вы­полнения);

♦ контроль за выполнением заданий;

♦ интерпретация результатов и подведение итогов тестирования.

Еще одним непременным условием эффективности тестирования является учет особенностей различных типов тестов. По предмету исследования можно выделить три класса тестов: а) общеличностные, с помощью которых фиксируют некоторую целостность психических свойств личности (одно из направлений современной психологии личности —дифференциальная психология —целиком опирается на использование приемов психодиагностики); б) личностные — спе­циальные тесты, предназначенные для диагностики той или иной особой черты, характеристики, свойства субъекта (например, творческих способностей, уров­ня общей ответственности, самоконтроля и т.п.); в) групповые, предназначенные для диагностики групповых психических процессов — уровня сплоченности групп и коллективов, особенностей группового психологического климата, межлично­стного восприятия, силы нормативного «давления» группы на ее членов и др.

Общие особенности психологических тестов определяются предметом изу­чения и спецификой применяемой техники. С точки зрения технических при­емов обычно выделяют четыре разновидности тестов: а) так называемые объек­тивные, преимущественно аппаратурные, часто психофизиологические испы­тания (например, измерение кожно-гальванического рефлекса, служащее индикатором эмоционального состояния); б) опросные методики или субъектив­ные тесты, как, например, общеличностные тесты Г. Айзенка и Р. Кеттела (эти тесты состоят из серии взаимоконтролирующих суждений о различных прояв­лениях личностных черт с предложением испытуемому фиксировать наличие или отсутствие данного свойства, черты, особенности поведения); в) тесты «с карандашом и бумагой», например, для диагностики внимания — вычеркивание определенных букв в тексте («корректорский тест» — см. приложение 1) или вычерчивание оптимального выхода из лабиринта (оценка некоторых свойств интеллекта) и т.д.; г) тесты, основанные на экспертной оценке поведенческих проявлений испытуемых, например активно использовавшаяся советскими пси­хологами методика «ГОЛ» — групповой оценки личности.