Экспертный анализ содержания и формы тестовых заданий

После того как разработчики представили множество тестовых заданий

проходит процедура экспертного анализа содержания и формы экспертных заданий. Для экспертизы привлекаются независимые специалисты, компетентные в данной области, которые не имели отношения к разработке теста. Число специалистов варьируется в зависимости от целей и масштабности тестирования. Для анализа тестов локального использования (одна школа, институт) достаточно 2 эксперта; для тестов, рассчитанных на массовое тестирование, привлекаются 3-5 экспертов, чтобы повысить эффективность процедуры экспертизы.

Прежде всего, эксперт анализирует каждое тестовое задание. Он определяет, соответствует ли содержание задания содержанию проверяемого материала, для этого он сравнивает содержание задания с заявленной спецификацией по предмету, перечнем требований или элементами содержания, которые подвергаются проверке. Эксперт оценивает уровень сложности (уровень базовости) задания, Т.е. содержание задания соотносится с уровнем подготовленности. Эксперт также определяет степень значимости задания, что необходимо для выявления необходимости включения какого-либо задания в тест. В тест включаются только те задания, которые направлены на проверку важных, ключевых элементов содержания. Тестовые задания оцениваются и с точки зрения корректности формулировок основной части и ответов. Отмечаются неудачные задания, которые не соответствуют предъявляемым требованиям, например, задания, которые содержат двусмысленные формулировки, предполагают неоднозначный или частично правильный ответ, и др.

Свои оценки эксперт вносит в специальную таблицу, в которой фиксируются различные характеристики тестового задания.

Приведем таблицу, которая предлагается М.Б.Челышковой.

А.Н.Майоров знакомит с западной формой проведения экспертизы (скрининг), которая предполагает систематическую проверку всех сторон задания.

Эксперт может работать не только с множеством тестовых заданий, которые проходят конкурсный отбор, но и с тестом в целом. При этом обращается внимание на следующие качества теста. Во-первых, определяется, насколько полно тест (варианты теста) охватывает требования к уровню освоения проверяемого предмета (для оценки привлекаются данные 3 графы табл. Челышковой). Во-вторых, оценивается правильность пропорций содержания теста, Т.е. соответствует ли предложенное количество заданий важности различных аспектов области содержания. Может возникнуть ситуация, когда в тесте появля­ется много заданий, нацеленных на проверку незначимых элементов знания или умений. Например, легче составлять задания на проверку знаний фактического материала. В-третьих, тест проверяется на соответствие спецификации. При этом определяется доля заданий, не предусмотренных спецификацией по содержательным или деятельностным аспектам.

В конце всей работы эксперт представляет заключение о качестве теста (тестовых заданий), в котором даются рекомендации по корректировке и улучшению содержания теста.

По результатам экспертной оценки разработчиками проводится корректировка тестовых заданий и доработка теста в целом