ТЕСТОВЫЕ методы оценки степени усвоения репродуктивной деятельности

Одним из важных и сложных составляющих педагогической деятельности является оценочная деятельность. А поскольку всякое рационально ориентированное обсуждение требует максимально однозначных определений основных понятий, используемых в нем, то договоримся понимать под оценочной деятельностью совокупность действий по формированию суждения, мнения относительно достоинства, значения, интенсивности свойства чего-либо или кого-либо.

Базовым действием в оценочной деятельности является сравнение оцениваемого объекта (субъекта, предмета, процесса, явления, результата деятельности и т.д.) с другим аналогичным объектом или с их множеством. При этом в процессе жизнедеятельности каждого человека осознанно или неосознанно формируется, с большим или меньшим влиянием на этот процесс профессионально-общественного мнения, определенный эталон (как правило, в неартикулированном виде образа - представления) качества данного типа объектов, с этим эталоном и идет сравнение в процессе оценивания. Такой эталон может быть отражением (в сознании человека, оценивающего объект) нечетких и нестрогих общественно признанных норм морали, нравственности, этики. В то же время эталон сравнения может быть отражением определенного стандарта как строго зафиксированного норматива, отступление от которого карается законом.

Примем как аксиому достаточно убедительное само по себе утверждение: оценка не может быть более объективной и однозначной, чем образ, описание, определение эталона, с которым сравнивается данный объект.

В повседневной оценочной деятельности в образовательных системах мы, как правило, используем шкалу порядка (ординальную шкалу), в которой естественное упорядочивание объектов относительно какого-то свойства или группы свойств устанавливается операциями: “установление равенства” и “установлением отношения - больше или меньше”. Наши традиционные оценки успеваемости обучаемых базируются на использовании этой шкалы. При этом эталон, относительно которого устанавливаются отношения равенства, отношения “больше или меньше”, либо вообще не описан, либо описан крайне неоднозначно, например, на языке “знаний, умений, навыков”.

Чаще всего, основой сравнения является некий интуитивный эталон усвоения содержания обучения, исторически складывающийся у конкретного преподавателя в процессе собственного обучения, во взаимодействии со средой, в которой он работает, эталон, скорректированный на средний уровень учебных достижений в данном классе (студенческой группе), в данный промежуток времени. Именно относительно таких эталонов определяются оценки успеваемости не только промежуточной, текущей, но и окончательной, аттестационной успешности освоения содержания образования, включая знания, освоенные типовые алгоритмы, методы решения задач, перенос, распространение, адаптацию их на нетиповые ситуации, эвристическое моделирование и разрешение проблемных ситуаций.

Сделать оценку более объективной и однозначной можно лишь при условии:

o использования более однозначного эталона (вспомним сформулированную выше аксиому);

o в более объективированной оценочной процедуре, нежели в традиционной, опирающейся на мнение одного эксперта - преподавателя или группы заинтересованных преподавателей, оценивающих в том числе (как это чаще всего бывает в нашей обыденной ситуации) и результаты собственной деятельности.

Традиционная в российском образовании оценочная деятельность, которая устанавливает связь между уровнем подготовленности обучаемого и некоторым эталоном такой подготовленности, существующим в сознании преподавателя, завершается отметкой от 2 до 5. Следовательно, такой процесс можно назвать процессом измерения, определяя измерение как: «Измерение есть приписывание чисел вещам в соответствии с определенными правилами» [1, С. 12] Существует более обязывающее определение, предложенное Адамсом, - измерение заключается в присвоении чисел вещам таким образом, что некие операции с приписываемыми числами и некие отношения между ними соответствуют наблюдаемым отношениям и операциям над вещами, которым они присвоены или которые с их помощью представляются [2, С. 37]. Нам более близко, как возможное для использования в качестве рабочего, определение А. Тарского [3, С. 37; 374;], в соответствии с которым измерение может быть рассмотрено как гомоморфное отображение некой эмпирической структуры на некоторую числовую структуру.

Обязательным атрибутом приписывания, присвоения чисел, отображения эмпирической структуры на числовую являются шкалы.

Описание шкал:

Ø наименования [3, С. 198] «Шкала наименований основана на любом приписывании цифр (чисел), играющих роль простых имен: такое приписывание служит для нумерации индивидуальных предметов только с целью их идентификации или для нумерации классов, причем такой нумерации, что каждому из элементов соответствующего класса приписывается одна и та же цифра; в обоих случаях действует правило: «не приписывай одну и туже цифру разным классам или разные цифры – одному и тому же классу» [1, С. 20];

Ø Ординальная шкала, или шкала порядка, предполагающая естественное упорядочение объектов относительно какого-то свойства, определяется двумя эмпирическими операциями: “установлением равенства” и “установлением отношения - больше или меньше”.

Ø Интервальная шкала (шкала интервалов) отличается от предыдущей тем, что требует установления единицы измерения и какого-то начала и что она допускает все арифметические операции, если они относятся к интервалам между двумя шкальными значениями.

Ø шкала отношений [3, С. 200] с формальной точки зрения есть собственно интервальная шкала с естественным началом …» - 0.

Еще раз отметим, что операции сложения и вычитания и все другие арифметические операции корректно выполняются только в шкалах интервальной и отношений.

1. Гласс Дж., Стенли Дж. Статистические методы в педагогике и психологии /М.: Изд-во “Прогресс”, 1976, 496 с.

2. Берка К. Измерения: понятия. теории, проблемы /М.: Изд-во “Прогресс”, 1987, 320 с.

3. Тарский А. Введение в логику и методологию дедуктивных наук /М., 1948

1. StevensS. S. Mathematics, tasurement and psychophysics. – In StevensS. S. (ed.) Handbook of Experimental Psychology. New York, 1959.

Из приведенных определений следует, что в своей традиционной педагогической деятельности максимум, на что можно претендовать, - это на не в полной мере корректно определенную шкалу порядка. Как правило, преподаватель в своей профессионально - педагогической деятельности постоянно имеет дело с процессом оценивания обученности, подготовленности студента. Такая деятельность осуществляется преподавателем только на основании имеющихся у него педагогического опыта и интуиции без фиксированного алгоритма оценивания, поэтому процедура установления равенства отношения “больше - меньше”, даже при оценке письменного ответа обучаемого, строго не определена. Значит, такие традиционно учительские арифметические операции с пятибалльными оценками (определение средней оценки по различным массивам, сравнение разных групп и т.д.) по большому счету, некорректны и, в лучшем случае, имеют лишь размытые качественные экспертные значения.

Достоверность педагогических оценок успешности обучения можно повысить, заменяя обычные задания или задачи стандартизированными тестами (т.е. тестами обладающими определенной валидностью, надежностью) и батареями тестов, применяемыми по определенной процедуре тестирования. Используя тесты, можно попытаться выйти за пределы шкалы порядка, шагнув в область шкалы интервалов. Однако совершенно необходимо иметь в виду, что проще всего построить систему валидных и надежных тестов для фиксации владения определениями, понятиями (во-первых, помнить; во-вторых, использовать в простейших операциях), простыми методами, правилами, соотношениями, алгоритмами операций и действий с определениями и понятиями. и, наоборот, чем сложнее задача или задание, тем сложнее построить валидную - для данных целей - и надежную систему тестов.

Из вышесказанного следуют принципиально важные положения.

Традиционный подход к оценке выполненных заданий (относим к их числу деловые, ролевые игры, проблемные ситуации, имитирующие реальную деятельность), задач разного рода носит характер интуитивного, неалгоритмизированного экспертного оценивания. Другими словами, какого-либо более или менее однозначного правила соответствия присвоения числа данному проявлению оцениваемого качества нет.

Степень объективности, достоверности такой оценки нужно понимать и правильно учитывать, особенно в случаях действительно сложных, комплексных заданий. Исходя из этого, нужно максимально взвешенно относиться к абсолютной величине самих оценок и разнообразным действиям с ними, каждый раз определяя, чему полученные числа соответствуют. Повышая объективность и достоверность оценок, можно идти к этому двумя путями.

Первый путь - складывается как бы из двух ветвей. Первая: переход на оценивание по письменным работам. Введение такой процедуры оценивания не только существенно снизит субъективность экспертной оценки за счет возможности привлечения к оцениванию любого необходимого числа экспертов (что сразу же повышает ответственность каждого из них), но и обеспечит большую защиту интересов испытуемого. (Кстати, тоже элемент гуманизации педагогической системы) Вторая (ветка): разработка и введение профессионально одобренных алгоритмов оценивания сложных заданий и задач.

Второй путь - предлагает переход к тестовому контролю. К тестовому контролю как эффективному средству диагностики подталкивает один важный для решения обсуждаемой проблемы принцип функционирования диагностики - оперативность оценки степени достижения заявленных требований. Оперативность не просто сама по себе, а еще как средство, обеспечивающее возможность оценки уровня усвоения большого объема учебных элементов. В оперативности оценки очевидное первенство у тестовых систем. Не случайно именно тестовые способы оценки успешности в педагогических системах так развиты в США, Великобритании и в других европейских странах.

В США многие годы действует очень развитая система тестовых оценок уровня обученности. Так, более половины четырехгодичных колледжей и университетов США используют введенный впервые в 1926 году как обязательную часть приемной процедуры The Scholastic Aptitude Test (SAT) [40]. SAT- трехчасовой тестовый экзамен. Количество баллов SAT колеблется от 200 до 800 единиц, и чем выше престижность колледжа или университета, тем большее количество баллов SAT требуется для поступления в такой вуз. В 1959 году была утверждена Советом колледжей Программа тестов американских колледжей The American Testing Program оценочные экзамены - ACT Assessment, использование которых в последние годы возрастает.

Претендентам на магистратуру предстоит справиться с тестовыми программами The Graduate Record Examinational (GRE), The Miller Analogies Test (MAT), The Advanced Tests [40]. Претендующий на должность в фирме, как правило, также подвергается тестированию для оценки его подготовленности к конкретной работе. Очевидно, что все эти отработанные и общепризнаваемые тестовые систем, определяющие степень подготовленности претендента на место в колледже, университете, в магистратуре или в фирме, пусть не явно и не полно, отражают профессионально сложившиеся и устоявшиеся требования к подготовленности выпускника соответствующей образовательной ступени.

Однако, отдавая должное тестовым системам, совершенно необходимо обратить внимание на некоторые очень важные соображения.

В стимуляции и фиксации системной подготовленности выпускника (вспомним о целевых приоритетах педагогической системы) приоритетную роль должны играть комплексные, системные задания, а тесты, ориентированные на оперативность оценки, на большой объем оцениваемых УЭ при высокой степени валидности и надежности, больше ориентированы на фиксацию рутинных умений, базирующихся на использовании при их выполнении только собственной памяти испытуемых.

Ориентация наиболее просто разрабатываемых тестовых систем на рутинные умения, оперативность, валидность и надежность таких испытаний, при отсутствии четких ограничений на число требований, выходящих на тестовую диагностику, неминуемо приведет к смещению приоритетности обучения в сторону контролируемых рутинных умений.

Действительно, такова природа человека, реализуемая в процессе обучения, что в первую очередь усилия обучаемых сосредотачиваются на отработке того, что наиболее жестко требуют и надежно оценивают. Понятно, что вуз, ориентируясь на оперативно и надежно оцениваемые тестами требования, будет именно к этому готовить своих выпускников, при этом внимание и временные затраты студентов будут сдвинуты, направлены на эту часть подготовки, в ущерб ее системной части, индивидуализации, следовательно, в ущерб развитию личности, т.к. именно системность более, чем что - либо, работает на развитие. (Подробнее см. Приложение 4).

Следовательно, постоянно заботясь о необходимости отражения в ГОС главных приоритетов образования: развитие личности и выбор через вариативность образовательных траекторий, при реализации принципа минимальной достаточности, прежде всего диагностируемых требований, мы обязаны крайне жестко и расчетливо определять их количество, выходящее на тестирование.

Таким образом, мы выходим на проблему обоснованного отбора того содержания образования, той совокупности учебных элементов (УЭ), которую выпускник конкретного образовательного уровня, учебного заведения должен уметь использовать, опираясь только на собственную память, без обращения к внешним источникам информации.

Переходя к непосредственной информации о тестах, которая базируется в основном на источниках [1-7] и лишь в некоторых частных вопросах выходит на источники [8-18], опираясь на термины, представленные в проекте «Отраслевой стандарт: Педагогические тесты. Термины и определения М.: Изд-во Центра тестирования, 2001.

Прежде всего, договоримся считать тестом не всякую композицию вопросов, заданий, лишь такую их совокупность, которая удовлетворяет четко представленным следующим свойствам:

Стандартизации теста, обеспечивающей обязательное условие тестирования – У ВСЕХ ВСЕ ОДИНАКОВО! А именно: определено и жестко выдерживается максимальное время, отведенное на тестирование; одинаково количество и содержание тестовых заданий; унифицированы бланки тестовых материалов (текстовое или/и символическое представление тестовых заданий), бланки ответов (стандартизированный бланк для записи ответов, куда тестируемый записывает или отмечает номера выбранных ответов, или сами ответы); максимально одинаковые условия проведения тестирования.

Валидность теста – комплексная характеристика теста, отражающая его соответствие измерять то, для чего он предназначен.

Содержательная валидность теста – характеристика теста, выражающая соответствие содержания тестовых заданий наиболее значимому содержанию, усвоение которого должно измеряться данным тестом.

Валидность факторная – определяемая корреляцией результатов тестирования и результатами других способов оценки степени усвоения содержания заданий теста.

Надежность теста – показатель устойчивости результатов измерений при многократном применении теста в достаточно эквивалентных условиях. Количественная характеристика, отражающая степень статистической равнозначности результатов тестирования в достаточно равных условиях. Одним из простых способов оценки надежности является оценка коэффициента корреляции по результатам выполнения двух эквивалентных половинок теста. Более совершенным методом оценки надежности теста (при дихотомической оценке ответа тестируемого – правильно – 1; неправильно – 0) является метод Кьюдера –Ричардсона, который строится на оценке надежности по всевозможным разделением теста на две половины.

Стандартизация, валидность, надежность – обязательные характеристики любого теста. Мы же, при описании этих характеристик и далее, отражаем специфику педагогических тестов достижений.

О классификации тестов.

Тест гомогенный – педагогический тест, предназначенный для измерения степени усвоения содержания одной дисциплины.

Тест гетерогенный – педагогический тест, предназначенный для измерения степени усвоения нескольких дисциплин.

Тест критериально – ориентированный – тест, предназначенный для оценки преодоления тестируемым определенного порога степени усвоения соответствующего содержания, который устанавливается исходя из принятых критериев.

Тест нормативно – ориентированный – тест, предназначенный для оценки степени усвоения соответствующего содержания, который устанавливается на основании предварительно полученных результатов тестирования.

Тестовые задания (тесты) с выбором ответа (закрытого типа) – тестовые задания, которые сопровождаются пронумерованными вариантами ответов. Тестируемому предлагается указать правильные ответы/ответ.

Тестовые задания (тесты) открытого типа – задания, вопросы, отвечая на которые тестируемый пользуется свойственным ему стилем ответа.

Дифференцирующие тесты - тесты, предназначенные для дифференциации степени подготовленности тестируемых.

О современных теориях тестирования, модели Раша и Item Response Theory.

Отсылая желающих более полной информации к Приложению 5, с приведенной в нем библиографией, остановимся лишь на общем виде функции успеха, соответствующей основной модели Раша

p = 1/{1 + exp[-(θ – δ)]},

где р – вероятность ответа испытуемого, имеющего подготовленность θ, на задание трудности – δ. Предлагаемый подход в принципе позволяет оценить (θ – δ) и затем определить уровень подготовленности θ. Именно такой подход используется в ЕГЭ.

Остановимся лишь на частных, предельных случаях, чтобы продемонстрировать разумность такого подхода.

1. δ – трудность очень велика по сравнению с уровнем подготовленности. Т.е. δ» θ. В пределе δ стремиться к бесконечности. Тогда p стремиться к нулю.

2. δ «θ В пределе θ стремиться к бесконечности. Тогда p стремиться к единице, т.е. испытуемый дает правильный ответ.

3. δ = θ. Т.е. вероятность правильного ответа 1/2.

Согласитесь, что представленные оценки достаточно разумны.

1. Аванесов В. С. Композиция тестовых заданий (2-е изд.) /М.: Адепт, 1998, 217 с.

2. Аванесов В. С. Основы научной организации педагогического контроля в высшей школе: Учебное пособие /М.: Исследовательский центр проблем качества подготовки специалистов, 1989, 168 с.

3. Аванесов В. С. Теоретические основы разработки заданий в тестовой форме /М.: МГТА, 1995, 95 с.

4. Аванесов В. С. Форма тестовых заданий: Учебное пособие /М.: Исследовательский центр проблем качества подготовки специалистов, 1991, 33с.

5. Анастази А. Психологическое тестирование: Кн. 1., М.: Педагогика, 1982, 320 с.

6. Анастази А., Урбина С. Психологическое тестирование – 7-е издание – СПб: Питер, 2003. – 688 с. –(Серия «Мастера психологии»).

7. Ингенкамп К. Педагогическая диагностика /М., 1991.

Дополнительная литература

8. Майоров А. Н. Теория и практика создания тестов для системы образования (Как выбирать, создавать и использовать тесты для целей образования). – М.: «Интеллект – центр», 2001. – 296 с. ISBN 5-89790-5

9. Майоров А. Н. Тесты школьных достижений: конструирование, проведение, использование. Изд. 2-е - СПб.: Образование и культура, 1997. - 304 с.

10. Нардюжев В. И., Нардюжев И. В. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования. Монография. – М.: Прометей, 2000. – 148 с.

11. Нейман Ю. М. Как измерить учебные достижения? /Вопросы тестирования в образовании М., 2001, № 1, С. 40 – 56 2

12. Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов М., 2000, 169 с.

13. Равен Джон Педагогическое тестирование: Проблемы, заблуждения, перспективы /Пер. с англ. – «Когнито-центр», 1999. – 144 с.

14. Родионов Б.У., Татур А.О. Стандарты и тесты в образовании. РИО МИФИ, 1995. 35 с.

15. Самыловский А. И. Тест как объективный измерительный инструмент в образовании /Вопросы тестирования в образовании М., 2001, № 1, С. 10 – 39

16. Соколов В. М. Вывод функции успеха выполнения теста достижений из принципа максимальности информации //Вопросы тестирования в образовании. 2003, № 5, С. 136 – 143.

17. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. - М.: МИСИС, 1995.

18. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие.-М:Логос,2002.-432с.

[1] В. П. Беспалько определяет педагогические системы как “системы, в которых осуществляются педагогические процессы”. Н. В. Кузьмина дает такое определение педагогической системе: “множество взаимосвязанных структурных и функциональных компонентов, подчиненных целям воспитания, образования и обучения подрастающего поколения и взрослых людей”.

[2] КОМПЕТЕНТНОСТЬ [1, С.247] 1) обладание компетенцией; 2) обладание знаниями, позволяющие судить о чем-либо.

КОМПЕТЕНЦИЯ [2, C. 134] – единство знаний, профессионального опыта, способностей действовать и навыков поведения индивида, определяемых целью, заданностью ситуации и должностью. К. относится к данной конкретной ситуации, комбинирует и соединяет динамичным образом составляющие ее элементы для адаптации к требованию должности. Для определения содержания К. необходим детальный анализ всех видов деятельности, осуществляемых на данной должности, а также выявление различных видов требуемых знаний, навыков; построение иерархии К. с учетом развития ее составляющих; определение составляющих К., общих для различных направлений деятельности на данной должности.

1. Словарь иностранных слов – 8-е изд. стереотип. – М.: Русский язык 1981. – 624 с.

2. Управление персоналом: Энциклопедический словарь /Ред. И. Я. Кибанов – М.: ИНФРА – М, 1998 VIII, 453 с. – (Библиотека словарей «ИНФРА – М»

[3]Более обобщенной дефиницией компетентности можно считать – компетентность: это целостная, системная совокупность свойств человека, позволяющая ему целенаправленно, успешно и достаточно эффективно выполнять типовую деятельность и разрешать проблемные ситуации, возникающие в реальной жизни.

[4] Требование к чувствительности мнения профессионального сообщества противоречиво! Научные позиции профессионального сообщества, ориентированные на принятые, сформировавшиеся парадигмы, инерционны. Сообщество может не принять новую, выходящую за пределы принятого, идею, теорию, чтобы лишь потом, если она справедлива, включить ее в совокупность устоявшихся парадигм.

[5] Следует отметить, что не только в обыденной речи, но и в педагогических текстах понятие «умение» трактуется существенно шире предложенного определения. Весьма часто говорят и пишут об умении разрешать проблемные ситуации и т.п.

[6] Модальность [8, С. 216] – одно из основных свойств ощущений, их качественная характеристика (цвет - в зрении, тон и тембр – в слухе, характер запаха в обонянии и т.п.). … Понятие модальности наряду с ощущениями относится и ко многим другим психическим процессам, описывая качественные характеристики когнитивных (познавательных) образов любого уровня и сложности.

[7] Таксон [5, с. 495] – (лат. - оценивать) - группа дискретных объектов, связанных той или иной степенью общности свойств и признаков и благодаря этому дающих основание для присвоения им определенной таксономической категории.

Таксономия [5, С. 495] – теория классификации и систематизации сложноорганизованных областей действительности, имеющих обычно иерархическое строение (органический мир, объекты географии, геологии, языкознания, этнографии ит.д.).

5. Словарь иностранных слов. /М.: Русский язык, 8 - е стереотип. изд., 1981, 624с.

[8] На мой взгляд, потеряно воображение!