Методы шкалирования при оценке знаний

Традиционные методы тестирования (классические) используют порядковые шкалы, отличающиеся друг от друга длиной, масштабом и значением центрального индекса. Балл тестируемого определяется количеством правильно выполненных заданий «А» из общего числа заданий “К”. Тогда отношение А/К можно выразить в процентах и получить 100-балльную шкалу, называемую процентной.

Другой подход характеризуется тем, что окончательный балл участников тестирования зависит от его относительных успехов по сравнению с успехами других тестируемых. Такие шкалы называют процентильными. как и процентные, они имеют ранговый смысл. Недостатком этих шкал является невозможность сравнения полученных результатов между распределением результатов разных выборок тестируемых.

Наиболее простой метод выявления места результата i -го ученика (Х _i) в сравнении с результатами основан на подсчете отклонения балла Х _i от среднего значения баллов по группе тестируемых учащихся. Отклонение находят путем вычисления разности ( – Х _i). Если разность больше 0, то результат i -го ученика выше среднего по группе. Отрицательное значение разности указывает на результат ниже среднего значения .

Так среднее арифметическое, полученное по различным группам и тестам, существенно разнятся, возникает проблема сопоставимости отклонений. Специфической мерой вариативности показателей является стандартное отклонение. Чем меньше стандартное отклонение, тем больше показателей группируется около среднего, чем больше стандартное отклонение, тем больше разброс. Стандартное отклонение вычисляется по формуле:

,

где S- стандартное отклонение, Х _i –индивидуальный результат обследуемого, – среднее арифметическое в данной группе, n– количество обследуемых. Зная средние арифметические и соответствующие стандартные отклонения, полученные в данной группе обучаемых в других контролях знаний, мы можем сопоставить результаты выполнения заданий (или контрольных работ между собой) между собой.

Отсюда можно выразить индивидуальный показатель как долю от стандартного отклонения. Полученные доли называют Z-оценками, которые могут стать основой любой стандартной шкалы, так как, во-первых, они характеризуют относительное положение результата обследуемого среди всех результатов группы независимо от среднего и стандартного отклонения, во-вторых, они не имеют размерности:

С помощью Z-оценок можно проводить сопоставление результатов, полученных различными путями для отдельного индивида. Недостатком Z-оценок является то, что приходится иметь дело с дробными и отрицательными величинами, поэтому Z-шкалы преобразуют в другие виды шкал. Для перевода сырых баллов в одно их стандартных шкал можно воспользоваться следующей формулой:

где Т–балл по новой шкале, М–выбранное среднее значение новой шкалы, s–выбранное стандартное отклонение новой шкалы. Традиционно чаще всего используются следующие шкалы:

- шкала станайнов – М=5; s=2

- шкала стенов – М=5,5; s=2

- Т–шкала: М=50; s=10

- IQ-шкала: М=100; s=12, 14, 16, 18 и т.д.

Эти шкалы взаимосвязаны друг с другом.

Шкала станайнов удобна для интерпретации результатов, полученных на относительно небольшой группе испытуемых.

Современная теория тестов (IRT), предполагает использование единой интервальной шкалы логитов, в которой можно объективно сравнить уровни подготовки испытуемых и определить, насколько задания теста эффективны для оценки испытуемых. Единицей измерения метрической шкалы является логит; на такой шкале одновременно измеряются латентные параметры: как трудности тестовых заданий, так и уровень подготовленности тестируемых при ответе на каждое задание.

В современных тестовых технологиях мерой трудности заданий является логит трудности j-го задания, определяемый натуральным логарифмом ln qj/pj отношения доли неправильных qj к доле правильных ответов pj.

Симмметрично была введена и логарифмическая оценка уровня знаний i-го учащегося – логит уровня знаний, определяемый натуральным логарифмом отношения доли правильно выполненных к доле не выполненных заданий:

Пересчет уровня учебных достижений испытуемых, выраженный в логитах, на любую другую шкалу должен осуществляться только путем линейных преобразований, не нарушающих метричность шкалы. В частности, для пересчета в 100 – балльную шкалу Центр тестирования использует формулу:

где t – коэффициент, значение которого выбирается так, чтобы возможность получения высших баллов была регламентирована; s - среднее квадратичное отклонение подготовленности испытуемых нормативной выборки относительно средневзвешенного значения параметра q_с.в.; q_0i – значение подготовленности испытуемого.

Так, например, при коэффициенте 2.5 вероятность получить 100 баллов составляет около 0,01, а при коэффициенте, равном 3, не более 0,003.

Рассмотренные выше особенности шкалирования полностью отвечают сути тестирования как измерительного процесса и согласуются с особенностями результатов измерения в любой другой области.

Один из аспектов модернизации образования связан с его компьютеризацией, использованием современных информационных технологий.

Самым распространенным методом исследования окружающего нас мира и необходимым элементом технологии разработки новых технических, экономических и других систем является компьютерное моделирование.

Применение компьютерной техники и компьютерного моделирования позволяет существенно сократить затраты времени при одновременном увеличении дидактического эффекта, поскольку в компьютерном эксперименте можно выделить самое существенное.

В [3] приведена модель группового обучения в условиях использования информационных и компьютерных технологий.

Рисунок 4. Модель группового обучения в условиях использования информационных и компьютерных технологий

Модель предполагает адаптивность обучения, сочетание методов индивидуального и группового обучения, использование не только средств информационных и компьютерных технологий, но и так называемых ассистентов, в качестве которых могут выступать а)чисто компьютерные средства (автоматизированные обучающие системы); б) специальным образом разработанные дидактические комплексы, размещенные на бумажных, видео, аудио и компьютерных носителях.

Информационная модель, которую каждый студент сможет легко себе представить, служит для объяснения циркуляции информационных потоков в системе обучения. В ней выделяются управляющий (педагог) и управляемый (ученик) объекты, рассматриваются прямые и обратные связи между ними в процессе педагогического взаимодействия. Каналом прямой связи (от учителя к ученикам) передается информация, которая содержит знание (когнитивная информация), и сигналы об усвоении этих знаний (управляющая информация). Каналом обратной связи (от ученика к учителю) поступают сведения о том, как идет усвоение заданного объема знаний, умений. Они служат основой для принятия учителем управленческих решений. Чем больше информации поступает по каналу обратной связи от ученика к учителю, чем она полнее и качественнее, тем лучше педагог руководит учебным процессом, тем эффективнее развивается сам процесс. В этом сущность закона обратной связи, справедливого не только для учебного, но и для других процессов — воспитательного, развивающего. Рассматриваемую модель используют для решения задач программированного и компьютерного обучения, оптимизации информационных потоков, управления совместной деятельностью учителей и учеников. Она достаточно полно объясняет двусторонний характер обучения, взаимозависимость процессов преподавания и учения.

Выводы и заключения С оздание обучающих систем - это один из перспективных способов повышения эффективности процесса обучения. Одним из основных моментов в проведении обучения является моделирование как самого процесса, так и обучающей системы. Объектом управления при обучении является обучаемый. Субъектами управления выступают преподаватель и обучающая система (т.к. она не заменяет, а дополняет преподавателя). От выбора моделей зависит качество обучения, а при разработке обучающей системы – ее уровень и полнота оценки уровня знаний обучаемых, формируется процесс управление учебной деятельностью.

Перечень рекомендуемой литературы

1. Сабирова Ф.М. Современные средства оценивания результатов обучения /Ф. М. Сабирова/ Учебно-методическое пособие для студентов педвузов. – Елабуга: изд-во Елабужского пед. ун-та, 2007. – 79 с.

2. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976. 166c

3. Долинер Л.И. Модель обучения в условиях использования адаптивных методических систем. Вестник Оренбургского государственного университета, 2003, 7.

4. Терминологический словарь обучения. http://www.dupliksv.hut.ru/pauk/dict/index.html

5. Материал из Википедии — свободной энциклопедии http://ru.wikipedia.org/wiki

6. Дуплик С.В. Модели педагогического тестирования. – http://dupliksv.hut.ru/pauk/papers/testmodel.html

7. Володина Г. О., Стефаненко П. В. КОНТРОЛЬ ЗНАНЬ В ДИСТАНЦІЙНОМУ НАВЧАННІ http://ea.donntu.edu.ua:8080/jspui/bitstream/123456789/23264/1/volodina.pdf