Модели педагогического тестирования

1. Простейшая (классическая) модель. Из n имеющихся заданий случайным образом выбираются k (k < n), на которые и отвечает обучаемый. Результат ответа на каждое задание теста — «правильно» или «неправильно». Результатом выполнения теста является процент правильных ответов обучаемого. Модель имеет массу недостатков, основной из которых — задания не разделяются по сложности. У данной модели самый низкий показатель надежности.

Пример применения. В системе дистанционного обучения Moodle Классическая модель тестирования предполагает наличие в тесте определенного количества заданий по курсу, разделу или теме. В ходе тестирования случайным образом из базы вопросов, выбирается некоторые количество заданий, предлагаемых обучаемому. Результатом тестирования является процент правильных ответов обучаемого. Cистема дистанционного обучения MOODLE позволяет настраивать элемент «Тест» таким образом, чтобы не только порядок подачи вопросов обучаемому был случайным, но и порядок следования ответов.

Рисунок 1. Настройки модуля Тест в системе Moodle

2. Классическая модель с учетом сложности. Отличается от предыдущей модели тем, что для каждого задания определен уровень сложности. Подсчет результатов ведется с учетом сложности заданий, на которые обучаемый дал правильный ответ. Основной недостаток: заранее не определено, какие по сложности задания достанутся обучаемому: одному могут достаться k легких, а другому — k сложных. Иначе говоря, используя эту модель невозможно добиться параллельности тестов по сложности (как и в предыдущем модели). Показатель надежности у данной модели также недостаточно высок.

Пример применения. В системе дистанционного обучения Moodle Классическая модель с учетом сложности заданий предполагает такую организацию тестирования, когда обучаемому предлагаются задания по определенной области знаний (разделу, теме и т. п.) каждое из которых имеет определенный уровень сложности. При подсчете результата тестирования учитывается сложность вопросов, на которые обучаемый дал правильный ответ. Чем выше сложность вопроса, тем выше будет результат тестирования.

Модель реализуется посредством задания разработчиком элемента «Тест» стоимости каждого вопроса. Для этого в режиме добавления вопроса необходимо в блоке «Общие» указать балл оценки (см. рис. 4). По умолчанию каждый вопрос оценивается в один балл. По мере усложнения вопроса разработчик задает большее количество баллов.

Рисунок 2. Блок «Общие» в режиме добавления вопроса теста в системе Moodle.

Модель с возрастающей сложностью. Имеется n заданий по определенной области знаний, по нескольким областям знаний или части области знаний (разделу, теме и т.п.) T_i; i=1,…n. Каждое задание имеет определенный уровень сложностиm. В тесте должны присутствовать задания всех уровней сложности. Из множества заданий выбираются k заданий (k<n). Выбранные задания сортируются по возрастанию сложности, после чего предлагаются обучаемому. Важное условие: количество заданий по каждому уровню должно быть одинаковым, либо распределение заданий по уровням сложности должно подчиняться нормальному закону.

Результат тестирования определяется аналогично модели с учетом сложности, а конечный балл прямо пропорционален сложности заданий, на которые были даны правильные ответы. У данной модели надежность выше, чем у предыдущих, поскольку обеспечивается параллельность тестов по сложности.

3. Модель с разделением заданий по уровням усвоения. Уровень усвоения— это показатель, характеризующий качество владения учебным материалом. Стандартно выделяют пяти уровней усвоения учебного материала n=0,…,4. Для каждого из уровней усвоения составляются задания. Проводится тестирование обучаемого для каждого уровня в отдельности, начиная с нижнего. Для перехода на каждый последующий уровень необходимо, чтобы степень владения учебным материалом, определенная на текущем уровне, была не ниже заранее определенного минимального для данного уровня (K_a>=0,7). Степень владения материалом определяется как отношение количества правильно выполненных заданий текущего уровня к общему количеству заданий текущего уровня в тесте. Уровень усвоения учебного материала используется для оценивания качества знаний у обучаемого и выставления оценки согласно заранее определенным критериям.

4. Модель с учетом времени ответа на задание. В данной модели время ответа обучаемого на задание теста влияет на результат по тесту в целом. В основе данной модели лежит предположение о том, что длительное время размышления над ответом свидетельствует о плохой подготовленности обучаемого, либо обучаемый может долго искать ответ в учебнике или других источниках, но в итоге его оценка все равно будет низкой, даже если на все вопросы он ответил правильно. Для каждого задания в тесте задается время, достаточное для того, чтобы обучаемый прочитал задание, осмыслил его и ответил. При определении результата тестирования учитывается время ответа на каждое задание.Это время может задаваться, в частности, как функция от сложности задания, или как функция от индивидуальных характеристик обучаемого, которые определяются заранее. Описанная модель дает хорошие результаты при использовании ее совместно с моделью с учетом сложности заданий. В этом случае повышается надежность результаов тестирования.

5. Модель с ограничением времени на тест. Имеется n заданий по определенной области знаний, по нескольким областям знаний или части области знаний (разделу, теме и т.п.). Из этого множества заданий случайным образом выбирается k заданий (k < n), на которые и предлагается ответить обучаемому. Устанавливается максимальное время выполнения для всего теста. Результат тестирования формируется лишь из тех заданий, на которые обучаемым был дан правильный ответ за данное время. Сам тест может быть построен по классической модели, модели с учетом сложности заданий или модели с возрастающей сложностью.

В некоторых работах рекомендуется обязательно сортировать задания по возрастанию сложности и устанавливать такое время тестирования, за которое на все задания теста не сможет ответить ни один, даже самый сильный обучаемый (автошкола). Такой подход предлагается применять при тестировании на бланках, когда обучаемых видит перед собой сразу все задания. Суть его в том, что когда обучаемый ответит на все задания, а время у него еще останется, он может начать проверять свои ответы, сомневаться, а в итоге может исправить правильные ответы на неправильные. Поэтому рекомендуется или ограничивать время на тест или забирать бланк сразу после ответа на все задания теста.

Пример применения. В системе дистанционного обучения Moodle данная модель реализуется следующим образом: мы можем в настройке теста задать ограничение по времени (см. рис. 3.), которое применимо к текущей попытке. Преподаватель может не только открывать тест на определенный день, но и указывать время доступа, задаваемое в параметрах: начало и окончание тестирования.

Рисунок 3. Общие настройки модуля Тест для Модели с учетом времени ответа на задание

6. Адаптивная модель. Данная модель может быть использована только при компьютерном тестировании. Адаптивным называется тест, в котором сложность последующих заданий испытуемого зависит от правильности ответов на предыдущие задания: чем более правильные ответы на предыдущие задания, тем сложнее последующие. Предусмотрена возможность повторного задания вопросов по некоторым темам для более точного определения уровня знаний испытуемого в данной области. Тестирование заканчивается, когда обучаемый выходит на некоторый постоянный уровень сложности, например, отвечает подряд на несколько вопросов одного уровня сложности.

В системе дистанционного обучения Moodle модель реализуется наличием двух режимов - Адаптивный режим и Адаптивный режим (без штрафов). Режимы предоставляют студентам несколько попыток на вопрос, перед тем как перейти к следующему. Вопрос, может адаптироваться к ответу, данному студентом, например, предлагая несколько советов перед новой попыткой.

Aдаптивная модель является наиболее эффективной.

Тестирование обычно начинается с заданий средней сложности, но можно начинать и с легких заданий, т.е. идти по принципу повышения сложности. Тестирование заканчивается, когда обучаемый выходит на некоторый постоянный уровень сложности, например, отвечает подряд на некоторое критическое количество вопросов одного уровня сложности.

Эта модель обладает рядом достоинств: позволяет более гибко и точно измерять знания обучаемых, измерять знания меньшим количеством заданий, чем в классической модели; выявляет темы, которые обучаемый знает плохо и позволяет задать по ним ряд дополнительных вопросов.

К недостаткам относится тот момент, что заранее неизвестно, сколько вопросов необходимо задать обучаемому, чтобы определить его уровень знаний. Если вопросов, заложенных в систему тестирования, оказывается недостаточно, можно прервать тестирование и оценить результат по тому количеству вопросов, на которое ответил обучаемый.

Надежность результатов тестирования в данном случае самая высокая, т. к. осуществляется приспособление под уровень знаний конкретного обучаемого, что обеспечивает более высокую точность измерений [7].

7. Модель педагогического тестирования по сценарию — Модель педагогического тестирования, где преподаватель перед тестированием формирует сценарий тестирования.

В сценарии можно указывать:

· количество заданий по каждой теме, которые должны быть включено в тест;

· количество заданий каждого уровня сложности, которые должны быть включено в тест;

· количество заданий каждой формы, которые должны быть включено в тест;

· время прохождения теста;

· и другие параметры.

Сценарий может создаваться по любому объему учебного материала: разделу, предмету, специальности и т.д.

Непосредственно при тестировании выборка заданий каждого уровня сложности, по каждой теме, каждой формы и т.д. производится случайным образом из общей базы заданий, поэтому каждый обучаемый получает свои задания. Получаемые тесты для всех обучаемых являются параллельными, т.е. имеют одинаковое число заданий и одинаковую суммарную сложность. Но в отличие от модели с возрастанием сложности, которая также обеспечивает параллельность, здесь разработчик теста решает сам, сколько и каких заданий должно быть предъявлено по каждой теме, следовательно, обеспечиваются абсолютно одинаковые условия тестирования для всех обучаемых.

По сравнению с адаптивной моделью данная модель является менее эффективной, т.к. не настраивается под индивидуальные особенности каждого обучаемого, однако имеет преимущество психологического характера: при тестировании по адаптивной модели обучаемые отвечают на разное количество вопросов и как будто бы находятся в разных условиях. В случае тестирования по сценарию все обучаемые получают одинаковое количество вопросов по каждой теме и по каждому уровню сложности.

Надежность результатов тестирования сопоставима с надежностью, получаемой при те тестировании с возрастанием сложности.

8. Модель на нечеткой математике. Данная модель педагогического тестирования является развитием любой другой модели, в которой вместо четких характеристик тестовых заданий и ответов используются их нечеткие аналоги.

Примерами могут служить:

· сложность задания («легкое», «среднее», «выше среднего», «сложное» и т.п.)

· правильность ответа («правильно», «частично правильно», «скорее неправильно», «неправильно» и т.п.)

· время ответа («маленькое», «среднее», «большое», «очень большое» и т.п.)

· процент правильных ответов («маленький», «средний», «большой», «очень большой» и т.п.)

· итоговая оценка

· и другие.

Нечеткая логика, на которой основана нечеткая математика, ближе к человеческому мышлению, чем традиционная логика. При использовании данной модели преподавателю легче оценивать сложность, а испытуемому более понятна его оценка.

Введение нечетких характеристик может помочь преподавателям разрабатывать тесты. Например, преподаватель может достаточно быстро определить, является ли задание сложным или нет. Но сказать точно, насколько оно сложно, например, по 100-бальной шкале или точно оценить разницу сложностей двух заданий будет для него достаточно трудно. С точки зрения обучаемого нечеткая оценка его знаний в виде «хорошо», «отлично», «не очень хорошо» и т.п. более понятна ему, чем четкое количество баллов, которое он набрал в результате тестирования.

Справка: Нечёткая логика (англ. fuzzy logic) — раздел математики, являющийся обобщением классической логики и теории множеств, базирующее на понятии нечеткого множества, впервые введённого Лотфи Заде в 1965году как объекта с функцией принадлежности элемента к множеству, принимающей любые значения в интервале , а не только 0 или 1. На основе этого понятия вводятся различные логические операции над нечёткими множествами и формулируется понятие лингвистической переменной, в качестве значений которой выступают нечёткие множества.

Предметом нечёткой логики считается исследование рассуждений в условиях нечёткости, размытости, сходных с рассуждениями в обычном смысле, и их применение в вычислительных системах.

В информационных технологияхнаиболее известным применение теории нечеткой логики является пакет MATLAB.

***********