Создание компьютерных тестов и диалоговых тренажёров

В коммуникациях, опосредованной компьютером, есть некоторые особенности, которые требуется дополнительно учитывать, в частности – при разработке компьютерных тестов. Их рассмотрению целиком посвящен данный раздел.

Прежде всего хотелось бы выделить три ключевые особенности.

Первая – заключается в описании условий тестирования. В процессе проведения контроля знаний в аудитории мы сообщаем обучаемым правила тестирования – сколько отводится времени на выполнение теста, на сколько вопросов им надо ответить, как оцениваются ответы и тому подобное. При создании электронных тестов для самостоятельного прохождения, очень часто данная информация упускается из вида. Необходимо найти в своем компьютерном тесте место, где мы опишем эту информацию, как сделали бы при классической форме обучения.

Вторая особенность, на которую хотелось бы указать, – это обратная связь по результатам полученных ответов. В процессе аудиторной работы мы проводим разбор допущенных ошибок, выделяем типовые, объясняем правильные ответы. Нечто похожее важно предусмотреть и для самостоятельного прохождения тестов на компьютере. Варианты реализации обратной связи вы найдете в данном пособии.

И, наконец, третья особенность, на которую хотелось бы обратить внимание, – это специфика подготовки авторских материалов для последующей компьютерной реализации.

Она заключается в том, что существуют типовые шаблоны всех основных видов тестовых вопросов, которые выглядят примерно одинаково в какой бы программной среде мы не работали. Знакомство с внутренним устройством этих шаблонов поможет вам создавать авторский материал, уже адаптированный для компьютерной реализации.

Например, при подготовке классических тестов на бумаге мы сначала формулируем вопрос и даем перемешанные варианты ответов для выбора из них верных или сопоставления согласно заданным критериям, а отдельно (в ключах к тесту) – указываем их верную комбинацию. При компьютерной реализации перемешивать между собой верные и неверные варианты ответов не требуется. Достаточно задать ответ в прямой последовательности, а компьютер уже при отображении конечному пользователю их случайным образом перемешает. То же относится к вопросам на сопоставление, отнесение ко множествам, расстановке в правильной последовательности и т.д. В авторских материалах нужно сразу указывать правильный порядок ответов. Это снижает вероятность ошибки при разметке вопроса в программной среде.

1. Технологические ограничения

Авторские материалы, предназначенные для создания на их основе разделов контроля знаний в рамках электронных учебных курсов, должны предполагать возможность автоматизированного контроля ответов слушателя без участия преподавателя. В этой связи открытые вопросы, предполагающие развернутое формулирование видения обучаемого относительно предложенного задания, не допускаются.

В качестве примера таких вопросов можно привести следующий: «Опишите дифракцию на тонких щелях» или «Какое влияние оказало творчество Пушкина на мировую художественную литературу 19-го века?». В то же время, открытые вопросы, множество ответов на которые является исчисляемым и может быть формализовано, вполне допустимы и даже приветствуются.

При составлении подготовке материалов для контроля знаний в электронной образовательной среде автору следует заранее предусмотреть вариант реализации конкретного вопроса, исходя из специфики, контролируемой области знаний.

Важно отметить, что варианты неправильных ответов также должны быть разработаны автором. Перекладывание выполнения данной очевидной, на первый взгляд, функции автора на других участников команды – программистов, сценаристов или методистов, зачастую приводит к существенному ухудшению качества контроля знаний. Это объясняется тем, что подготовленные несведущими в предметной области специалистами варианты ответов легко обнаруживаются учащимися, что позволяет показать последним завышенный относительно реальных знаний результат тестирования.

При разработке авторских материалов для контроля знаний в рамках электронной образовательной среды не рекомендуется применять кроссвордный стиль формулирования заданий (например, «вставьте пропущенное слово»), т.к. такой подход не способствует закреплению в сознании учащегося связки «вопрос – ответ» (за редким исключением).

Помимо вышеизложенных ограничений, хочется дать еще несколько общих рекомендаций к составлению тестов:

• не следует нумеровать вопросы внутри заданий, если предполагается их отображение в случайном порядке;

• такая же рекомендация относится к численно-буквенному обозначению предлагаемых вариантов ответов для случаев, когда они должны быть случайным образом перемешаны;

• общий объем теста должен быть ограничен максимальным временем непрерывной работы за компьютером для целевой категории обучаемых (как правило, не более одного часа);

• желательно, чтобы количество предлагаемых вариантов ответов в тестовых вопросах было не менее 4-х (включая дистракторы) – для повышения статистически значимой достоверности результатов теста по сравнению со случайным угадыванием;

• в случае отображения всех вопросов теста одновременно на одном экране в прямой последовательности моментальная обратная связь по ответам не применяется, в таких случаях к разбору ошибок переходят только после полного завершения тестирования.

2. Условия тестирования

При разработке контрольных вопросов автору теста также следует продумать и описать следующие моменты, которые являются ключевыми в тестировании:

• количество вопросов, которые будут заданы в рамках одной попытки;

• количество предоставляемых попыток прохождения теста;

• наличие или отсутствие ограничений по времени ответа на вопросы;

• траекторию отображения вопросов (произвольную, по темам, в зависимости от результата ответа на предыдущие вопросы, возможность или невозможность пропускать вопросы и изменять уже принятые ответы и т. д.);

• систему начисления баллов за различные варианты ответов (полные, неполные, частично правильные, удельный вес вопросов в зависимости от сложности, количество использованных попыток для получения правильного варианта и т. п.);

• критерии оценки успешности тестирования (проходной балл).

Каждый ответ на вопрос в тесте оценивается в баллах. Вы можете управлять начислением баллов, определяя свои правила в пределах принятых ограничений технической реализации.

В общем случае у Вас имеется следующий арсенал оценивания ответов:

• начислять баллы за правильный ответ;

• начислять или не начислять баллы за частично правильный ответ;

• начислять, не начислять или вычитать баллы за неправильный ответ.

Количество начисляемых баллов в каждом случае определяет автор теста. Это открывает широкие возможности дифференцированной оценки ответов на вопросы разного уровня сложности, учета частично правильных ответов, а также влияния на итоговый результат теста грубых ошибок. При допущении грубых ошибок тест может быть завершен досрочно с отрицательным результатом.

Для того, чтобы рассмотреть механизм реализации такого варианта завершения тестирования рассмотрим более общую категорию – траекторию отображения тестовых вопросов.

3. Траектория тестирования

При создании тестов на бумаге мы привыкли к тому, что вопросы следуют в прямом порядке, одинаковом для всех экземпляров теста внутри одного варианта.

Основным гарантом достоверности полученных в ходе такого тестирования результатов является контроль за соблюдением условий его проведения и защиты материалов от копирования, а также последующего анализа и распространения.