С повсеместным внедрением информационно-коммуникационных технологий все больше вузов применяет технологии электронного тестирования в качестве метода контроля усвоения знаний. Такой подход позволяет сократить время проверки ответов студента, автоматизировать расчет итоговой оценки по дисциплине, а также заполнение экзаменационных ведомостей. Применение технологий электронного тестирования позволяет разнообразить тестовые вопросы, практически исключить возможность повторения вариантов заданий у студентов за счет использования случайной выборки вопросов из базы. Особенно актуально применение компьютерного тестирования для контроля знаний и проведения экзаменов по общеобразовательным дисциплинам, которые, как правило, ведутся в потоках.
Одно из направлений дальнейшего повышения эффективности оценки и контроля уровня знания связано с созданием систем, способных учитывать индивидуальные особенности студента и уровень его знаний.
Под прямым тестированием будем понимать метод, при котором структура теста (т.е. набор и порядок предъявления тестовых заданий) не зависит от фактических ответов испытуемого. Режим прямого тестирования заложен в основу функционирования подавляющего большинства существующих в настоящее время автоматизированных систем оценивания уровня знаний. Рассматривая множество модификаций метода прямого тестирования, на наш взгляд, следует выделить два основных направления – это автоматизация традиционного тестирования и тестирование с формированием индивидуальных вариантов теста.
Систему контроля знаний обучающихся (СКЗО) можно рассматривать как подсистему управления образовательным процессом университета. СКЗО представляет собой автоматизированную систему, предназначенную для сбора, хранения, обработки, преобразования и выдачи информации, касающейся проведения контрольно-оценочных процедур, а также для непосредственного проведения контрольно-оценочной деятельности.
Прямое тестирование при всех своих достоинствах не лишено недостатков, основным из которых является отсутствие в процессе тестирования обратной связи. Тестируемый обязан ответить на все вопросы сгенерированного теста. При этом очевидно, что нет смысла продолжать тестирование, если, например, количество неверных ответов превысило максимально допустимый уровень. Методы адаптивного тестирования предполагают влияние ответов испытуемого на выбор следующего тестового задания, тем самым, реализуя в процессе тестирования обратную связь от испытуемого к системе, что позволяет существенно повысить эффективность по сравнению с методами прямого тестирования.
Рассмотрим предлагаемый метод структурированного адаптивного тестирования. Под структурированным тестированием будем понимать метод, при котором тестирование осуществляется с использованием специальным образом структурированной тестовой базы. Один из способов структурирования тестовой базы – это её разбиение на классы (страты) по определённому признаку, например, по уровням трудности заданий, входящих в страту. В этом случае в процессе тестирования в зависимости от успешности (правильности/либо неправильности) решения заданий теста испытуемым страта повышается/либо понижается, если это возможно (т.е. если не достигнута крайняя страта). Такой метод получил название стратифицированного тестирования (от англ. stratified adaptive). Другой способ структурирования тестовой базы – это представление её в виде несвязного ориентированного графа, в котором вершинами являются вопросы, а дугами – логические (либо статистические) связи между ними. Тест интерпретируется как некоторое подмножество вершин данного графа [1,2]. Таким образом, при разработке тестовой базы необходимо не только создать множество тестовых заданий, но и выявить связи между ними. Для этой цели привлекают экспертов в данной области. Из одной вершины может выходить несколько дуг, например, в том случае, когда каждому дистрактору ставят в соответствие уточняющий вопрос (задание для уточнения уровня знаний). Если в тест включается небольшое количество вершин (одна, две) из каждого подграфа, то такое тестирование называют тестированием в ширину. Если же тест содержит преимущественно вершины подграфа Gi, то такое тестирование называют тестированием в глубину. Цель тестирования в ширину – определить общий уровень знаний по дисциплине, а тестирования в глубину – уровень знаний по разделу дисциплины, соответствующему подграфу Gi [2]. В некоторых случаях, например, когда тестовая база содержит задания по разным дисциплинам, определить логические связи между заданиями невозможно, тогда используют данные пилотажного тестирования для установления связей статистических [3].
Описанные выше методы адаптивного тестирования в определённой мере имитируют свойства, присущие процессу «живого» общения экзаменатора и экзаменуемого. Среди таких свойств выделим варьирование трудности заданий. Это свойство в совокупности с методом бинарного поиска составляет сущность пирамидального метода тестирования. Процесс тестирования начинается с того, что испытуемому предлагают задание (набор заданий) среднего уровня трудности [3]. Далее, в зависимости от правильности или неправильности ответа (ответов), тестируемому предлагают задание (набор заданий) из группы самой высокой трудности или из группы самой низкой трудности. На каждом следующем шаге используется правило деления шкалы трудности пополам, то есть каждый раз уровень трудности предлагаемого задания является средним между уровнем задания, которое испытуемый выполнил верно, и уровнем задания, с которым он не справился. Основным достоинством данного метода является то, что он позволяет достаточно быстро выделить хорошо подготовленных и плохо подготовленных испытуемых.
Алгоритмы обработки ответов, выдаваемых тестируемым, строятся в зависимости от структуры вопросов, используемых в тестирующих программах. Предлагается схема, в которой представлены способы обработки ответов для вопросов с закрытой формой ответов. Для организации наиболее адаптированной системы оценки знаний и умений учащихся необходимо средство для анализа работы системы с целью ее реконструкции в соответствии с целью образовательного процесса. Таким средством является блок адаптации, который на основе статистических данных, накапливаемых системой, выдает преподавателю рекомендации по тем вопросам, которые вызывают граничные значения оценивающей функции. В соответствии с выбранной технологией построения автоматизированных тестов, каждый вопрос относится к одному из кластеров:
• Общие сведения по дисциплине;
• Определения и факты;
• Способы решения задач;
• Способы доказательств;
• Сложные проблемные материалы.
Деление вопросов на кластеры необходимо для того, чтобы преподаватель мог оперативно выявлять и оценивать области знаний тестируемых и пробелы в них. Как правило, результат тестирования (обычно – полученный процент правильных ответов) – это одно число, не дающее представления о фактических пробелах в структуре знаний обучаемого. Деление вопросов на кластеры позволяет оценить уровень усвоения отдельных разделов дисциплины.
Кроме того, предлагается вопросы в каждом кластере дисциплины относить к одному из уровней:
1. «Вопросов повышенной сложности»;
2. «Вопросы среднего уровня сложности»;
3. «Простые вопросы».
Каждому из трёх указанных уровней назначается соответствующий весовой коэффициент (в баллах) за правильный ответ.
Каждому варианту ответа предлагается ставить в соответствие определенный вес. При формировании файлов с вопросами варианты ответов следует располагать по убыванию веса.
Данная методика классификации вопросов позволяет реализовать:
• возможность формирования весовых коэффициентов вопросов;
• возможность разбиения вопросов на группы в соответствии с уровнем сложности;
• в случае ошибочного присвоения вопроса той или иной группе возможность автоматизированного исправления;
• возможна также реализация учета весового коэффициента не только вопроса, но и ответа.
Были проведены исследования по адаптации обучающихся к результатам тестирования. При этом одни и те же испытуемые. несколько раз тестировались с использованием структурированного теста. Оказывается, что при этом можно получить дополнительную информацию, динамического характера. Варьируя различные варианты организации перерыва между тестированием: продолжительность, запрет либо разрешение и организация взаимодействия между учащимися, использование той или иной литературы по предмету можно получить ряд интересных характеристик. В частности были исследованы следующие параметры:
1. Способность к самостоятельному обучению;
2. Способность испытуемого к обучению по отдельным кластерам дисциплины с использованием разработанного методического пособия;
3. Важность коллективных методов обучения по дисциплине.
Отметим, что такие сведения не менее ценные, чем те, которые получены в однократном измерении. Действительно способность испытуемого к самостоятельному обучению можно оценить даже выше, чем багаж знаний, который испытуемый принес на сеанс тестирования.
Библиографическая ссылка
Яворский В.В., Ашкенова Ш.А., Баширов А.В. МОДЕЛИ АДАПТИВНОГО КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ // Международный журнал экспериментального образования. – 2016. – № 7. – С. 39-41;URL: https://expeducation.ru/ru/article/view?id=10279 (дата обращения: 21.11.2024).