Введение
Использование тестовых материалов для контроля знаний в последние 20 лет получило широкое распространение на всех уровнях образования. Обоснованная критика такого варианта контроля, тем не менее, не лишает его определенных достоинств. Эффективность использования тестового контроля знаний во многом определяется его содержательной стороной и методической составляющей.
Цель исследования – определение методик эффективного применения тестирования при контроле знаний обучающегося при проведении различных форм контроля, а также при реализации обучения в различном формате: очное, заочное, обучение с применением дистанционных образовательных технологий.
Материалы и методы исследования
Основным материалом исследования являются материалы, полученные автором статьи при реализации программ высшего образования в период с 2013 по 2024 г. Исследование проводилось на основе результатов текущего и промежуточного контроля знаний курсантов первого курса Рязанского филиала Московского университета МВД России имени В.Я. Кикотя по дисциплинам информационно-правового цикла. Также применялся анализ источников по исследуемой проблеме, моделирование (в части анализа учебных ситуаций), индукция (в части обобщения накопленного опыта). Комплексное применение общенаучных методов позволило сформировать обоснованные рекомендации по использованию тестовых материалов при организации контроля знаний обучающихся.
Результаты исследования и их обсуждение
Контроль знаний обучающегося и оценка уровня сформированности компетенций являются непременной составляющей образовательного процесса. Формат контроля знаний выбирается педагогическим работником исходя из методических особенностей реализации учебной дисциплины, целей и задач освоения учебной дисциплины и образовательной программы [1].
Локальными нормативными актами многих образовательных организаций допускается организация контроля знаний с использованием технологий тестирования. При этом под тестированием традиционно понимается использование вопросов закрытого типа, проверка которых легко автоматизируется и может быть реализована с помощью программного обеспечения различных классов, начиная от тестовых оболочек и заканчивая системами управления обучением.
В целом использование тестирования с вопросами закрытого типа положительно оценивается различными категориями участников образовательного процесса [2].
Положительными сторонами применения тестовых технологий могут выступать, в частности, следующие аспекты:
− однозначная трактовка ответа обучающегося – ответ обучающегося принимается и оценивается без субъективизма со стороны педагогического работника;
− более быстрая проверка листа ответов обучаемого – в случае неэлектронного тестирования педагогический работник фактически проверяет соответствие условных обозначений ответов разработанному образцу, не вникая в логику ответа обучающегося;
− возможность автоматизации процесса проверки – отсутствие творческой деятельности при проверке позволяет реализовать проверку с помощью тестовых оболочек или с помощью программ распознавания текста;
− стандартизация уровня проверяемых знаний – разработанная база вопросов позволяет организовать проверку знаний по всему объему учебной дисциплины, а не по выборочным вопросам.
Вместе с тем следует признать, что далеко не любой контроль уровня знаний можно организовать в форме тестирования с использованием исключительно вопросов закрытого типа [3].
В первую очередь такое тестирование применяется для решения задач репродуктивного и частично реконструктивного уровней. Тестовые вопросы могут включать контроль следующих знаний:
− основные термины и определения;
− классификация объектов;
− инвариантные фундаментальные понятия дисциплины;
− содержание нормативно-правовых актов.
Тестовые задания в закрытой форме подразумевают, помимо формулирования вопроса, формулирование вариантов ответов. Одним из существенных недостатков тестирования в закрытой форме называют манипулирование со стороны обучающихся при выборе варианта ответа [4, 5].
Под манипулированием в данном случае понимается ситуация, при которой обучающийся дает ответ руководствуясь не знаниями по теме или учебной дисциплине, а сторонней логикой.
Примерами такого манипулирования со стороны обучающегося могут быть:
− сокращение количества вариантов ответов путем отбрасывания заведомо неверных (варианты ответов, противоречащие здравому смыслу или содержащие сведения, не относящиеся к учебной дисциплине);
− определение правильного ответа по признакам, не имеющим отношения к изучаемому материалу (например, выбор самого длинного варианта ответа или выбор варианта ответа, содержащего большее количество научных терминов, а также отбрасывание вариантов ответов, оформленных не в научном стиле, с использованием бытового жаргона и т.п.);
− поиск закономерностей в расположении правильных ответов (чередование номеров правильных ответов, выбор варианта ответа «все перечисленное верно», выбор дихотомического варианта ответа, отличного от других).
В случае, если контроль знаний проводится в дистанционной форме, необходимо дополнительно учитывать следующие проблемы [6, 7]:
− проблема идентификации личности обучающегося;
− проблема контроля использования нерегламентированных справочных материалов;
− проблема потери валидности тестов из-за их распространения среди обучающихся.
Для эффективного противодействия манипулированию со стороны обучающихся, необходима качественная проработка тестовых вопросов и всех вариантов ответов.
Следует формулировать все варианты ответов в едином стиле, с одинаковым уровнем подробности. При разработке вариантов ответов следует избегать формулировок типа «все перечисленное верно», а также дихотомических вариантов («верно, при условии что…», «неверно»). В случае, когда тестовые варианты используются в печатном виде, необходимо исключить наличие закономерностей в расположении правильного ответа. Этого можно добиться, например, использованием генератора псевдослучайных чисел или игральных костей [8].
Проблемы дистанционного тестирования трудноразрешимы в силу того, что при таком способе тестирования контроль над обучающимся невозможен ни технически, ни юридически [9].
Тем не менее в основу концепции повышения достоверности результатов дистанционного тестирования может быть положен постулат о бессмысленности замены обучающегося [10].
Во-первых, при дистанционном тестировании необходим контроль сроков тестирования для всей учебной группы. Это решение сделает труднореализуемой ситуацию, при которой один обучающийся сможет пройти контроль за всю учебную группу.
Во-вторых, хорошим организационным решением может послужить контроль за навигацией по тесту. На одной странице теста должен быть расположен только один вопрос. Подача вопросов осуществляется последовательно, без возможности пропуска. Такие установки позволят снизить качество несанкционированной педагогическим работником коллективной работы обучающихся при проведении тестирования.
В-третьих, в тестовые вопросы могут быть включены задачи реконструктивного уровня, базирующиеся на ранее изученном материале. Использование таких задач снижает эффективность привлечения к прохождению теста лиц, не проходивших обучение.
Также при проведении дистанционного тестирования целесообразно разработать меры, направленные на снижение эффективности использования справочных ресурсов, поисковых систем и систем искусственного интеллекта [11]. В качестве таких мер могут выступать следующие решения:
− замена заданий на знание определений на задания по классификации объектов, связанных с этими определениями, – это решение позволит предотвратить простой поиск информации в интернете;
− индивидуализация тестовых заданий, включение в тестовые задания формулировок, использующих конкретные фамилии, названия, даты, – это решение также затруднит поиск информации в интернете и, кроме того, затруднит использование нейросетей для формулировки ответа;
− существенное превышение объемов вопросов тестовой базы над количеством вопросов в одном варианте – это решение позволит затруднить сбор базы обучающимися; особенно эффективно это решение будет в случае, если количество обучающихся не превышает 20 чел.;
− использование иных элементов взаимодействия при применении дистанционного тестирования – это могут быть видеоконференции, круглые столы, семинары, либо задания в формате эссе.
Немаловажным методическим аспектом, влияющим на эффективность использования тестового контроля знаний в формате тестирования в закрытой форме, является вопрос количества вариантов ответа в тестовом вопросе и вопрос трактовки результатов тестирования.
Вопрос трактовки результатов контроля знаний приобретает большое значение при анализе частично правильных ответов. Педагогическому работнику в этом случае на основе числового показателя доли правильных ответов предстоит сделать качественный вывод об уровне сформированности компетенций у обучающихся.
В случае использования вопросов в закрытой форме всегда следует рассматривать вариант развития событий, при котором результат тестирования получен обучающимся путем угадывания ответов, без фактического знания материала.
При качественной проработке вариантов ответов обучающийся, не знающий теоретического материала, объективно не может отдать предпочтение ни одному из приведенных вариантов. Соответственно, при оценке вероятности случайного правильного ответа на такой вопрос применимо классическое определение вероятности.
В случае наличия нескольких вопросов с одинаковым количеством вариантов ответов, количество правильных ответов в случае произвольного выбора обучающимся варианта ответа будет распределено по биномиальному распределению.
В соответствии с базовыми принципами статистики, будем считать достоверными такие события, вероятность наступления которых составляет не менее 0,95. Таким образом, при оценке уровня знаний обучающегося можно доверять только таким результатам, вероятность достижения которых при случайном ответе на вопросы составляет менее 0,05. Исходя из этого принципа можно смоделировать ситуацию при ответе на тест из десяти вопросов:
− в случае двух вариантов ответа доверять можно только результатам, в которых получено не менее восьми правильных ответов;
− в случае трех вариантов ответа доверять можно только результатам, в которых получено не менее шести правильных ответов;
− в случае четырех вариантов ответа доверять можно только результатам, в которых получено не менее пяти правильных ответов.
Такое моделирование наглядно показывает, что при некачественной проработке вариантов ответов, которая приводит к сокращению количества вариантов для реального выбора, возможно возникновение ситуации, при которой имеющий недостаточный уровень сформированности компетенций обучающийся сможет ответить на 50–70 % вопросов правильно без фактического знания материала.
Одним из способов повышения достоверности результатов тестирования может быть использование закрытых вопросов с возможностью выбора нескольких вариантов ответа. В этом случае вероятность угадывания обучающимися правильного ответа резко снижается. Так, если среди четырех вариантов ответов правильный ответ составляют два варианта, то можно доверять результатам, в которых правильными являются 4 ответа из 10. В случае же, если обучающийся не знает, из скольких вариантов ответа состоит правильный ответ, то можно доверять результатам, в которых правильными являются 3 ответа из 10.
Во всех описанных случаях термин «доверие к результату» означает то, что данный результат не мог быть получен случайно и речь идет о частичном знании обучающимся материала [12].
Следует отметить, что наличие трех вариантов ответа на вопрос не позволяет эффективно оценить уровень знаний обучающихся в случае частичного ответа на вопросы теста. Это обусловлено особенностями биномиального распределения, в частности расположением моды распределения и математического ожидания.
В соответствии с определением биномиального распределения математическое ожидание доли правильных ответов в случае трех вариантов ответов будет составлять 0,333, а в случае четырех правильных ответов – 0,25.
При увеличении количества вопросов в тесте поведение функции распределения доли правильных ответов в районе значения математического ожидания будет различаться. В случае трех вариантов ответов значение функции распределения в районе 0,3 будет увеличиваться, а при четырех правильных ответах – уменьшаться.
Таким образом, если педагогического работника при анализе результатов тестирования будет интересовать не только числовой показатель, но и анализ допущенных ошибок, то в случае трех вариантов ответа на вопрос он не сможет отделить обучающихся, которые осознанно отвечали на вопросы и сделали ошибки, от обучающихся, которые отвечали на вопросы случайным способом.
В целом при определении целесообразного объема тестовых вопросов следует исходить из принципа целесообразности, основой которого может выступать следующий мотив: не имеет смысла включать в тест дополнительные вопросы, если их количество не влияет на качественную оценку результатов тестирования [13, 14].
Результаты статистического анализа позволяют сформулировать следующие утверждения:
− наличие в тесте менее 20 вопросов не позволяет сделать качественный вывод об уровне подготовленности обучающихся – в этом случае мода распределения смещается вправо и существует значительная вероятность того, что обучающийся с низким уровнем знаний случайно сможет правильно ответить на 30–40 % вопросов;
− качественная разница в оценке при 40 и 50 вопросах в тесте практически отсутствует – таким образом, включение в тест более 40 вопросов может быть оправдано только большим количеством теоретического материала, выставленного на контроль.
Приведенный анализ и разработанные на его основе базы тестовых вопросов успешно применялись в образовательном процессе Рязанского филиала Московского университета МВД России имени В.Я. Кикотя для организации различных форм контроля.
Выбор формы контроля определяется видом занятия и целями проверки знаний [15]. Основными формами контроля выступают текущий контроль и промежуточная аттестация. При использовании тестирования на текущем контроле 20 вопросов в тесте являются оптимальным количеством, поскольку в данном случае текущий контроль не занимает основную часть занятия, а его результаты близко отражают уровень сформированности компетенций обучающихся.
При использовании тестирования при проведении промежуточной аттестации необходимо не менее 40 вопросов (50 вопросов для учебных дисциплин трудоемкостью 4 зачетные единицы и более).
Заключение
В ходе проведенного исследования и анализа его результатов были выработаны принципы построения эффективной базы тестовых вопросов для проведения контроля в форме тестирования с использованием вопросов закрытого типа.
Также были разработаны методические рекомендации по организации тестирования при проведении занятий в различных формах.
Конфликт интересов
Благодарности
Финансирование
Библиографическая ссылка
Ивличева Н.А. МЕТОДИКА ОПТИМИЗАЦИИ ИСПОЛЬЗОВАНИЯ ТЕСТИРОВАНИЯ ПРИ КОНТРОЛЕ ЗНАНИЙ // Международный журнал экспериментального образования. 2025. № 5. С. 11-15;URL: https://expeducation.ru/ru/article/view?id=12215 (дата обращения: 18.11.2025).
DOI: https://doi.org/10.17513/mjeo.12215