Тест преимущества использования компьютера в обучении. Компьютерное адаптивное тестирование в образовании

полнительные устройства для ввода данных тестирования и другие приспособления, компенсирующие на экзаменах потенциальное отставание детей с ограниченными возможностями.
Формы осуществления компьютерного тестирования. Компьютерное тестирование может проводиться в различных формах, различающихся по технологии объединения заданий в тест (рис. 17). Часть из них пока не получили специального названия в литературе по тестовой проблематике.
Первая форма - самая простая. Готовый тест, стандартизованный или предназначенный для текущего контроля, вводится в специальную оболочку, функции которой могут различаться по степени полноты. Обычно при итоговом тестировании оболочка позволяет предъявлять задания на экране, оценивать результаты их выполнения, формировать матрицу результатов тестирования, обрабатывать ее и шкалировать первичные баллы испытуемых путем перевода в одну из стандартных шкал для выдачи каждому испытуемому тестового балла и протокола его оценок по заданиям теста.
Вторая форма компьютерного тестирования предполагает автоматизированную генерацию вариантов теста, осуществляемую с помощью инструментальных средств. Варианты создаются перед экзаменом или непосредственно во время его проведения из банка калиброванных тестовых заданий с устойчивыми статистическими характеристиками. Калибровка достигается благодаря длительной предварительной работе по формированию банка, параметры заданий которого получают на репрезентативной выборке учащихся, как правило, на протяжении 3 - 4 лет с помощью бланковых тестов. Содержательная валидность и параллельность вариантов обеспечиваются за счет строго регламентированного отбора заданий каждого варианта в соответствии со спецификацией теста.
Третья форма - компьютерное адаптивное тестирование - базируется на специальных адаптивных тестах. В основе идей

Рис. 17. Формы компьютерного тестирования

адаптивности лежат соображения о том, что учащемуся бесполезно давать задания теста, которые он выполнит наверняка правильно без малейших затруднений или гарантированно не справится с ними в силу высокой трудности. Поэтому предлагается оптимизировать трудность заданий, адаптируя ее к уровню подготовленности каждого испытуемого, и сократить за счет исключения части заданий длину геста.
Достоинства и недостатки компьютерного тестирования. Компьютерное тестирование имеет определенные преимущества по сравнению с традиционным бланковым тестированием, которые проявляются особенно заметно при массовых проверках, например при проведении национальных экзаменов тина ЕГЭ. Предъявление вариантов теста на компьютере позволяет сэкономить средства, расходуемые обычно на печать и транспортировку бланковых тестов.
Благодаря компьютерному тестированию можно повысить информационную безопасность и предотвратить рассекречивание теста за счет высокой скорости передачи информации и специальной защиты электронных файлов. Упрощается также процедура подсчета результирующих баллов в тех случаях, когда тест содержит только задания с выбором ответов.
Другие преимущества компьютерного тестирования проявляются в текущем контроле, при самоконтроле и самоподготовке учащихся; благодаря компьютеру можно незамедлительно выдать тестовый балл и принять неотложные меры по коррекции усвоения нового материала на основе анализа протоколов по результатам выполнения корректирующих и диагностических тестов. Возможности педагогического контроля при компьютерном тестировании значительно увеличиваются за счет расширения спектра измеряемых умений и навыков в инновационных типах тестовых заданий, использующих многообразные возможности компьютера при включении аудио- и видеофайлов, интерактивности, динамической постановки проблем с помощью мультимедийных средств и др.
Благодаря компьютерному тестированию повышаются информационные возможности процесса контроля, появляется возможность сбора дополнительных данных о динамике прохождения теста отдельными учащимися и для осуществления дифференциации пропущенных и не достигнутых заданий теста.
Помимо неоспоримых достоинств компьютерное тестирование имеет ряд недостатков, которые представлены на рис. 18.
Типичные психологические и эмоциональные реакции учащихся на компьютерное тестирование. Обычно психологические и эмоциональные реакции учащихся на компьютерное тестирование носят позитивный характер. Учащимся нравится незамедлительная выдача тестовых баллов, протокола тестирования с результатами

Рис. 18. Проблемы, возникающие при компьютерном тестировании

по каждому заданию, а также сам инновационный характер контроля в том случае, когда привлекаются современные гипермедийные технологии для выдачи теста. Динамическое мультимедийное сопровождение заданий на компьютере, объединенное программными средствами для представления в интерактивном режиме, по мнению учащихся, обеспечивает более точную оценку знаний и умений, сильнее мотивирует к выполнению заданий по сравнению с бланковыми тестами. Удобно также то, что вместо заполнения специальных форм для ответов можно просто выбрать ответ мышью. Если тестирование проходит в адаптивном режиме, то сокращаются время проведения экзамена и длина теста.
Негативные реакции обычно вызывают различные ограничения, которые иногда накладываются при выдаче заданий в компьютерном тестировании. Например, фиксируется либо порядок предъявления заданий, либо максимально возможное время выполнения каждого задания, после истечения которого независимо от желания испытуемого появляется следующее задание теста. В адаптивном тестировании учащиеся бывают недовольны тем, что они не имеют возможности пропустить очередное задание, просмотреть весь тест до начала работы над ним и изменить ответы на предыдущие задания. Иногда школьники возражают против компьютерного тестирования из-за трудностей, которые возникают при выполнении и записи математических вычислений и т.д.
Воздействие на выполнение теста предшествующего уровня компьютерного опыта. Результаты зарубежных исследований показали, что опыт работы на компьютерах, имеющийся у школьников, во многих случаях значительно влияет на валидность результатов выполнения теста. Если в тест включены задания без инноваций с выбором ответов, то влияние опыта работы с компьютером на результаты тестирования незначительно, поскольку от учащихся в таких заданиях не требуется никаких сложных действий при выполнении теста. При предъявлении на экране инновационных типов заданий, широко использующих средства компьютерной графики и другие новшества, влияние предшествующего компьютерного опыта на тестовый балл становится очень значительным. Таким образом, при компьютерном тестировании необходимо учитывать уровень компьютерного опыта учащихся, для которых предназначается тест.
Для снижения влияния опыта работы с компьютером на тестовые баллы рекомендуется включать в оболочки для компьютерного тестирования специальные инструкции и тренировочные упражнения для каждой инновационной формы заданий. Необходимо также предварительно ознакомить учащихся с интерфейсом, провести репетиционное тестирование и выделить в самостоятельные группы учащихся, не имеющих достаточного опыта работы с ПК, для того чтобы дополнительно обучить их или дать им бланковый тест.
Влияние интерфейса пользователя на результаты компьютерного тестирования. Интерфейс пользователя включает доступные учащемуся функции и возможности движения по заданиям теста, элементы размещения информации на экране, а также общий визуальный стиль представления информации. Хороший интерфейс пользователя должен обладать ясностью и корректностью логической последовательности взаимодействия с экзаменуемым, отражая общие принципы дизайна графической информации. Чем более продуман интерфейс, тем меньше внимания учащийся на него обращает, сосредоточивая все свои усилия на выполнении заданий теста.

Аннотация

Компьютерное обучение (КО) может иметь большой потенциал, при надлежащем использовании в целях повышения качества обучения. Однако это качество может повышаться путём использованием компьютерного тестирования (КТ) и, более конкретно, с использованием компьютерного адаптивного тестирования (КAT). В целях данной работы автор описывает механизм и преимущества компьютерного адаптивного тестирования, а также каким образом оно может улучшить процесс обучения в предметной области науки. Педагогу предлагается принять к рассмотрению некоторые ограничения и проблемы в реализации, также будет обсуждаться естественнонаучное образование. КЛЮЧЕВЫЕ СЛОВА Компьютерное адаптивное тестирование, КАТ, компьютерное тестирование, компьютерное обучение, естественнонаучное образование, оценивание, формирование обратной связи.

ВВЕДЕНИЕ

Компьютерное обучение имеет крайне большой потенциал для улучшения обучения во многих областях и дисциплинах, в том числе и в предметной области науки. Однако, компьютерное обучение должно тесно и постоянно контролироваться, для обеспечения его эффективности. Это особенно верно, так как некоторые предварительные исследования показали, что использование компьютера отрицательно коррелирует с достижениями в области математики и науки (Papanastasiou и Фердиг, 2003). Хотя не ясно, при каких обстоятельствах эти негативные последствия развиваются, и если есть причинно-следственная связь между этими переменными, почему она все еще существует. Следовательно, эти отношения должны напомнить педагогу, что использование компьютера - не обязательно "панацея", и что он не должен использоваться безответственно и занимать внимание студентов, которым трудно иметь дело с ним. Также эта отрицательная связь между использованием компьютера и достижением результатов должна напомнить педагогам о существовании значительной потребности в непрерывной созидательной и итоговой оценки в науке. С помощью правильного оценивания, проблемы, которые возникают во время обучения, могут быть определены и, возможно, исправлены, если их обнаружили достаточно рано. Однако, оценка также должна использоваться с умом таким образом, чтобы она могла дополнять процесс обучения. Так как компьютерное обучение является целью этой конференции, эта статья будет связана с компьютерным оцениванием. Цель данной работы - выйти за рамки простого компьютерного обучения для описания компьютерного адаптивного тестирования, и обсудить его последствия, преимущества, и как оно может эффективно дополнять компьютерное обучение в данной области науки.

Описание

Компьютерное тестирование (КT) может быть определено как любой вид оценивания, который осуществляется посредством компьютера. Однако компьютерное тестирование может принимать различные формы, в зависимости от того, насколько адаптирован тест (College Board, 2000). Например, некоторые компьютерные тесты, которые также называются фиксированные компьютеризированные испытания, являются чисто линейными (Парсхолл, брызг, Kalohn и Дэви, 2002). Это тесты, которые наиболее близко напоминают бумагу и карандаш для тестирования, поскольку они фиксированной формы, фиксированной длины, и тестовые задания заранее поставлены в определенном порядке. В отличие от фиксированных компьютеризированных испытаний, компьютерные адаптивные тесты (КАТ) представляют собой компьютерные тесты, которые имеют максимальную степень адаптивности, так как они могут быть адаптированы для каждого студента, исходя из суммарной сложности и порядка, в котором вопросы предоставляются испытуемому. Так что компьютерные адаптивные тесты (КAT) это компьютерны е тесты, которые созданы и адаптированы специально для каждого испытуемого на основе оценивания способностей тестируемого, и исх одя из ответов на предыдущих шагах.

Преимущества компьютерных адаптивных тестов

Основными преимуществами компьютерного адаптивного тестирования связаны с тем, что они являются эффективными с точки зрения времени, а также используемых ресурсов. Эти преимущества будут обсуждены в следующем разделе с точки зрения испытуемых, с точки зрения педагога, который хочет определить уровень знаний студента, а также с точки зрения разработчика теста.

Эффективность

Адаптивные тесты дают возможность оценить способности испытуемого более точно и с меньшими затратами, чем с помощью бумажных тестов. Типичные бумажные тесты создаются для массового тестирования, так чтобы тест использовался для большой группы студентов, различных по способностям. Для того чтобы сделать это большинство вопросов этого теста среднего уровня сложности (так как большинство студентов имеют среднюю успеваемость) В результате, тест такого содержания создает проблемы для студентов с высокой и низкой успеваемостью. Испытуемый с низким уровнем знаний в состоянии ответить на первые несколько относительно лёгких вопросов. А на вопросы среднего и высокого уровня сложности студенту будет нелегко ответить. Следовательно, испытуемый может в конечном итоге угадать ответы на эти вопросы, или может просто оставить их пустыми. В таком случае тяжело реально оценить его знания и возможности, так как какие-либо выводы должны основываться только на ответах на первые несколько вопросов, которые студент смог разобрать. Другой, более конкретный пример такой ситуации приводится ниже. Преподаватель хочет провести тестирование по биологии на тему «печень» Вопрос низкого уровня требует установить место положения печени на картинках человека, а вопросы высокого уровня предполагают способность студента диагностировать болезнь печени по картинкам. В этом случае, если студент не может даже определить местонахождение печени на картине человеческого тела, нет причин задавать ему более сложный вопрос. При рассмотрении таких испытаний с точки зрения студента с глубокими знаниями биологии, ситуация несколько лучше, хотя она по-прежнему не совершенна. Большинство вопросов для него будет слишком легким для этого человека. Адаптивные тесты позволяют эффективно подбирать вопросы, которые специально предназначены для определённого уровня знаний каждого испытуемого. Когда все вопросы чётко направлены на способности каждого студента, педагог может достичь более надежных и достоверных выводов о фактических знаниях студента.

Обратная связь

Еще один из преимуществ компьютерного испытания в целом, а также компьютерных адаптивных тестов, является то, что они могут управлять прямой и непосредственной обратной связью студента и преподавателя (Wise & Plake, 1990). С типичным бумажным тестом, всегда возникает задержка по времени между преподавателем и тестируемым. Без формирования оценки, преподаватели не смогут определить призвано ли компьютерное обучение действительно помогать студенту в обучении или нет. Это особенно важно, потому что без надлежащего оценивания, некоторые студенты могут оказаться в невыгодном положении из компьютерного обучения. В дополнение к суммарной оценке, такой вид оценивания показывает, как каждый студент усвоил материал в целом, также возможно предоставление списка областей и предметов, вопросы по которым встречались у каждого студента, на основе его показателей в адаптивном тестировании. Однако у преподавателя может возникнуть такой вопрос, при непрерывном тестировании, возможно, что некоторые студенты запомнят тестовые вопросы и проинформируют других студентов о них. Однако, если адаптивный тест содержит относительно большую базу вопросов, такой проблемы не возникнет, особенно в свете того, что разные студенты должны получить разные задания, основанные на уровне их индивидуальных способностей.

Время

С точки зрения разработчика тестов, создание адаптивного теста отнимает много времени, но является более эффективным с точки зрения педагога. В частности, студенты при адаптивном тестировании должны ответить на меньшее количество вопросов, чем во время обыкновенного тестирования. Кроме того, обычное тестирование, как правило, проводится всей группой, определённое количество времени, которое может не устраивать некоторых студентов. Преподаватель и вся группа должна ждать, пока все студенты завершат тестирование, прежде чем они смогут перейти к другому виду деятельности. С компьютерным адаптивным тестированием, студенты могут сдавать экзамен, когда будут готовы, единственным условием является доступность компьютера, и они не должны ждать, пока вся группа будет готова приступать к тестированию, или пока вся группа закончит его. С точки зрения преподавателя, адаптивное тестирование является экономным по времени, а также ему больше не придется беспокоиться о создании тестов для группы до тех пор, пока КАТ в состоянии охватить изученный материал. Кроме того, преподаватель экономит время на проверке работ, так как тест оценивается компьютером.

Другие преимущества

Компьютерное адаптивное тестирование также имеет некоторые дополнительные преимущества. В компьютерном адаптивном тестировании высокий уровень безопасности, так как список вопросов больше не может быть украден, и списывание у соседей не выгодно, так как большинство вопросов теста для каждого индивидуально. Кроме того, при помощи КАТ могут быть собраны другие типы данных, такие как количество времени, затраченное для ответа на каждый вопрос или количество изменений, которые сделаны для студентов во время прохождения теста.

ЗАКЛЮЧЕНИЕ

Современные исследования в области тестирования и оценивания показали, что потенциал компьютер адаптивных тестов увеличился. Преимущества и возможности компьютерного адаптивного тестирования дают возможность шагнуть ещё дальше. Это заметно по количеству крупномасштабных тестирований (например, GRE, TOEFL, ASVAB), которые стали или становятся адаптивными (Papanastasiou, 2001). Тем не менее, на такой шаг всегда нужно идти с умом, чтобы такая процедура оценивания хорошо интегрировалась в процесс обучения для обеспечения его максимальной эффективности.

Ссылки

1.Bennett, R. E. (1999). Using new technology to improve assessment. RR99-6. Princeton, NJ: Educational Testing Service. 2. Lord, F. M. (1980). Applications of item response theory to practical testing problems. Hillsdale, NJ: Lawrence Erlbaum associates. 3. Meijer, R. R. & Nerling, M. L. (1999). Computerized adaptive testing: Overview and introduction. Applied psychological measurement, 23(3), 187-194. 4. O’Neill, K. (1995). Performance of examinees with disabilities on computer-based academic skills tests. Paper presented at the American educational research association, San Francisco, April, 1995. 5. Papanastasiou, E. C. (2001). A ‘Rearrangement Procedure’ for administering adaptive tests when review options are permitted. (Doctoral dissertation, Michigan State University, 2001). 6. Papanastasiou, E. (2002a). A ‘rearrangement procedure’ for scoring adaptive tests with review options. Paper presented at the National Council of Measurement in Education, New Orleans, LA. 7. Papanastasiou, E. (2002b). Factors that differentiate mathematics students in Cyprus, Hong Kong, and the USA. Educational Research and Evaluation, 8 (1), 129-146. 8. Papanastasiou, E. C. & Ferdig, R. E. (2003, January). Computer use and mathematical literacy. An analysis of existing and potential relationships. Paper presented at the third Mediterranean conference on mathematics education, Athens, Greece, January 3-5, 2003. 9. Parshall, C. G., Spray, J. A., Kalohn, J. C. & Davey, T. (2002). Practical considerations in computer- based testing. NY: Springer. 10. Parshall, C. G., Stewart, R. & Ritter, J. (1996). Innovations: Graphics, sound and alternative response modes. Paper presented at the National Council of Measurement in Education, April 9-11, 1996, New York. 11. The College Board. (2000, April). An overview of computer-based testing. RN-09. 12. Wainer, H. (2000). CATs: Whither and whence. Psicologica, 21(1-2), 121-133. 13. Wise, S. L. & Plake, B. S. (1990). Computer-based testing in higher education. Measurement and evaluation in counseling and development, 23, 3-10.

Elena C. Papanastasiou, Ph.D. University of Kansas and University of Cyprus Department of Education P.O. Box 20537 1678 Nicosia Cyprus

Янюшкин С.А., Янюшкин А.С.

Национальное аккредитационное агентство в сфере образования (РОСАККРЕДАГЕНТСТВО) предложило ВУЗам поучаствовать в программе «Федеральный интернет-экзамен в сфере профессионального образования». Официальный сайт www.fepo.ru . Анализ участия обучающихся подобного предложения мы осуществили на протяжении 3 семестров в период 2007-2008 годов в государственном образовательном учреждении высшего профессионального образования «Братский государственный университет». За это время в тестировании приняло участие около 30 групп студентов, более 10 специальностей (это только те группы непосредственными руководителями (преподавателями) которых мы являлись). Такие группы как: «Энергетические системы и сети», «Энергоснабжение предприятий», «Лесоинженерное дело», «Технология деревообработки», «Технология машиностроения», «Информационные системы и технологии», «Вычислительная техника», «Прикладная математика и информатика», «Математика», «Городское строительство и хозяйство», «Строительные технологии», «Промышленное и гражданское строительство», «Экспертиза и управление недвижимостью» и др.

Вначале немного теории . Компьютерное тестирование все шире используется в педагогической практике. Возможно, вскоре оно почти вытеснит традиционные методы (типа "карандаш - бумага"). И вот почему.

1) Компьютерное тестирование экономит много времени (это, вероятно, самое главное). Задача тестируемого - просто нажимать клавишу, соответствующую выбранному ответу. В результате компьютер выдает готовый результат. На всю процедуру, включая обработку результатов, уходит значительно меньше времени, чем при обычном тестировании. Такая экономия времени особенно ценна при работе с группой тестируемых. Можно одновременно усадить за компьютер большое число людей и оперативно получить нужные данные.

2) Экономятся силы тестирующего - ему не приходится заниматься рутинной работой (заготовка бланков, инструктаж тестируемого, выдача заданий, ведение протокола, подсчет и обработка результатов).

3) При наличии хорошо отлаженной программы компьютерное тестирование практически исключает ошибки при обработке результатов - машина всегда использует один и тот же алгоритм, она не отвлекается и не утомляется.

4) Появляется возможность накопления и сохранения электронной базы данных. Унифицированная база данных удобна для анализа и заменяет собой огромные кипы экспериментальных бланков, отчетов и заключений.

5) При использовании стандартизованной компьютерной программы условия проведения тестирования не зависят от индивидуальных особенностей и психологического состояния экспериментатора, что, несомненно, повышает "чистоту" диагностической процедуры.

6) Тестируемому, некого стесняться - компьютер не может ни оценочно, ни эмоционально реагировать на не самые удачные ответы.

Как мы видим, достоинств у компьютерного тестирования немало. Но наряду с преимуществами у компьютерных методов есть и свои недостатки.

1) Общение человека с компьютером имеет свою специфику, и не все одинаково спокойно относятся к компьютерному тестированию. Например, если процедура тестирования затянется или содержание теста не заинтересует человека, положительный настрой может смениться противоположным: будут утомлять и раздражать однообразие и монотонность работы, "глупость" вопросов и заданий. Иногда негативное отношение к компьютерному тестированию бывает вызвано и отсутствием обратной связи. А когда тестируемый человек не получает обратной связи, возрастает вероятность ошибочных ответов (можно неверно понять инструкцию, перепутать клавиши для ответов и др.).

Были проведены специальные исследования, чтобы определить, как люди относятся к компьютерному тестированию. Оказалось, что у некоторых людей возникает так называемый эффект психологического барьера, а у некоторых - эффект сверхдоверия. Бывает, человек вообще не способен справиться с заданием потому, что "боится" компьютера. Возможно и включение психологических защитных механизмов, связанных с нежеланием тестируемого раскрываться, стремлением избежать излишней откровенности или намеренным искажением результатов.

2) При компьютерном тестировании специалисты имеют дело только с полученными результатами. Они не видят тестируемого, не общаются с ним, а значит, не владеют о нем дополнительной информацией, не могут выяснить его действительный объем знаний.

Так что результатам, полученным с помощью компьютерного тестирования, следует доверять с некоторыми оговорками .

Что мы увидели на практике. Такая несовершенная система пока не может применяться в ВУЗах для оценки знаний студентов, в силу ее не объективности. И вот почему.

Во-первых, тестирование, например по дисциплине «Правоведение», не соответствует государственному образовательному стандарту (ГОС).

В качестве примера рассмотрим специальность «Технология машиностроения».

Требования государственного образовательного стандарта высшего профессионального образования к обязательному минимуму содержания основной образовательной программы.

Таблица 1. Дисциплина: Правоведение ООП: 151001.65 «Технология машиностроения»

* Прим. Дисциплина «Правоведение», для специальности 151001.65 «Технология машиностроения» ведется в объеме 70 часов, в том числе: лекций-17 часов, практических занятий 9 часов, самостоятельных 44 часа.

А вот тематика интернет-тестирования требует значительно больших затрат при освоении этой дисциплины (табл. 2).

Как видно из приведенных таблиц примерно половина вопросов тестирования не соответствует ГОС (не соответствие выделено жирным шрифтом и курсивом), т.е. преподаватель не обязан объяснять содержание тех или иных вопросов тестирования, но спрашивают его по ним обязательно.

Таблица 2. Структура аттестационных педагогических измерительных материалов дисциплины «Правоведение» ООП: 151001.65 «Технология машиностроения»

Получается, что авторы тестирования могут включить в программу тестирования по дисциплине «Правоведение» любые вопросы, так или иначе касающиеся самого понятия «Право». А это значит, что можно включить в вопросы тестирования любые вопросы по «Уголовному праву», «Гражданскому праву», «Конституционному праву», «Трудовому праву», «Экологическому праву», «Информационному праву», «Теории государства и права» и т.д., список можно продолжать до тех пор, пока не будут названы все отрасли права РФ. Но, каждая из этих отраслей представляет собой самостоятельную дисциплину с количеством часов намного превосходящих дисциплину «Правоведение» по объему преподавания в высшей школе. А предполагается, что студены, должны освоить их все за 8 лекций. Студенты юристы, например, делают это за 5 лет дневного обучения. А для студента технических специальностей предусмотрено всего 8 лекционных и 4 практических занятия по «Правоведению».

Например, в тестах присутствует такой вопрос:

К поверхностным водоемам не относятся:

В. Болота.

Г. Водохранилища.

Скажите, очень важно знать студентам технических специальностей ответ на этот вопрос? Например, студентам специальностей «Информационные системы и технологии», «Вычислительная техника» - которые по-сути специализируются в компьютерных технологиях. Повторим, эта отрасль знаний не предусмотрена ГОСом. Так как это отрасль юридической науки - Водное право.

Критерий правильного (успешного) выполнения (освоения) всего теста - 8 освоенных (на которые даны правильные ответы) дидактических единиц (ДЕ). Критерий освоения ДЕ - 2 правильно выполненных задания (табл.2). То есть, если студент ответивший правильно на 16 заданий (в каждой теме давший по 2 правильных ответа из 32 возможных, т.е 8х2=16). При этом процент правильно выполненных заданий у него высвечивается 50%. И весь тест для данного студента при этом засчитывается.

Возьмем другой теоретический пример. Студент правильно отвечает на 7 ДЕ полностью, а в 1 ДЕ он допускает 3 ошибки, т.е. фактически правильно отвечает на 29 вопросов из 32 и показывает знания в целом более 90%. При этом считается, что обучающийся не освоил 1ДЕ, а значит весь тест у него в зачет не идет, сам он оценивается как не освоившим всю дисциплину «Правоведение» в целом. К тому же процент правильных ответов на компьютере высвечивается равным 90%. Это абсурд! В жизни, конечно, не всем так везет. Но были случаи в нашей практике, когда студент, набравший 65 % - считался освоившим дисциплину, а студент, набравший 78 % - не освоившим дисциплину. Бывает, конечно, что студент может набрать около 60-70 процентов во всем тесте, но в каждой теме ответить на 2-3 вопроса и тест у него зачтется. Но это скорее везение, исключение из правил, чем оценка его реальных знаний.

Более того, вся группа студентов должна показать процент освоения ДЕ - не менее 50 %. Это значит, что скажем из 20 студентов в группе, минимум 10 должны освоить все ДЕ. Если меньше, то весь тест вообще считается не сданным. Но позвольте, кто-то из студентов ответственно отнесся к решению теста, а кто-то нет. Был случай в нашей практике, когда студент, пришедший на тестирование выполнил его за 5 минут - просто наугад проставив ответы на вопросы теста. А значит, заведомо подставив со своей стороны всю группу. Возможно, он до конца и не понял значение всей этой процедуры. Такие моменты не учитываются, а это не правильно.

Причем в листке по контролю знаний, который выдается на руки преподавателю после завершения тестирования, указываются цифры освоения каждой темы на уровне 80-100%. То есть 80-100% студентов знают все темы. Но они в зачет не идут по вышеуказанной методике. Считаем, что должна быть применена другая методика оценки знаний обучающихся.

Как видно из приведенной таблицы 2 в вопросах тестирования присутствуют такие темы (ДЕ) как: Общая теория права и государства, Основы конституционного права РФ, Основы гражданского права РФ, Основы трудового права РФ, Административное правонарушение и административная ответственность РФ, Основы уголовного права РФ, Основы экологического права РФ, Основы информационного права РФ.

Хочется сразу сказать, что нельзя говорить об основах той или иной отрасли права, если тесты составлены по всей отрасли знаний, по любому вопросу отрасли. Например, такой вопрос: «Дело об административном правонарушении касающееся лишения специального права (например, права охоты или права управления транспортным средством - авт.) должно быть передано судье в течении:

Б. Двух суток.

В. Пяти суток

Г. Десяти суток.

Этот ответ содержится в главе 28 особенной части Административного кодекса РФ « Возбуждение дела об административном правонарушении» (п.1 ст. 28.8). Всего глав в кодексе - тридцать две. То есть фактически в конце его. Этот же вопрос можно отнести к сфере административно-процессуального законодательства РФ. А это, по-сути, другая дисциплина, которая также не входит в ГОС по дисциплине «Правоведение».

В тестах также присутствуют устаревшие вопросы, например «Исправительные работы в качестве наказания за административное правонарушение предусмотрены на срок до ….

А. 15 суток

Б. одного месяца.

В. двух месяцев.

Г. трех месяцев.

Но согласно ст. 37 Конституции РФ принудительный труд запрещен. А исправительные работы по Административному кодексу, вступившему в силу с 1 июля 2002 года (ныне действующему) признаны как раз принудительным трудом, а значит, не применяются, и нет смысла знать вообще ответ на этот вопрос. Ответ на этот вопрос содержался в Кодексе об административных правонарушениях РСФСР, вступившем в силу в 1984 году.

Кроме того, в тестах может и не быть правильного ответа. Например, в вопросе « Смягчающим обстоятельством убийства признается....

А. состояние аффекта.

Б. состояние алкогольного опьянения.

В. совершение убийства в условиях стихийного бедствия или массовых беспорядков.

Г. повторное совершение убийства.

Ответ «В» и «Г» это отягчающие обстоятельства согласно ст. 62 Уголовного кодекса (УК) РФ.

Ответ «Б» вообще не предусмотрен в качестве смягчающего или отягчающего обстоятельства согласно ст. 61 и 62 УК РФ.

А ответ «А» вообще не может применяться смягчающим обстоятельством, так как УК РФ содержит самостоятельные статьи, например ст. 107 «Убийство в состоянии аффекта», ст. 113 « Причинение тяжкого или средней тяжести вреда здоровью в состоянии аффекта» и согласно п.3 ст. 61 УК РФ не может учитываться таковым.

В тестах также присутствует вопрос: «Необходимая оборона относится к обстоятельствам, …

А. исключающим применение наказания.

Б. исключающим уголовную ответственность.

В. предусматривающим наказание.

Г. отягчающим ответственность.»

Согласно главе 8 (ст. 37) УК РФ необходимая оборона относится к обстоятельствам, исключающим преступность деяния. В предлагаемых вариантах ответов такое обстоятельство не содержится. А значит, нет в этом вопросе единственно верного ответа.

Еще один пример «Нормами трудового законодательства не регулируется труд …

А. домохозяек.

Б. в акционерных обществах.

В. в обществах с ограниченной ответственностью.

Г. на частных предприятиях.

Найдите правильный ответ. Домохозяйка - это лицо, ведущее домашнее хозяйство. Но ведь и «домохозяйка» может работать у кого-то (вести домашнее хозяйство) за плату, а это значит, что ее отношения с работодателем попадают под действие трудового законодательства (согласно ст. 15 Трудового кодекса РФ).

К тому же есть вопросы, содержащие два одинаковых ответа, и не понятно какой из них по компьютерной программе подсчитывающей результаты тестирования засчитывается как правильный. Ведь согласно условиям тестирования может быть один правильный ответ.

Есть вопросы, содержащие три ответа вместо четырех как во всех остальных вопросах. Возможно, в них также отсутствует правильный ответ.

Серьезным недостатком (минусом) тестирования можно считать отсутствие в результатах тестирования указания на неверные вопросы. То есть наглядной демонстрации того, в каких вопросах испытуемым были даны верные ответы, а в каких он сделал ошибки. Что это «государственная тайна»? Или боязнь авторов теста критики. Ведь они правильный ответ могут зачесть как неправильный и наоборот.

Формулировки простых понятий нередко усложняются до такой степени, что их невозможно понять даже специалисту.

Есть и вопросы, требующие узкой специализации. Например: «К основаниям освобождения от наказания относится …

А. условно-досрочное освобождение.

Б. привлечение к административной ответственности.

В. отсрочка исполнения приговора.

Г. истечение сроков давности совершения преступления.

Правильным ответом на этот вопрос считается вариант «А». А вот, например, ответ «Г» считается основанием для освобождения от уголовной ответственности. Может ли студент, для которого данная дисциплина является общеобразовательной, точно, без всяких сомнений разбираться, что есть «освобождение от наказания», а что «освобождение от ответственности». Зачастую они считают данные словосочетания одинаковыми. Ни о каких основах уголовного права здесь речи быть не может - это уже юридическая тонкость, в которой нередко путаются даже юристы. Конечно, можно обвинить во всем преподавателя - но не будем забывать, что преподавателю отводится на Уголовное право в рамках дисциплины «Правоведение» меньше одной лекции. А в какое время тогда читать следующие вопросы: «Что такое уголовный закон», «Задачи и принципы уголовного закона», Что такое преступление» и т.д.

Много вопросов возникает по наследственному праву, но оно также не предусмотрено ГОСом.

Кроме того, студентам перед зачетным тестированием было предложено принять участие в репетиционном интернет-тестировании. Это совершенно справедливо. Однако, анализируя репетиционные и контрольные вопросы можно сделать вывод, что подготовительные вопросы несоизмеримо легче, чем зачетные. Более того, репетиционные вопросы не меняются на протяжении ряда лет, контрольные же вопросы меняются практически на 100% от семестра к семестру.

И таких примеров можно привести много.

Хочется сказать, что это только лишь малая часть той необъективности, которая содержится в данных тестах.

Бытует также мнение, что это не проверка напрямую студентов отвечающих на вопросы теста и получающих за это ту или иную оценку, а преподавателя. Например, если студент ответил на 30 процентов теста, то это преподаватель не может научить студента правовым знаниям. Не может квалифицированно дать тот или иной материал. И все беды от преподавателя. Так если уж очень хочется проверить знание преподавателя, его квалификацию, то можно его самого напрямую усадить за компьютер показать те или иные тестовые вопросы и пусть уж преподаватель отвечает на них. И все будет ясно. А не вводить тестирование на протяжении нескольких лет, каждый семестр.

К тому же в зачет не идут такие факторы как: желание студентов обучаться определенной дисциплине, их самостоятельная работа дома по усвоению дисциплины предусмотренная, кстати, учебным планом, их подготовка перед тестированием (т.е. хотя бы знание лекций читаемых преподавателем) и т.д.

Многие из них надеются, что им правовые знания в будущем вообще не нужны, так как они, например, получают квалификацию инженера, строителя, программиста и т.д.

Но, несмотря на все вышеперечисленное, достоинств у компьютерного тестирования все-таки больше. Кроме того, практически все перечисленные недостатки поддаются контролю. Вот только контролировать нужно раньше, чем предлагать на всеобщее обозрение.

В целом хочется отметить, что в настоящее время многие ВУЗы (специалисты) положительно относятся к тестированию как к объективной оценке знаний студентов. Но важно при составлении теста и в методике подсчета результатов самим авторам проводить работу над ошибками. Иначе это объективная оценка качества знаний и образования может перестать быть таковой и сведется просто к потере времени.

Можно с уверенностью предположить, что у компьютерного тестирования большое будущее. С каждым годом будут появляться все новые и новые компьютерные тесты. Значит ли это, что когда-нибудь необходимость участия педагога в процессе тестирования вообще отпадет? Подобное вряд ли возможно. Так как использование компьютера совсем не уменьшает роль человеческого фактора. Компьютерная программа выдает только обобщенные, унифицированные данные, которые необходимо правильно "прочитать" и проанализировать. Тут все зависит от интерпретатора - чтобы понять, о чем говорят полученные результаты, и разглядеть за ними конкретного человека, необходим высокий профессионализм и богатый опыт в области педагогической диагностики.

СПИСОК ЛИТЕРАТУРЫ:

1. Зырянова Н. М. «О плюсах и минусах компьютерного тестирования» // Кадровый менеджмент. № 1(5), февраль 2003 г. www.begin.ru

Библиографическая ссылка

Организовать компьютеризованный сбор и анализ результатов выполнения теста легко, если тест состоит лишь из заданий с выбором ответов. Результаты выполнения заданий с конструируемыми ответами требуют ручной обработки и привлечения экспертов,а следовательно - дополнительных материальных затрат и времени на проверку. Обилие форм в тесте затрудняет работу ученика и значительно усложняет статистическую обработку эмпирических результатов выполнения теста.

К сожалению, требование моноформности не всегда выполнимо, поскольку не все знания и умения ученика можно проверить с помощью моноформного теста. В связи с этим часто приходится идти на совмещение форм, что при прочих равных условиях всегда негативно отражается на точности измерений, обеспечиваемой тестом. Выбор оптимальной формы предтестовых заданий обычно бывает связан со спецификой содержания теста. При этом приходится учитывать достоинства и недостатки каждой из форм (табл. 1) и принимать определенное компромиссное решение в процессе такого выбора.

4. КОМПЬЮТЕРНОЕ ТЕСТИРОВАНИЕ В ОБРАЗОВАНИИ.

4.1. Специфика компьютерного тестирования и его формы

Общие представления о компьютерном тестировании. С начала XXI в, в образовании при проведении тестирования стали широко применяться компьютеры. В педагогических инновациях появилось отдельное направление - компьютерное тестирование, при котором предъявление тестов, оценивание результатов учащихся и выдача им результатов осуществляется с помощью ПК.

Этап генерации тестов технологически может протекать по-разному, в том числе путем ввода в компьютер бланковых тестов. На сегодняшний день по компьютерному тестированию имеются многочисленные публикации, разработаны программно-инструментальные средства для генерации и предъявления тестов.

Когда необходимо обращаться к компьютерному тестированию. Хотя компьютерное тестирование значительно облегчает работу учителя при предъявлении и оценивании результатов выполнения тестов, его распространение во многом не более чем дань моде, все негативные последствия которого до сих пор не выявлены в полной мере. Выбор компьютерного формата экзамена должен основываться на более важных и обоснованных предпосылках, чем просто увлечение инновациями, поскольку он порождает множество проблем и ставит учащихся в неравные условия. Обращаться к компьютерному тестированию следует в тех случаях, когда есть настоятельная потребность в отказе от традиционных бланковых тестов.

Например, компьютерное тестирование необходимо при проведении ЕГЭ в труднодоступных районах России. Сбор выпускников школ отдаленных районов в обозначенное время проведения ЕГЭ становится настолько сложным и дорогостоящим мероприятием, что обойтись без компьютерного тестирования и современных средств коммуникации просто невозможно. Компьютерное тестирование целесообразно также применять при проведении экзаменов для детей с ограниченными возможностями, имеющих серьезные нарушения зрения или слуха. С помощью ПК можно использовать большие по размерам шрифты, аудиозаписи, дополнительные устройства для ввода данных тестирования и другие приспособления, компенсирующие на экзаменах потенциальное отставание детей с ограниченными возможностями.

Формы осуществления компьютерного тестирования. Компьютерное тестирование может проводиться в различных формах, различающихся по технологии объединения заданий в тест. Часть из них пока не получили специального названия в литературе по тестовой проблематике.

Первая форма- самая простая. Готовый тест, стандартизованный или предназначенный для текущего контроля, вводится в специальную оболочку, функции которой могут различаться по степени полноты. Обычно при итоговом тестировании оболочка позволяет предъявлять задания на экране, оценивать результаты их выполнения, формировать матрицу результатов тестирования, обрабатывать ее и шкалировать первичные баллы испытуемых путем перевода в одну из стандартных шкал для выдачи каждому испытуемому тестового балла и протокола его оценок по заданиям теста.

Вторая форма компьютерного тестирования предполагает автоматизированную генерацию вариантов теста, осуществляемую с помощью инструментальных средств. Варианты создаются перед экзаменом или непосредственно во время его проведения из банка калиброванных тестовых заданий с устойчивыми статистическими характеристиками. Калибровка достигается благодаря длительной предварительной работе по формированию банка, параметры заданий которого получают на репрезентативной выборке учащихся, как правило, на протяжении 3 - 4 лет с помощью бланковых тестов. Содержательная валидность и параллельность вариантов обеспечиваются за счет строго регламентированного отбора заданий каждого варианта в соответствии со спецификацией теста.

Третья форма - компьютерное адаптивное тестирование - базируется на специальных адаптивных тестах. В основе идей адаптивности лежат соображения о том, что учащемуся бесполезно давать задания теста, которые он выполнит наверняка правильно без малейших затруднений или гарантированно не справится с ними в силу высокой трудности. Поэтому предлагается оптимизировать трудность заданий, адаптируя ее к уровню подготовленности каждого испытуемого, и сократить за счет исключения части заданий длину теста.

Достоинства и недостатки компьютерного тестирования. Компьютерное тестирование имеет определенные преимущества по сравнению с традиционным бланковым тестированием, которые проявляются особенно заметно при массовых проверках, например при проведении национальных экзаменов типа ЕГЭ, Предъявление вариантов теста на компьютере позволяет сэкономить средства, расходуемые обычно на печать и транспортировку бланковых тестов.

Благодаря компьютерному тестированию можно повысить информационную безопасность и предотвратить рассекречивание теста за счет высокой скорости передачи информации и специальной защиты электронных файлов. Упрощается также процедура подсчета результирующих баллов в тех случаях, когда тест содержит только задания с выбором ответов.

Другие преимущества компьютерного тестирования проявляются в текущем контроле, при самоконтроле и самоподготовке учащихся; благодаря компьютеру можно незамедлительно выдать тестовый балл и принять неотложные меры по коррекции усвоения нового материала на основе анализа протоколов по результатам выполнения корректирующих и диагностических тестов. Возможности педагогического контроля при компьютерном тестировании значительно увеличиваются за счет расширения спектра измеряемых умений и навыков в инновационных типах тестовых заданий, использующих многообразные возможности компьютера при включении аудио- и видеофайлов, интерактивности, динамической динамической постановки проблем с помощью мультимедийных средств и др.

Благодаря компьютерному тестированию повышаются информационные возможности процесса контроля, появляется возможность сбора дополнительных данных о динамике прохождения теста отдельными учащимися и для осуществления дифференциации пропущенных и не достигнутых заданий теста.