Тестовые задания могут быть. Учебное пособие: Виды тестов и формы тестовых заданий. А - знания понятий, определений, терминов

15.03.2020

ВИДЫ ТЕСТОВ И ФОРМЫ ТЕСТОВЫХ ЗАДАНИЙ

1. Основные виды педагогических тестов.

2. Формы тестовых заданий.

3. Эмпирическая проверка и статистическая обработка результатов.

4. Принципы отбора содержания. Критерии оценки содержания теста.

5. Соотношение формы задания и вида проверяемых знаний, умений, навыков.

1. Основные виды педагогических тестов

Существуют два основных вида тестов: традиционные и нетрадиционные.

Тест обладает составом, целостностью и структурой. Он состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность теста означает взаимосвязь заданий, их принадлежность общему измеряемому фактору. Каждое задание теста выполняет отведенную ему роль и потому ни одно из них не может быть изъято из теста без потери качества измерения. Структуру теста образует способ связи заданий между собой. В основном, это так называемая факторная структура, в которой каждое задание связано с другими через общее содержание и общую вариацию тестовых результатов.

Традиционный тест представляет собой единство, по меньшей мере, трех систем:

Формальной системы заданий возрастающей трудности;

Статистических характеристик заданий и результатов испытуемых.

Традиционный педагогический тест нужно рассматривать в двух существенных смыслах: - как метод педагогического измерения и как результат применения теста. Удивительно, что тексты на русском языке тяготеют к смыслу метода, в то время как в большинстве работ западных авторов понятие тест чаще рассматривается в смысле результатов. Между тем, оба эти смысла характеризуют тест с разных сторон, потому что тест надо понимать одновременно и как метод, и как результат педагогического измерения. Одно дополняет другое. Тест, как метод, не мыслится без результатов, подтверждающих качество его самого и качество оценок измерения испытуемых различного уровня подготовленности.

В приведенном выше определении традиционного теста получили развитие несколько идей.

Первая идея - тест рассматривается не как обычная совокупность или набор вопросов, задач и т.п., а в виде понятия "система заданий". Такую систему образует не всякая совокупность, а только та, которая обусловливает возникновение нового интегративного качества, отличающего тест от элементарного набора заданий и от других средств педагогического контроля. Из множества возможных систем наилучшую образует та целостная совокупность, в которой качество теста проявляется в сравнительно большей степени. Отсюда вытекает мысль о выделении первого из двух главных системообразующих факторов - наилучшего состава тестовых заданий, образующих целостность. Исходя из этого, можно дать одно из самых коротких определений: тест - это система заданий, образующих наилучшую методическую целостность. Целостность теста - это устойчивое взаимодействие заданий, образующих тест как развивающуюся систему.

Вторая идея состоит в том, что в данном определении теста совершен отход от укоренившейся традиции рассмотрения теста как простого средства проверки, пробы, испытания. Всякий тест включает в себя элемент испытания, он не сводится весь к нему. Ибо тест - это еще и концепция, содержание, форма, результаты и интерпретация - все, требующее обоснования. Этим подразумевается, что тест является качественным средством педагогического измерения. В соответствии с положениями теории, тестовые оценки не являются точными оценками испытуемых. Правильно говорить, что они лишь репрезентируют эти значения с некоторой точностью.

Третья идея, развиваемая в нашем определении традиционного теста - это включение нового понятия - эффективность теста, который ранее в литературе по тестам не рассматривался в качестве критерия анализа и создания тестов. Ведущая идея традиционного теста - минимумом числом заданий, за короткое время, быстро, качественно и с наименьшими затратами сравнить знания как можно большего числа учащихся.

По существу, этим отражается идея эффективности педагогической деятельности в области контроля знаний. Хотелось бы думать, что против самой этой идеи возражать уже некому и незачем. Если наш учитель может разъяснить учебный материал не хуже своего зарубежного коллеги, то хорошо проверить требуемые знания, у всех учеников, по всему изученному материалу, он не в состоянии из-за господствующей у нас классно-урочной системы занятий, нехватки компьютерной техники, тестов и программ для организации автоматизированного самоконтроля - самой гуманной формы контроля знаний. Не в состоянии он это делать и физически. В силу, мягко скажем, ошибочной социальной политики зарплата наших учителей уже давно не компенсирует затраты даже физической энергии, необходимой для хорошего преподавания, не говоря уже о повышенных затратах энергии интеллектуальной, что способно совершать только раскованное, а не озабоченное поисками хлеба мышление. Как отмечается в литературе, квалифицированный работник получает у нас в три-четыре раза меньше того уровня зарплаты, за границами которого нарушается нормальная жизнедеятельность и начинается разрушение трудового потенциала.

Хотя в литературе имеются сотни примеров определений теста, с которыми либо трудно, либо вообще нельзя согласиться, это совсем не означает, что данное определение традиционного теста - истина в последней инстанции. Как и все остальные понятия, оно нуждается в постоянном улучшении. Просто оно представляется автору пока более аргументированным, чем некоторые другие известные понятия педагогического теста. Впрочем, стремление к улучшению понятий - явление совершенно нормальное и необходимое для нормально развивающейся практики и науки. Конструктивные попытки дать другие определения теста или оспорить уже имеющиеся всегда полезны, но именно этого нам не достает.

К традиционным тестам относятся тесты гомогенные и гетерогенные. Гомогенный тест представляет собой систему заданий возрастающей трудности, специфической формы и определенного содержания - система, создаваемая с целью объективного, качественного, и эффективного метода оценки структуры и измерения уровня подготовленности учащихся по одной учебной дисциплине. Легко видеть, что в своей основе определение гомогенного теста совпадает с определением традиционного теста.

Гомогенные тесты распространены больше других. В педагогике они создаются для контроля знаний по одной учебной дисциплине или по одному разделу такой, например, объемной учебной дисциплины, как физика. В гомогенном педагогическом тесте не допускается использование заданий, выявляющих другие свойства. Наличие последних нарушает требование дисциплинарной чистоты педагогического теста. Ведь каждый тест измеряет что-то заранее определенное.

Например, тест по физике измеряет знания, умения, навыки и представления испытуемых в данной науке. Одна из трудностей такого измерения заключается в том, что физическое знание изрядно сопряжено с математическим. Поэтому в тесте по физике экспертно устанавливается уровень математических знаний, используемых при решении физических заданий. Превышение принятого уровня приводит к смещению результатов; по мере превышения последние все больше начинают зависеть не столько от знания физики, сколько от знания другой науки, математики. Другой важный аспект - стремление некоторых авторов включать в тесты не столько проверку знаний, сколько умение решать физические задачи, вовлекая, тем самым, интеллектуальный компонент в измерение подготовленности по физике.

Гетерогенный тест представляет собой систему заданий возрастающей трудности, специфической формы и определенного содержания - система, создаваемая с целью объективного, качественного, и эффективного метода оценки структуры и измерения уровня подготовленности учащихся по нескольким учебным дисциплинам. Нередко в такие тесты включаются и психологические задания для оценки уровня интеллектуального развития.

Обычно гетерогенные тесты используются для комплексной оценки выпускника школ, оценки личности при приеме на работу и для отбора наиболее подготовленных абитуриентов при приеме в вузы. Поскольку каждый гетерогенный тест состоит из гомогенных тестов, интерпретация результатов тестирования ведется по ответам на задания каждого теста (здесь они называются шкалами) и кроме того, посредством различных методов агрегирования баллов делаются попытки дать общую оценку подготовленности испытуемого.

Напомним, что традиционный тест представляет собой метод диагностики испытуемых, в котором они отвечают на одни задания, в одинаковое время, в одинаковых условиях и с одинаковой оценкой. При такой ориентации задачи определения точного объема и структуры освоенного учебного материала отступают, по необходимости, на задний план. В тест отбирается такое минимально достаточное количество заданий, которое позволяет сравнительно точно определить, образно говоря, не "кто что знает", а "кто знает больше". Интерпретация результатов тестирования ведется преимущественно на языке тестологии, с опорой на среднюю арифметическую, моду или медиану и на так называемые процентильные нормы, показывающие - сколько процентов испытуемых имеют тестовый результат хуже, чем у любого взятого для анализа испытуемого с его тестовым баллом. Такая интерпретация называется нормативно-ориентированной. Здесь вывод достраивается рейтингом: задания ответы выводы о знаниях испытуемого рейтинг, понимаемый как вывод о месте или ранге испытуемого.

Интегративные тесты. Интегративным можно назвать тест, состоящий из системы заданий, отвечающих требованиям интегративного содержания, тестовой формы, возрастающей трудности заданий, нацеленных на обобщенную итоговую диагностику подготовленности выпускника образовательного учреждения. Диагностика проводится посредством предъявления таких заданий, правильные ответы на которые требуют интегрированных (обобщенных, явно взаимосвязанных) знаний двух и большего числа учебных дисциплин. Создание таких тестов дается только тем преподавателям, которые владеют знаниями ряда учебных дисциплин, понимают важную роль межпредметных связей в обучении, способны создавать задания, правильные ответы на которые требуют от учащихся знаний различных дисциплин и умений применять такие знания.

Интегративному тестированию предшествует организация интегративного обучения. К сожалению, существующая сейчас классно-урочная форма проведения занятия, в сочетании с чрезмерным дроблением учебных дисциплин, вместе с традицией преподавания отдельных дисциплин (а не обобщенных курсов), ещё долго будут тормозить внедрение интегративного подхода в процессы обучения и контроля подготовленности. Преимущество интегративных тестов перед гетерогенными заключается в большей содержательной информативности каждого задания и в меньшем числе самих заданий. Потребность создания интегративных тестов возрастает по мере повышения уровня образования и числа изучаемых учебных дисциплин. Поэтому попытки создания таких тестов отмечаются, в основном, в высшей школе. Особенно полезны интегративные тесты для повышения объективности и эффективности проведения итоговой государственной аттестации учащихся и студентов.

Методика создания интегративных тестов сходна с методикой создания традиционных тестов, за исключением работы по определению содержания заданий. Для отбора содержания интегративных тестов использование экспертных методов является обязательным. Это связано с тем, что только эксперты могут определить адекватность содержания заданий целям теста. Но, прежде всего, самим экспертам важно будет определиться с целями образования и изучения тех или иных образовательных программ, а затем и договориться между собой по принципиальным вопросам, оставив для экспертизы лишь вариации в понимании степени значимости отдельных элементов в общей структуре подготовленности. Согласованный, по принципиальным вопросам, отобранный состав экспертов в зарубежной литературе нередко панелью. Или учитывая различия в смысле последнего слова, в русском языке, такой состав можно назвать представительной экспертной группой. Группа подбирается так, чтобы адекватно представлять подход, используемый при создании соответствующего теста.

Адаптивные тесты. Целесообразность адаптивного контроля вытекает из необходимости рационализации традиционного тестирования. Каждый учитель понимает, что хорошо подготовленному ученику нет необходимости давать легкие и очень легкие задания. Потому что слишком высока вероятность правильного решения. К тому же, легкие материалы не обладают заметным развивающим потенциалом. Симметрично, из-за высокой вероятности неправильного решения нет смысла давать трудные задания слабому ученику. Известно, что трудные и очень трудные задания снижают учебную мотивацию многих учащихся. Нужно было найти сопоставимую, в одной шкале, меру трудности заданий и меру уровня знаний. Эта мера была найдена в теории педагогических измерений. Датский математик Г. Раск назвал эту меру словом "логит". После появления компьютеров эта мера легла в основу методики адаптивного контроля знаний, где используются способы регулирования трудности и числа предъявляемых заданий, в зависимости от ответа учеников. При успешном ответе следующее задание ЭВМ подбирает более трудным, при неуспешном - легким. Естественно, этот алгоритм требует предварительного опробования всех заданий, определения их меры трудности, а также создания банка заданий и специальной программы.

Использование заданий, соответствующих уровню подготовленности, существенно повышает точность измерений и минимизирует время индивидуального тестирования до, примерно, 5 - 10 минут Адаптивное тестирование позволяет обеспечить компьютерную выдачу заданий на оптимальном, примерно 50%-ом уровне вероятности правильного ответа, для каждого ученика.

В западной литературе выделяется три варианта адаптивного тестирования. Первый называется пирамидальным тестированием. При отсутствии предварительных оценок всем испытуемым дается задание средней трудности и уже затем, в зависимости от ответа, каждому испытуемому дается задание легче или труднее; на каждом шаге полезно использовать правило деления шкалы трудности пополам. При втором варианте контроль начинается с любого желаемого, испытуемым, уровня трудности, с постепенным приближением к реальному уровню знаний. Третий вариант - когда тестирование проводится посредством банка заданий, разделенных по уровням трудности.

Таким образом, адаптивный тест представляет собой вариант автоматизированной системы тестирования, в которой заранее известны параметрами трудности и дифференцирующей способности каждого задания. Эта система создана в виде компьютерного банка заданий, упорядоченных в соответствии с интересующими характеристиками заданий. Самая главная характеристика заданий адаптивного теста - это уровень их трудности, полученный опытным путем, что означает: прежде чем попасть в банк, каждое задание проходит эмпирическую апробацию на достаточно большом числе типичных учащихся интересующего контингента. Слова "интересующего контингента" призвано представлять здесь смысл известного в науке понятия более строгого понятия "генеральная совокупность".

Распространенная у нас образовательная модель адаптивной школы Е.А. Ямбурга, исходит, по существу, из общих идей адаптивного обучения и адаптивного контроля знаний. Истоки такого подхода можно проследить с момента возникновения педагогических трудов Коменского, Песталоцци и Дистервега, которых объединяют идеи природосообразности и гуманности обучения. В центре их педагогических систем был Ученик. Например, в малоизвестной у нас работе А. Дистервега "Дидактические правила" можно прочитать такие слова: "Преподавай сообразно природе... Учи без пробелов... Начинай преподавание с того, на чем остановился ученик... Прежде чем приступить к преподаванию, нужно исследовать точку исхода... Без знания того, на чем остановился ученик, невозможно порядочно обучить его". Недостаточная информированность о реальном уровне знаний учеников и естественные различия в их способностях усвоить предлагаемые знания стали главной причиной появления адаптивных систем, основанных на принципе индивидуализации обучения. Этот принцип трудно реализуем в традиционной, классно-урочной форме.

До появления первых компьютеров наиболее известной системой, близкой к адаптивному обучению, была так называемая "Система полного усвоения знаний".

Критериально-ориентированные тесты. При критериально-ориентированном подходе создаются тесты для сопоставления учебных достижений каждого ученика с планируемым к усвоению объемом знаний, умений или навыков. В этом случае в качестве интерпретационной системы отсчета используется конкретная область содержания, а не та или иная выборка учеников. При этом упор делается на то, что может выполнить ученик и что он знает, а не на то, как он выглядит на фоне других.

Есть свои трудности и при критериально-ориентированном подходе. Как правило, они связаны с отбором содержания теста. В рамках критериально-ориентированного подхода в тесте стараются отразить все содержание контролируемого курса или, по крайней мере, то, что можно принять за этот полный объем. Процент правильного выполнения заданий рассматривают как уровень подготовки или как степень овладения общим объемом содержания курса. Конечно, в рамках критериально-ориентированного подхода для последней интерпретации есть все основания, так как тест включает все то, что можно условно принять за 100%.

Критериально-ориентированные тесты закрывают довольно широкий спектр задач. В частности, они помогают собрать полную и объективную информацию об учебных достижениях каждого учащегося в отдельности и группы учеников; сравнить знания, умения и навыки ученика с требованиями, заложенными в государственных образовательных стандартах; отобрать учеников, достигших планируемого уровня подготовленности; оценить эффективность профессиональной деятельности отдельных преподавателей и групп преподавателей; оценить эффективность различных программ обучения.

Акцент на содержательном подходе может оказать благотворное влияние на педагогическое тестирование в целом. От такого подхода выигрывает, например, интерпретация тестовых баллов при текущем контроле. Ученик получает информацию не о том, как он выглядит на фоне других, а о том, что он может делать и что знает по сравнению с заданными требованиями к уровню подготовки по предмету. Разумеется, такая интерпретация не исключает сочетания с отнесением результатов к нормам, что, как правило, происходит при текущем контроле знаний учеников в повседневном учебном процессе. В этом случае тестирование интегрировано с обучением и помогает учащемуся выявить возможные затруднения, а также своевременно исправить ошибки в усвоении содержания учебного материала.

В ходе рассуждения учащегося цепочка прервалась (несоответствие понятия или пояснения), то количество существенных операций определяется до разрыва логической цепочки. Особенность составления тестовых заданий этого уровня усвоения заключается в том, что практически невозможно создать однозначный эталон. Эталон может быть создан в виде схемы решения проблемы. Пример: логическая цепочка. ...

По наиболее часто встречающейся в отечественной и зарубежной литературе классификации предтестовых заданий выделяют :

Задания с выбором, в которых студенты выбирают правильный ответ из данного набора ответов;

Задания с конструируемым ответом, требующие от студента самостоятельного получения ответов;

Задания на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств;

Задания на установление правильной последовательности, в которых от студента требуется указать порядок элементов, действий или процессов, перечисленных в условии.

Предложенные четыре формы тестовых заданий являются основными и наиболее распространенными, но абсолютизировать их нет никаких оснований. Часто специфика содержания контролируемого предмета требует использования новых форм, более адекватных целям разработки тестов. Обычно такие инновации строятся на основе сочетания отдельных элементов перечисленных основных форм.

Вне зависимости от формы задания в тесте должны подчиняться общим требованиям:

Каждое задание имеет свой порядковый номер, который может изменяться после статистической оценки трудности задания и выбора стратегии предъявления заданий теста;

Каждое задание имеет эталон правильного ответа (эталон оценивания для заданий со свободно конструируемым ответом);

Все элементы в задании располагаются на четко определенных местах, фиксированных в рамках выбранной формы;

Для заданий разрабатывается стандартная инструкция по выполнению, которая не меняется в рамках каждой формы и предваряет формулировку заданий в тесте;

Для каждого задания разрабатывается правило выставления дихотомической или политомической оценки, общее для всех заданий одной формы и сопровождающееся инструкцией по проверке со стандартизованными процедурами подсчета сырых (первичных) баллов по тесту.

Процесс тестовых измерений предельно стандартизируется, если:

Ни одному студенту не дается никаких преимуществ перед другими;

Заранее разработанная система подсчета баллов применяется ко всем ответам студентов без исключения;

В тест включены задания одной формы либо разных форм с регламентированными весовыми коэффициентами, значения которых получены статистическим путем;

Тестирование различных групп испытуемых проводится в одинаковое время в сходных условиях;

Группа тестируемых выровнена по мотивации;

Все испытуемые выполняют одни и те же задания.

Последнее условие не исключает возможности списывания, подсказки и других нарушений, поэтому обычно стараются создать несколько параллельных по содержанию и трудности вариантов одного теста. В целом выбор формы заданий и число вариантов теста зависят от содержания контролируемого курса, целей контроля, требуемого уровня надежности теста. В частности, при аттестации стараются включить больше заданий с выбором ответа, поскольку они в силу высокой технологичности и благодаря автоматизированным процедурам проверки позволяют увеличить охваченный в тесте объем содержания, длину теста, надежность и содержательную валидность результатов педагогических измерений.

5.2. Задания с выбором одного или нескольких правильных ответов

В заданиях с выбором (или закрытые задания – название, используемое в некоторой отечественной литературе методического характера) можно выделить основную часть, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем. Среди ответов правильным чаще всего бывает только один, хотя не исключаются и другие варианты с выбором нескольких правильных, в том числе и в разной степени, ответов.

Неправильные, но правдоподобные ответы называются дистракторами. Если в задании два ответа, один из которых дистрактор, то вероятность случайного выбора правильного ответа путем угадывания равна 50%. Число дистракторов выбирают таким, чтобы задание не стало слишком громоздким и трудно читаемым, но вместе с тем стараются не допустить слишком большой вероятности угадывания правильного ответа. Поэтому чаще всего в заданиях бывает 4 или 5 дистракторов, хотя в отдельных случаях, когда есть такая необходимость, их число может достигать 6–7.

Задания с двумя ответами обычно используют для экспресс-диагностики, например в автоматизированных контрольно-обучающих программах для входа в обучающий модуль, при адаптивном тестировании или для самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в собственных знаниях. Использование заданий с двумя и тремя ответами в итоговом контроле приводит к росту ошибки измерения из-за угадывания, поэтому их никогда не включают в аттестационные тесты, куда для большей надежности помещают все задания с одинаковым числом ответов.

Если дистракторы сформулированы некорректно, без малейшей привлекательности даже для самых слабых испытуемых группы, то они перестают выполнять свою функцию, и на деле получается задание не с запланированным, а с меньшим числом ответов. В самом плохом случае, когда все дистракторы в задании не работают, большинство студентов выполнит задание верно, выбрав единственный правдоподобный правильный ответ. В идеале каждый дистрактор должен в равной мере привлекать всех испытуемых, выбирающих неправильный ответ. Мера привлекательности дистракторов оценивается после первой апробации теста на репрезентативной выборке испытуемых с помощью подсчета долей студентов, выбравших каждый из дистракторов в качестве правильного ответа. Конечно, точное равенство долей является определенной идеализацией, практически недостижимой при эмпирической проверке, но тем не менее, создавая задания, к этому равенству нужно стремиться.

Углубленный анализ частоты выбора каждого дистрактора студентами с различным уровнем подготовленности позволяет сделать вывод о валидности неправильных ответов. Если дистрактор чаще привлекает слабых студентов, выполнивших верно незначительное число заданий в тесте, то он считается валидным. В противном случае, когда дистрактор кажется привлекательным в основном сильным студентам, его валидность невысока, и задание подлежит переработке. В целом можно сказать, что тестовое задание считается «хорошо работающим», если знающие студенты выполняют его правильно, а незнающие выбирают любой из дистракторов с равной вероятностью.

Если тестирование проводится с помощью бланков, то задания с выбором одного правильного ответа сопровождаются инструкцией: «ОБВЕДИТЕ НОМЕР (БУКВУ) ПРАВИЛЬНОГО ОТВЕТА».

Задания с несколькими правильными ответами обычно используют в текущем контроле для проверки классификационных и фактуальных знаний, хотя встречаются случаи, когда специфика содержания дисциплины вынуждает включать их в итоговые тесты. Они сопровождаются специальной инструкцией, подчеркивающей необходимость выбора всех правильных ответов и имеющей вид: «ОБВЕДИТЕ НОМЕРА ВСЕХ ПРАВИЛЬНЫХ ОТВЕТОВ».

Когда дистракторов слишком мало, а правильных ответов намного больше, то их легко угадать. В качестве выхода из подобной ситуации можно включить в число ответов только один неправильный, а студентов попросить выбрать один ошибочный ответ, если это не противоречит дидактическим целям контроля и допускается содержанием предмета. В этом случае инструкция имеет вид: «ОБВЕДИТЕ НОМЕР НЕПРАВИЛЬНОГО ОТВЕТА».

Иногда по замыслу автора при разработке задания закладываются несколько правильных ответов, среди которых есть более правильный и менее предпочтительный. В этом случае задание сопровождается инструкцией: «ОБВЕДИТЕ НОМЕР НАИБОЛЕЕ ПРАВИЛЬНОГО ОТВЕТА».

При компьютерной выдаче заданий инструкция может иметь вид: «ДЛЯ ОТВЕТА НАЖМИТЕ КЛАВИШУ С НОМЕРОМ (БУКВОЙ) ПРАВИЛЬНОГО ОТВЕТА».

Обычно если все задания сформулированы в одной форме, то инструкция приводится в начале теста. В противном случае, когда в тест включены задания разных форм, инструкция меняется при каждом изменении формы. Легко представить, насколько осложнит выполнение теста чередование инструкций на выбор правильного и неправильного ответов. Невнимательные студенты, не умеющие концентрировать внимание на изменяющейся инструкции, неизбежно запутаются и выполнят часть заданий неправильно даже в том случае, когда они наверняка знают верный ответ. Поэтому в тесте рекомендуется менять инструкцию как можно реже – ровно столько раз, сколько требует стратегия предъявления заданий теста.

Задания с выбором имеют ряд преимуществ, связанных с быстротой их выполнения, простотой подсчета итоговых баллов по тесту, возможностью автоматизации процедур проверки ответов студентов и вытекающей отсюда минимизацией субъективного фактора при оценивании результатов выполнения теста. С их помощью можно более полно охватить содержание проверяемой учебной дисциплины и, следовательно, повысить содержательную валидность теста. Несомненным достоинством формы заданий с выбором является ее универсальность, она годится практически для любого предмета.

К числу недостатков заданий с выбором следует отнести эффект угадывания, характерный для слабо подготовленных испытуемых при ответах на наиболее трудные задания теста. Хотя возможность угадывания действительно существует, тестологи с ним научились бороться, используя различные методы. Иногда вводят специальные инструкции, ориентирующие испытуемых на пропуск незнакомого задания вместо ответа путем догадки. В других случаях добавляют специальные весовые коэффициенты, близкие к нулю, в подсчете баллов слабых студентов, полученных по наиболее трудным заданиям теста. Иногда применяют специальную формулу для коррекции индивидуальных баллов с поправкой на догадку. Последний метод и поясняющая его формула приводятся в конце этой главы.

Определенные трудности возникают при использовании заданий с выбором для проверки умений продуктивного уровня, связанных с применением знаний в незнакомой ситуации, творческими аспектами подготовки и случаями, когда требуется преобразование условий поставленной перед студентами задачи. Тогда задания с выбором готовых ответов использовать чаще всего невозможно. В случае массового аттестационного тестирования, когда необходимо привлечь эффективные компьютеризованные технологии для подсчета баллов испытуемых и получить высокую объективность результатов педагогического измерения, достоинства заданий с выбором явно перевешивают недостатки. Поэтому такая форма нередко доминирует при разработке итоговых аттестационных тестов.

Задания с выбором ответа должны удовлетворять ряду требований, выполнение которых позволяет повысить качество теста:

В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;

Основная часть задания формулируется предельно кратко, желательно не более одного предложения из 7–8 слов;

Синтаксическая конструкция задания предельно упрощается без ущерба для корректности содержания и однозначного его понимания учащимися;

В основную часть задания включают большую часть условия задания, а для ответа оставляют не более 2–3 наиболее важных ключевых слов для сформулированной в условии проблемы;

Все ответы к одному заданию должны быть приблизительно одной длины либо правильный ответ может быть короче других, но не во всех заданиях теста;

Из текста задания исключаются все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;

Частота выбора номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова либо номер места для правильного ответа выбирается случайным образом;

Все дистракторы к каждому заданию должны быть равновероятно привлекательными для испытуемых, не знающих правильного ответа.

При разработке заданий необходимо обеспечить их относительную независимость, исключающую цепочную логику выполнения, когда ответ из одного задания служит условием для другого задания теста. Тесты учебных достижений не могут содержать задания-ловушки, присутствующие в психологических тестах.

Проще всего подбирать дистракторы в заданиях с двумя ответами посредством отрицания того, что является верным. Однако не рекомендуется вместо дистракторов использовать слова «да – нет», поскольку в противном случае довольно трудно сформулировать утверждения, на которые можно дать недвусмысленный ответ.

ПРИМЕРЫ ЗАДАНИЙ

Задание 1

ЕСЛИ ВЫЧИТАЕМОЕ УВЕЛИЧИЛИ НА 12 ЕДИНИЦ, А РАЗНОСТЬ ТАКЖЕ УВЕЛИЧИЛАСЬ НА 15 ЕДИНИЦ, ТО УМЕНЬШАЕМОЕ

А. Увеличилось

Б. Уменьшилось

Задания с тремя ответами, также как и с двумя ответами, обычно используют в экспресс-диагностике. Иногда три ответа появляются вследствие удаления неработающих дистракторов. В целом их можно считать неудачными, поскольку они недостаточно кратки, и вместе с тем в них высока вероятность угадывания правильного ответа.

Задание 2

ВЫСОКИЕ ТЕМПЫ УРБАНИЗАЦИИ В ЛАТИНСКОЙ АМЕРИКЕ СВЯЗАНЫ С

A. Быстрым экономическим ростом

Б. Усилением роли крупных городов

B. Массовой миграцией населения из деревень в города

В большинстве тестов встречаются задания с 4–5 ответами, из которых один верный. При умелой разработке они достаточно краткие, и в них невысока вероятность угадывания правильного ответа (0,25 при четырех ответах и 0,20 при пяти).

Задание 3

ПРЕДПОЛОЖЕНИЕ О ТОМ, ЧТО ДЕНЬГИ ЯВЛЯЮТСЯ СПЕЦИФИЧЕСКИМ ТОВАРОМ, СООТВЕТСТВУЕТ ТЕОРИИ ДЕНЕГ

A. Номиналистической

Б. Металлической

B. Количественной

Г. Трудовой

Задание 4

КАКАЯ СТРУКТУРА ПРЕДСТАВЛЯЕТ СОБОЙ РЕШЕТЧАТУЮ ОРГАНИЗАЦИЮ, ПОСТРОЕННУЮ НА ПРИНЦИПЕ ДВОЙНОГО ПОДЧИНЕНИЯ ИСПОЛНИТЕЛЕЙ?

A. Проектная

Б. Системная

B. Матричная

Г. Функциональная

Д. Географическая

Задание 5

ФУНКЦИЮ МЕРЫ СТОИМОСТИ ВЫПОЛНЯЮТ:

A. Металлические деньги

Б. Идеальные деньги

B. Реальные деньги

Г. Мысленно представляемые деньги

Д. Кредитные деньги

Иногда задание с выбором имеет двойную структуру, предлагая набор высказываний или положений, которые оцениваются путем сопоставления с предлагаемыми ответами. Например, в задании 6 высказывания, характеризующие понятие «Управление», должны сопоставляться с различными вариантами их истинности.

Задание 6

КАКИЕ ВЫСКАЗЫВАНИЯ ДАЮТ ХАРАКТЕРИСТИКУ ПОНЯТИЯ «УПРАВЛЕНИЕ»?

1. Процесс распределения и движения ресурсов в организации с заранее заданной целью, по заранее разработанному плану и с непрерывным контролем результатов деятельности.

2. Совокупность методов, принципов, средств и форм управления организациями с целью повышения эффективности деятельности.

A. Только первое

Б. Только второе

B. Ни первое, ни второе

Несмотря на кажущуюся привлекательность, в содержательном плане задание 6 неудачно сформулировано, поскольку может привести к неоднозначной трактовке ответов студентов. Выбор двух ответов А и Б равносилен выбору ответа Г, хотя ответы к заданию всегда должны обладать свойством относительной независимости и, образно говоря, отрицать друг друга.

Другой пример модификации формы задания с выбором ответов приводится в задании 7, где выбранный ответ предлагается мысленно подставить на место прочерка в основной части.

Задание 7

МЕНЕДЖМЕНТ – ЭТО КООРДИНАЦИЯ _________ РЕСУРСОВ С ЦЕЛЬЮ РЕШЕНИЯ ПОСТАВЛЕННЫХ УПРАВЛЕНЧЕСКИХ ЗАДАЧ.

A. Информационных

Б. Людских

B. Временных

Г. Материальных

Даже в условиях хорошо организованного процесса тестирования один вариант теста невозможно применять из-за списывания, подсказок и других подобных нежелательных эффектов. Поэтому всегда приходится разрабатывать 5–8 параллельных вариантов теста, для которых можно использовать фасетные задания. Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста. Каждый испытуемый получает из фасета только один вариант задания. При этом все испытуемые группы выполняют однотипные задания, но с разными элементами фасета и, соответственно, с разными ответами. Таким образом, решаются одновременно две задачи: устраняется возможность списывания и обеспечивается параллельность вариантов тестов. Например, в задании 8 содержатся два задания теста, получаемые для каждого из городов, приведенных в фигурных скобках.

Задание 8

К ДВОРЦОВЫМ КОМПЛЕКСАМ ОКРЕСТНОСТЕЙ

{Москвы

Санкт–Петербурга}

ОТНОСЯТСЯ:

1) Павловск, Ораниенбаум

2) Архангельское, Царицыно

3) Петергоф, Гатчина

4) Царское Село, Стрельня

В задании 9 автор предлагает выбрать тот элемент, который не имеет отношения к предмету экономической теории, что не вполне оправданно дидактическими целями контроля, но в данном случае допускается содержанием предмета.

Задание 9

ПОЛОЖЕНИЯ, НЕ ИМЕЮЩИЕ ОТНОШЕНИЕ К ПРЕДМЕТУ ЭКОНОМИЧЕСКОЙ ТЕОРИИ

A. Экономическое благо

Б. Неограниченность ресурсов

B. Максимизация удовлетворения потребностей Г. Эффективное использование ресурсов

Д. Правовые отношения

Такие задания, а также задания с несколькими правильными ответами, как в задании 10, обычно стараются не включать в аттестационные тесты, результаты которых используются для принятия административно-управленческих решений в образовании.

Задание 10

УКАЖИТЕ ТРИ ИНТЕГРАЛЬНЫХ ПАРАМЕТРА СРЕДЫ, ВЛИЯЮЩИЕ НА ФУНКЦИЮ ПРИНЯТИЯ РЕШЕНИЯ

A. Неопределенность

Б. Сложность

B. Динамичность

Г. Определенность

Д. Ограниченность

Появление частично правильных ответов студентов, возникающих при выборе не всех запланированных верных ответов в каждом таком задании теста, приводит к снижению объективности и сопоставимости тестовых баллов. Если избежать нескольких правильных ответов невозможно, то для повышения стандартизации оценочных процедур вводят определенное решающее правило. Например, если испытуемый выбирает все правильные ответы, то он получает 1 балл, во всех других случаях – 0 баллов.

При подсчете результатов выполнения заданий с выбором одного правильного ответа обычно предпочитают дихотомическую оценку. За правильное выполнение задания испытуемый получает 1 балл, а за неправильный ответ или пропуск – 0. Суммирование всех единиц позволяет вычислить индивидуальный (первичный или сырой) балл испытуемого, который в случае дихотомической оценки просто равен количеству правильно выполненных заданий в тесте. Если правильный ответ не единственный, то чаще всего используется политомическая оценка, которую устанавливают пропорционально числу правильно выбранных ответов.

Если тест состоит из заданий с выбором, то индивидуальные баллы испытуемых будут существенно искажены эффектом случайного угадывания ответов. Поэтому сырые баллы стараются скорректировать, вводя поправки на догадку. Формула коррекции баллов, полученных в результате выполнения заданий с ответами, из которых только один верный, имеет вид

X" i = X i – [W i / (k – 1)]

где i – номер любого испытуемого группы; X" i - скорректированный балл i -го испытуемого; X i - тестовый балл до коррекции; W i – число невыполненных (неправильно выполненных, пропущенных и недостигнутых) заданий теста, а X + W i = n , где n - число заданий в тесте.

При выполнении заданий с двумя ответами k – 1 = 1, поэтому для каждого испытуемого вычисляется разность между числом правильно выполненных и невыполненных им заданий теста. С увеличением количества дистракторов к заданию число вычитаемых баллов уменьшается, что вполне естественно, так как чем больше дистракторов, тем труднее угадать правильный ответ.

Сама по себе формула коррекции обладает определенными недостатками, снижающими точность тестовых измерений. Это связано с тем, что в основу ее построения положен ряд искусственных предположений, нередко не согласующихся с реальной процедурой выполнения теста. В частности, далеко не в полной мере выполняется предположение о том, что все неправильные ответы являются следствием случайного угадывания. Столь же условно другое предположение об одинаковой вероятности выбора каждого ответа задания теста.

В процессе создания заданий отдельные требования к форме неосознанно нарушаются. Как правило, это бывает связано с тем, что все внимание разработчика поглощено содержанием, а не формой. Нарушение отдельных требований порождает ряд характерных недостатков, возникающих даже у опытных авторов в процессе работы над заданиями теста. К числу наиболее распространенных недостатков предтестовых заданий можно отнести:

Отсутствие логической корректности в формулировках заданий теста, приводящее к незапланированным правильным ответам;

Нарушение правильных пропорций в форме задания, когда ответы намного длиннее основной части задания;

Нарушение требования краткости, вызванное включением лишних слов или представлением в тестовой форме того содержания, которое не годится для проверки с помощью теста;

Выбор ответов по разным основаниям;

Просчеты разработчиков заданий, способствующие угадыванию правильных ответов без выполнения заданий теста.

Например, неудачным можно считать задание 11, в котором приведена короткая основная часть и длинные ответы в силу того, что разработчик явно напрасно переставил их местами. Если само определение кругооборота капитала, данное на втором месте под буквой «Б», поместить в начало задания, то ответы могут состоять только из одного или нескольких слов.

Задание 11

КРУГООБОРОТ КАПИТАЛА – ЭТО

A. Непрерывное и последовательное движение денежного капитала

Б. Последовательное превращение капитала из одной функциональной формы в другую

B. Возвращение авансированной стоимости

Г. Функционирование товарного капитала

Неудачно подобраны ответы в задании 12, если рассматривать их безотносительно к содержательным просчетам автора. Если первые три ответа сравнивают между собой объем выпуска продукции монополиста и конкуренцию, то четвертый нацелен на установление причинной связи между объектами.

Задание 12

ОБЪЕМ ВЫПУСКА ПРОДУКЦИИ МОНОПОЛИСТА ПО СРАВНЕНИЮ С СОВЕРШЕННОЙ КОНКУРЕНЦИЕЙ БУДЕТ

Б. Меньше

B. Такой же

Г. Зависит от конъюнктуры рынка

Отсутствует содержательная и логическая корректность в задании 13, где из восьми приведенных параметров в ответах используются только пять.

Задание 13

КАКИЕ ДВА ПАРАМЕТРА НЕ ИСПОЛЬЗУЮТСЯ ДЛЯ АНАЛИЗА ОТЛИЧИЙ КУЛЬТУР СТРАН ДРУГ ОТ ДРУГА?

1. Взаимоотношение человека и окружающей среды

2. Оценка времени

3. Природа людей

4. Манера общения

5. Оценка степени активности

6. Свобода доступа информации

7. Взаимоотношение людей

8. Отношение к обладанию пространством

A. Четвертый и шестой

Б. Третий и шестой

B. Третий и пятый

Г. Четвертый и седьмой

Задание 14

A. Чутко реагирует на изменение внешней среды и изменяется в соответствии с ними

Б. Воспринимает из внешней среды все новые тенденции и обязательно применяет их в своей деятельности

B. Открыта для любых нововведений, необходимых собственнику

Г. Чутко реагирует на поведение конкурентов и воспринимает наиболее эффективные принципы решения управленческих задач

Задание 15, хотя и выглядит довольно громоздко, выгодно отличается от большинства приведенных выше примеров, поскольку содержит постановку проблемы, а не нацелено, как чаще всего бывает, на проверку фактологического или понятийного материала.

Задание 15

КАК БУДЕТ ВЫГЛЯДЕТЬ ЦЕЛЕВАЯ ФУНКЦИЯ В МАТЕМАТИЧЕСКОЙ МОДЕЛИ ПРОЦЕССА УПРАВЛЕНИЯ ПРИМЕНИТЕЛЬНО К СЛЕДУЮЩЕЙ ЗАДАЧЕ:

Фирма производит два напитка: «Тоник» и «Тархун». Объем производства ограничен количеством вспомогательных добавок и производственной мощностью. Производство 1 л «Тоника» занимает 0,02 часа работы оборудования, производство 1 л «Тархуна» занимает 0,04 часа. Расход вспомогательных добавок 0,01 кг/л у «Тоника» и 0,04 кг/л у «Тархуна». Ежедневный ресурс времени работы оборудования 24 часа. Ресурс вспомогательных добавок 16 кг в сутки. Прибыль от реализации 1 л «Тоника» 0,1 р/л, а у «Тархуна» – 0,3 р/л.

Сколько продукции «Тоник» и «Тархун» нужно производить ежедневно с целью максимизации ежедневной прибыли?

A. 0,01 х 1 + 0,04 х 2 > max

Б. 0,02 х 1 + 0,03 х 2 > max

B. 0,02 х 1 + 0,04 х 2 > max

Г. 0,03 х 1 + 0,01 х 2 > max

5.3. Задания с конструируемым ответом

В заданиях с конструируемым ответом (встречаются также названия: задания на дополнение, открытые задания) готовые ответы не даются, их должен придумать или получить сам студент. Задания с конструируемым ответом бывают двух видов, один из которых предполагает получение испытуемым строго регламентированных по содержанию и форме представления правильных ответов. Второй – задания со свободно конструируемыми ответами, в которых испытуемые составляют развернутые ответы, произвольные по содержанию и форме представления и включающие полное решение задачи с пояснениями, микросочинения (эссе) и т.д.

Задания с конструируемыми ответами кажутся студентам более трудными, так как в них исключается догадка. Действительно, легче выбрать правильный ответ из предложенных, основываясь иногда не столько на знаниях, сколько на интуиции, чем самому его сформулировать или найти в процессе решения поставленных проблем. Но именно это свойство исключительно привлекательно для педагогов, особенно для тех, кто привык в своей работе опираться на традиционные средства контроля и не доверяет тестам.

В заданиях первого вида обычно ответ бывает достаточно кратким: в виде слова, числа, формулы, символа и т.д. Для разработки заданий с конструируемым регламентированным ответом необходимо мысленно сформулировать вопрос, затем записать четкий и краткий ответ, в котором на месте ключевого слова, символа или числа ставится прочерк. В силу однозначности правильного ответа проверка результатов выполнения заданий с конструируемым регламентированным ответом носит довольно объективный характер, ее осуществляют в компьютерной форме с последующей перепроверкой всех неправильных ответов студентов экспертным путем. Ответы на задания приводятся на месте прочерка или заносятся студентами в специальный бланк.

Например: Впишите правильный ответ.

Задание 1

Определение конечных показателей, которые должны быть достигнуты, и соответствующих средств, необходимых для получения определенных конечных результатов, включает в себя функции ___________________ .

Задание 2

Форма влияния, предполагающая маскировку настоящих намерений и целей – _______________.

При выполнении заданий с конструируемым регламентированным ответом нередко появляются частично правильные и правильные в разной степени ответы. Дописывая ответ на месте прочерка, испытуемый может предложить синонимы пропущенного запланированного разработчиком слова или изменить порядок следования элементов в пропущенной формуле, что значительно затрудняет автоматизированную проверку и оценку результатов тестируемых. По этим причинам в процессе проверки нередко приходится разрабатывать дополнительные соглашения об оценках для частично правильных ответов.

Задания с конструируемыми регламентированными ответами должны удовлетворять ряду требований:

Каждое задание необходимо нацелить только на одно дополняемое слово, символ и т.д., место для которого рекомендуется обозначить прочерком или точками;

Прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;

Все прочерки в заданиях для одного теста рекомендуется делать равной длины;

Место для ответа лучше отводить в конце задания или как можно ближе к концу;

После прочерка, если это возможно, указываются единицы измерения;

Текст задания должен обладать предельно простой синтаксической конструкцией и содержать минимальное количество информации, необходимое для правильного выполнения задания.

Задания второго вида со свободно конструируемым ответом не имеют никаких ограничений по содержанию и форме представления ответов. За отпущенное время тестируемый может писать что угодно и как угодно на специальных бланках для ответов. Несомненно, такие условия выполнения во многом близки к традиционным письменным работам, и потому задания со свободно конструируемым ответом воспринимаются положительно абсолютным большинством педагогов. Они интересны и разнообразны в содержательном плане.

Разработка заданий второго типа неоправданно может показаться легкой. На самом деле трудно не сформулировать задание, а предложить эталон оптимального ответа вместе со стандартизованными правилами оценки результатов его выполнения. Например, формулировка задания по истории с развернутым ответом достаточно кратка.

Задание 3

НАЗОВИТЕ ОСНОВНЫЕ ЗАДАЧИ, КОТОРЫЕ РЕШАЛИСЬ ВО ВНЕШНЕЙ ПОЛИТИКЕ РОССИИ В XVII В. (УКАЖИТЕ НЕ МЕНЕЕ ДВУХ ЗАДАЧ). ПРИВЕДИТЕ ПРИМЕРЫ ВОЙН, ПОХОДОВ И ЭКСПЕДИЦИЙ XVII В., ПРЕДПРИНИМАВШИХСЯ ДЛЯ РЕШЕНИЯ ЭТИХ ЗАДАЧ (НЕ МЕНЕЕ ТРЕХ ПРИМЕРОВ).

Но для того чтобы задание попало в тест, его автору необходимо стандартизовать процедуру проверки, а это объемная работа, вызывающая подчас много нареканий из-за неоднозначности результатов ее выполнения.

В естественных науках предложить эталон выполнения вместе с оценочными критериями гораздо легче. Например, к заданию 4 можно предложить следующие критерии для оценки результатов выполнения

Задание 4

ПРИ КАКИХ ЗНАЧЕНИЯХ X СООТВЕТСТВЕННЫЕ ЗНАЧЕНИЯ ФУНКЦИЙ f (x ) = log 2 x и g (x ) = log 2 (3 – x ) БУДУТ ОТЛИЧАТЬСЯ МЕНЬШЕ, ЧЕМ НА 1?

Проверка заданий с развернутыми ответами проводится экспертами в соответствии со стандартизованными инструкциями, содержащими эталон оптимального ответа с описывающими его характеристиками и признаками качества, как в приведенном примере. К эталону должны прилагаться оценочные категории для выставления политомической оценки, нуждающиеся в апробации и статистическом обосновании качества, поскольку среди них могут быть как не работающие, так и снижающие дифференцирующий эффект теста.

Задания с развернутыми ответами требуют значительных затрат преподавательского труда при проверке, когда экспертам приходится анализировать множество правильных в разной степени ответов и сравнивать их с эталоном, не принимая во внимание полноту, внешнее оформление ответов, орфографические ошибки и все то, что не входит в критерии для выставления политомической оценки. Иногда проверку стараются стандартизовать путем разработки компьютерных экспертных программ .

Вне автоматизированных систем проверка результатов выполнения заданий с развернутыми ответами довольно субъективна, а согласование оценок нескольких экспертов затруднено, поэтому обычно такие задания занимают не более 10–15% от общей длины аттестационного теста.

Задания со свободно конструируемым ответом в основном предназначены для оценки когнитивных умений. Их следует разрабатывать только в тех случаях, когда нельзя использовать более простые формы;

Длина и сложность ответа может варьироваться в широких пределах (вплоть до нескольких страниц текста ответа, обоснования приведенного решения проблемы и т.д.). В инструкции желательно ввести ограничения на максимальную длину ответа для каждого задания;

Формулировка задания должна включать постановку проблемы, эталон выполнения и оценочные критерии. Постановочная часть должна быть настолько четкой, чтобы минимизировать возможные отклонения в правильных ответах студентов от планируемого разработчиком эталона выполнения;

Выбор временных рамок для выполнения каждого задания должен позволять студенту сформулировать достаточно развернутый ответ и успеть его записать.

Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить, если:

Грамотно составлять задание, руководствуясь приведенными выше рекомендациями;

Использовать при проверке только разработанную стандартизованную схему оценивания не более чем с тремя оценочными категориями (0, 1, 2);

Обучить экспертов по проверке заданий пользовать стандартизованными критериями оценивания;

Привлекать не менее двух экспертов для проверки каждого задания и приглашать третьего эксперта в случае расхождений оценок первых двух более чем на один балл;

Использовать принципы анонимности проверяемых работ и независимости экспертных суждений;

Не смотреть на оценку, данную предыдущему заданию, при оценивании последующего.

Задания типа эссе можно оценивать в соответствии со следующим:

Простыми схемами оценивания, когда критерии строятся с ориентацией на содержание ответов студентов;

Усложненными схемами оценивания, учитывающими при экспертизе содержание ответов, характеристики качества представления текста, его полноту и стиль или любые другие факторы, кажущиеся важными разработчику задания;

При любой схеме оценивания задания со свободно конструируемыми ответами нуждаются в политомической оценке, что иногда неоправданно завышает их общий вес в балле по тесту. Для того чтобы избежать такого завышения и для уменьшения влияния субъективного компонента, число критериев оценивания обычно стараются сделать достаточно малым, ограничиваясь политомическими оценками, например, от 0 до 3 или от 0 до 2.

Для заданий с кратким регламентированным ответом, сформулированных в виде незаконченных утверждений и предъявляемых без специальных бланков для ответа, обычно используют инструкцию, состоящую из одного слова: «ДОПОЛНИТЕ». В тех случаях, когда для ответов к заданиям с кратким регламентированным ответом необходимо давать ответы в специальных бланках, а не рядом с заданиями, инструкция может иметь вид: «ОТВЕТЫ К ЗАДАНИЯМ ЗАПИШИТЕ В БЛАНКЕ ОТВЕТОВ СПРАВА ОТ СООТВЕТСТВУЮЩИХ НОМЕРОВ ЗАДАНИЙ. КАЖДУЮ БУКВУ ПИШИТЕ В ОТДЕЛЬНОЙ КЛЕТОЧКЕ В СООТВЕТСТВИИ С ПРИВЕДЕННЫМИ ОБРАЗЦАМИ НА БЛАНКЕ ОТВЕТОВ».

Инструкция для заданий со свободно конструируемым ответом обычно имеет произвольную форму. Главное сказать столько, чтобы в максимальной степени облегчить и стандартизовать работу экспертов при проверке результатов тестирования для снижения влияния субъективных факторов и повышения надежности педагогических измерений. В самом общем виде для предметов гуманитарного цикла инструкция может иметь вид: «ДЛЯ ОТВЕТОВ НА ЗАДАНИЯ ИСПОЛЬЗУЙТЕ ОТДЕЛЬНЫЙ БЛАНК ОТВЕТОВ. ЗАПИШИТЕ СНАЧАЛА НОМЕР ЗАДАНИЯ, А ЗАТЕМ РАЗВЕРНУТЫЙ ОТВЕТ НА НЕГО. ОТВЕТЫ ЗАПИСЫВАЙТЕ РАЗБОРЧИВО».

5.4. Задания на установление соответствия

Задания на соответствие имеют специфический вид, где под инструкцией располагаются элементы двух множеств, соответствие между которыми предлагается установить испытуемому. Слева обычно приводятся элементы задающего множества, содержащие постановку проблемы, справа – элементы, подлежащие выбору.

Соответствие между элементами двух столбцов может быть взаимно однозначным, когда каждому элементу справа соответствует только один элемент слева. Если число элементов в двух столбцах одинаковое, то для последнего элемента задающего множества выбор не произойдет. Встречаются случаи, определяемые спецификой содержания предмета, когда для нескольких элементов левого столбца выбираются одни и те же элементы справа, поэтому их может оказаться меньше, чем слева. И наконец, оптимальным является задание, в котором правое множество содержит больше элементов, каждый из которых выбирается только один раз. Например, удачное задание 1, а не удачное 2, поскольку число элементов для выбора справа равно числу элементов в левом столбце.

Задание 1

К КАЖДОМУ ИЗ ТРЕХ ЭЛЕМЕНТОВ (1, 2, 3) ПОДБИРАЕТСЯ ОДИН СООТВЕТСТВУЮЩИЙ ЭЛЕМЕНТ ИЗ ПРАВОЙ ЧАСТИ С БУКВАМИ (А, Б, В, Г, Д, Е, Ж, З, И, К).

Определите соответствие ролей менеджера трем блокам согласно модели Г. Минцберга

Ответы можно представить в виде таблицы, в таком случае отпадает необходимость в подробной инструкции, подобной той, которая приведена для задания 1.

Задание 2

УСТАНОВИТЕ СООТВЕТСТВИЕ

Лишние элементы правого столбца, не подлежащие выбору при правильных ответах, называются дистракторами. Как и в заданиях с выбором ответов, наибольшие трудности при разработке связаны с подбором правдоподобных избыточных элементов в правом множестве. Мера правдоподобности каждого дистрактора устанавливается эмпирически.

При разработке заданий на соответствие следует руководствоваться следующими правилами:

Задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств с соответствующими названиями;

Элементы задающего столбца располагаются слева, а элементы для выбора – справа;

Желательно, чтобы каждый столбец имел определенное название, обобщающее все элементы столбца;

Необходимо, чтобы правый столбец содержал хотя бы несколько дистракторов. Еще лучше, если число элементов правого множества будет примерно в два раза больше числа элементов левого столбца;

Необходимо, чтобы все дистракторы в одном задании были равновероятно правдоподобны;

Элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста.

В аттестационном тесте задания на соответствие малоэффективны в силу их громоздкости, не позволяющей охватить большой объем содержания.

К заданиям на соответствие прилагается стандартная инструкция, состоящая из двух слов: «УСТАНОВИТЕ СООТВЕТСТВИЕ». Иногда инструкцию делают развернутой, особенно в тех случаях, когда есть отдельный бланк ответов. Например, инструкция может иметь вид: «БУКВЫ, СООТВЕТСТВУЮЩИЕ ЗАДАННЫМ ЭЛЕМЕНТАМ, ЗАПИШИТЕ СНАЧАЛА В ТАБЛИЦУ, ПРИВЕДЕННУЮ В ТЕКСТЕ ЗАДАНИЯ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНК».

Результаты выполнения заданий на соответствие оцениваются либо дихотомической, либо политомической оценкой. При дихотомическом оценивании 1 балл выставляется за все правильно установленные соответствия в задании теста. Если хотя бы одно соответствие неверно, то за частично правильно выполненное задание на соответствие испытуемый получает 0 баллов. Другой способ заключается в выставлении по одному баллу за каждое правильное соответствие, тогда при проверке заданий на соответствие используется политомическая оценка, и общее количество баллов за задание равно числу правильно установленных соответствий.

5.5. Задания на установление правильной последовательности

Тестовые задания четвертой формы предназначены для оценки уровня владения последовательностью действий, процессов и т.п. В таких заданиях в произвольном порядке приводятся элементы, связанные с определенной задачей, а испытуемый должен установить правильный порядок предложенных элементов и указать его заданным способом в специально отведенном для этого месте.

Стандартная инструкция к заданиям четвертой формы имеет вид: «УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ». Иногда инструкцию включают в текст задания.

Задание 1

РАСПОЛОЖИТЕ ИМЕНА РУССКИХ ПОЛКОВОДЦЕВ В ХРОНОЛОГИЧЕСКОЙ ПОСЛЕДОВАТЕЛЬНОСТИ ИХ ДЕЯТЕЛЬНОСТИ. ЗАПИШИТЕ БУКВЫ, КОТОРЫМИ ОБОЗНАЧЕНЫ ИМЕНА, В ПРАВИЛЬНОЙ ПОСЛЕДОВАТЕЛЬНОСТИ В ПРИВЕДЕННУЮ В ТЕКСТЕ ЗАДАНИЯ ТАБЛИЦУ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНК.

A) Дмитрий Пожарский

Б) Алексей Ермолов

B) Михаил Скобелев

Г) Алексей Орлов

Задание 2

УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ МЕХАНИЗМА ВЫДОХА, РАССТАВИВ НОМЕРА В ОТВЕДЕННЫХ МЕСТАХ:

? – спадение легких

? – торможение центра дыхательных мышц в спинном мозге

? – возбуждение центра выдоха в продолговатом мозге

? – расслабление диафрагмы и вспомогательных мышц

? – уменьшение грудной полости

Во многих случаях задания на установление правильной последовательности крайне нетехнологичны либо не применимы в силу специфики содержания предмета. Они громоздки и нередко допускают неоднозначную последовательность ответов, поэтому не рекомендуются к использованию в аттестационных тестах.

5.6. Сравнительная характеристика форм тестовых заданий

В процессе разработки теста у автора всегда возникает вопрос: остановиться ли на какой-нибудь одной форме заданий либо принять решение о совмещении различных форм в одном тесте? А если остановиться на одной, то какой отдать предпочтение? Выбор автора во многом определяется спецификой содержания учебной дисциплины, целями создания и применения теста. Немало здесь зависит от технологии проверки, сбора и обработки эмпирических данных, от технического и материального обеспечения процесса применения теста. Легко организовать компьютеризованный сбор и анализ результатов выполнения теста в том случае, когда все задания с выбором ответов.

Результаты выполнения заданий с конструируемыми ответами требуют ручной обработки. Как правило, для оценки результатов их выполнения приходится привлекать экспертов, а это требует дополнительных материальных затрат и времени на проверку.

Преимущества и недостатки различных форм заданий

1. Задания с двумя ответами

Преимущества : благодаря краткости позволяют охватить большой объем материала, легко разрабатываются (только один дистрактор), быстро с высокой объективностью обрабатываются результаты выполнения.

Недостатки : стимулируют механическое запоминание, поощряют угадывание, требуют увеличения количества заданий и, соответственно, времени тестирования для компенсации эффекта угадывания.

2. Задания с выбором из четырех-пяти ответов

Преимущества : годятся для самых различных учебных предметов, в силу краткости формулировок в тесте можно охватить большой объем содержания, обеспечивают возможность автоматизированной проверки и высокую объективность оценок студентов, позволяют провести развернутый статистический анализ своих характеристик, скорректировать их и значительно повысить надежность педагогических измерений.

Недостатки : требуют значительной работы авторов при выборе дистракторов и коррекции баллов студентов, не годятся для проверки продуктивного уровня деятельности и когнитивных умений.

3. Задания с конструируемыми регламентированными ответами

Преимущества : просты в разработке, исключено угадывание, частично годятся для автоматизированной проверки.

Недостатки : проверяют в основном знание фактологического материала или понятийного аппарата, обычно (в гуманитарных предметах) слишком легкие, иногда приводят к неоднозначным правильным и частично правильным ответам.

4. Задания со свободно конструируемыми ответами

Преимущества : позволяют оценивать сложные учебные достижения, в том числе коммуникативные умения, творческий уровень деятельности, легко формулируются как традиционные задания, исключают угадывание.

Недостатки : требуют длительной дорогостоящей процедуры проверки, значительного времени выполнения, не позволяют охватить значительный объем содержания предмета, снижают надежность педагогических измерений.

5. Задания на соответствие

Преимущества : просты в разработке, идеально подходят для оценивания ассоциативных знаний и проведения текущего контроля, уменьшают эффект угадывания.

Недостатки : чаще всего используются при проверке репродуктивного уровня деятельности и алгоритмических умений, громоздки по форме представления.

Сравнительная характеристика технологических свойств различных тестовых форм представлена в табл. 5.1.

Таблица 5.1 Сравнительные технологические характеристики форм

Выбор формы предтестовых заданий определяется спецификой контролируемого содержания и целями создания теста. Каждая форма заданий имеет свои достоинства и недостатки, свою сферу применения.

Разработка предтестовых заданий проводится сообразно стандартизованным требованиям, содержание которых зависит от специфики тестовой формы. Задания с выбором ответов наиболее удобны при итоговом контроле в силу ряда технологических преимуществ, повышающих эффективность процессов применения итогового теста и оценки результатов студентов. Задания на дополнение предпочтительны при обучающем контроле.

Современные тенденции в разработке итоговых тестов связаны с отходом от моноформности и широким использованием заданий на дополнение, поскольку многообразие проверяемых знаний и умений требует введения различных форм в тесте.

Практические задания и вопросы для обсуждения

1. Обведите номер правильного ответа.

Тестовые задания с двумя ответами эффективнее использовать в контроле:

1) текущем

2) тематическом

3) итоговом

4) входном

2. Обведите номер правильного ответа.

1) текущего

2) итогового

3) входного

3. Обведите номер правильного ответа.

Вероятность угадывания номера места правильного ответа в задании с пятью дистракторами будет:

4. Найдите два существенных недостатка в задании, переформулируйте задание для устранения недостатков.

Для какого класса животных характерны признаки: хладнокровные, обитающие в воде и на суше, размножаются в воде?

1. Класс рыб

2. Класс пресмыкающихся

3. Класс земноводных

4. Класс млекопитающих

5. Предложите метод улучшения формулировки заданий.

Что из нижеперечисленного было ликвидировано реформами 60-х годов XIX века в России?

1. Самодержавие

2. Крепостничество

3. Сословность

4. Помещичья собственность на землю

5. Национальный гнет

ВИДЫ ТЕСТОВ И ФОРМЫ ТЕСТОВЫХ ЗАДАНИЙ

План

Основные виды педагогических тестов.

Формы тестовых заданий.

Эмпирическая проверка и статистическая обработка результатов.

Принципы отбора содержания. Критерии оценки содержания теста.

Соотношение формы задания и вида проверяемых знаний, умений, навыков.

Основные виды педагогических тестов

Существуют два основных вида тестов: традиционные и нетрадиционные.

Традиционный тест представляет собой единство, по меньшей мере, трех систем:

Формальной системы заданий возрастающей трудности;

Статистических характеристик заданий и результатов испытуемых.

В приведенном выше определении традиционного теста получили развитие несколько идей.

Формы тестовых заданий

В современной тестологии (Аванесов В.С., Челышкова М.Б., Майоров А.Н. и др.) различают 4 типа заданий в тестовой форме: задания на выбор одного или нескольких правильных ответов, задания в открытой форме или на дополнение, задания на установление правильной последовательности и задания на установление соответствий. Наиболее распространенной является первая форма.

Рассмотрим подробно каждую форму заданий по классификации В.С. Аванесова.

Задания на выбор одного или нескольких правильных ответов для компьютерного контроля знаний подходят больше всего. Такие задания удобно разделить на следующие виды: задания с двумя, тремя, четырьмя пятью и большим числом ответов. Инструкцией для этой формы заданий служит предложение: «Обведите (отметьте, укажите) номер правильного ответа».

Пример 1. Отметьте номер правильного ответа.

Место, которое занимает цифра в записи числа, называют

позицией;

разрядом;

положением;

знакоместом.

Задание должно быть сформулировано кратко и четко, так, чтобы его смысл был понятен при первом прочтении.

Содержание задания формулируется как можно яснее и как можно короче. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смысла задания. Необходимо полностью исключить повторы слов, использование малопонятных, редко употребляемых, а также неизвестных учащимся символов, иностранных слов, затрудняющих восприятие смысла. Хорошо, когда задание содержит не более одного придаточного предложения.

Для достижения краткости в каждом задании лучше спросить о чем-нибудь одном. Утяжеление заданий требованиями что-то найти, решить и затем еще и объяснить отрицательно сказываются на качестве задания, хотя с педагогической точки зрения легко понять причину такой формулировки.

Еще лучше, когда короткими являются и задание и ответ. Неправильный, но правдоподобный ответ в американской тестовой литературе называется словом дистрактор (от английского глагола tо distract – отвлекать). В общем случае, чем лучше подобраны дистракторы, тем лучше бывает и задание. Талант разработчика проявляется в первую очередь в разработке эффективных дистракторов. Обычно считают, что чем выше доля выбора неправильного ответа, тем он лучше сформулирован. Следует отметить, что это верно только до известного предела; в погоне за привлекательностью дистракторов нередко теряется чувство меры. Привлекательность каждого ответа проверяется эмпирически.

Задания с выбором одного или нескольких ответов являются самой критикуемой формой. Сторонники привычных подходов утверждают, что по-настоящему проверить знания можно только в процессе непосредственного общения с учеником, задавая ему уточняющие вопросы, что помогает лучше прояснить подлинную глубину, прочность и обоснованность знаний. С подобными утверждениями надо согласиться. Однако есть еще вопросы экономии живого труда учителей и учащихся, экономии временных затрат и проблемы повышения эффективности образовательного процесса.

Нередко считается, что найти правильный ответ гораздо легче, чем формулировать его самому. Однако в хорошо сделанных заданиях незнающему ученику неправильные ответы часто кажутся более правдоподобными, чем правильные. Талант разработчика теста раскрывается в процессе создания именно неправильных, но очень правдоподобных ответов. Другое возражение – что тестовое задание с выбором одного или нескольких правильных ответов годится только для оценки знаний так называемого низшего уровня.

Выделяется вариант заданий с выбором одного, наиболее правильного ответа из числа предложенных. Соответственно пишется и инструкция к таким заданиям: « Обвести номер наиболее правильного ответа». Естественно предполагается, что все остальные ответы к заданиям правильные, но в различной мере.

Существует три основания для введения таких заданий в практику.

Первое – это старая идея исключения из заданий неправильных ответов, которые слабые учащиеся могут, якобы, запомнить. Если следовать этому очень спорному тезису, то неправильные ответы при тестировании вообще давать нельзя.

Второе основание для введения таких заданий в практику более реалистично. Оно касается необходимости формировать у учащихся не только умения отличать правильные ответы от неправильных, но и умения дифференцировать меру правильности ответов. Это действительно важно, как в общем среднем, так и в высшем профессиональном образовании.

Третье основание для применения заданий с выбором наиболее правильного ответа – это стремление проверить с их помощью полноту знаний.

Сколь бы ни были убедительны основания для введения таких заданий в практику, последние вряд ли могут найти широкое применение.

В заданиях открытой формы готовые ответы не даются: их должен придумать или получить сам тестирующийся. Иногда вместо термина «задания открытой формы» используют термины: «задания на дополнение» или «задания с конструируемым ответом». Для открытой формы принято использовать инструкцию, состоящую из одного слова: «Дополните».

Пример 2. Дополните .

В двоичной системе счисления 10-1=_________.

Задания на дополнение бывают двух заметно отличающихся видов:

1) с ограничениями, налагаемыми на ответы, возможности получения которых соответствующим образом определены по содержанию и форме представления;

2) задания со свободно конструируемым ответом, в котором необходимо составить развернутый ответ в виде полного решения задачи или дать ответ в виде микросочинения.

В заданиях с ограничениями заранее определяется, что однозначно считать правильным ответом, и задается степень полноты представления ответа. Обычно он бывает достаточно кратким – одно слово, число, символ и т.д. Иногда – более длинным, но не превышающим двух-трех слов. Естественно, что регламентированная краткость ответов выдвигает определенные требования к сфере применения, поэтому задания первого вида в основном используются для оценки достаточно узкого круга умений.

Отличительная особенность заданий с ограничениями на дополняемые ответы заключается в том, что они должны порождать только один, запланированный разработчиком правильный ответ.

Задания второго типа со свободно конструируемым ответом не имеют никаких ограничений на содержание и форму представления ответов. За определенное время учащийся может писать что угодно и как угодно. Однако тщательная формулировка подобных заданий предполагает наличие эталона, в качестве которого обычно выступает наиболее правильный ответ с описывающими его характеристиками и признаками качества.

В заданиях на установление соответствия преподаватель проверяет знание связей между элементами двух множеств. Элементы для сопоставления записываются в два столбца: слева обычно приводятся элементы задающего множества, содержащие постановку проблемы, а справа – элементы, подлежащие выбору.

К заданиям дается стандартная инструкция: «Установите соответствие».

Пример 3. Установите соответствие

Свойство

а) коммутативности

б) ассоциативности

в) дистрибутивности относительно сложения

а) – _________________, б) – _____________, в) – _____________.

Следует отметить, что желательно, чтобы в правом столбце элементов было больше, чем в левом. В этой ситуации возникают определенные трудности, связанные с подбором правдоподобных избыточных элементов. Иногда на один элемент левого множества необходимо выбрать несколько правильных ответов из правого столбца. Кроме того, соответствия могут быть расширены на три и большее число множеств. Эффективность задания существенно снижается, если неправдоподобные варианты будут легко различаться даже незнающими учащимися.

Эффективность задания также снижается в тех случаях, когда число элементов в левом и правом столбцах одинаково и при установлении соответствия для последнего элемента слева просто не из чего выбирать. Последнее правильное или неправильное соответствие устанавливается автоматически благодаря последовательному исключению элементов для предыдущих соответствий.

Тестовые задания на установление правильной последовательности предназначены для оценки уровня владения последовательностью действий, процессов и т.п. В заданиях приводятся в произвольном, случайном порядке действия, процессы, элементы, связанные с определенной задачей. Стандартная инструкция к этим заданиям имеет вид: «Установите правильную последовательность действий».

Пример 4. Установите правильную последовательность

Команда полного ветвления на УАЯ имеет формат:

иначе серия 2 >

то серия 1 >

если условие >

Задания на установление правильной последовательности получают доброжелательную поддержку у многих преподавателей, что объясняется важной ролью упорядоченного мышления и алгоритмов деятельности.

Цель введения таких заданий в учебный процесс – формирование алгоритмического мышления, алгоритмических знаний, умений и навыков.

Алгоритмическое мышление можно определить как интеллектуальную способность, проявляющуюся в определении наилучшей последовательности действий при решении учебных и практических задач. Характерные примеры проявления такого мышления – успешное выполнение различных заданий за короткое время, разработка самой эффективной программы для ЭВМ и т.п.

Выбор форм заданий определяется многими весьма противоречивыми факторами, в числе которых особенности содержания, цели тестирования, а также – специфика контингента испытуемых. Проверка проще при использовании заданий закрытой формы, однако, такие задания менее информативны. Задания открытой формы более информативны, но сложнее организовать их проверку. Еще более сложной задачей является создание компьютерных программ для проверки правильности ответов на такие задания. Это связано с богатством словарного запаса испытуемых (при ответе могут быть использованы синонимы), внимательностью (опечатки, несоответствие регистров) и т.п.

Для успешной ориентировки в формах заданий можно использовать специальную таблицу (см. таблицу 1) сопоставительного анализа заданий, предложенную М.Б. Челышковой.

По мнению разработчика, настоящая таблица носит сугубо ориентировочный характер, однако, ее использование может облегчить процесс подбора тестовых заданий различной формы для решения тех или иных диагностических задач.

Таблица 1

Сопоставительный анализ характеристик тестовых заданий

Характеристики

Соответствие заданий в тестовой форме требованиям педагогической корректности содержания и формы являются необходимыми, но недостаточными условиями для того, чтобы называть их тестовыми .

Превращение заданий в тестовой форме в тестовые задания начинается с момента статистической проверки каждого задания на наличие у них тестобразующих свойств.

Эмпирическая проверка и статистическая обработка результатов

Наличие достаточного числа тестовых заданий позволяет перейти к разработке теста как системы, обладающей целостностью, составом и структурой. На третьем этапе отбираются задания и создают тесты, повышаются качество и эффективность теста.

Целостность теста образует взаимосвязь ответов испытуемых на задания теста, наличие общего измеряемого фактора, влияющего на качество знаний.

Состав теста образует правильный подбор заданий, позволяющий минимально необходимым числом отобразить существенные элементы языковой компетентности испытуемых.

Уровень и структура знаний выявляются при анализе ответов каждого испытуемого на все задания теста. Чем больше правильных ответов, тем выше индивидуальный тестовый балл испытуемых. Обычно этот тестовый балл ассоциируется с понятием "уровень знаний" и проходит процедуру уточнения на основе той или иной модели педагогического измерения. Один и тот же уровень знаний может быть получен за счет ответов на различные задания. Например, в тесте из тридцати заданий испытуемый получил десять баллов. Эти баллы скорее всего, получены за счет правильных ответов на первые десять, сравнительно легких заданий. Присущую для такого случая последовательность единиц, а затем нулей можно назвать правильной структурой подготовленности испытуемого. Если же обнаруживается противоположная картина, когда испытуемый правильно отвечает на трудные задания и неправильно - на легкие, то это противоречит логике теста и потому такой профиль знаний можно назвать инвертированным. Он встречается редко, и чаще всего, по причине ошибочности теста, в котором задания расположены с нарушениями требования возрастающей трудности. При условии, что тест сделан правильно, каждый профиль свидетельствует о структуре знаний. Эту структуру можно назвать элементарной (поскольку есть еще факторные структуры, которые выявляются с помощью методов факторного анализа).

Для определения уровня структурированности подготовленности можно использовать коэффициент Л.Гутмана, ранее неточно называвшийся мерой «надежности теста».

r g = 1 -

где r g коэффициент структурированности;.

Сумма ошибочных элементов индивидуальных структур, подсчитываемых в векторах-строках баллов испытуемых;

N – число испытуемых;

k – число заданий.

Уровень знаний в значительной степени зависит от личных усилий и способностей, в то время как структура знаний заметно зависит от правильной организации учебного процесса, от индивидуализации обучения, от мастерства педагога, от объективности контроля - в общем, от всего того, чего обычно не хватает. Путь к достижению этого идеала лежит через трудности создания качественных тестов.

Разработка тестов начинается с анализа содержания преподаваемых знаний и овладения принципами формулирования тестовых заданий. К сожалению, на тесты все еще смотрят как на средство, которое легко придумать, в то время как сильная сторона тестов - их эффективность, проистекающая из теоретической и эмпирической обоснованности.

На третьем этапе от разработчиков нового поколения тестов потребуется некоторая математико-статистическая подготовка, знания теории тестов. Теорию тестов можно определить как совокупность непротиворечивых понятий, форм, методов, аксиом, формул и утверждений, способствующих повышению эффективности и качества тестового процесса. Кроме того, может потребоваться и некоторый опыт применения методов многомерного статистического анализа, и опыт правильной интерпретации тестовых результатов.

Часто возникает вопрос: «Как поведут себя удаляемые задания в других группах испытуемых?» Ответ зависит от качества подбора групп, а точнее от статистического плана формирования выборочных совокупностей. Верный ответ на этот вопрос следует искать в смысле понятия « targetgroup»; это множество испытуемых в генеральной совокупности, для которых предназначен разрабатываемый тест.

Соответственно, если задания проектируемого теста ведут себя неодинаково в разных группах, то это является, скорее всего, указанием на ошибки в формировании выборок испытуемых. Последние должны быть такими же однородными, как и испытуемые в целевой группе. На языке статистики это означает, что испытуемые в целевой и в экспериментальных группах должны принадлежать одной генеральной совокупности.

Логарифмические оценки, называемые логитами , таких, казалось бы, реально несопоставимых феноменов как уровень знаний испытуемого с уровнем трудности каждого задания, были использованы для непосредственного сопоставления уровня трудности с уровнем подготовленности испытуемого.

По мнению Беспалько В.П. и Татур Ю.Г., тестирование должно быть измерением качества усвоения знаний, умений и навыков. Сравнение правил выполнения задания (задачи), предложенного в тексте, с эталоном ответа позволяет определить коэффициент усвоения знаний (К us ). Следует заметить, что, где А – число правильных ответов, а Р – число заданий в предлагаемых тестах.

Определение К us является операцией измерения качества усвоения знаний. К us поддается нормировке (0 us us > 0,7, то процесс обучения можно считать завершенным. При усвоении знаний с К us ≤ 0,7 студент в профессиональной деятельности систематически совершает ошибки и неспособен к их исправлению из-за неумения их находить. Нижнюю допустимую границу окончания процесса обучения повышают до величины, необходимой с точки зрения безопасности деятельности.

Принципы отбора содержания. Критерии оценки содержания теста

При создании теста внимание разработчика, прежде всего, привлекают вопросы отбора содержания, которое можно определить как оптимальное отображение содержания учебной дисциплины в системе тестовых заданий. Требование оптимальности предполагает использование определенной методики отбора, включающей вопросы целеполагания, планирования и оценки качества содержания теста.

Этап целеполагания является наиболее трудным и вместе с тем наиболее важным: от результатов его выполнения в первую очередь зависит качество содержания теста. В процессе целеполагания преподавателю необходимо решить вопрос о том, какие результаты учеников он хочет оценить с помощью теста.

Основания для ошибок в выводах педагога далеко не всегда связаны с технологическими недостатками традиционных средств контроля. Иногда они обусловлены недоработками педагога на этапе целеполагания, когда центр тяжести проверки смещается на второстепенные цели обучения, а иногда этап целеполагания отсутствует вовсе, поскольку часть педагогов уверена в непогрешимости своего опыта и интуиции, особенно при условии многолетней работы в школе. Однако никакие даже очень совершенные методы контроля и никакой опыт не дадут оснований для надежных выводов о достижении целей обучения до тех пор, пока нет уверенности в правильной постановке целей контроля и в их правильном, несмещенном отображении в содержании теста.

При создании теста ставится задача отобразить в его содержании то главное, что должны знать ученики в результате обучения, поэтому ограничиться простым перечислением целей обучения нельзя. В тест хотелось бы включить все, но, к сожалению, это невозможно, поэтому часть целей приходится просто отбросить и не проверять степень их достижения учащимися. Для того чтобы не утратить самое главное, необходимо структурировать цели и ввести определенную иерархию в их взаимное расположение. Без сомнения, здесь нет и не может быть готовых общих рецептов, поскольку в каждой дисциплине свои приоритеты. К тому же отдельные цели заметно связаны между собой, и потому простого представления о системе целей как об упорядоченной совокупности без рассмотрения связей между элементами явно недостаточно.

После определения целей тестирования и их конкретизации необходимо разработать план и спецификацию теста.

При разработке плана делается примерная раскладка процентного соотношения содержания разделов и определяется необходимое число заданий, по каждому разделу дисциплины исходя из важности раздела и числа часов, отведенных на его изучение в программе.

Раскладку начинают с подсчета планируемого исходного числа заданий в тесте, которое затем в процессе работы над тестом будет неоднократно меняться в сторону увеличения или уменьшения. Обычно предельное число не превышает 60 - 80 заданий, поскольку время тестирования выбирают в пределах 1,5 - 2 ч., а на выполнение одного задания отводится в среднем не более 2 мин.

После выполнения первого шага по планированию содержания разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Иногда спецификацию делают в развернутой форме, содержащей указания на тип заданий, который будет использоваться для оценки достижений учащихся в соответствии с намеченными целями создания теста, время выполнения теста, число заданий, особенности проведения тестирования, которые могут повлиять на характеристики теста и т.д.

Спецификация в развернутой форме включает:

цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер применения теста;

перечень нормативных документов, используемых при планировании содержания теста;

описание общей структуры теста, включающее перечень субтестов (если они есть) с указанием подходов к их разработке;

количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте;

число параллельных вариантов теста либо ссылку на кластер, содержащую число и номера заданий кластера;

соотношение заданий по различным разделам и видам учебной деятельности школьников;

охват требований стандартов (для аттестационных тестов);

перечень требований, не вошедших в тест (для аттестационных тестов);

Знания и умения делятся таким образом:

А – знания понятий, определений, терминов;

В – знание законов и формул;

С – умение применять законы и формулы для решения задач;

D – умение интерпретировать результаты на графиках и схемах;

Е – умение проводить оценочные суждения.

Нередко устанавливаются следующие пропорции:

А – 10%, В – 20%, С – 30%, D – 30%, Е – 10%.

Помимо критериев, есть общие принципы, способствующие в определенной степени правильному отбору содержания тестов.

Принцип репрезентативности регламентирует не только полноту отображения, но и значимость содержательных элементов теста. Содержание заданий должно быть таким, чтобы по ответам на них можно было сделать вывод о знании или незнании всей программы проверяемого раздела или курса.

Принцип системности предполагает подбор содержательных элементов, отвечающих требованиям системности и связанных между собой обшей структурой знаний. При соблюдении принципа системности тест можно использовать для выявления не только объема знаний, но и для оценки качества структуры знаний учеников.

После отбора содержания теста начинается наиболее ответственный этап создания предтестовых заданий. Эта работа поручается обычно самым опытным преподавателям с большим стажем работы в школе. Однако для создания заданий одного опыта недостаточно. Необходимы также специальные знания по теории и методике разработки педагогических тестов, обеспечивающие профессиональный подход к созданию предтестовых заданий.

В.С. Аванесов выделил 3 критерия отбора содержания тестовых заданий:

1) определенность содержания теста ;

2) непротиворечивость содержания заданий ;

3) обоснованность содержания тестовых заданий .

1. Определенность содержания теста образует предмет педагогического измерения. В случае гомогенного теста возникает вопрос об уверенности в том, что все задания теста проверяют знания именно по определенной учебной дисциплине, а не по какой-то другой. Довольно часто случается так, что правильные ответы на некоторые задания требуют знаний не только интересующей дисциплины, но и ряда других, обычно смежных и предшествовавших учебных дисциплин. Близость и связанность которых затрудняет точное определение предметной принадлежности измеряемых знаний.

Например, в физических расчетах используется немало математических знаний и потому в систему физического знания обычно включается та математика, которая используется при решении физических задач. Неудача в математических расчетах порождает неудачу при ответах на задания физического теста. Отрицательный балл ставится, соответственно, за незнание физики, хотя испытуемый допустил ошибки математического толка. Если в такой тест включено много таких заданий, которые для правильного решения требуют не столько физических знаний, сколько умений выполнять усложненные расчеты, то это может быть примером неточно определенного содержания теста по физике. Чем меньше пересечение знаний одной учебной дисциплины со знаниями другой, тем определеннее выражается в тесте содержание учебной дисциплины. Определенность содержания требуется и во всех других тестах. В гетерогенном тесте это достигается посредством явного выделения заданий одной учебной дисциплины в отдельную шкалу. При этом нередко встречаются задания, хорошо работающие не только на одну, но и на две, три и даже большее число шкал.

Во всяком тестовом задании заранее определяется, что однозначно считается ответом на задание, с какой степенью полноты должен быть правильный ответ. Не допускается определение понятия через перечисление элементов, не входящих в него.

2. Непротиворечивость содержания заданий требует, чтобы относительно одной и той же мысли не возникали суждения, одновременно утверждающие и отрицающие ее. Недопустимо существование двух исключающих ответов на одно и то же задание теста. Если испытуемым дается инструкция: "Обведите кружком номер правильного ответа", а затем в одном из ответов утверждается, что правильного ответа нет, то это порождается пример непоследовательности мышления разработчика теста. В некоторых тестах встречаются ответы, вообще не связанные с содержанием задания. Таки ответы довольно легко распознаются испытуемыми как ошибочные, и потому тест оказывается неэффективным. Для повышения эффективности тест предварительно проходит апробацию на типичной выборке испытуемых. И если обнаружатся такие ответы к заданиям, которые испытуемые вообще не выбирают, то такие ответы из теста удаляются. Потому что они не выполняют функцию так называемых дистракторов, призванных отвлечь внимание незнающих испытуемых от правильного ответа. Кроме того, такие дистракторы вредны для теста, ибо снижают точность измерений (но об этом в статьях, где будут рассматриваться вопросы надежности тестов).

3. Обоснованность содержания тестовых заданий означает наличие у них оснований истинности. Обоснованность связана с аргументами, которые могут быть приведены в пользу той или другой формулировки заданий теста. При отсутствии доказательных аргументов в пользу правильности сформулированного задания оно в тест не включается, ни под каким предлогом. То же происходит, если в процессе экспертного обсуждения возникает хотя бы один контраргумент, или допускается условие, при котором данное утверждение может оказаться двусмысленным или ложным. Идея обоснованности содержания теста тесно переплетается с принципом содержательной правильности тестовых заданий, о чем уже говорилось в предыдущей статье. Напомним, что в тест включается только то содержание учебной дисциплины, которое является объективно истинным и что поддается некоторой рациональной аргументации. Соответственно, спорные точки зрения, вполне приемлемые в науке, не рекомендуется включать в содержание тестовых заданий.

Неистинность содержания тестовых заданий отличается от некорректности их формулировки. Неистинность, как отмечалось выше, определяется соответствующим ответом, в то время как некорректно сформулированное задание может продуцировать ответы как правильные, так и неправильные, а то и вызывать недоумение. Сюда же можно отнести неточно или двусмысленно сформулированные задания, порождающие несколько правильных или условно правильных ответов. Отсюда возникает необходимость вводить дополнительные условия истинности, что удлиняет само задание и усложняет его семантику. Некорректность формулировки обычно выясняется в процессе обсуждения содержания заданий с опытными педагогами-экспертами. Успех такого обсуждения возможен при создании соответствующей культурной среды, где допустимы только конструктивные и тактичные суждения. Увы, опыт убеждает, что такое встречается не часто. Между тем, только совместное и доброжелательное обсуждение материалов разработчиками и экспертами способно породить атмосферу поиска наилучших вариантов содержания теста. Этот поиск практически бесконечен, и здесь нет истины в последней инстанции.

Соотношение формы задания и вида проверяемых знаний, умений, навыков

Как уже упоминалось в предыдущих статьях, для целей тестирования знания, можно разделить на три вида: предлагаемые, приобретаемые и проверяемые. Теперь рассмотрим этот вопрос чуть подробнее.

Предлагаемые знания даются учащимся в форме учебных пособий, материалов, текстов, лекций, рассказов и т.п., отражающих основную часть образовательной программы. Эти знания формулируются, кроме того, в системе заданий, по которым сами учащиеся могут проверить степень своей подготовленности.

Приобретаемые учащимися знания являются обычно только частью предлагаемых знаний, большей или меньшей, в зависимости от учебной активности учащихся. С развитием компьютерного обучения появились условия для превышения объема приобретаемых знаний над объемом предлагаемых знаний. Это новая ситуация, связанная с возможностями массового погружения учащихся в мировое образовательное пространство, в котором ведущая роль заданий в процессе приобретения знаний уже осознана достаточно хорошо. Решение учебных заданий является главным стимулом для активизации учения, собственной деятельности учащихся. Эта деятельность может протекать в форме работы с учителем, в группе или самостоятельно. Распространенные в литературе рассуждения об уровнях усвоения относятся исключительно к приобретаемым знаниям.

Проверяемые знания образуют основное содержание того документа, который может называться называется программой экзамена или тестирования, в зависимости от избираемой формы контроля знаний. Главной признаком проверяемых знаний является их актуальность, что означает готовность испытуемых к практическому применению знаний для решения заданий, используемых в момент проверки. В высшей школе этот же признак иногда называют оперативностью знаний.

В процессе тестирования школьников и абитуриентов обычно проверяются только такие знания, которые находятся в оперативной памяти, те, что не требует обращения к справочникам, словарям, картам, таблицам и т.п. В числе проверяемых знаний можно выделить еще нормативные знания, которые подлежат обязательному усвоению учащимися и последующему контролю со стороны органов управления образованием посредством экспертно подобранной и утвержденной руководящим органом системы заданий, задач и других контрольных материалов.

Кроме того, выделяются свойства знаний. В.И. Гинецинский выделяет следующие свойства знаний:

 рефлексивность (я не только знаю нечто, но и знаю, что я это знаю);

 транзитивность (если я знаю, что некто знает нечто, то из этого следует, что я знаю это нечто);

 антисимметричность (если я знаю кого-то, то это не значит, что он меня знает).

Классификация видов и уровней знаний

Классификации видов и уровней знаний, сформулированная Блумом для решения практических задач педагогического измерения.

Знание названий, имен. Сократу принадлежат слова: кто постигает имена, тот постигнет и то, чему принадлежат эти имена. Как отмечает известный зарубежный философ Дж. Остин, знание предмета или явления во многом определяется тем, знаем ли мы его название, точнее - его правильное название.

Знание смысла названий и имен. Давно известно, что как понимаем, так и действуем. Понимание смысла названий и имен помогает их запоминанию и правильному употреблению. Например, при имени "Байкал" некоторые из младших школьников могут думать не о знаменитом озере, жемчужине России, а о фруктовой воде, продаваемой под тем же названием. Другой пример можно взять из области политического сознания. Как справедливо отмечают в своей книге Ю.Н. Афанасьев, А.С. Строганов и С.Г. Шеховцев, сознание бывших советских людей оказалось неспособными видеть различные смыслы таких абстракций языка как "свобода", "власть", "демократия", "государство", "народ", "общество", считая их как бы ясными по умолчанию. Что и стало одной из причин, позволившей при активном соучастии этих людей уничтожить систему их собственного жизнеобеспечения.

Фактуальные знания. Знание фактов позволяет не повторять ошибки, свои и чужие, обогатить доказательную основу знаний. Нередко фиксируются в виде научных текстов, результатов наблюдений, рекомендаций типа техники безопасности, житейской мудрости, поговорок, изречений. Например, из Древнего Китая пришло изречение китайского мыслителя Джу Си: не варите песок в надежде получить кашу.

Знание определений. Самое слабое место в школьном образовании, потому что определениям нельзя научить; их можно понять и усвоить только как результат самостоятельных усилий по овладению требуемыми понятиями. Знание системы определений является одним из лучших свидетельств теоретической подготовленности. В учебном процессе все четыре рассмотренных вида знаний можно объединить в группу репродуктивных знаний. Как отмечал И.Я. Лернер, за годы школьного обучения учащиеся выполняют свыше 10 тыс. заданий. Учитель вынужден организовать репродуктивную деятельность, без которой содержание изначально не усваивается.

Это знания, не требующие при усвоении заметной трансформации, и потому они воспроизводятся в той же форме, в какой воспринимались. Их можно, с некоторой условностью, назвать знаниями первого уровня.

Сравнительные, сопоставительные знания. Они широко распространены в практике и в науке, присущи преимущественно интеллектуально развитым лицам, особенно специалистам. Они способны анализировать и выбирать лучшие варианты действий при достижении той или иной цели. Как отмечал Н.Кузанский, "все исследователи судят о неизвестном путем соизмеряющего сравнения с чем-то уже знакомым, так что все исследуется в сравнении".

Знание противоположностей, противоречий, антонимов и т.п. объектов. Такие знания ценны в обучении, особенно на самом начальном этапе. В некоторых сферах такие знания являются главными. Например, в школьном курсе безопасности жизнедеятельности надо точно знать - что ученикам можно делать, а чего нельзя делать, ни при каких обстоятельствах.

Ассоциативные знания. Они свойственны интеллектуально развитому и творческому человеку. Чем богаче ассоциации, тем больше условий и выше вероятность для проявления творчества. В значительной мере именно на богатстве ассоциаций построена языковая культура личности, писательский труд, работа художника, конструктора и работников других творческих профессий.

Классификационные знания. Применяются главным образом в науке; Примеры - классификации Линнея, периодическая система элементов Д.И. Менделеева, классификации тестов и т.п. Классификационные знания являются обобщенными, системными знания. Этот вид знаний присущ только лицам с достаточным интеллектуальным развитием, так как требует развитого абстрактного мышления, целостного и взаимосвязанного видения совокупности явлений и процессов. Система знаний - это, прежде всего, владение эффективными определениями основных понятий изучаемых наук.

Знания п.п. 5-8 можно отнести ко второму уровню. Такие знания позволяют учащимся решать типовые задания как результат подведения каждого конкретного задания под известные классы изучаемых явлений и методов.

Причинные знания, знания причинно-следственных отношений, знание оснований. Как писал В. Шекспир, пора необъяснимого прошла, всему приходится подыскивать причины. В современной науке причинный анализ является основным направлением исследований. Как отмечал Л. Витгенштейн, говорят "я знаю" тогда, когда готовы привести неоспоримые основания.

Процессуальные, алгоритмические, процедурные знания. Являются основными в практической деятельности. Овладение этими знаниями является существенным признаком профессиональной подготовленности и культуры. В эту же группу можно отнести технологические знания, позволяющие неизбежно получать запланированный результат.

Технологические знания. Эти знания представляют собой особый вид знаний, проявляющихся на разных уровнях подготовленности. Это может быть сравнительно простое знание об отдельной операции технологической цепочки, или комплекса знаний, позволяющих непременно достигать поставленных целей с минимально возможными затратами.

Знания п.п. 9-11 можно отнести к знаниям более высокого, третьего уровня. Они приобретаются, главным образом, в системе среднего и высшего профессионального образования.

К высшему, четвертому уровню знаний можно отнести следующие виды знаний:

Вероятностные знания. Такие знания нужны в случаях неопределенности, нехватки имеющихся знаний, неточности имеющейся информации, при необходимости минимизировать риск ошибки при принятии решений. Это знания о закономерностях распределения данных, достоверности различий, о степени обоснованности гипотез.

Абстрактные знания. Эти особый вид знаний, при котором оперируют идеализованными понятиями и объектами, несуществующими в реальности. Много таких объектов в геометрии, естествознании, и в тех общественных науках, которые на Западе называют поведенческими - это психология, социология, педагогика. Вероятностные, абстрактные и специальные научные знания в каждой отдельной дисциплине знания составляют основу теоретических знаний. Это уровень теоретических знаний.

Методологические знания. Это знания о методах преобразования действительности, научные знания о построении эффективной деятельности. Это знания самого высокого, пятого уровня.

Перечисленные виды знаний не образуют пока полной классификационной системы и потому допускают возможность заметного расширения представленной номенклатуры, замены одних видов знаний другими, объединения их в различные группы.

Каждый из перечисленных видов знаний выражается соответствующей формой тестовых заданий.

Для определения степени обученности по каждой учебной дисциплине выделяют объем знаний, которые необходимы для усвоения согласно учебной программе, что составляет базовый объем знаний. Базовые знания представляют минимум государственного образовательного стандарта. Однако и среди базовых знаний выделяют те, которые должны оставаться в памяти по любой дисциплине, в совокупности образуют мировоззренческие знания. Б.У. Родионов и А.О. Татур (центр тестирования МИФИ) выделяют несколько звеньев мировоззренческих знаний: базовые знания, программные знания, сверхпрограммные знания. Педагогические тесты – единственный инструмент, позволяющий не только измерить обученность, но и умение использовать знания. Если говорить только об умениях, то на всех уровнях усвоения знаний можно выделить четыре вида умений:

1) умение узнавать объекты, понятие, факты, законы, модели;

2) умение действовать по образцу, по известному алгоритму, правилу;

3) умение проводить анализ ситуации, вычленять главное и строить из освоенных операций процедуры, позволяющие получить решение тестового задания;

4) умение и способность находить оригинальные решения.

Четыре вида умений, названные Б.У. Родионовым и А.О. Татур, не противоречат теории поэтапного формирования умственных действий, в основу которой и положен метод разработки автоматизированного тестирования с целью оценки усвоения знаний, приобретения умений и навыков. Это позволяет создать не только экспертные системы оценок степени обучаемости студентов, но и построить гибкую динамичную рейтинговую систему контроля знаний.

Как известно, единицей теста, его структурным элементом является тестовое задание. Его можно определить как "наиболее простой и в то же время целостный структурный элемент теста. Сами задания, входящие в тест, могут быть разнообразны как форме предъявления, так и по содержанию. Существуют разные подходы к классификации тестовых заданий по форме их предъявления. Наиболее распространенной является типы тестовых заданий, приведенных на рисунке 3.1.

Основным фактором, влияющим на форму тестового задания, является способ получения ответа (выбор из предлагаемых вариантом пни самостоятельное формулирование ответа). Тогда эта классификация может быть представлена следующей схемой.

Следует отметить, что тестовые задания имеют ряд характеристик. Каждое тестовое задание имеет свой порядковый номер. Как правило, задания в тесте расположены по возрастанию сложности, хотя и не исключены и варианты, в которых сложность заданий колеблется в различных направлениях по мере продвижения по тесту.

Каждое тестовое задание имеет эталон правильного ответа. Задания, не имеющие верного ответа, как правило, в тест не включаются.

Тестовые задания одной формы обычно сопровождаются стандартной инструкцией, которая предшествует формулировке заданий в тесте.

Для каждого тестового задания разрабатывается правило выставления оценки (начисления баллов).

Тестовое задание по форме предъявления и по времени выполнения обычно достаточно краткое. При формулировке задания обращают внимание на то, чтобы все высказывания теста были понятны всем без исключения ученикам (сформулированы в простых выражениях с общеупотребительной лексикой, без терминов, использующих иностранные или малоупотребительные слова. По возможности, в заданиях избегают оборотов с отрицанием "не" поскольку считается, что предпочтительнее что-то утверждать (как позитивное, так и негативное).

Задания открытого типа. В заданиях открытой формы (заданиях на дополнение) готовые ответы не даются, их необходимо получить. Различают два вида открытых заданий:

1) с ограничениями, наложенными на ответ;
2) без ограничений, наложенных на ответ, в которых тестируемые должны составить развернутый ответ в виде решения задачи.

Задания второго вида мало отличаются от традиционной контрольной работы, требуют больших затрат на проверку и сложнее поддаются стандартизации.

При ответе на открытое задание с ограниченным ответом ученик дописывает пропущенное слово, формулу или число на месте прочерка или в специально отведенном месте на бланке ответов.

Инструкция к заданиям открытого типа обычно сопровождается словами: "Впишите недостающее слово на месте прочерка" или "Получите и запишите ответ в бланке ответов" и т. п.

Задания закрытого типа. Задания с выбором ответов. Закрытое задание с выбором ответа, как правило, включает вопрос и несколько вариантов ответа к нему (они обозначены буквами А, Б, В, Г,... или цифрами: 1,2,3,4,...). Ученику надо выбрать среди ответов верные. В большинстве тестов правильный только один. Но иногда разработчики теста закладывают среди ответов несколько верных. Правдоподобные ответы называют дистракторами. Их число в задании обычно не более пяти. Дистракторы подбирают с учетом типичных ошибок школьников.

Закрытое тестовое задание с выбором ответа считается "хорошо работающим", если знающие учебный материал ученики выполняют его правильно, а незнающие выбирают любой из ответов с одинаковой вероятностью.

Задания с выбором ответа обычно предваряют следующей инструкцией: Укажите номер (букву) правильного ответа (при бланковом тестировании) или: Нажмите клавишу с номером (буквой) правильного ответа (при компьютерном тестировании).

Тестовые задания с выбором одного правильного ответа, как правило, имеют следующие характеристики:

в тексте задания избегают двусмысленности и неясности;

задание имеет простую синтаксическую конструкцию;

основная часть содержит как можно больше слов, оставляя для ответа не более 2-3 ключевых слов для данной проблемы. Из ответов исключают все повторяющиеся слова путем ввода их в основной иной текст задания;

ответы к одному заданию обычно предлагают одной длины;

стараются исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;

частота выбора одного и того же номера правильного ответа в различных заданиях текста обычно одинакова либо этот номер случайный;

*из числа тестовых заданий исключаются обычно те, которые содержат оценочные суждения и мнения тестируемого по какому-либо вопросу;
*число вариантов ответов в каждом задании одинаковое и обычно не более пяти (редко - 7);
*при формулировке дистракторов (правдоподобных ответов) избегают выражений "ни один из перечисленных", "все перечисленные" и т. д., способствующие угадыванию, в ответах стараются не использовать такие слова, как "все", "ни одного", "никогда", "всегда" и т. п., как способствующие угадыванию;
*дистракторы предлагают такие, чтобы они были равно привлекательными для испытуемых, не знающих правильного ответа;

ни один из дистракторов не является частично правильным ответом, превращающимся при определенных условиях в правильный ответ;

из числа неверных исключают ответы, вытекающие один из другого;

ответы подбирают так, чтобы ключ одного задания не служил ключом к правильным ответам другого задания, то есть не используют дистракторы из одного задания в качестве правильных ответов другого;

все ответы, как правило, параллельны по конструкции и грамматически согласованы с основной частью задания теста;

*если в задании имеются альтернативные ответы, то их не ставят рядом с правильным, так как это сразу сосредотачивает, внимание на них.

Сравнительная характеристика типов тестовых заданий. Выбор типов тестовых заданий определяется многими параметрами: спецификой содержания учебного предмета, целями тестирования, уровнем сложности заданий, профессионализмом разработчика и т.д.

Каждый из типов тестовых заданий имеет свои преимущества и недостатки. Например, задания закрытой формы с выбором ответа характеризуются преимуществами, которыми обладают все тесты, а именно:

- объективностью оценки результатов выполнения работы;
- быстротой проверки выполненных заданий;
- системной проверкой достаточно большого объема учебного материала.

В то же время у них есть положительные характеристики, присущие только данному виду заданий. Например, они наиболее легки в обработке, позволяют без особых затрат организовать компьютерный сбор и анализ результатов и т.д. Но такие тесты имеют и свои недостатки:

проверка лишь конечных результатов работы;

невозможность проследить логику рассуждения учащегося при выполнении заданий;

некоторая вероятность выбора ответа наугад;

невозможность тестовой проверки некоторых видов учебной деятельности (например, самостоятельного нахождения направлений решения).

Избежать перечисленных недостатков часто помогает достаточно большое количество заданий в тесте (их обычно больше 20) и большое число вариантов ответов (больше 4).

Некоторых из указанных недостатков (например, угадывание ответа) позволяют избежать тесты открытого типа. Но, в то же время, результаты этих заданий труднее поддаются статистической обработке, а для оценивания заданий с развернутым ответом требуется привлечение экспертов, что, в свою очередь, снижает объективность контроля, усложняет стандартизацию теста, увеличивает временные и финансовые затраты на обработку тестовых результатов.

В теории тестов все чаще высказывается мнение о том, что в одном тесте желательно использовать как можно меньше различных форм тестовых заданий. Профессиональные тесты часто отличаются именно моноформностью заданий. Однако это требование не всегда выполнимо из-за специфики тою или иного предмета. Поэтому разработчики часто совмещают в рамках одного теста различные виды тестовых заданий (например, закрытые и открытые).

Например, тесты централизованного тестирования содержат две части (часть А и часть Б). Часть А содержит тестовые задания закрытого типа, а часть Б - открытого.

В таблицах 1.2 и 1.3 приведены сопоставительные характеристики тестовых заданий различного вида.

Таблица 1.2. Сопоставительный анализ тестовых заданий в соответствии с уровнями усвоения учебного материала

Руководствуясь некоторыми из указанных характеристик, создатели теста могут выбирать пригодную для определенных целей форму тестовых заданий. Следует также отметить, что получить всеобъемлющую картину уровня знаний позволит только разумное сочетание тестов с традиционными формами и методами контроля.

Таблица 1.3. Сопоставительный анализ тестовых заданий в соответствии с показателями конструирования теста

Показатели конструирования	Типы заданий
Закрытые	Открытые
С выбором ответов	На установление соответствия	На установление правильной последовательности	С ограниченным ответом	Со свободным ответом
Простота конструирования	Не всегда	Не всегда	Не всегда
Эффект угадывания
Объективность в оценке результата выполнения				Зависит от качества задания	Нет, оценка субъективна
Возможность ошибок учащихся при написании ответа

План

1. Основные виды педагогических тестов.

2. Формы тестовых заданий.

3. Эмпирическая проверка и статистическая обработка результатов.

4. Принципы отбора содержания. Критерии оценки содержания теста.

5. Соотношение формы задания и вида проверяемых знаний, умений, навыков.

1. Основные виды педагогических тестов

Существуют два основных вида тестов: традиционные и нетрадиционные.

Традиционный тест представляет собой единство, по меньшей мере, трех систем:

Формальной системы заданий возрастающей трудности;

Статистических характеристик заданий и результатов испытуемых.

В приведенном выше определении традиционного теста получили развитие несколько идей.

Тестовые задания могут быть. Учебное пособие: Виды тестов и формы тестовых заданий. А - знания понятий, определений, терминов

Пример 2. Дополните .

Таблица 1

Сопоставительный анализ характеристик тестовых заданий

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам:

Ваш комментарий (необязательно):