Сделай Сам Свою Работу на 5

ВЫБОР КРИТЕРИАЛЬНОГО БАЛА





Аккредитационные комиссии проверяющие вуз всегда пользуются тестами. В процессе аккредитации стороны (вуз-комиссия) оговаривают следующие вопросы

1) как проверять

2) чьи будут тесты и как им доверять

3) если тесты вуза, то имеется на них сертификат

4) имеется ли у вуза система тестового контроля (СТК).

В СТК должны входить различные виды обеспечений:

Наборы тестов (входной, текущий, итоговый, диагностический и др.);

Инструментальное обеспечение;

Кадровое обеспечение.

На западе: Чем лучше СТК, тем выше рейтинг университета.

С чего начать? На первых шагах вуз должен разработать тесты текущего и диагностического контроля. Создавать можно тесты по разделам дисциплины, а затем по ним разрабатывать итоговые тесты.

Подсчет (выбор) критериального балла производят в следующей последовательности:

Оценка интервалов истинности теста;

Оценка профессиональности теста;

Интерпретация результатов.

Для нормативно-ориентированного теста процент выполнения заданий должен составлять примерно 50%, а для критериального теста – 80..90%. Тест должен состоять в среднем из 20 заданий. В каждом задании дается не более 5 ответов, из которых один – правильный. Основная задача при отладке теста – выровнять дистрактор. Точечно-бисериальный коэффициент для дистрактора должен быть отрицательным. Аттестационный тест всегда делается под реальную выборку студентов и должен иметь 90% проходимости.



В реальной выборке рассматриваются 30% слабых и 30% сильных студентов, то есть эмпирическая валидность критериального балла осуществляется методом контрастных групп. Для этого проводится экзамен на потоке, а затем сильным и слабым выдается тест. По результатам теста строиться график.

.

% студентов

из каждой

группы

 

 

слабые сильные

 

 

10 20 30 40 50 60 70 80 90 100

% правильных ответов

точка эмпирического критериального балла

 

Доверительный интервал для выбора истинного балла студентов определяется по формуле

Примечание: цифры взяты из предыдущих примеров.

При подсчетах используют также альфа-коэффициент доверительного интервала (0,05) и коэффициент Стьюдента (1,96).

Слабые Сильные



Xi – 1,96Se Xi – 1,96Se

 

Регрессия к среднему

Здесь средний балл был 7, а принимаем 6,5.

 

НЕДОСТАТКИ КЛАССИЧЕСКОЙ ТЕОРИИ ТЕСТОВ

1.Отсутствие дифференциальной ошибки измерения

2.Зависимость оценок от трудности заданий теста. (см. книгу 3).

3. Зависимость оценок от уровня подготовленности студента. (см. книги 6 и 4).

Какими измерительными шкалами мы пользуемся?

1 шкала – (зачет-незачет) – номинальная.

2 шкала – (1,2,3,4,5 и т.д.)- порядковая .

3 шкала – интервальная, а ее в классической теории тестов нет.

 

Теория латентно-структурного анализа (ЛСА)

В США – Item Response Theory- математическая теория параметрической оценки испытуемых и заданийсогласно которой установлено, что

 

Между наблюдаемым результатом выполнения теста и латентным параметром испытуемых есть некоторая зависимость, которую можно выразить с помощью функции

 

Qi – латентный параметр i –студента,

Bj – параметрические трудности j- задания.

Все зависимости можно выразить с помощью такого треугольника

Qi Bj

xi,j

Если Qi /Bj это – отношение, то Qi-Вj- это вектор (логит). С помощью логита определяется планка выполнения теста как 50/50 процентов, т.е. та вероятность, которая утверждает, что студент может взять барьер (тест), а может и не взять. Или буквенно выразить так

Xi Qi

Rj Bj,

Первое показывает связь между параметрами и заданием, второе – связь между наблюдаемым и латентным. Или формулой

 

 

Θi B

Bj Θ

 

С помощью этого выражения можно подсчитать

1 случай (верхняя стрелка)

вероятность правильного выполнения i-студентом различных по трудности заданий



или

Случай (нижняя стрелка)

вероятность правильного выполнения j-задания различными студентами

 

Pi
B>>0 Pi 0
B<<0 Pi 1
Q = B Pi =1/2

Индивидуальная вероятностная кривая i-студента

Pi

 

 

 

0,5 1 ß

 

 

Pj
Bj>>Q Pj 0
Bj<<Q Pj 1
Bj=Q Pj =1/2

Характеристическая кривая j-задания

Pj

 

C

(Q -B)=(Q+C)-(B+C)

 

 

 

Bj Bj+1 ß

 

Qj Qj+1

 

Основной вывод теории IRT (автор Rasch, и все тойфелы по нему) звучит так:

Если взять трудное задание, то с прежней вероятностью на него будет отвечать тот студент, у которого уровень подготовки изменится на ту же константу (С), что и уровень задания

КАК ВЫБИРАТЬ ЛОГИТ

Используют следующие формулы.

Для логита подготовки

Для логита трудности

Θi , Bj – логиты, на которых построены тесты Бенджиамина Райта (Benjiamin Wright).

 








Не нашли, что искали? Воспользуйтесь поиском по сайту:



©2015 - 2024 stydopedia.ru Все материалы защищены законодательством РФ.