Часть2. Статистическая обработка тестов

Методические указания для преподавателей ДВГУПС

по конструированию и статистической обработке тестов

Хабаровск

СТАТИСТИЧЕСКАЯ ОБРАБОТКА ВЫПОЛНЕНИЯ ТЕСТОВ

Итоговый нормативный тест оценивается как 1- верно и 0 – неверно, получая при этом профили из нулей и единиц. Результаты сводятся в таблицу. При обработке тестов выполняется несколько этапов-шагов.

Первый шаг – Формирование матрицы Хi,j тестируемых результатов, где i - студент, j – результат. На основе этой матрицы выполняется подсчет индивидуальных баллов студентов и количество правильных ответов по числу заданий теста:

Подсчёт индивидуальных баллов студентов и количества правильных ответов по тесту:

где n-число заданий, а N- число студентов.

Второй шаг:

Процесс сортировки: Rj- располагает в порядке возрастания

Третий шаг: числа X_i располагают по возрастанию или по убыванию.

Чем больше единиц вверху, тем правильней составлен тест.

Четвёртый шаг: Подсчёт средних значений баллов и количества правильных ответов.

Трудный тест

Лёгкий тест

Средний тест

Среднее значение показывает точку сгущения баллов в унимодальном распределении.

Пятый шаг: построение гистограмм.

Шестой шаг: Характеристика распределения баллов вокруг среднего значения.

2 3 4 5 6

Дисперсия – мера разброса вокруг среднего значения. Она должна находиться в определенных пределах. Для оценки дисперсии необходим закон нормального распределения. В целом дисперсия теста может оцениваться выражением

На практике чаще используют так называемую исправленную дисперсию

Седьмой шаг: Определение стандартного отклонения как

Восьмой шаг: Определение системообразующих свойств тестов (корреляция).

Принято считать, что если значение корреляции стремится к 1, то тест хорош, если к –1 , тогда тест плох. Если значение корреляции близко к нулю, тест считается неустойчивым. Коэффициент корреляции принято обозначать буквой t. Сам коэффициент определяется выражением

О надежности теста можно судить по устойчивой картине корреляции.

Формула преобразованного коэффициента корреляции:

С помощью этой формулы хорошо определяется корреляция для тематических тестов.

Подробнее: Д.Гласс, Д.Стенли Статистические методы в психологии и педагогике. М.: 1981 (?).

Для итоговых тестов корреляция должна находится в пределах 0…0,3.

Важным показателем теста является его предметная чистота. Предметная чистота обнаруживается с помощью гомогенного теста (гомогенность то есть обоснованность). Отрицательная корреляция говорит об отсутствии чистоты тестовых заданий.

Девятый шаг: Подсчет корреляции заданий с суммой баллов по тесту (показатель валидности).

Валидность означает, что сильные студенты выполняют тест верно, слабые – неверно. Показатель валидности характеризует бисериальное распределение, которое находится в пределах:

Бисериальное распределение часто заменяют, точечным бисериальным распределением, которое описывается выражением

где - среднее значение баллов студентов, выполнивших j-задания,

- среднее значение баллов студентов, не выполнивших j-задания,

Sx - статистическое отклонение,

N₁ - число студентов, верно выполнивших задания,

N₀- число студентов, неверно выполнивших задания.

У хорошего теста показатель валидности 0,5…0,9. При отрицательном показателе тест убирают, а при низком (близком к нулю) дорабатывают.

Существуют ряд других, кроме бисериального, методов при подсчете валидности:

Индекс дискриминации,

Оценка дифференциации специалиста,

Асимметричность в нормальном распределении.

ОРГАНИЗАЦИЯ ТЕСТИРОВАНИЯ СТУДЕНТОВ

Организационные требования

Видеокамеры,

Контроль,

Освещение,

Шум,

Листы под тесты,

Мебель,

Карточки заданий и другие факторы, влияющие на проведение теста. Для всех предметов должны быть единые организационные требования.

Субъективные факторы

Хождение экзаменатора,

Волнение тестируемых студентов и т.п.

Получасовое тестирование (разминка) желательна перед проведением теста.

Рекомендуется издание сборников по тестированию (аттестации) и инструкций с указанием кто составил, кто одобрил, сколько разрабатывался, где был сбор данных и его апробация со шкалой процентилей.

Рассмотрим краткий пример определения валидности теста.

Введем следующие буквенные обозначения

d - доля аттестованных студентов,

a - доля не аттестованных студентов,

b - доля аттестованных студентов в 1-м тесте и не аттестованных во 2-м,

c - доля аттестованных студентов во 2-м тесте и не аттестованных в 1-м.

Доли определяются как

и так далее.