shkolaput.ru 1


Представление результатов педагогических измерений

  • Матрица результатов тестирования

  • Подготовка матрицы ответов к математико-статистическому анализу


Матрица результатов тестирования



Матрица результатов тестирования – матрица ответов



Подготовка матрицы ответов к статистическому анализу



Подготовка матрицы ответов к статистическому анализу



Подготовка матрицы ответов к статистическому анализу



Подготовка матрицы ответов к статистическому анализу



Основные статистические характеристики

  • Тестовые задания

  • Тест

  • Распределение результатов тестирования


Статистические характеристики тестовых заданий

  • Известная мера трудности является обязательным требованием к тестовым заданиям. Если неизвестна эмпирическая мера трудности задания, то это задание не тестовое.

  • Трудность задания определяется после апробации теста. В качестве показателя трудности используется статистика – доля неправильных ответов qj.

  • Вариация баллов является вторым обязательным требованием к тестовым заданиям. Если на какое-то задание отвечают все тестируемые, или наоборот, не отвечают, то никакой вариации нет, а, следовательно, задание не дифференцирует знающих испытуемых от незнающих.

  • Дисперсия (вариация ответов) определяется по формуле:

  • ,

  • где pj и qj – доля правильных и неправильных ответов в каждом задании.


Статистические характеристики тестовых заданий





Статистические характеристики тестовых заданий



Статистические характеристики тестовых заданий





Оценка системности (валидности) тестового задания

  • Расчет корреляционной матрицы позволяет оценить тестовые свойства задания.

  • В корреляционной матрице представлены корреляции между двумя заданиями, а также корреляция тестового задания с суммой баллов.

  • Желательно, чтобы между заданиями были низкие корреляции (значения меньше 0,3).

  • Чем выше значение корреляции задания с суммой баллов, тем выше шансы задания называться тестовым и попасть в тест (говорят о системности (валидности) задания).

  • Квадрат корреляции задания с суммой баллов, представленный в процентах (коэффициент детерминации), указывает на вклад задания в общую дисперсию тестовых баллов.

  • Задания с значением корреляции ниже 0,2 из теста удаляются, как не выдержавшие эмпирической проверки.



Корреляционная матрица




Коэффициент надежности теста

  • Коэффициент надежности теста показывает насколько можно доверять полученным результатам.

  • Говорят «данные получены с высокой надежностью», если коэффициент выше 0,8. Чем больше данное значение, тем уже доверительный интервал для истинного балла.

  • Коэффициент надежности позволяет судить о качестве теста в целом.


Ошибка измерения

  • Один из аспектов применения коэффициента надежности связан с определением стандартной ошибки измерения (standard error of measurement).

  • Стандартная ошибка измерения является стандартной погрешностью оценки истинных баллов на основании наблюдаемых результатов тестовых измерений.

  • При использовании в своей работе «готовых» тестов, стремитесь узнать (определить) коэффициент надежности теста, с целью вычисления ошибки измерения.



Описательные характеристики распределения тестовых результатов

  • Меры среднего положения (меры центральной тенденции).

      • Мода, медиана, среднее
  • Меры вариации (рассеяния, изменчивости данных).

      • Размах, дисперсия, стандартное отклонение, коэффициент вариации
  • Меры формы (меры симметрии и островершинности кривой распределения).

      • Коэффициенты асимметрии, эксцесса
  • Квантили.

      • Квартили, процентили

Меры среднего положения

  • Это обобщающие показатели, характеризующие типичное значение, присущее большинству единиц совокупности, позволяющие выявлять закономерности.

  • Мода, М – это наиболее часто встречающееся значение признака в исследуемой совокупности.

    • Унимодальное распределение,
    • Бимодальное распределение,
    • Мультимодальное распределение.
  • Медиана, Мd – это значение, которое делит упорядоченную совокупность данных пополам, так что одна половина значений больше медианы, а другая – меньше.


Меры среднего положения

  • Среднее, , – это значение, которое отражает типичное значение для исследуемой совокупности в данных условиях:

  • где n – объем совокупности, xii-е значение совокупности.

    • Чтобы средняя величина была действительно обобщающей характеристикой, улавливающей закономерность, она должна применяться к достаточно однородной совокупности.
    • Средняя величина рассчитывается только для количественных признаков.


Соотношение мер среднего положения

  • У симметричных унимодальных распределений:

  • У унимодальных распределений с правой асимметрией:

  • У унимодальных распределений с левой асимметрией:



Меры изменчивости

  • Меры изменчивости – показатели, измеряющие вариацию (разброс) значений совокупности. К мерам изменчивости относятся: размах, дисперсия, стандартное отклонение, коэффициент вариации, и др.



Меры изменчивости

  • Дисперсия, , – это значение, которое отражает внутреннюю изменчивость значений исследуемой совокупности:

  • где n – объем совокупности,

  • xii-е значение, – среднее значение.

  • Стандартное отклонение, , показывает насколько в среднем отклоняется каждое значение (xi ) от среднего :



Меры изменчивости



Меры изменчивости


Квантили


Квантили

  • Дециль делит совокупность на 10 равных частей, по 10% значений в каждой части.

  • Перцентиль делит совокупность на 100 равных частей.

  • Например,

    • D1 = C10, Q1 = C25, Md = C50, Q3 = C75 и т.д.
  • Необходимость расчета квантилей вызвана теми же причинами, что и расчет медианы: низкая чувствительность к случайным резким отклонениям значений признака.



Меры формы

  • Асимметрия (As) – степень отклонения распределения от симметричного распределения, характерного для нормальной кривой.

    • Асимметрия As принимает значения в диапазоне от –3 до +3.
    • As = 0, распределение симметрично;
    • As < 0, левосторонняя асимметрия,
    • As > 0, правосторонняя асимметрия.


Меры формы





План апробации тестовых заданий



Спасибо за внимание! Ваши вопросы и пожелания