Open Library - открытая библиотека учебной информации

Открытая библиотека для школьников и студентов. Лекции, конспекты и учебные материалы по всем научным направлениям.

Категории

Педагогика Валидность
просмотров - 213

Оценка надежности теста

Надежность

Показатели качества теста

Анализ правдоподобности дистракторов

в заданиях закрытой формы с четырьмя ответами

№ задания Всего Распределœение ответов испытуемых
1-й ответ 2-й ответ 3-й ответ 4-й ответ
кол. % Кол. % кол. % кол. %
8,3 1,0 67,7* 22,9
4,2 20,8 2,1 72,9*
19,6 29,9 24,7* 25,8
19,4 10,8 63,4* 6,5
49,0 34,4* 9,4 7,3
0,0 6,2 93,8* 0,0
21,1 26,7 44,4* 7,8
3,2 11,8 2,2 82,8*
36,0 1,2 25,6 37,2*
36,1 23,7 40,2* 0,0

Звездочками помечены верные ответы.

В результате дистракторного анализа выявляются задания с неработающими дистракторами (вариантами ответов в закрытом задании, которые испытуемые выбирают мало или вообще не выбирают). В случае если в задании есть неработающие дистракторы, то вероятность угадывания правильного ответа повышается, а следовательно снижается его трудность. Такие задания требуют переработки (замены неработающих дистракторов) или удаления их из теста. Задание №6 можно переделать в открытую форму.

Основными показателями качества теста являются надежность и валидность теста. А так как тест является инструментом педагогического измерения, то эти показатели имеют численное значение и определяются с помощью различных методов, как в классической теории тестов, так и в современной теории тестов.

Надежность –это характеристика теста͵ отражающая точность педагогического измерения, а также устойчивость результатов тестирования к воздействию посторонних (случайных) факторов.

Для оценки надежности нормативно-ориентированного теста: хорошим коэффициент надежности теста считается, когда показатель колеблется в пределах

0,8 < К < 1.

Нижним пределом принято считать показатель 0,7. В случае если значение коэффициента надежности ниже, то надежность теста считается неудовлетворительной.

Для оценки надежности нормативно-ориентированного теста используются две группы методов.

1) Двукратное тестирование:

1.1. ретестовый метод;

1.2. метод параллельных форм.

2) Однократное тестирование:

2.1. метод расщепления теста;

2.2. метод Кьюдера-Ричардсона.

Оценка надежности чаще всœего строится на подсчете корреляции между двумя наборами результатов выполнения одного и того же теста или двух его параллельных форм. Чем выше корреляция, тем надежнее тест.

Оценка надежности критериально- ориентированного теста.

В случае если создается тест для аттестации по итогам определœенной ступени обучения, то рекомендуется вычислять фи- и каппа-коэффициенты. Их величины должны быть больше 0,8 (0,85) и приблизительно равны между собой, что свидетельствует о хорошей надежности теста.

Валидностьеще одна важная характеристика теста͵ определяющая его качество. Валидность (от англ. Validity - значимость, обоснованность, пригодность) – «это характеристика способности теста служить поставленной цели измерения», ᴛ.ᴇ. способность теста измерять то, для чего он предназначен.

Выделяют несколько видов валидности, которые отражают различные аспекты этого критерия качества теста (Анастази А.; Майоров А.Н.).

1) Содержательная валидность (content validity).

Валидность по содержанию закладывается в тест уже на этапе работы со спецификацией теста и отбора его содержания. Для педагогических тестов содержательная валидность очень важна и оценивается она экспертным путем. Независимые эксперты определяют, насколько тест охватывает область содержания проверяемого предмета.

2) Критериальная валидность.

Критериальная валидность - это характеристика теста͵ отражающая обоснованность, значимость его результатов по сравнению с некоторой внешней переменной (степень соответствия между результатами тестирования и внешним критерием). Для оценки критериальной валидности крайне важно составить таблицу с результатами тестирования и список тех же студентов с экспертной оценкой преподавателя (-ей). В качестве критерия берем оценки преподавателœей при традиционной проверке знаний без использования тестов. Критериальная валидность измеряется от –1 до 1, валидность более 0,3 считается удовлетворительной.

3) Конструктная (концептуальная) валидность.

Об этом виде валидности говорится в том случае, если представление об измеряемом феномене существует только в проекте и требует доказательства.


Читайте также


  • - ИНВАЛИДНОСТЬ

    Инвалидность населения является одной из важнейших медико-социальных проблем в мире. В канун XXI в. число инвалидов составляет около 10% населения земного шара. Учитывая акту­альность проблемы инвалидности, Генеральная ассамблея ООН в 1982 г. приняла «Всемирную программу... [читать подробенее]


  • - Валидность и надежность эксперимента.

    Корреляционное исследование. Экспериментальные планы. Экспериментальные выборки. Валидность и надежность эксперимента. Для конструирования и оценки экспериментальных процедур... [читать подробенее]


  • - Надежность и валидность теста

    Виды тестовых заданий Основные показатели качества тестовых заданий при экспертизе Требования к составлению тестовых заданий для компьютерного тестирования Этапы подготовки банка ТЗ 1. Определение структуры учебной дисциплины 2. Отбор содержания... [читать подробенее]


  • - Валидность и надежность эксперимента

    Для конструирования и оценки экспериментальных процедур используются понятия: идеальный эксперимент, эксперимент полного соответствия и бесконечный эксперимент. Идеальный эксперимент– это эксперимент, организованный таким образом, что экспериментатор изменяет лишь... [читать подробенее]


  • - Тяжелая болезнь или инвалидность.

    Помилование или амнистия. Президент РФ наделен правом осуществлять помилование. Актом помилования лицо, осужденное за преступление, может быть освобождено от дальнейшего отбывания наказания либо назначенное ему наказание может быть сокращено или... [читать подробенее]


  • - Валидность

    Оценка надежности теста Надежность Показатели качества теста Анализ правдоподобности дистракторов в заданиях закрытой формы с четырьмя ответами № задания Всего Распределение ответов испытуемых 1-й ответ 2-й ответ 3-й ответ 4-й ответ кол. ... [читать подробенее]


  • - Валидность

    Оценка надежности теста Надежность Показатели качества теста Анализ правдоподобности дистракторов в заданиях закрытой формы с четырьмя ответами № задания Всего Распределение ответов испытуемых 1-й ответ 2-й ответ 3-й ответ 4-й ответ кол. ... [читать подробенее]


  • - Инвалидность

    V. Заболеваемость с временной утратой трудоспособности Показатели госпитализированной заболеваемости · Частота госпитализации = число госпитализированных *1000, численность населения (общая, по каждому виду заболевания, полу, возрасту, месту жительства,... [читать подробенее]


  • - Факторная валидность

    Факторная валидность. Прямое отношение к характеристике конструктной валидности имеет факторный анализ, позволяющий строго статистически проанализировать структуру связей показателей исследуемого теста с другими известными и латентными факторами, выявить общие и... [читать подробенее]


  • - Очевидная валидность

    Очевидная валидность – представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого или другого лица, не располагающего специальными сведениями о характере использования и целях методики. Очевидная... [читать подробенее]