Валидность содержательная: ВАЛИДНОСТЬ СОДЕРЖАТЕЛЬНАЯ — Гипертекстовый словарь методических терминов

30. Содержательная валидность. Этапы валидизации. Психодиагностика

30. Содержательная валидность. Этапы валидизации. Психодиагностика

ВикиЧтение

Психодиагностика
Лучинин Алексей Сергеевич

Содержание

30. Содержательная валидность. Этапы валидизации

Содержательная валидность – один из основных типов валидности методики, характеризующий степень репрезентативности содержания заданий теста измеряемой области психических свойств.

Комплекс сведений содержательной валидности традиционно имеет наибольшее значение для тестов, исследующих деятельность, близкую или совпадающую с реальной (чаще всего учебной или профессиональной). Валидность по содержанию закладывается в тест уже при подборе заданий будущей методики. Первым этапом валидизации является определение круга исследуемых свойств, видов деятельности, расчленение сложной способности или деятельности на элементы.

На втором этапе разрабатывают собственно модель тестовой деятельности на основе наиболее важных элементов реальной деятельности. Наконец, на последнем этапе проводят анализ степени соответствия разработанной модели реальной деятельности, проверку соответствия пропорций представленности элементов в заданиях теста и в реальной деятельности.

Экспертная оценка адекватности содержания заданий теста может быть дополнена при характеристике содержательной валидности рядом эмпирических процедур. Роль этого критерия при оценке содержательной валидности заключается не в верификации конструкта, лежащего в основе теста, а лишь в анализе гипотез, приведших к выбору того или иного материала для теста.

Наряду с тестами достижений содержательная валидность является одной из важнейших форм валидизации критериально-ориентированных тестов, а также методик, предназначенных для профотбора, анализа успешности овладения профессией. Для валидизации личностных опросников и тестов интеллекта критерии содержательной валидности имеют ограниченное применение и используются лишь на начальных стадиях составления теста.

Личностные опросники не имеют того сходства с исследуемой областью поведения, как это имеет место в случае тестов достижений. Ответы на вопросы анкеты, опросника, данные проективных исследований позволяют лишь косвенно судить о реальной деятельности испытуемого. Проявление личностных свойств и реализация способностей в деятельности могут носить индивидуальный характер.

При проведении теста интеллекта эффективное решение заданий может достигаться за счет логического мышления, механической памяти, психомоторной подвижности. Опросники личностные и тесты интеллекта прямо не связаны с конкретным курсом обучения или общностью предшествовавшего жизненного опыта, на которых строится содержание тестов достижений.

Данный текст является ознакомительным фрагментом.

22. Основные типы валидности.

Понятие «комплекса валидности». Обоснование необходимости периодической валидизации психодиагностических методик

22. Основные типы валидности. Понятие «комплекса валидности». Обоснование необходимости периодической валидизации психодиагностических методик Классификация типов валидности в достаточной мере условна, так как нередко для различных критериев валидности применяются

23. Конструктная валидность. Конвергентная и дискриминантная валидности

23. Конструктная валидность. Конвергентная и дискриминантная валидности Конструктная валидность – один из основных типов валидности, отражающий степень репрезентации исследуемого психологического конструкта в результатах теста. В качестве конструкта могут выступать

24. Факторная валидность

24. Факторная валидность Факторная валидность. Прямое отношение к характеристике конструктной валидности имеет факторный анализ, позволяющий строго статистически проанализировать структуру связей показателей исследуемого теста с другими известными и латентными

25. Дифференциальная валидность. Валидность по возрастной дифференциации

25. Дифференциальная валидность. Валидность по возрастной дифференциации Дифференциальная валидность – вид конструктной валидности, рассматривающей внутренние взаимоотношения между психологическими факторами, диагностируемыми с помощью психодиагностической

26. Критериальная валидность

26. Критериальная валидность Критериальная валидность – комплекс характеристик, включающий текущую и прогностическую валидности методики и отражающий соответствие диагноза и прогноза определенному кругу критериев измеряемого явления.

В качестве критерия

29. Прогностическая валидность

29. Прогностическая валидность Прогностическая валидность – информация о том, с какой степенью точности и обоснованности методика (тест) позволяет судить о диагностируемом психологическом качестве спустя определенное время после измерения. Прогностическая валидность

33. Математическое выражение критерия валидности (коэффициент Гилфорда). Основные схемы валидизации психодиагностических

33. Математическое выражение критерия валидности (коэффициент Гилфорда). Основные схемы валидизации психодиагностических Меру совпадения (корреляции) между крайними группами по тесту и по критерию оценивают с помощью самого простого Фи-коэффициента Гилфорда: При

Этапы секстерапии

Этапы секстерапии 1.

 Сбор анамнеза (отдельно у каждого партнера, а затем перекрестное уточнение полученной информации).Сбор психологического, психического, соматического анамнеза проводится согласно общепринятым установкам. При необходимости к опросу и дальнейшему

Валидность

Валидность В каждом исследовании есть переменные и отношения между ними. Поэтому, когда мы хотим описать исследование, центральным является конструкт переменных: какого вида различия изучаются и какими способами? Если мы хотим выйти за рамки описания и перейти к оценке

Валидность

Валидность При оценке валидности теста ставится следующий вопрос: измеряет ли тест то, что, как предполагается, он должен измерять? Если это, к примеру, IQ-тест, действительно он измеряет различия в уровне интеллекта или различия показателей испытуемых обусловлены чем-то

Валидность и надежность проверок на полиграфе

Валидность и надежность проверок на полиграфе Ведущими учеными подняты главные вопросы, связанные с валидностью и надежностью проверок на полиграфе. Валидность — научный термин для оценки критериев измерения. Надежность — измерение совпадения результатов, при

Валидность

Валидность Первую важную информацию такого рода, которая будет постоянно обсуждаться в данной книге, часто называют «критерием валидности». Вопрос здесь состоит в том, насколько результаты тестирования измеряют то, что они должны измерять в соответствии со своим

5.5.3. Содержательная валидность

Содержательная валидность — это третий важный вид валидности, в корне отличающийся и от критериальной, и от конструктной валидности.

Валидность по содержанию означает систематическую про­верку содержания теста с тем, чтобы установить, соответствует ли оно выборке измеряемой области поведения.

Содержательная валидность — это один из основных типов ва­лидности методики, характеризующей степень репрезентативно­сти содержания заданий теста измеряемой области психических свойств. Такая валидность обычно применяется для тестов, иссле­дующих деятельность, близкую или совпадающую с реальной, т.е. для тестов достижений, критериально-ориентированных тестов, а также методик, предназначенных для профотбора, анализа успеш­ности овладения профессией и т.п.

Для валидизации личностных опросников и тестов интеллекта содержательная валидность используется ограниченно, лишь на начальных стадиях составления теста. Обусловлено это тем, что данные виды методик обычно не имеют того внутреннего сходст­ва с исследуемыми областями поведения, какое присуще тестам достижений, следовательно, анализ их содержания может разве что выявить гипотезы, приведшие составителя к выбору опреде­ленного материала для измерения тех или иных особенностей личности. Чтобы установить валидность этих тестов, необходимо эмпирически подтвердить эти гипотезы.

Описанные выше виды валидности являются основными и должны использоваться при разработке или адаптации практиче­ски каждой психодиагностической методики. Однако наряду с ними существует ряд других, не столь распространенных, но все же достаточно существенных видов валидности. Это валидность

синтетическая, очевидная и экологическая.

Синтетическая валидность. Данный вид валидности является разновидностью валидности критериальной. Понятие синтетической валидности связано с понятиями отдельных и комплексных критериев. Чем более сложным, комплексным является изучаемый объект, тем шире и обобщенней должен быть критерий. На прак­тике часто бывает трудно найти такой критерий, и поэтому оценка валидности производится при помощи разделения общего крите­рия на элементы (отдельные критерии) в соответствии с элемен­тами оцениваемого качества или области поведения.

Очевидная валидностъ. Данный вид валидности отражает то, насколько «хорошим» тест кажется испытуемому или другому че­ловеку, не располагающему сведениями о методике и целях ее ис­пользования. Очевидная валидность не относится к объективно определяемым видам валидности, поэтому подсчитать ее коэффи­циент невозможно.

При этом, однако, она побуждает испытуемых к обследованию, способствует более серьезному и ответственному отношению к выполнению заданий теста и к заключениям, фор­мулируемым психологом.

Экологическая валидностъ. Экологическую валидность можно определить как свойство теста, проявляющееся в том, что приме­нение его для решения различных практических задач ведет к ка­чественно различной интерпретации результатов тестирования. Экологическая валидность — это валидность теста по отношению к измеряемому свойству в контексте определенной ситуации [8].

Вопросы для самопроверки

1. В чем смысл понятия «валидность теста»?

2. Каковы основные виды валидности теста?

3. Какой вид валидности делят на текущую и прогностиче­скую валидность?

4. Что такое «контаминация критерия»?

5. Какой вид валидности можно оценить с помощью процеду­ры факторного анализа?

Валидность: при осмысленной интерпретации данных оценки

. 2003 г., сен; 37 (9): 830-7.

doi: 10.1046/j.1365-2923.2003.01594.x.

Сьюзан М. Даунинг ¹

принадлежность

• ¹ Департамент медицинского образования, Медицинский колледж, Иллинойский университет в Чикаго, 60612-7309, США. [email protected]

• PMID: 14506816
• DOI: 10.1046/j.1365-2923.2003.01594.x

Сьюзан М. Даунинг. мед. образования. 2003 Сентябрь

. 2003 г. , сен; 37 (9): 830-7.

дои: 10.1046/j.1365-2923.2003.01594.х.

Автор

Сьюзан М. Даунинг ¹

принадлежность

• ¹ Департамент медицинского образования, Медицинский колледж, Иллинойский университет в Чикаго, 60612-7309, США. [email protected]

• PMID: 14506816
• DOI: 10.1046/j.1365-2923.2003.01594.x

Абстрактный

Контекст: Все оценки в медицинском образовании требуют доказательства достоверности для осмысленной интерпретации. В современном использовании всякая валидность — это конструктная валидность, которая требует множественных источников доказательств; Конструктивная валидность представляет собой всю валидность, но имеет несколько аспектов. Пять источников — содержание, процесс реагирования, внутренняя структура, связь с другими переменными и последствия — отмечены Стандартами образовательного и психологического тестирования как плодотворные области для поиска доказательств достоверности.

Цель: Цель этой статьи — обсудить конструктную валидность в контексте медицинского образования и обобщить на примерах некоторые типичные источники подтверждения валидности письменных и контрольных экзаменов.

Резюме: Оценки недействительны или недействительны; скорее, баллы или результаты оценок имеют более или менее доказательств, подтверждающих (или опровергающих) конкретную интерпретацию (например, сдачу или провал курса). Валидность рассматривается как гипотеза и использует теорию, логику и научный метод для сбора и обобщения данных, подтверждающих или не подтверждающих предлагаемые интерпретации оценок в данный момент времени. Данные и логика собраны в аргументы — за и против — для определенной интерпретации данных оценки. Примеры типов доказательств достоверности, данных и информации из каждого источника обсуждаются в контексте важного письменного экзамена и экзамена по успеваемости в медицинском образовании.

Заключение: Все оценки требуют доказательства разумности предлагаемой интерпретации, поскольку данные тестов в образовании имеют мало или вообще не имеют внутреннего значения. Конструкты, которые должны быть измерены нашими оценками, важны для студентов, преподавателей, администраторов, пациентов и общества и требуют надежных научных доказательств их значения.

Похожие статьи

• Угрозы достоверности: преодоление помех предлагаемым интерпретациям данных оценки.

  Даунинг С.М., Халадына Т.М. Даунинг С.М. и др. мед. образования. 2004 март; 38(3):327-33. doi: 10.1046/j.1365-2923.2004.01777.x. мед. образования. 2004. PMID: 14996342

• Угрозы достоверности разработанных на местном уровне тестов с множественным выбором в медицинском образовании: нерелевантная по конструкции дисперсия и недопредставленность по конструкции.

  Даунинг С.М. Даунинг СМ. Adv Health Sci Educ Theory Pract. 2002;7(3):235-41. дои: 10.1023/а:1021112514626. Adv Health Sci Educ Theory Pract. 2002. PMID: 12510145

• Надежность: на воспроизводимость данных оценки.

  Даунинг С.М. Даунинг СМ. мед. образования. 2004 г., сен; 38 (9): 1006-12. doi: 10.1111/j.1365-2929.2004. 01932.x. мед. образования. 2004. PMID: 15327684

• Что считается достоверным доказательством? Примеры и распространенность в систематическом обзоре оценки на основе моделирования.

  Кук Д.А., Зендеяс Б., Хамстра С.Дж., Хатала Р., Бриджес Р. Кук Д.А. и соавт. Adv Health Sci Educ Theory Pract. 2014 май; 19(2):233-50. doi: 10.1007/s10459-013-9458-4. Epub 2013 2 мая. Adv Health Sci Educ Theory Pract. 2014. PMID: 23636643 Обзор.

• От тестовой валидности к конструкционной валидности… и обратно?

  Colliver JA, Conlee MJ, Verhulst SJ. Колливер Дж.А. и соавт. мед. образования. 2012 г., апрель; 46(4):366-71. doi: 10.1111/j.1365-2923.2011.04194.x. мед. образования. 2012. PMID: 22429172 Обзор.

Посмотреть все похожие статьи

Цитируется

• Валидация хирургических симуляторов: Технический отчет по текущей терминологии валидации как справочник для будущих исследований.

  Хьюз Т., Феннелли Дж.Т., Патель Р., Бакстер Дж. Хьюз Т. и др. Куреус. 2022 25 ноября; 14 (11): e31881. doi: 10.7759/cureus.31881. электронная коллекция 2022 нояб. Куреус. 2022. PMID: 36579220 Бесплатная статья ЧВК.

• Суммативное оценивание на основе моделирования в здравоохранении: обзор основных практических принципов.

  Buléon C, Mattatia L, Minehart RD, Rudolph JW, Lois FJ, Guillouet E, Philippon AL, Brissaud O, Lefevre-Scelles A, Benhamou D, Lecomte F, Group TSAWS, Bellot A, Cruble I, Philippot G, Vanderlinden Т. , Батранкур С., Буатиас-Геро С., Брео Ж., де Ври П., Сибер Л., Сешересс Т., Булан В., Деламарр Л., Гриле Л., Жюнд М., Матюрен С., Берто Ж., Дебьен Б., Гасиа О., Дер Саакян Г. , Боэт С., Орио Д., Шабо Дж. М. Булеон С и др. Adv Simul (Лондон). 2022, 28 декабря; 7(1):42. дои: 10.1186/s41077-022-00238-9. Adv Simul (Лондон). 2022. PMID: 36578052 Бесплатная статья ЧВК.

• Оценка валидности опросника базовой грамотности учителей общедоступной физической культуры.

  Цзэн С, Да И, Ло Л. Цзэн X и др. Фронт Псих. 2022 11 окт;13:876206. doi: 10.3389/fpsyg.2022.876206. Электронная коллекция 2022. Фронт Псих. 2022. PMID: 36304861 Бесплатная статья ЧВК.

• Серьезные игры и виртуальная реальность в мультимодальном обучении лапароскопической пластике паховой грыжи: рандомизированное перекрестное исследование.

  Ланг Ф., Уиллут Э., Хейни К.М., Фелинска Э.А., Веннберг Э., Ковалевски К.Ф., Шмидт М.В., Вагнер М., Мюллер-Стих Б.П., Никель Ф. Ланг Ф. и др. Surg Endosc. 2022 г., 26 октября. doi: 10.1007/s00464-022-09733-6. Онлайн перед печатью. Surg Endosc. 2022. PMID: 36289083

• Оценка хирургической автономии: в поддержку желаемых целей.

  Хаск К. Хаск К. Представитель AJOG Glob 21 июля 2022 г .; 2 (3): 100077. doi: 10.1016/j.xagr.2022.100077. Электронная коллекция 2022 авг. Представитель AJOG в мире, 2022 г. PMID: 36276796 Бесплатная статья ЧВК.

Просмотреть все статьи «Цитируется по»

термины MeSH

Действительность

«Действительность» измерительного прибора не относится к самому инструменту, а к тому, является ли конкретный интерпретация его оценок вполне оправдана. Это неуместно говорить об измерительном инструменте как о действительный или недействительный. Имеет смысл только рассмотреть обоснованность указанная цель или интерпретация полученных результатов. Поскольку для начисления очков можно использовать несколько типов умозаключений. от данного инструмента, в зависимости от ситуации, в которой он должна быть использована, достоверность каждого вывода должна быть установлена. Это различие известно в легочной медицине. ОФВ1, например, считается действительным не сам по себе, а в условия конкретных целей, для которых он может быть использован. К степень, в которой пользователь средства измерения предполагает его использование для целей, отличных от целей, предусмотренных разработчиком и подтверждается существующими доказательствами, пользователь становится ответственным за предоставление доказательств относительно обоснованности его / ее предложенного интерпретации.

Общая оценка полезности измерительного прибора и ограничения, таким образом, не устанавливаются раз и навсегда, а постепенно строится на основе накопленных данных о взаимосвязь между содержанием инструмента и определения измеряемого конструкта, взаимосвязи между баллами по инструменту и результатами других соответствующих измерения, а также различия между баллами по инструменту для различных групп лиц или для одних и тех же лиц в в разные моменты времени или в разных условиях. Обычно последний включает в себя измерения, сделанные до и после некоторого вмешательство (например, конкретная медицинская терапия или образовательное/поведенческое вмешательство), или до и после двух различные вмешательства, которые сравниваются под контролем условия. Можно охарактеризовать различные типы выводов или использования (например, оценка изменений в индивидуальном с течением времени, оценка групповых различий), и для каждого из них существуют обычные экспериментальные планы и статистические данные, с помощью которых правомерность этих выводов можно проверить.

Следующие краткие описания описывают несколько источников доказательств обычно собираются для проверки обоснованности выводов, основанных на на инструменте или инструменте оценки. Исторически терминология используется, когда различные источники доказательств рассматриваются как хотя они установили разные «типы» валидности (например, «Содержание действия»). Некоторые потенциальные разработчики и пользователи HRQL инструменты могут привыкнуть к этой терминологии. Однако это терминология привела к значительной путанице и непониманию и здесь не используется.

Доказательства, основанные на содержимом инструмента

Степень, в которой содержание документа — его вопросы или элементы — связаны правдоподобным (и желательно явным) обоснование некоторой конкретной концепции конструкции, являющейся измеренное (например, качество жизни) является одним из источников доказательств поддерживая обоснованность интерпретации баллов как мер предполагаемая конструкция. Разработчик прибора в лучшем виде возможность дать такое обоснование. Однако суждения о правдоподобность обоснования может и должна быть сделана (другим) эксперты, специалисты по измерениям и потенциальные пользователи (исследователи или клиницистов).

Вероятность того, что будет ясный и убедительный отношения между содержанием инструмента и конструкцией, которая должна быть оценивается лучше всего, когда конструкт (например, качество жизни) сначала как можно более четко определено в письменной форме, и это определение, используемое в качестве основы для разработки или выбора предметы, из которых состоит инструмент. При оценке имеющихся доказательства, подтверждающие правильность некоторых выводов, основанных на оценках от инструмента измерения HRQOL полезно учитывать такие факторы как:

1) процесс разработки инструмента,
2) существует ли четкое определение того, что делается измерено,
3) как было получено это определение,
4) опущены ли в нем важные элементы или включены нерелевантные единицы,
5) насколько это хорошо принято, и
6) правдоподобие явного или неявного обоснования связи содержание документа к определению того, что должно быть измерено.

Доказательства, основанные на внутренней структуре

Данные, основанные на внутренней статистической структуре инструмент является еще одним источником информации, относящейся к интерпретация его показателей. Такие доказательства обычно получают с помощью таких методов, как факторный анализ, кластерный анализ и др. методы определения того, являются ли единицы измерения единичными, одномерная конструкция или многомерная, и их статистическая структура согласуется с определением измеряемый конструкт и предполагаемая логическая структура инструмент.

Доказательства, основанные на отношениях между баллами и другими переменные

Доказательства достоверности конкретных интерпретаций баллов на инструменте также можно получить, рассмотрев, как баллы на инструмент связаны с другими переменными. Подтверждающие доказательства поскольку конкретные интерпретации могут исходить как из результатов сходные результаты (конвергенция) или разные результаты (дивергенция), в зависимости от конкретных переменных.

Процесс сбора доказательств отношений, которые поддерживают или опровергать определенные интерпретации оценок по инструменту HRQL является непрерывным, поскольку никакие отдельные отношения обычно не достаточно, чтобы окончательно установить справедливость данного интерпретация. Соответствующие взаимосвязи и ассоциации должны предоставляться разработчиком и с каждым сообщением об использовании инструмент, чтобы последующие пользователи могли судить о достоверности инструмент в отношении цели, для которой они могут пожелать использовать его.

Для инструментов HRQL часто делается предположение, что более тяжелое заболевание, в среднем, связано с уменьшением качества жизни и что уже известное лечение снижает тяжесть заболевания или его симптомы будут связаны с улучшение качества жизни в данной популяции. Следовательно, можно изучить корреляции между баллами по инструменту HRQL и переменные, представляющие другие клинические индикаторы заболевания тяжесть, например потребность в дополнительном кислороде, ОФВ1 или толерантность к физическим нагрузкам. Или можно изучить различия в показателях HRQL. между леченными и нелеченными субъектами. Ожидание было бы что в среднем баллы по инструменту HRQL должны коррелировать с или показать средние различия или изменения в ожидаемом направлении в сочетании с клиническими маркерами тяжести заболевания и другими показатели состояния здоровья. Однако необходима некоторая осторожность. Здоровье связанное с этим качество жизни, как обычно рассматривается, не является функцией только болезненное состояние или физиологический статус — лица одного и того же физиологический статус или нарушения могут радикально отличаться функционального состояния и HRQL в соответствии с их собственными представлениями. Если другие характеристики и обстоятельства влияют на HRQL, неспособность найти тесную корреляцию между физиологическим и HRQL меры не обязательно подрывают действительность измерение HRQL или физиологического параметра.

Доказательства, основанные на отношениях между баллами и критерий

Среди переменных, отношение которых к показателям инструмента особый интерес представляют те, которые можно считать критерием переменные. Выбор единственной критериальной переменной в качестве «золотой стандарт» трудно, если не невозможно, в случае качества жизненных инструментов, потому что не существует общепринятого «золотого стандарта». Это трудно даже представить, что могло бы представлять собой такое золото стандарт, поскольку обычно считается, что концепция HRQL хотя бы частично, субъективно, отражая приоритеты и потребности человека, чье качество жизни рассматривается и как хорошо, что эти потребности удовлетворяются.

Отношения между баллами и внешними критериями можно разделить на два типа: одновременный и прогностический . Рассматриваются параллельные отношения путем сопоставления оценок на измерительном инструменте с другими переменные, полученные одновременно на одних и тех же людях или изучение различий в баллах, полученных одновременно, для популяции, которые, как известно, сходны или различны в некоторых релевантных уважать. Прогностические отношения исследуются путем администрирования инструмент для выборки лиц и ожидания некоторых последующий «результат» (например, ремиссия болезни, смерть, улучшение некоторых физиологических параметров). Способность оценки по инструменту, чтобы предсказать результат, аргументирует его полезность для этой цели. Сама по себе такая предсказательная связь не является доказательством того, что прибор измеряет конструкцию интерес. Однако неспособность найти ожидаемый прогностический отношения могут предполагать либо то, что предполагаемая конструкция плохо измеряется или что гипотеза о отношение конструкции к результату сомнительно. Это вся паутина типов доказательств, обсуждавшихся выше, которые сбрасывают свет на такие вопросы. Предполагаемые доказательства случайного осмотра инструмент — проблема «лицевой валидности»

Иногда предполагается, что достоверность интерпретации или использование измерительного прибора может быть оценено теми, кто мог бы использовать его или тех, против кого он может быть использован, на основании того, содержание документа, по-видимому, имеет отношение к конструкция, подлежащая измерению. Однако такая «проверка лица» может быть совершенно ненадежный и вводящий в заблуждение. Хотя понятно, что у тех, кто исследует инструмент, сложится впечатление о том, элементы соответствуют или не соответствуют тому, что они считают цель измерения быть, невозможно нарисовать законные выводы относительно надежности инструмента или до тех пор, пока не будет собрана и рассмотрена другая информация. Инструмент, который при случайном наблюдении кажется хорошим «лицом» действительность» может быть фактически бесполезным для многих целей. Инструмент, в котором отсутствует содержание, которое некоторые люди считают важный может быть вполне подходящим для его предполагаемого использования и вполне актуальным и соответствующим определению разработчика конструкция, подлежащая измерению.