Виды валидности: Виды валидности. Проблема валидности экспериментального исследования.

Автор: | 08.07.1979

Содержание

22. Основные типы валидности. Понятие «комплекса валидности». Обоснование необходимости периодической валидизации психодиагностических методик

Читайте также

14. Общие критерии классификации психодиагностических методик. Понятие о научных и практических методиках

14. Общие критерии классификации психодиагностических методик. Понятие о научных и практических методиках Критерии, в соответствии с которыми различные методы психодиагностики делятся на частные группы.По типу применяемых тестовых заданий методики делятся на опросные

15. Ограничения, достоинства и недостатки различных типов психодиагностических методик

15. Ограничения, достоинства и недостатки различных типов психодиагностических методик Существование множества психодиагностических методик объясняется тем, что практически все методики имеют ограничения в применении.Рассмотрим в этой связи достоинства и недостатки

18. Надежность психодиагностических методик. Стандартная ошибка измерения. Понятие о методе измерения ретестовой надежности

18. Надежность психодиагностических методик. Стандартная ошибка измерения. Понятие о методе измерения ретестовой надежности Надежность – одно из трех главных психометрических свойств любой измерительной психодиагностической методики (теста).Надежность – это

19. Стандартизация процедуры обследования. Взаимосвязь надежности и валидности. Надежность параллельных форм

19. Стандартизация процедуры обследования. Взаимосвязь надежности и валидности. Надежность параллельных форм Важнейшим средством повышения надежности психодиагностических методик является стандартизация процедуры обследования. При строгой регламентации процедуры

21. Определения валидности. Важнейшие составляющие валидности

21. Определения валидности. Важнейшие составляющие валидности Валидность (англ. valid – «действительный, пригодный, имеющий силу») – комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической

23. Конструктная валидность. Конвергентная и дискриминантная валидности

23. Конструктная валидность. Конвергентная и дискриминантная валидности Конструктная валидность – один из основных типов валидности, отражающий степень репрезентации исследуемого психологического конструкта в результатах теста. В качестве конструкта могут выступать

27. Синтетическая и инкрементная валидности

27. Синтетическая и инкрементная валидности Синтетическая валидность. Более эффективным с точки зрения практической направленности теста (его адекватности как средства диагноза и прогноза реальной деятельности) является соотнесение результатов с критериальными

28. Текущая и эмпирическая валидности

28. Текущая и эмпирическая валидности Текущая валидность (диагностическая, конкурентная) – характеристика теста, отражающая его способность различать испытуемых на основании диагностического признака, являющегося объектом исследования в данной методике. В более узком

31. Очевидная, экологическая, иллюзорная (ложная) валидности

31. Очевидная, экологическая, иллюзорная (ложная) валидности Очевидная валидность – представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого или другого лица, не располагающего специальными сведениями о

32. Критерий валидности. Основное психометрическое неравенство. Типы критериев валидности

32. Критерий валидности. Основное психометрическое неравенство. Типы критериев валидности Соответствие теста измеряемому психическому свойству называется валидностью теста. На валидность теста негативно влияют случайные факторы, поэтому в психометрике принято

33. Математическое выражение критерия валидности (коэффициент Гилфорда). Основные схемы валидизации психодиагностических

33. Математическое выражение критерия валидности (коэффициент Гилфорда). Основные схемы валидизации психодиагностических Меру совпадения (корреляции) между крайними группами по тесту и по критерию оценивают с помощью самого простого Фи-коэффициента Гилфорда: При

Основные отличия теста ТиГр от традиционных проективных и графических методик

Основные отличия теста ТиГр от традиционных проективных и графических методик В качестве основных отличительных особенностей теста ТиГр по сравнению с традиционными проективными и графическими методами можно назвать следующие шесть признаков:во-первых, тест

ОСНОВНЫЕ ТИПЫ МЫШЛЕНИЯ

ОСНОВНЫЕ ТИПЫ МЫШЛЕНИЯ Различают несколько основных типов мышления, каждому из которых соответствует один или несколько наиболее употребительных мыслительных инструментов. Эти основные типы являются в значительной степени условностью, упрощенным подходом к мышлению,

Глава 5. Оценка валидности утверждений

Глава 5. Оценка валидности утверждений Оценка валидности утверждений (иногда обозначаемая аббревиатурой ОВУ) на сегодняшний день является наиболее популярной методикой для оценки правдоподобности утверждений, представленных в устной форме. Эта методика была

Причины искажения валидности

Причины искажения валидности Как мы увидели, конечной целью планирования исследования всегда является достижение валидных выводов об изучаемом феномене. Неудачный исследовательский план ставит валидность под сомнение, не устраняя спорных моментов и ограничивая

Глава 5. Оценка валидности утверждений

Глава 5. Оценка валидности утверждений Оценка валидности утверждений (иногда обозначаемая аббревиатурой ОВУ) на сегодняшний день является наиболее популярной методикой для оценки правдоподобности утверждений, представ-, ленных в устной форме. Эта методика была

Виды валидности

Виды валидности
— Несколько специфичных характеристик психодиагностического инструментария, обусловленных особенностями диагностических методик, временным статусом внешнего критерия.
Во многих работах (А Анастази, 1982; Л.Ф Бурлачук, С.М. Морозов, 1989; KM. Гуревич, 1970; Б.В Кулагин, 1984; В Черны, 1983; «Общая психодиагностика», 1987 и др ) называются чаще всего следующие:

1. Валидность «по содержанию». Этот прием используется в основном в тестах достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала. На это и должна ответить проверка валидности по содержанию. Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность «по содержанию» также подходит к критериально-ориентированным тестам. Иногда этот прием называют логической валидностью.

2. Валидность «по одновременности», или текущая валидность, определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени успеваемость в период испытания, производительность в этот же период и т д. С ним коррелируют результаты успешности по тесту.

3. «Предсказывающая» валидность (другое название — «прогностическая» валидность). Определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик — предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

(adsbygoogle = window.adsbygoogle || []).push({});

4. «Ретроспективная» валидность. Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

Источник: Психологическая диагностика: Учебное пособие / Под ред. К.М. Гуревича и Е.М. Борисовой.

Персональный сайт — Виды валидности применительно к психологическому исследованию.

Виды валидности применительно к психологическому исследованию.

Валидность исследования – оценка проведенного эмпирического исследования с точки зрения «правильности» его организации, возможности считать полученные рез-ты и сделанные выводы достоверными. Валидность при использовании методов наблюдения или эксперимента включает оценку репрезентативности исследования как степени его приближения к возможным безупречным мысленным образцам.

Валидность эксперимента – это степень соответствия его предполагаемым мысленным образцам. Различают 5 основных видов валидности: внутренняя, внешняя, операциональная, конструктная, популяционная.

Мысленные образцы эксперимента – это критерии, в отношении к которым обсуждаются разные аспекты валидности реально проводимых исследований.

Оценка психологических гипотез включает знание правил статистического вывода и оценки валидности эксперимента (внутренней и операциональной).

Оценка внутренней и операциональной валидностей позволяет оценить возможность артефактных выводов.  Они обеспечивают достоверность вывода о зависимости.

Внутренняя и операциональная оцениваются в любом эксперименте,  внешняя – в естественном; конструктная – при проверке теоретических гипотез; популяционная – при оценке репрезентативности выборки с точки зрения возможности переносить обобщения на популяции.

1. Внутренняя валидность – критерий оценки планирования и проведения исследования, позволяющий считать достоверными выводы относительно именно той зависимости, которая сформулирована в ЭГ, как об отношении между НП и ЗП с точки зрения приближения эксперимента к идеальному и бесконечному.

Ее оценка входит в формальное планирование.  Анализ эквивалентности групп – внутренняя валидность. Угрозы исходят от систематических и несистематических смешений с ПП. Основной источник угроз в межгрупповых схемах – межиндивидуальные различия. Обеспечивает достоверность вывода о зависимости и позволяет оценить возможность артефактных выводов.

2. Внешняя валидность – критерий оценки исследования с т.зр. решения проблем соответствия сформулированных в ЭГ переменных и реализованных методически условий тем, на которые осуществляется обобщение полученных рез-тов (приближение к эксперименту полного соответствия). соответствие реального исследования изучаемой объективной реальности.

Ее оценка входит в содержательное планирование. Позволяет делать обобщение за пределы ситуации. Аспект репрезентативности испытуемых – внешняя валидность. Обеспечивает надежность как устойчивость и воспроизводимость результатов.

3. Операциональная валидность – оценка эксперимента с т. зр. степени соответствия эмпирически нагруженным понятиям НП, ЗП и ДП тех методик задания и измерения переменных, которые используются в исследовании.

Ее оценка входит содержательное и формальное планирование. В лабораторном эксперименте может совпадать с оценкой конструктной валидности. Надежность методик – аспект операциональной валидности. Оценка операциональной валидности связана с тем, насколько удачно совершен переход от формулирования гипотез к выбору методик.

4. Конструктная валидность – аналог внешней валидности; это оценка соответствия представленных в ЭГ переменных теоретическим конструктам и ТГ.

Ее оценка входит в содержательное планирование. От нее зависит оценка возможности обобщения.

5. Популяционная валидность – это оценка того, насколько правомерно распространять обобщения, полученные на ограниченной выборке, на более широкие выборки и популяции.

Оценка этого вида валидности зависит от качества отбора испытуемых из популяции и от стратегий контроля индивидуальных различий. Ее оценка влияет на возможность обобщение за пределы исследования. Репрезентативность выборки – основной аспект оценки популяционной валидности. Выборка испытуемых из популяции не может представлять ее безупречно, но высокая репрезентативность м.б. достигнута при правильных стратегиях отбора испытуемых

Презентация Типы валидности — Docsity

Типы валидности. Тест называется валидным, если он измеряет то, для измерения чего он предназначен. 1. Очевидная валидность. 2. Конкурентная валидность. 3. Прогностическая валидность. 4. Инкрементная валидность. 5. Дифференциальная валидность. 6. Содержательная валидность. 7. Конструктная валидность. 1. Очевидная валидность. Очевидное на первый взгляд соответствие измеряемого тому, что планировалось измерять. Описывает представление о тесте, сложившееся у испытуемого. Тест должен восприниматься обследуемым как инструмент познания его личности, чем-то схожий с медицинским диагностическим инструментом, вызывающим уважение (и в какой-то мере трепет). 4. Критериальная валидность. Степень точности предсказаний и соответствия теста другим показателям. Позволяет спроецировать развитие ситуации в будущем. Степень достоверности этой проекции и есть критериальная валидность. 4. Конкурентная валидность. Оценивается по корреляции разработанного теста с другими, валидность которых относительно измеряемого параметра установлена. П.Клайн отмечает, что данные о конкурентной валидности полезны тогда, когда есть неудовлетворительно работающие тесты для измерения некоторых переменных, а новые создаются для того, чтобы улучшить качество измерения. 5. Прогностическая валидность. Устанавливается с помощью корреляции между показателями теста и некоторым критерием, характеризующим измеряемое свойство, но в более позднее время. Например, прогностическая валидность какого-либо теста интеллекта может быть показана корреляцией его показателей, полученных у испытуемого в возрасте 10 лет, с академической успеваемостью в период окончания средней школы. Л.Кронбах считает прогностическую валидность наиболее убедительным доказательством того, что тест измеряет именно то, для чего он был предназначен. Основная проблема, с которой сталкивается исследователь, пытающийся установить прогностическую валидность своего теста, состоит в выборе внешнего критерия.

Валидность

Вали́дность (англ. validity, фр. validité – годность (действительность, законность, весомость, обоснованность), от лат. validus – «сильный, здоровый, достойный») — обоснованность и пригодность применения методик и результатов исследования в конкретных условиях. Более прикладное определение понятия «валидность» — мера соответствия методик и результатов исследования поставленным задачам. Валидность считается фундаментальным понятием экспериментальной психологии, организационной психологии и психодиагностики.

Как в психологии, так и в статистике валидное измерение — такое измерение, которое измеряет то, что оно должно измерять (эта узкая трактовка «валидности» является наиболее популярной, по факту она соответствует понятию «конструктная валидность»). То есть, к примеру, при валидном измерении интеллекта измеряется именно интеллект, а не что-то другое. Безупречный эксперимент (возможный лишь в теории) будет обладать безупречной валидностью: он будет точно показывать, что экспериментальный эффект был вызван изменением независимой переменной, он будет полностью соответствовать реальности, его результаты можно обобщить без ограничений.

Когда говорят о степени валидности, рассматривается то, насколько результаты исследования соответствуют поставленным задачам (однако при этом валидность не измеряется в каких-либо условных единицах).

Важная особенность валидности — её нельзя установить единожды и использовать это доказательство как финальный аргумент «за» качество того или иного эксперимента или методики. Валидность необходимо постоянно обосновывать новыми данными, перепроверять в независимых исследованиях.

Способы установления валидности методики

Чаще всего понятие «валидность» обсуждается в контексте конкретных методик или экспериментов. При этом может быть поставлен вопрос и о валидности определенного метода в целом (например, метода тестирования или ассессмент центра). Подобные исследования проводятся с помощью мета-анализа.

Существуют три основных способа установления валидности методики.

I. Оценка содержательной валидности.

Содержательная валидность — степень соответствия содержания заданий методики той реальной деятельности, в которой проявляется измеряемое в методике свойство. Частным случаем содержательной валидности является так называемая очевидная (лицевая или фейс) валидность — степень соответствия методики ожиданиям оцениваемых. Для большинства методик считается важным, чтобы для участника оценки была очевидна связь между содержанием процедуры оценки и той реальной деятельностью, которая является объектом оценки (профессиональная, учебная, семейная и т. п.).

II. Оценка конструктной валидности.

Конструктная валидность — это степень обоснованности того, что методика действительно измеряет заданные и при этом научно обоснованные конструкты. Существуют, как минимум, две стратегии установления конструктной валидности.

Подход первый — «конвергентная валидизация» — это проверка ожидаемой связи результатов конкретной методики с показателями других методик, измеряющих сходные характеристики. Например, если для измерения какой-либо черты существует несколько методик, целесообразным было бы провести эксперименты по хотя бы двум, и тогда при обнаружении высокой положительной корреляции их результатов между собой можно говорить о валидности. Основной целью конвергентной валидизации является определение того, будут ли оценки теста варьироваться в соответствии с ожиданиями.

Подход второй — «дискриминантная валидизация»[en]. Проверка валидности здесь заключается в том, что тест не должен измерять никакой черты, с которой он теоретически и не должен быть связан.

III. Оценка критериальной валидности.

Критериальная валидность — это определенная статистическими методами степень соответствия результатов методики и определенных заранее внешних критериев. В качестве подобных критериев могут выступать:

  • независимые от результатов методики непосредственные меры исследуемого качества (такие как уровень достижения в какой-либо деятельности, степень развития способности, выраженность определенного свойства личности и т. д.),
  • показатели социально- или организационно-значимых результатов деятельности (ключевые показатели эффективности (КПЭ или KPI), успеваемость, устойчивость семейных отношений и т. п.)

Одним из видов критериальной валидности является т. н. «прогностическая» валидность. Этот вид валидности используется, когда методика призвана давать определенный прогноз поведения человека. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что методика является прогностически валидной.

Профессиональные разработчики методик должны обосновывать все перечисленные виды валидности и вести постоянный сбор свидетельств в пользу валидности их инструментов.

Виды валидности

В различных источниках упоминаются разные названия, что может создавать определенную путаницу. В экспериментальной психологии ключевыми понятиями являются

Для психодиагностики и организационной психологии более традиционной[1] является классификация из трех основных видов валидности:

См. также

Примечания

Ссылки

Внешняя валидность и виды обобщений за пределами исследовательской ситуации

Оценка валидности реально проведенных экспериментов осуществляется через «внутренние очки», сквозь призму которых видны направления возможных или уже допущенных ошибок при разработке и проведении эксперимента. Р. Готтсданкер использовал удобную технику представления мысленных образцов эксперимента в виде таких инструкций.

Не следует путать термины «мысленный эксперимент» (МЭ) и «мысленная схема» эксперимента. ДОЭ можно понимать, во-первых, как принятую норму размышлений психолога на всех этапах следования логике экспериментальной проверки психологической гипотезы. Во-вторых, DOE можно рассматривать в контексте использования психологом мысленной репетиции для оценки контроля угрозы для вывода эмпирической зависимости. В-третьих, МЭ может представлять собой такой эксперимент, который невыполним из-за отсутствия средств операционализации переменных, принятия определенных этических норм или экономических соображений и т.д.

В первых двух случаях путь продуманного экспериментирования — это обсуждение экспериментальной модели, которая определяет взаимосвязь между переменными, интересующими исследователя, при анализе эксперимента, который был фактически проведен или запланирован для фактического сбора данных. В третьем случае МЭ может представлять собой разработку заведомо нереального, т.е. в принципе невыполнимого, исследования. Тем не менее, он представляет собой один из способов, с помощью которого можно было бы спроектировать результаты, если бы у исследователя был доступ к предполагаемым формам экспериментального контроля.

Как и реальный эксперимент, мысленный эксперимент является средством проверки не всех психологических гипотез. Детерминистически сформулированные гипотезы, проверяемые в ДОЭ, могут быть причинно-следственными и структурно-функциональными. Последние не являются предметом экспериментов в строгом смысле слова, но могут направлять построение, например, формирующих экспериментов. Методы теоретического моделирования, которые больше подходят для проверки структурно-функциональных гипотез, не рассматриваются в данном учебнике, который построен как введение в эксперимент как метод сбора эмпирических данных.

При планировании психологического эксперимента можно понимать ДОЭ и как реализуемый во внутреннем, психическом ходе экспериментальной деятельности, внешне реально развернутый в этапах проведения эксперимента. Фактически, все этапы планирования являются вариантами мысленного экспериментирования с целью определения лучших форм экспериментального контроля, выбора лучшего из возможных экспериментальных планов.

Помимо планирования, функция мысленного эксперимента заключается в обосновании или оценке валидности фактически проведенных экспериментов. Ментальные паттерны, в терминах которых оцениваются свойства реального эксперимента, позволяют нам обсудить основные аспекты «правильности» построения экспериментальной модели. Правильность в данном случае означает лишь степень приближения к наилучшему мысленному воплощению условий эксперимента, соответствующих данной экспериментальной гипотезе. Экспериментатор может выбрать переменные, технику как средство операционализации этих переменных правильно или неправильно, обосновать или нет. Экспериментатор может вводить смеси НП с другими переменными или успешно избегать смесей. Он может получить более или менее надежные данные, задав определенное количество образцов для каждого из условий НП; он может обеспечить случайное распределение условий для вспомогательных переменных по уровням НП, или он может не контролировать несистематическую изменчивость (НП, ПД, вспомогательные факторы).

Именно такое прочтение функций ментальных паттернов представлено в понятиях идеальных и бесконечных экспериментов, экспериментов полного согласия и безошибочных экспериментов, используемых Р. Готтсданкером. Все эти четыре термина служат для уточнения критериев, по которым следует оценивать успех планирования, организации и проведения реалистичного эксперимента.

В контексте рассматриваемых норм профессиональной аргументации психолога термин «мысленный эксперимент» является одной из таких норм (или «внутренних точек»), которые психолог может использовать для ответа на многие вопросы об уровне эмпирической поддержки, достигнутой для проверяемой каузальной гипотезы. Однако не существует рецепта, как использовать эти «очки» в каждом конкретном случае. Иногда от них приходится отказываться, если характер исследования не таков, чтобы к нему можно было применить установленные нормы оценки экспериментальных гипотез. Такой отказ, однако, не следует путать с неспособностью правильно организовать и провести психологический эксперимент.

Виды валидности в оценке психологического эксперимента

Виды валидности — это направления сравнения реально проведенных экспериментов с мысленными образцами. Оценка валидности относится как к оценке реализации выбранных форм экспериментального контроля, так и к оценке системы выводов в организации исследования с точки зрения соответствия нормам экспериментального вывода. Нормы, связанные с возможными обобщениями по результатам психологических экспериментов, включают в себя различные типы валидности.

Внутренняя и внешняя валидность — это обязательно обсуждаемые аспекты валидного эксперимента, будь то эксперимент в научных или практических целях. Различия в выводах из этих экспериментов будут связаны с тем, как построено обобщение: переносимо ли оно на других людей, другие ситуации, виды деятельности или на теоретическую модель.

Внутренняя валидность эксперимента говорит лишь что-то об изучаемой зависимости, то есть о связи между независимыми и зависимыми переменными, но ничего о возможности их распространения за пределы данной экспериментальной ситуации. Если полученные данные характеризуются ненадежностью или наличием смещений (систематических, несистематических, сопутствующих), утверждение, сформулированное в экспериментальной гипотезе, не может считаться достоверным, даже если получен соответствующий ему экспериментальный эффект.

Если внутренняя валидность проведенного эксперимента классифицируется как высокая, из этого еще не следует, что экспериментально установленная зависимость также соответствует действительности. Таким образом, в лабораторных экспериментах экспериментальная модель может представлять собой научную модель, которая отражает определенные отношения между операционализированными переменными. Возможно, что для этих моделей типы субъективной реальности, которые они должны представлять в экспериментальной ситуации, впоследствии не обнаруживаются. Таким образом, не существует эмпирии, к которой можно было бы применить обобщение зависимости, обнаруженной в эксперименте.

Внешняя валидность, которая включает решение проблем соответствия (NP, PD, DP), обеспечивает возможность обобщения на типы ситуаций или деятельности, которым соответствуют экспериментально контролируемые переменные. Когда дело доходит до теоретических обобщений, оценка внешней валидности уступает место оценке валидности конструкции. Прояснение вопросов валидности конструкции и внешней валидности приводит исследователя к выбору типа эксперимента: естественный («дублирующий реальный мир»), искусственный (расширяющий реальный мир) или лабораторный.

Необходимо различать системы теоретических утверждений, предполагающих, что они относятся к миру реальности (для психологических теорий это мир субъективной или психологической реальности), и утверждений, не ставящих целью соотнести мир теории и эмпирии (как онтологическую реальность, если использовать терминологию П. Фресса и Ж. Пиаже). Это различие может касаться позиции автора: «Если моя теория несовместима с миром реальности, то она — реальность — должна быть хуже». Это может быть следствием того, что сформулированные психологические конструкты не согласуются на уровне экспериментальных данных. При рассмотрении свойств экспериментального метода речь идет о другом — о способности эмпирически оценить теоретические причинные объяснения.

В экспериментальном методе исследование строится таким образом, чтобы отвергнуть неадекватные объяснения или «ложные» теории как не соответствующие эмпирически установленным зависимостям. Чаще всего различие между продуктивным теоретизированием и псевдотеоретизированием связано с тем, что всегда необходим значительный «прорыв» в обобщении, чтобы связать закономерности, обнаруженные при построении экспериментальных ситуаций (экспериментальных моделей) и теоретических моделей, хотя бы через гипотетические конструкты. Только содержательное обсуждение связи между переменными, установленной в каузальной гипотезе, с учетом объяснительных принципов, сложившихся в рамках конкретных психологических школ, позволяет исследователю настаивать на реальности, т.е. «эмпирической нагрузке», психологических концепций, стоящих за изучаемыми переменными и зависимостями. Анализ эмпирической нагрузки гипотез, вытекающих из теории, играет существенную роль в качестве «ограничителя» для утверждения псевдозаконов.

Понятие валидности конструкта включает в себя актуальный аспект оценки правильности экспериментального дизайна: насколько обоснованным был переход от представленных в теоретической гипотезе понятий — психологических конструктов к их эмпирическим репрезентациям в виде NP, ST, DP, а также насколько объяснение установленной зависимости действительно следует из представленной автором теории. Еще до выбора конкретных методов или уже при их обосновании экспериментатор совершает тот «прорыв» в обобщении (от теории к эмпирике), который связан с разнообразными экспериментальными воплощениями универсальных утверждений. Один и тот же конструкт (например, понятие агрессии или фрустрации) может предполагать различные модели возникновения и регуляции изучаемых явлений, т.е. всегда возникает вопрос об авторской позиции, стоящей за используемой психологической концепцией. От этой позиции во многом зависит, как будут заданы переменные на уровне экспериментальных и контргипотез.

Оценка

Проблема возможных множественных интерпретаций одной и той же экспериментальной зависимости, рассмотренная ранее, охватывает другой аспект валидности конструкта, а именно, насколько валидным выглядит введение автором гипотетических конструктов в причинно-следственную зависимость в качестве объяснения связи между НП и СТ. Хорошо известно, что отсутствие сильных конкурирующих объяснений является третьим условием причинного вывода. В действительности конкурирующие объяснения всегда остаются, вопрос лишь в том, насколько более обоснованной кажется авторская интерпретация по сравнению с другими объяснениями одной и той же установленной зависимости. Очевидно, что эта оценка является содержательной, а не просто формально-логической (которую также следует рассматривать как проявление логической компетентности автора). Уже принятие той или иной позиции может обозначить предвзятость экспериментатора, но оценка валидности конструкта не может быть тем более предвзятой, поскольку связана с отражением в гипотезе накопленных знаний об изучаемой реальности.

Проблема заключается не в различии между старыми и новыми гипотезами, которые в той или иной степени поддерживаются эмпирическими аргументами. V. Налимов назвал эту проблему одним из парадоксов в понимании развития науки вслед за К. Поппером. Кажется парадоксальным, что новая гипотеза, в пользу которой существует меньше теоретических и эмпирических аргументов, со временем вытесняет старую, которая, как правило, лучше подтверждается проведенными исследованиями. Проблема заключается в том, как автор может заставить предполагаемого профессионального читателя исследовательского отчета признать, что автор достоверно представил теоретически подразумеваемые конструкты на уровне эмпирической реальности, а не вольно или невольно заменил их другими.

Таким образом, оценка валидности перехода от уровня теоретических предложений к уровню экспериментальных и контргипотез — это вопросы конструктивной валидности эксперимента. Решение проблем операционализации переменных в методических процедурах их измерения (и контроля) — это вопросы операциональной валидности. Если обобщение зависимости предполагает ее перенос на «реальные», т.е. реально существующие типы человеческих ситуаций и деятельности, то это и есть решение проблем приспособления переменных с точки зрения внешней или, как ее теперь иногда называют, экологической валидности.

Оценка операциональной валидности включает этап перехода от уже сформулированных экспериментальных и контргипотез к процедурам их методического оформления. Одна и та же переменная может быть представлена показателями разных методик. Одна и та же мысленная модель эксперимента может быть реализована с совершенно разными «техническими» или операционными проявлениями контрольных и измерительных переменных.

Популяционные гипотезы, направленные на обобщение на конкретные группы людей и целые популяции, могут быть оценены с помощью ментальной выборки, но не поддаются ментальной проверке. Эти дополнительные переменные, которые должны учитываться исследователем в целях обобщения, не дают обоснования условий необходимости или достаточности, связанных с представлением в реальном поведении человека или в реальных ситуациях механизмов, рассматриваемых в МЭ.

Факторы, угрожающие внутренней валидности эксперимента, рассматриваются в контексте обсуждения формального дизайна как условия принятия решения об экспериментальных фактах. Разработка межгрупповых или внутрииндивидуальных схем направлена в первую очередь на обеспечение контроля внутренней валидности. Что касается стратегий отбора испытуемых в группы из популяций, то здесь также следует обсудить соотношение между внешней (популяционной) и внутренней валидностью, поскольку эти стратегии решают одновременно две проблемы: обеспечение репрезентативности выборки испытуемых и эквивалентности сравниваемых групп.

Конструктивная валидность и концептуальные репликации

Психологическая гипотеза, которая была эксплицирована или выведена как следствие теоретической концепции, может быть несколько изменена при повторной проверке, если меняются средства операционализации содержащихся в ней переменных. Когда необходимо раскрыть одну и ту же теоретически предположенную зависимость, но психологические конструкты инстанцируются различными методологическими средствами, это известно как концептуальная репликация. Таким образом, при многократном измерении зависимой переменной с использованием различных методик повышается достоверность утверждений о природе изучаемого процесса. Изменения в типах задания независимой переменной также расширяют диапазон обобщений наблюдаемой психологической закономерности. Важно, чтобы не нарушалась однозначная интерпретация самого психологического конструкта («мотивация достижения», «функциональные состояния», «гибкость — ригидность контроля» и т.д.).

На самом деле, одно и то же понятие часто используется в психологии для изучения глубинных процессов на разных уровнях, т.е. эксперименты с терминологически схожими формулировками гипотез имеют совершенно разные типы переменных. В качестве примера рассмотрим конструкт «импульсивность». Существует множество теоретических расхождений в обосновании процедур, претендующих на измерение переменной импульсивности как индивидуальной или личностной черты. Некоторые из них связывают импульсивность со снижением рациональности, функции планирования, отсутствием самоконтроля, то есть с одной из обобщенных особенностей человеческого поведения. Другие измеряют импульсивность как когнитивный стиль. Другие настаивают на связи импульсивности с особенностями темперамента. Допустим, что авторы находятся в рамках сходных методологических подходов к пониманию личности, например, с позиции теории черт, но даже в этом случае трудно достичь согласия относительно того, что является психологической реальностью, соответствующей данной черте.

По мнению Г. Айзенка, необходимо различать черты личности, понимаемые как проявления поведения в строго ограниченных областях, и типы или измерения личности, которые связаны с проявлением значимых форм поведения в более общем виде. Черта Импульсивность отличается тем, что занимает промежуточное положение в иерархии личностных черт между этими двумя уровнями. Он включает в себя 4 фактора: стремление к риску, снижение или отсутствие планирования, живость реакции и «узкая импульсивность». Существенно, что благодаря структуре этого «гибрида» Г. Айзенк соглашается с одним из утверждений, вытекающих из результатов исследования Р. Кеттелла: с правомерностью взаимных корреляций между различными шкалами, выделяемыми в теориях черт.

Впоследствии термин «импульсивность» претерпел следующие изменения в совместной работе Ганса и Сибил Айзенк. Во-первых, «импульсивность» была включена вместе с «общительностью» и «живостью» как часть фактора «экстраверсия». Затем, из-за выделения «психотизма» как фактора второго порядка, было проведено различие между «склонностью к риску», которая связана с экстраверсией, и «импульсивностью» в более узком смысле, которая более тесно связана с «психотизмом» (импульсивностью в широком смысле). Попытка выделить «склонность к риску» и «узкую импульсивность» в качестве отдельных шкал оказалась по-разному успешной для женской и мужской выборок.

Таким образом, существует достаточно возможностей для уточнения психологического конструкта «импульсивность» даже в рамках одного исходного понятия. Обобщение для проверки гипотез, связанных с переменной импульсивности, должно учитывать внешние и внутренние детерминанты, которые были определены для этой черты.

Особенности оценки достоверности лабораторного эксперимента

Особым случаем является обобщение, которое предполагает организацию «очищенных» условий в эксперименте для проверки так называемых точных гипотез. Обычно это функция лабораторных экспериментов: получение данных в условиях, соответствующих причинно-следственным связям в специально сформулированной модели, чтобы эмпирически оценить объяснительную силу этой теоретической модели. Теоретические обобщения, однако, относятся не только к линии рассуждений типа «эксперимент — модель — теория». Оценка силы определенных обобщений выявляется также при анализе свойств самой теории — относящейся к «миру теорий» (а не к миру «психологической реальности»). Независимо от того, моделирует ли эксперимент ситуацию, которая отражает теоретическую модель или модель «внешнего мира», оценивается как объяснительная сила предложения, сформулированного в качестве экспериментальной гипотезы, так и возможность перехода от теории как объяснительной системы к этому эмпирически нагруженному предложению. ЭГ как эмпирическая гипотеза будет включать переменные, которые можно не только наблюдать, но и измерять (по той или иной шкале).

Конструктивная валидность обсуждается во всех типах экспериментов с научной целью как адекватность перехода от научной гипотезы к экспериментальной гипотезе или от «рабочей» к интерпретационной теоретической гипотезе. Обсуждение вопросов операциональной валидности включает фазу перехода от уже сформулированных экспериментальных и контргипотез к методологическим процедурам реализации в экспериментальной модели или ситуации. Р. Готтсданкер рассматривает понятие операциональной валидности только применительно к такому типу эксперимента, как лабораторный эксперимент. В этом случае два этапа развития методологических процедур, упомянутых выше, не различаются, поскольку предполагается, что психологический конструкт представлен в том, как он измеряется. Это может быть обосновано, с одной стороны, несводимостью обобщенного понятия к его эмпирическому содержанию, а с другой — возможной неспецифичностью методологических показателей.

В целом, считается, что валидность эксперимента подразумевает все формы экспериментального контроля, направленные на обеспечение всех видов валидности. Результаты валидного эксперимента могут служить основой для надежных выводов, если в целом реализована логически обоснованная система умозаключений, включающая взаимные переходы между различными уровнями гипотез, проверяемых в эксперименте. Если все возможные или очевидные угрозы внутренней и внешней валидности контролируются, а проблемы операционализации и сопоставления переменных хорошо решены, то такой эксперимент считается валидным или «правильным». Valid — валидные или «правильные» — выводы могут быть сделаны из правильно поставленного эксперимента, что означает, что в нем нет ошибок обобщения или умозаключения, но ошибки в умозаключениях возможны.

Ошибки в выводах или ненадежные заключения возможны как из-за неправильных обобщений, так и из-за недействительных экспериментов. Поэтому понимание экспериментирования как сенсорно-объективной деятельности ученого не должно ограничиваться описанием и оценкой того, как операционализируются переменные или как они регистрируются. Формулировка системы гипотез, оценка достоверности эксперимента и реализация выводов относятся к нормативным или нормативно-правовым регуляторам этой деятельности.

Выбор определенной формы эксперимента связан с разработкой того или иного экспериментального дизайна (как схемы сбора данных в различных условиях НП) и с другими видами контроля (выбор типа эксперимента, осуществление «первичного» контроля, «дополнительное варьирование» переменных, введение расширенной переменной и т.д.). Решение проблем дизайна в данном случае означает «прописывание» эксперимента в системе классификаций типов экспериментов и типов экспериментальных дизайнов. Это, в свою очередь, позволяет очертить возможности и ограничения следующих выводов.

Именно предположениями о возможностях последующих обобщений руководствуется исследователь при планировании содержания и формы экспериментов. Таким образом, проблема вывода и обобщения решается в два достаточно отдаленных этапа — мысленное планирование экспериментальных конструкций и процедур и обоснование выводов на основе результатов уже проведенного исследования. В реальных экспериментальных исследованиях это соответствует двухэтапному обобщению: в виде исходных предположений о характере зависимости между НП и БП и в виде окончательных выводов о возможности обобщений как переноса установленной зависимости за пределы экспериментальной ситуации (обобщения на теоретическую модель, на другие ситуации, виды деятельности, субъектов и т.д.).

На странице курсовые работы по психологии вы найдете много готовых тем для курсовых по предмету «Психология».

Читайте дополнительные лекции:

  1. Виды психических процессов: ощущение
  2. Психология тела
  3. Психосемантика рекламы
  4. Профилактика суицидального поведения детей
  5. Клинический психолог
  6. Бернштейн Николай Александрович, советский психофизиолог — Психофизиологические основы организации движения
  7. Стили руководства. Влияние руководителей на эффективность работы подчиненных
  8. Практические методы обучения дошкольников
  9. Теоретическая психология как область психологической науки
  10. Диагностика задержки психического развития, нейропсихологический подход

Разработка и стандартизация методики «Временная компетентность личности» | Кузьмина

Разработка и стандартизация методики «Временная компетентность личности»

Аннотация

Кузьмина О. В. Разработка и стандартизация методики «Временная компетентность личности» / О. В. Кузьмина // Известия Уральского государственного университета. Сер. 1, Проблемы образования, науки и культуры. — 2011. — N 2 (89). — С. 186-196.

Представлены результаты стандартизации и валидизации авторской методики, позволяющей определять уровни выраженности компонентов временной компетентности личности. Осуществлена стандартизация методики, определены содержательный, конструкторный, критериальный, прогностический, дивергентный виды валидности, внутренняя согласованность утверждений в опроснике, ретестовая надежность. Результаты проведенных процедур позволяют заключить, что методика валидна, надежна и может использоваться как в исследовательских целях, так и практической работе.


Ключевые слова

временная компетентность личности; конструктная, содержательная, прогностическая валидность; ретестовая надежность; внутренняя согласованность утверждений


Литература

Болотова А. К. Психология временной организации деятельности личности : автореф. … дис. д-ра психол. наук. М., 1995.

Горностай П. П. Творчество как форма освоения и переживания времени личностью // Психология личности и время жизни человека : сб. науч. докл. Черновцы, 1991. С. 24–33.

Калинин С. И. Тайм-менеджмент: практикум по управлению временем. СПб., 2006.

Леонтьев Д. А. Тест смысложизненных ориентаций (СЖО). М., 2006.

Маслоу А. Мотивация и личность. СПб., 2003.

Милорадова Н. Г. Психология и педагогика. М., 2005.

Моросанова В. И., Конов Е. М. Стилевая саморегуляция поведения человека // Вопр. психологии. 2000. № 2. С. 118–127.

Яксина И. А. Временная компетентность в структуре межличностного взаимодействия : дис. … канд. психол. наук. М. 2005.


Срок действия теста: 6 типов

Следующие шесть типов действительности широко используются, а именно: лицевая валидность, валидность контента, предсказуемая валидность, одновременная, конструктивная и факториальная валидность. Из них содержание, предсказательная, параллельная и конструктивная валидность являются важными, используемыми в области психологии и образования.

Они обсуждаются ниже:

Тип № 1. Срок действия:

Face Validity в той степени, в которой тест, по-видимому, измеряет то, что должно быть измерено.

Лицевая достоверность относится к тому, выглядит ли тест действительным или нет, то есть по внешнему виду, независимо от того, соответствуют ли элементы требуемому аспекту или нет. Если тест измеряет то, что автор теста хочет измерить, мы говорим, что тест имеет фактическую достоверность. Таким образом, фактическая валидность относится не к тому, что измеряет тест, а к тому, что тест «кажется измеряет». Содержание теста не должно явно казаться несоответствующим, неуместным.

Например, тест для измерения «Навык в дополнение» должен содержать только элементы по добавлению.Когда кто-то просматривает предметы и чувствует, что все предметы, кажется, дополнительно оценивают умение, можно сказать, что тест подтверждается лицом.

Хотя это не эффективный метод оценки валидности теста и как таковой он обычно не используется, тем не менее, его можно использовать в качестве первого шага в валидации теста. Как только тест будет подтвержден на лицо, мы можем перейти к вычислению коэффициента достоверности.

Более того, этот метод помогает изготовителю тестов доработать элементы теста в соответствии с поставленными задачами.Когда тест должен быть построен быстро или когда есть острая необходимость в тесте и нет времени или объема для определения валидности другими эффективными методами, можно определить лицевую валидность.

Этот тип достоверности неадекватен, поскольку он действует на уровне лица и, следовательно, может использоваться в крайнем случае.

Тип № 2. Срок действия содержания:

Content Validity — процесс сопоставления тестовых заданий с учебными целями.

Достоверность содержания — самый важный критерий полезности теста, особенно теста достижений.Это также называется рациональной валидностью, или логической валидностью, или учебной валидностью, или внутренней валидностью, или внутренней валидностью.

Достоверность содержимого относится к степени или степени, в которой тест состоит из элементов, представляющих поведение, которое разработчик теста хочет измерить. Степень, в которой элементы теста действительно репрезентативны для всего содержания и целей обучения, называется валидностью содержания теста.

Достоверность содержимого оценивается путем оценки релевантности тестовых заданий; я.е. тестовые задания должны должным образом охватывать все содержание и поведенческие области измеряемой характеристики. Это дает представление о предмете или изменении поведения.

Таким образом, валидность контента относится к степени, в которой тест содержит элементы, представляющие поведение, которое мы собираемся измерить. Пункты теста должны включать все соответствующие характеристики всей области содержания и целей в правильной пропорции.

Перед построением теста разработчик теста готовит двустороннюю таблицу содержания и целей, широко известную как «Таблица спецификаций».

Предположим, подготовлен тест на успеваемость по математике. Он должен содержать элементы из алгебры, арифметики, геометрии, измерения и тригонометрии, и, кроме того, эти элементы должны измерять различные поведенческие цели, такие как знания, понимание, навыки, применение и т. Д. Поэтому крайне важно, чтобы должное внимание было уделено различным областям содержания и целям.

Пример «таблицы спецификаций» по математике показан в следующей таблице:

Таблица отражает выборку обучающих задач, которые необходимо измерить.Чем ближе элементы теста соответствуют указанному образцу, тем выше вероятность получения удовлетворительной достоверности содержания. Поэтому желательно, чтобы элементы теста проверялись группой экспертов. Они должны проверить, правильно ли размещены различные элементы в ячейках таблицы и все ли ячейки таблицы содержат достаточное количество элементов.

Об адекватности следует судить с точки зрения веса, придаваемого различным таблицам содержания по целям, в соответствии с командой экспертов, разработавших учебную программу.

Некоторые общие моменты для обеспечения действительности контента приведены ниже:

1. Тест должен обслуживать требуемый уровень учащихся, не выше и не ниже их стандарта.

2. Язык должен быть на уровне учащихся.

3. Все, что не входит в учебную программу, не должно включаться в тестовые задания.

4. Каждой части учебной программы следует придать необходимый вес. Из более важных частей учебной программы следует выбирать больше предметов.

Ограничения :

1. Значение, которое следует придавать различным частям содержания, является субъективным.

2. Трудно построить идеальный объективный тест.

3. Достоверность содержания недостаточна или недостаточна для тестов интеллекта, достижений, отношения и, в некоторой степени, тестов личности.

4. Оценка различных изменений поведения не является объективной.

Тип № 3. Прогнозируемая достоверность:

Predictive Validity — степень, в которой тест предсказывает будущую успеваемость учащихся.

Прогностическая достоверность связана с предсказательной способностью теста. Он указывает на эффективность теста в прогнозировании или предсказании будущих результатов в определенной области. Тестовый пользователь хочет спрогнозировать будущую производительность человека. Результаты тестов могут использоваться для прогнозирования будущего поведения или производительности и, следовательно, называться прогностической достоверностью.

Чтобы определить прогностическую достоверность, тестировщик сопоставляет результаты теста с последующими результатами тестирования, что технически известно как «критерий».Критерий — это независимая, внешняя и прямая мера того, что тест предназначен для предсказания или измерения. Следовательно, он также известен как «Срок действия, связанный с критериями».

Прогнозирующая или эмпирическая достоверность была определена Кьюретоном (1965) как оценка коэффициента корреляции между результатами теста и истинным критерием.

Пример может лучше прояснить концепцию.

Пример:

Медицинский вступительный тест разработан и проводится для отбора кандидатов для поступления в M.B.B.S. курсы. Мы принимаем кандидатов на основании баллов, выставленных кандидатами на этом тесте.

После завершения курса они появляются на финальном M.B.B.S. экспертиза. Результаты финала M.B.B.S. экзамен является критерием. Баллы вступительного испытания и итогового экзамена (критерий) взаимосвязаны. Высокая корреляция предполагает высокую прогностическую достоверность.

Подобные примеры, такие как другие тесты при приеме на работу или вступительные тесты в сельском хозяйстве, машиностроении, банковском деле, железной дороге и т. Д.Здесь можно процитировать, что должно иметь высокую прогностическую достоверность.

То есть тесты, используемые при приеме на работу, классификации и вступительных экзаменах, должны иметь высокую прогностическую достоверность. Этот тип достоверности иногда называют «эмпирической достоверностью» или «статистической достоверностью», поскольку наша оценка в основном эмпирическая и статистическая.

Ограничение :

Если мы получим подходящий критерий-меру, с которым должны быть соотнесены результаты наших тестов, мы можем определить прогностическую достоверность теста.Но получить хороший критерий очень сложно. Более того, мы не можем получить критерии-критерии для всех типов психологических тестов.

Тип № 4. Одновременная действительность:

Concurrent Validity корреляция результатов теста с другим набором оценок критериев.

Параллельная валидность относится к степени, в которой результаты теста соответствуют уже установленным или принятым результатам, известной как критерий. Чтобы узнать достоверность вновь созданного теста, его коррелируют или сравнивают с некоторой доступной информацией.

Таким образом, тест проверяется по некоторой одновременно доступной информации. Баллы, полученные в результате нового теста, коррелируют с заранее установленными результатами теста. Допустим, мы подготовили тест на интеллект.

Администрируем группе школьников. Этой же группе проводится тест Стэнфорда-Бине. Теперь результаты тестов, полученные с помощью нашего недавно созданного теста, и результаты тестов, полученные учениками по тесту интеллекта Стэнфорда-Бине, коррелированы. Если коэффициент корреляции высокий, говорят, что наш тест интеллекта имеет высокую одновременную валидность.

Термин «одновременный» в словаре означает «существующий» или «выполняемый одновременно». Таким образом, термин «одновременная валидность» используется для обозначения процесса проверки нового теста путем сопоставления его оценок с некоторым существующим или доступным источником информации (критерием), который мог быть получен незадолго до или вскоре после проведения нового теста.

Чтобы удостовериться в одновременной достоверности только что построенного теста достижений, его баллы сопоставляются с баллами, полученными теми же учащимися на их недавних выпускных или выпускных экзаменах.Таким образом, тест проверяется на соответствие некоторой одновременно доступной информации. Чтобы получить критериальную меру, нам не нужно долго ждать.

Прогностическая достоверность отличается от одновременной достоверности в том смысле, что в прежней действительности мы ждем будущего, чтобы получить критериальную меру. Но для простоты одновременной достоверности нам не нужно ждать более длинных промежутков.

Термин «одновременный» здесь подразумевает следующие характеристики:

1. Предполагается, что два теста — один, валидность которого проверяется, и второй, валидность которого доказана, — должны охватывать одну и ту же область содержания на данном уровне и одну и ту же цель;

2.Популяция для обоих тестов остается той же, и эти два теста проводятся в почти одинаковых условиях; и

3. Данные о производительности обоих тестов можно получить почти одновременно.

Этот тип действительности также известен как «Внешняя действительность» или «Функциональная действительность». Параллельная валидность актуальна для тестов, используемых для диагностики, а не для предсказания будущего успеха.

Тип № 5. Срок действия конструкции:

Construct Validity — степень, в которой можно сказать, что тест измеряет теоретическую конструкцию или психологическую переменную.

Конструкция в основном психологическая. Обычно это относится к особенностям или умственному процессу. Проверка конструкции — это процесс определения степени, в которой конкретный тест измеряет психологические конструкции, которые производитель тестов намеревается измерить.

Указывает на степень, в которой тест измеряет абстрактные атрибуты или качества, которые не определены операционно.

Гронлунд и Линн заявляют: «Проверка конструкции может быть определена как процесс определения степени, в которой выполнение теста может быть интерпретировано с точки зрения одного или нескольких психологических конструктов.”

Эбель и Фрисби описывают, «Проверка конструкции — это процесс сбора доказательств в поддержку утверждения о том, что данный тест действительно измеряет психологический конструкт, для измерения которого создатели тестов предназначались».

Конструктивная валидность также известна как «психологическая валидность», «черта валидности» или «логическая валидность». Конструктивная валидность означает, что результаты тестов проверяются с точки зрения конструкции. Он изучает конструкт или психологические атрибуты, измеряемые тестом.

Степень, в которой тест измеряет личностные черты или умственные процессы, определенные разработчиком теста, известна как конструктная валидность теста.

При построении тестов на интеллект, отношение, математические способности, критическое мышление, учебные навыки, тревогу, логические рассуждения, понимание прочитанного и т. Д. Мы должны искать конструктную валидность. Возьмем, к примеру, «испытание на искренность».

Перед тем, как построить такие типы тестов, перед создателем теста задаются вопросы:

1.Каким должно быть определение термина «искренность»?

2. Какого поведения следует ожидать от искреннего человека?

3. Какой тип поведения отличает искренность от неискренности?

Каждая конструкция имеет основную теорию, которую можно использовать при описании и прогнозировании поведения ученика.

Гронлунд (1981) предлагает следующие три шага для определения достоверности конструкции:

(i) Определите конструкции, которые, как предполагается, учитывают производительность теста.

(ii) Вывести гипотезы относительно эффективности теста из теории, лежащей в основе каждой конструкции.

(iii) Проверяйте гипотезы логическими и эмпирическими средствами.

Следует отметить, что достоверность конструкции является выводимой. Он используется в первую очередь, когда другие типы валидности недостаточны для определения валидности теста. Конструктивная валидность обычно включает такие аспекты, как учебные привычки, признательность, честность, эмоциональная стабильность, сочувствие и т. Д.

Тип №6.Факториальная валидность:

Factorial Validity степень корреляции различных факторов со всем тестом.

Факторная достоверность определяется статистическим методом, известным как факторный анализ. Он использует методы объяснения взаимосвязей для определения факторов (которые могут быть сформулированы как способности), составляющих тест.

Другими словами, для оценки факториальной достоверности используются методы взаимной корреляции и другие статистические методы.Корреляция теста с каждым фактором рассчитывается для определения веса, вносимого каждым таким фактором в общую производительность теста.

Это говорит нам о факторных нагрузках. Эта взаимосвязь различных факторов со всем тестом называется факториальной достоверностью. Гилфорд (1950) предположил, что факториальная валидность является наиболее четким описанием того, что измеряет тест, и что ей непременно следует отдавать предпочтение перед другими типами валидности.

Типы валидности, которые следует учитывать при проведении опроса

Различные типы валидности, которые важны для исследования в рамках опроса, включают конструктивную валидность, конвергентную валидность, валидность содержания, валидность представления, лицевую валидность, валидность критерия, одновременную валидность, прогностическую валидность, статистический вывод валидность, внутренняя валидность, внешняя валидность и экологическая валидность.Описание каждого из них представлено ниже.

  • Конструктивная валидность — это степень, в которой опрос измеряет то, что, по его словам, он измеряет. Например, в какой степени вопросник IQ действительно измеряет «интеллект»?
  • Конвергентная достоверность относится к степени, в которой мера коррелирует с другими мерами, с которыми, согласно теоретическим прогнозам, коррелируют.
  • Валидность контента — это нестатистический тип валидности, который включает систематическое изучение контента опроса, чтобы определить, охватывает ли оно репрезентативную выборку области поведения, которую необходимо измерить.
  • Достоверность представления, также известная как достоверность перевода, — это степень, в которой абстрактная теоретическая конструкция может быть превращена в конкретный практический обзор.
  • Лицевая достоверность — это оценка того, соответствует ли опрос определенному критерию.
  • Свидетельство достоверности критерия включает корреляцию между опросом и критериальной переменной (или переменными), взятой в качестве репрезентативной для построения.
  • Параллельная валидность относится к степени, в которой операционализация коррелирует с другими показателями той же конструкции, которые измеряются в то же время.
  • Прогностическая достоверность относится к степени, в которой операционализация может прогнозировать (или коррелировать) с другими показателями той же конструкции, которые измеряются в какой-то момент в будущем.
  • Достоверность статистического заключения — это степень, в которой выводы о взаимосвязи между переменными, основанные на данных, являются правильными или «разумными».
  • Внутренняя достоверность — это индуктивная оценка степени, в которой могут быть сделаны выводы о причинно-следственных связях (например,грамм. причина и следствие), на основе использованных мер, условий исследования и всего плана исследования.
  • Внешняя валидность касается степени, в которой (внутренне валидные) результаты исследования могут считаться верными для других случаев, например, для разных людей, мест или времени.
  • Экологическая обоснованность — это степень, в которой результаты исследования могут быть применены к реальным жизненным ситуациям за пределами исследовательских условий.
Срок действия

в оценках: содержание, конструкция и прогнозируемая достоверность — видео и стенограмма урока

Факторы, влияющие на валидность

Прежде чем обсуждать, как измеряется валидность и различать разные типы валидности, важно понять, как внешние и внутренние факторы влияют на валидность.

Способность ученика к чтению может повлиять на достоверность оценки. Например, если учащемуся трудно понять, что задается в вопросе, тест не будет точной оценкой того, что он действительно знает о предмете. Педагоги должны убедиться, что оценка соответствует правильному уровню чтения учащегося.

Самооценка учащегося также может повлиять на валидность оценки. Если учащиеся имеют низкую самоэффективность или верят в свои способности в конкретной области, в которой они проходят тестирование, они, как правило, показывают более низкие результаты.Их собственные сомнения мешают им точно демонстрировать знания и понимание.

Уровень тревожности студента также является важным фактором. Учащиеся с высоким уровнем тревожности при тестировании будут хуже успевать из-за эмоциональных и физиологических факторов, таких как расстройство желудка, потоотделение и учащенное сердцебиение, что приводит к искажению знаний учащихся.

Измерение действительности

Действительность измеряется с помощью коэффициента. Как правило, для определения числа от 0 до 1 рассчитываются две оценки по двум оценкам или измерениям.Более высокие коэффициенты указывают на более высокую достоверность. Как правило, оценки с коэффициентом 0,60 и выше считаются приемлемыми или очень достоверными.

Типы валидности

Мы должны учитывать три типа валидности: содержательная, прогнозирующая и конструктивная. Достоверность содержимого относится к степени, в которой оценка представляет все аспекты задач в оцениваемой области. Валидность контента отвечает на вопрос: охватывает ли оценка репрезентативную выборку контента, который следует оценивать?

Например, если вы дадите своим ученикам кумулятивный экзамен в конце года, но тест охватывает только материалы, представленные за последние три недели занятий, экзамен будет иметь низкую действительность содержания.Материал за весь семестр не будет представлен на экзамене.

Преподаватели должны стремиться к высокой достоверности содержания, особенно в целях итогового оценивания. Суммативные оценки используются для определения знаний, полученных учащимися за определенный период времени.

Достоверность содержания повышается, когда оценивание требует, чтобы учащиеся использовали как можно больше занятий в классе.

Следующий тип валидности — это прогностическая валидность , которая относится к степени, в которой оценка по оценке предсказывает будущую эффективность.

Нормативные тесты способностей, такие как SAT, GRE или WISC (шкала интеллекта Векслера для детей), используются для прогнозирования успеха в определенных областях в более поздний момент времени. SAT и GRE используются для прогнозирования успеха в высшем образовании. Эти тесты сравнивают индивидуальную успеваемость учащегося с успеваемостью нормативной выборки.

Чтобы определить прогностическую способность оценки, компании, такие как Совет колледжей, часто проводят тест для группы людей, а затем через несколько лет или месяцев будут измерять успех или компетентность той же группы в прогнозируемое поведение.Затем вычисляется коэффициент достоверности, и более высокие коэффициенты указывают на большую предсказательную достоверность.

Последний тип достоверности, который мы обсудим, — это , конструктивная достоверность . Чтобы понять валидность конструкции, мы должны сначала определить термин конструкция. В психологии конструкция относится к внутреннему признаку, который нельзя наблюдать напрямую, но который должен быть выведен из последовательного поведения, наблюдаемого у людей. Самоуважение, интеллект и мотивация — все это примеры конструкта.

Действительность конструкции , таким образом, относится к степени, в которой оценка точно измеряет конструкт. Это отвечает на вопрос: действительно ли мы измеряем то, что, как нам кажется, мы измеряем?

Взаимосвязь между достоверностью и надежностью

Надежность , который рассматривается в другом уроке, относится к степени, в которой оценка дает последовательную информацию об оцениваемых знаниях, навыках или способностях. Оценка считается надежной, если при каждом проведении теста получаются одни и те же результаты.

Важно понимать взаимосвязь между надежностью и действительностью. Оценка может быть надежной, но недействительной.

Вернемся к нашему исходному примеру. Если вы взвешиваетесь на весах, они должны дать вам точное измерение вашего веса. Если весы говорят вам, что каждый раз, когда вы наступаете на них, вы весите 150 фунтов, это надежно. Однако, если вы действительно весите 135 фунтов, тогда весы недействительны.

Резюме урока

Таким образом, валидность — это степень, в которой оценка точно измеряет то, что она предназначена для измерения.На валидность влияют различные факторы, включая способность читать, самоэффективность и уровень тестовой тревожности. Валидность измеряется с помощью коэффициента, где высокая достоверность ближе к 1, а низкая валидность ближе к 0. Три типа валидности для целей оценки: содержательная, прогнозирующая и конструктивная валидность.

Цели урока

После просмотра этого урока вы должны уметь:

  • Определить «валидность» с точки зрения оценок
  • Перечислите внутренние и внешние факторы, связанные с действительностью
  • Опишите, как коэффициенты используются для измерения достоверности
  • Объясните три типа достоверности: содержание, построение и прогнозирование

Разработка анкет и форм истории болезни — Часть II

Типы достоверности

В этом разделе мы обсудим различные типы достоверности.Исследователи должны учитывать эти моменты при разработке новой шкалы, инструмента или опросника для измерения. Следует помнить, что все анкеты и инструменты основаны на определенных теоретических концепциях и измеряют некоторые конкретные результаты.

Например, опросник качества жизни пациентов с угревой сыпью должен измерять различные аспекты качества жизни (по желанию исследователя). Для этого исследователь должен убедиться, что отдельные пункты или вопросы в анкете сформулированы таким образом, чтобы они действительно измеряли различные аспекты качества жизни.Более того, если исследователь хочет измерить различные аспекты качества жизни (медицинский, социальный и экономический), то эти предметы должны измерять тот самый аспект, для которого они были разработаны. Для этого процесса важно, чтобы анкета была действительной. Ниже представлены различные типы действительности.

Лицевая достоверность

Это субъективная оценка анкеты или инструмента. Эту оценку обычно проводит эксперт в предметной области. После разработки инструмента исследователь должен оценить, выглядит ли инструмент подходящим и имеет ли он соответствующие элементы на «лицевой стороне».«. Это называется «фактическая достоверность».

Достоверность содержания

Это еще одна форма субъективной оценки. В этом типе оценки исследователь оценивает, адекватно ли элементы анкеты отражают концепции, которые они должны выражать.

Например, если предмет предназначен для оценки социальных проблем, с которыми сталкиваются из-за прыщей? Вопрос предназначен для оценки социальных проблем? Или это мера, экономические проблемы? Эксперт предметной области оценит вопрос и предоставит исследователю комментарии относительно достоверности содержания анкеты.

Таким образом, как уже говорилось, достоверность лица и содержания часто оценивается экспертами в предметной области и исследованиями.

Критерий достоверности

Следует помнить, что анкета была разработана для измерения конкретных результатов. Таким образом, измерение из этого вопросника должно соответствовать существующему стандарту (часто называемому «золотым стандартом»).

Например, если мы разработали короткую шкалу для оценки гиперпигментации лица, то результаты по этой шкале должны совпадать с результатами стандартного инструмента оценки (например, объективной оценки с использованием колориметра ® или Mexameter ® ). .

Эта достоверность называется «достоверностью критерия». Существует два типа критериев достоверности — «одновременная достоверность» и «прогностическая достоверность».

Приведенный выше пример шкалы гиперпигментации лица можно рассматривать как «одновременную достоверность». Другой пример — мы разрабатываем шкалу для оценки времени, проведенного на солнце, и участники исследования должны заполнять анкету в конце каждой недели. В рамках исследования все участники также оснащены GPS-локаторами (просто пример!), И мы измеряем фактическое время с помощью этого GPS-локатора.Сравнение шкалы и оценок GPS будет примером одновременной достоверности.

Шкала предсказуемой достоверности оценивает состояние в настоящем и предсказывает какое-то событие в будущем. Например, мы разрабатываем шкалу для оценки клинических, демографических и гистологических особенностей пациентов с псориазом. Им выставляется оценка; на основании этой оценки мы хотели бы предсказать, у каких пациентов разовьется эритродермия. Конечно, это событие будет в будущем. Таким образом, эта форма валидности является прогностической валидностью шкалы.

Конструктивная валидность

В этой форме валидности исследователь исследует элементы анкеты в отношении некоторых лежащих в основе гипотез или «построений».

Иногда концепции нельзя измерить напрямую, но их необходимо оценивать с использованием нескольких показателей или переменных. Например, пигментацию, ширину волос можно объективно оценить с помощью современных методик. Однако для других оценок требуются подробные анкеты. Давайте рассмотрим пример — мы должны разработать анкету для оценки психоневрокожных состояний.Для этой анкеты нам необходимо включить соответствующие элементы / вопросы в анкету. Обычно эти вопросы основаны на некоторых лежащих в основе гипотезах или конструкциях. Некоторые из этих пунктов / вопросов могут оценивать физическое здоровье; одни могут оценивать психическое здоровье, другие — другие формы стресса. Важно, чтобы ответы на вопросы, которые должны оценивать физическое здоровье, были аналогичными и должны отличаться от ответов на психическое здоровье или стресс. Первая называется «конвергентной достоверностью», а вторая — «дивергентной достоверностью».”

Эта форма достоверности оценивается с использованием статистических методов, таких как факторный анализ или анализ главных компонентов. Это продвинутые техники; следовательно, исследователь должен проконсультироваться со статистиком для проведения такого анализа.

【решено】 Типы валидности исследования

Какие есть 3 типа срока действия?

Здесь мы рассматриваем три базовых видов : валидность лица , валидность содержания и валидность критерия .

Какие два типа действительности?

Существует двух основных категорий с валидностью , используемых для оценки валидности теста (то есть анкеты, интервью, теста IQ и т. Д.): Содержание и критерий.

Какие бывают типы действительности теста?

Следующие шесть типов с валидностью широко используются, а именно: валидность по лицу , валидность , предсказуемая валидность , параллельная, конструктивная и факториальная валидность .Из них содержание, прогнозирующая, параллельная и построенная валидность являются важными, используемыми в области психологии и образования.

Что такое достоверность измерения в исследованиях?

Действительность означает, насколько точно метод измеряет то, что он предназначен для измерения . Если research имеет высокую достоверность , это означает, что оно дает результаты, соответствующие реальным свойствам, характеристикам и вариациям в физическом или социальном мире.Высокая надежность — это один из индикаторов того, что результат измерения соответствует действительному .

Каковы 5 типов действительности?

Измерение Типы действия

  • Построить срок действия .
  • Перевод срок действия . Лицо , срок действия . Содержание , срок действия .
  • По критерию Срок действия . Прогнозируемая действительность . Параллельный срок действия .Конвергентный , срок действия . Дискриминант , срок действия .

В чем разница между достоверностью и надежностью?

Надежность относится к непротиворечивости меры (могут ли результаты быть воспроизведены в одних и тех же условиях). Действительность относится к точности меры (действительно ли результаты отражают то, что они должны измерять).

Какой самый важный тип действительности?

Construct validity — это наиболее важных мер достоверности .Согласно American Educational Research Associate (1999), валидность конструкции относится к «степени, в которой доказательства и теория поддерживают интерпретацию результатов тестов, вытекающую из предлагаемого использования тестов».

Как вы проверяете действительность?

Достоверность теста сам по себе может быть протестирован / подтвержден с использованием тестов межэкспертной надежности, внутриэкспертной надежности, повторяемости ( тест — повторной надежности) и других характеристик, обычно с помощью нескольких прогонов теста , чей результаты сравниваются.

В чем разница между валидностью лица и валидностью контента?

Лицевая валидность оценивает, «выглядит ли тест действительным » для испытуемых, которые его проходят, административного персонала, принимающего решение о его использовании, и других технически неподготовленных наблюдателей. В клинических условиях валидность содержания означает соответствие между тестовыми заданиями и содержанием симптома синдрома.

Как еще можно обозначить действительность?

Как еще можно обозначить действительность?

прочность сила
правдоподобие разумность
вещество устойчивость
жизнеспособность авторитет
правдоподобие доверие

Почему важны достоверность и надежность?

Достоверность и надежность — это важных концепций в исследованиях.Ежедневное использование этих терминов дает представление о том, что они означают (например, ваше мнение действителен ; ваши друзья надежны ). Чтобы оценить достоверность и надежность опроса или другого показателя, исследователям необходимо рассмотреть ряд вещей.

Какова цель срока действия?

Валидность важен, потому что он может помочь определить, какие типы тестов использовать, и помочь убедиться, что исследователи используют методы, которые не только этичны и рентабельны, но также метод, который действительно измеряет идею или построение в вопрос.

Что такое обоснованность и надежность в образовании?

Надежность относится к степени, в которой оценки конкретного теста согласованы от одного использования теста к другому. Срок действия означает степень, в которой результат теста может быть интерпретирован и использован по назначению.

Что делает хорошую внутреннюю валидность?

Внутренняя валидность — это степень, в которой исследование устанавливает заслуживающую доверия причинно-следственную связь между лечением и результатом.Чем меньше шансов на «смешение» в исследовании, тем выше внутренняя валидность и тем больше мы можем быть уверены в результатах.

Каковы 12 угроз внутренней действительности?

Угрозы внутренней валидности включают анамнез, созревание, истощение, тестирование, инструменты, статистическую регрессию, систематическую ошибку выбора и распространение лечения.

Как вы определяете внутреннюю валидность?

Этот тип внутренней валидности может быть оценен путем сравнения ответов на вопросник с объективными показателями состояний или событий, к которым они относятся; например, сравнение количества выкуриваемых сигарет, о котором сообщают сами, с некоторыми объективными показателями, такими как уровень котинина в выдыхаемом воздухе.

В чем разница между внутренней и внешней достоверностью?

В чем разница между внутренним и внешним сроком действия ? Внутренняя достоверность — это степень уверенности в том, что на тестируемую причинно-следственную связь не влияют другие факторы или переменные. Внешняя достоверность — это степень, в которой ваши результаты могут быть обобщены для других контекстов.

Что такое валидность и ее определение, история, типы?

Reliability_and_validity по Careershodh

Reliability_and_validity 2 по careershodh

Значение достоверности

Действительность относится к вопросу: « Измеряет ли тест то, что, по его утверждению, измеряет»?

Слово «действительный» происходит от латинского «validus», что означает сильный.Валидность — это точность теста или эксперимента.

  • Понятие действительности, данное Келли ( 1927) и определяющее валидность как «тест действителен, если он измеряет то, что, по его утверждению, измеряется».
  • Логически обоснованность — это свойство аргумента, основанного на факте: «истинность посылок гарантирует истинность заключения».
  • Срок действия теста относится к значению и полезности результатов теста.
  • Действительность оценки — это степень, в которой она измеряет то, что предполагается измерять.
  • Более конкретно, достоверность относится к степени, в которой уместен определенный вывод или интерпретация, основанная на тесте.
  • Действительность теста означает, что тест измеряет и насколько хорошо он работает?
  • Ex — Сознание.
  • Актуальная концепция?
  • Аспекты концепции?

Определение валидности

«Валидность — это степень, в которой доказательства и теория поддерживают интерпретацию результатов теста, обусловленную использованием теста.»

« Индекс достоверности показывает степень, в которой тест измеряет, что измерять, по сравнению с принятым критерием »–Freeman

История достоверности или развивающиеся концепции достоверности

1 st стадия разработки срока действия
  • Первые тесты использовались для оценки того, что человек узнал. Сейчас, конечно, он на исходе.
  • Пример. Экзамены в конце семестра.
  • Для теста достижений — сравнение его содержания с
  • Область содержания, предназначенная для оценки.
  • Это все еще актуально / применимо.

2-й этап развития действительности
  • Переход к предсказанию.
  • Как люди отреагируют в данной ситуации — сейчас и в будущем?
  • Здесь валидность теста означает коэффициент корреляции между результатами теста и прямыми и независимыми измерениями этого критерия
  • Полезен при отборе и трудоустройстве — образование, работа, лечение и т. Д.

3-й текущий этап развития валидности
  • — 2 основных направления
  • Усиление теоретической ориентации.
  • Тесная связь между психологической теорией и проверкой посредством эмпирической и экспериментальной проверки гипотез
  • Эти тенденции признали ценность конструкции .

Construct

  • Широкая категория
  • Производный от общего признака, присущего непосредственно наблюдаемому поведению.
  • Теоретические сущности, не наблюдаемые напрямую

Это приводит к введению конструктной валидности как фундаментальной и всеобъемлющей валидности

Коэффициент валидности
  • Связь между тестом и критерием обычно выражается как корреляция.
  • Этот коэффициент показывает степень, в которой тест действителен для формулировки утверждений о критерии.
  • Коэффициенты достоверности в диапазоне от 0,30 до 0,40 обычно считаются высокими.
  • Коэффициент достоверности статистически значим или не значим, не имеет значения.
  • Проблемы, вызывающие озабоченность при интерпретации коэффициентов достоверности.
    • Ищите изменения в причине отношений.
    • Логика проверки критерия предполагает, что причины взаимосвязи между тестом и критерием все еще будут существовать, когда тест будет использоваться.
    • Что означает критерий? Исследования валидности, связанные с критериями, вообще ничего не значат, если критерий не является валидным и надежным.

Типы валидности по Careershodh

Срок действия теста

Срок действия теста — это показатель того, какое значение может иметь набор результатов теста.

Типы валидности теста

Существуют три типа свидетельств:

(1) Действительность конструкции — Связано с конструкцией

(2) Критерий Связанный с критерием

(3) Действительность содержимого — Связанный с содержимым

Лицевая валидность (не чистый тип валидности)

Личная валидность — простейшая форма валидности .

Фактическая достоверность — это простая видимость того, что мера имеет силу.

Пункты, утверждения или вопросы должны быть разумно связаны с предполагаемой целью теста.

Подтверждение лица будет использоваться для тестов способностей и тестов достижений.

Например, любой тест в школе / колледже будет иметь это лицевое значение.

Например — Если шкала для измерения тревожности

Пункты, утверждения или вопросы для проверки достоверности тревожного теста будут выглядеть так:

  • «Мой желудок расстраивается, когда я думаю о сдаче тестов»
  • «Мое сердце начинает колотиться. быстро, когда я думаю о результатах.
  • Если они ответят «да» на оба вопроса, можем ли мы сделать вывод, что этот человек обеспокоен?
  • Нет! — Для обоснованности выводов необходимы доказательства.
  • Лицевая валидность вообще не является валидностью, потому что она не предлагает доказательств, подтверждающих выводы, сделанные на основе результатов тестов.
  • Лицевая валидность — это когда кажется, что тест измеряет определенный критерий; это не гарантирует, что тест действительно измеряет явления в этом факторе.
  • Но очень важно иметь лицевую достоверность; для теста, который «выглядит», он действителен.
  • Эти внешние данные могут мотивировать тестируемых, демонстрируя их актуальность.

1. Процедуры проверки достоверности содержимого или описания
  • Оценивает, насколько мера представляет каждый отдельный элемент конструкции или упомянутой концепции.
  • Это систематическая проверка содержания теста для определения того, охватывает ли он репрезентативную выборку всех измеряемых параметров / областей.
  • Эта процедура оценки, используемая при разработке теста для измерения того, насколько хорошо человек овладел навыком.
  • Домены, разделы, типы и т. Д. Следует полностью описать заранее.
  • Содержание должно быть определено широко, чтобы включать в себя основные цели — применение принципов, интерпретацию данных, фактические знания и т. Д.
  • Действительность зависит от реакции человека в тесте на рассматриваемую область поведения, а не от внешнего вида содержимого элемента.
Специальная процедура для разработки валидности содержания
    1. Выбор подходящих пунктов / утверждений / вопросов
    2. Систематическое изучение учебных планов, учебник
    3. Консультации экспертов предметной области (SME)
    4. Спецификация теста — области содержания , цели / процесс инструкции, важные отдельные темы, № пунктов
  • Обсуждение проверки содержания должно быть в руководстве по тестированию.
  • Эмпирическая процедура для установления валидности содержания должна охватывать общие баллы и баллы по элементам.
  • Дополнительная процедура для установления действительности содержимого должна выполнять анализ типов ошибок.
  • При установлении достоверности контента следует учитывать адекватность представления концептуальной области, для покрытия которой предназначен тест.
  • Традиционно доказательство валидности контента вызывало наибольшую озабоченность при образовательном тестировании.
  • Уникальные особенности достоверности контента являются скорее логическими, чем статистическими.Вроде лицо справедливости.
  • Для установления достоверности контента — требуется хорошая логика, интуитивные навыки и настойчивость.

Две новые концепции в развитии валидности контента —

1. Недопредставленность конструкции

Недопредставленность конструкции описывает неспособность уловить важные компоненты конструкции.

Например, если тест на математические знания включал алгебру, но не геометрию, валидность теста была бы под угрозой из-за недопредставленности конструктов.

2. Несущественная для конструкции дисперсия
  • Несущественная для конструкции дисперсия возникает, когда на оценки влияют факторы, не относящиеся к построению.
  • Например, на тест интеллекта может влиять понимание прочитанного, тревожность теста или болезнь.

Применение валидности содержания

  • Срок действия содержания может подходить для образовательного теста, теста достижений, отбора сотрудников и классификации оценки сотрудников.
  • Срок действия содержания не соответствует критериям проверки способностей и личности.

Ограничения достоверности содержания

Например, многие учащиеся плохо сдают тесты из-за беспокойства или проблем с чтением

2. Действительность критерия или свидетельства, связанные с критерием достоверности
    Критерий Свидетельство достоверности говорит нам, насколько хорошо тест соответствует определенному критерию.
  • Критерий — это стандарт, с которым сравнивается тест.
  • Например, можно использовать тест, чтобы предсказать, какие обрученные пары будут иметь успешный брак, а какие разведутся.

Критериями будут: — Успех в браке

Тип критерия Действительность

1. Прогностическая достоверность, связанная с доказательствами достоверности

Функция прогнозирования типа на самом деле является функцией прогноза типа . доказательств достоверности критериев, известных как доказательства достоверности прогнозов.

SAT / GRE , включая его количественные и вербальные подтесты, является прогностической переменной, а средний балл колледжа (GPA) является критерием.

Тесты на пригодность , принимаемые работодателями, компании будут еще одним примером прогностической достоверности.

Цель теста — предсказать вероятность успеха по критерию, т. Е. Достижение высокого среднего балла в колледже.

2. Свидетельство, связанное с одновременной валидностью, для валидности

Параллельная валидность имеет место, когда критерии критериев получены одновременно с результатами теста.

Когда мера сравнивается с другой мерой того же типа, они будут связаны.

Показывает, в какой степени результаты теста точно определяют текущее состояние человека с точки зрения критерия.

Одновременная валидность исходит из оценок одновременной связи между тестом и критерием, например, между тестом на нарушение обучаемости и успеваемостью в школе.

Сопутствующие доказательства действительности применяются, когда тест и критерий могут быть измерены одновременно.

Например, в тесте на депрессию тест должен иметь одновременную действительность, если он измеряет текущие уровни депрессии, испытываемые человеком, который прошел тест.

Применение параллельной валидности

Большинство психологических тестов используют эту валидность.

Одновременное действие в основном используется в промышленном секторе .

3. Действительность конструкции

Достоверность конструкции определяет, насколько тест или эксперимент соответствует заявленным.

Тест, созданный для измерения депрессии, он должен измерять только эту конкретную конструкцию, а не тесно связанные идеалы, такие как стресс или тревога.

Конструктивная валидность — это если тест демонстрирует связь между оценками и предсказанием теоретической черты, концепции, атрибута и т. Д.

К середине 1950-х исследователи / исследователи пришли к выводу, что не существует четких критериев для большинства социальных и психологические характеристики, которые они хотели измерить.

Например, показателей интеллекта, любви, любопытства или психического здоровья.

Все эти тесты должны иметь конструктивную валидность.

Не было критерия интеллекта, потому что это гипотетическая конструкция .

Конструкция определяется как нечто построенное ментальным синтезом.

Как конструкция, интеллект не существует как отдельная вещь, которую мы можем потрогать или почувствовать, поэтому его нельзя использовать в качестве объективного критерия.

Валидность конструкции может быть установлена ​​посредством серии действий, в которых исследователь одновременно определяет некую конструкцию и разрабатывает инструменты для ее измерения.

  1. Т. Кэмпбелл и Фиск (1959) ввели важный набор логических соображений для установления доказательства валидности конструкции. Они различали два типа свидетельств, необходимых для содержательного теста: конвергентные и расходящиеся / дискриминантные.

Два типа валидности конструкции по Кэмпбеллу и Фиске (1959)

1. Конвергентная валидность

Тесты, которые предположительно связаны друг с другом, на самом деле связаны.

Когда показатель хорошо коррелирует с другими тестами, которые, как предполагается, измеряют ту же конструкцию, получается сходящееся свидетельство валидности.

В каждом случае баллы за тест связаны с баллами по какому-либо другому показателю.

Однако нет критерия для определения того, что мы пытаемся измерить.

Конвергентная валидность достигается одним из двух способов .-

  1. Мы показываем, что тест измеряет те же параметры, что и другие тесты, используемые для той же цели.
  2. Мы демонстрируем определенные отношения, которые можно ожидать, если тест действительно выполняет свою работу.

2 . Дивергентная или дискриминантная валидность

Тесты, конструкции которых не должны иметь никакого отношения, фактически не имеют никакого отношения.

Это показывает, что мера не включает лишних элементов и что тест измеряет что-то отличное от других тестов.

Экспериментальная достоверность

Обоснованность дизайна экспериментальных исследований является центральной частью научного метода и проблемой этики исследования.Без действительного дизайна нельзя сделать достоверные научные выводы.

Типы экспериментальной валидности

  1. Внутренняя валидность

Внутренняя валидность — это мера, которая подтверждает, что исследовательский план эксперимента тщательно следует принципу причины и следствия.

Индуктивная оценка степени, в которой могут быть сделаны выводы о причинно-следственных взаимосвязях (например, причина и следствие) на основе используемых мер, условий исследования и всего плана исследования.

Другими словами, существует причинно-следственная связь между независимой и зависимой переменной.

Внутренняя достоверность может быть улучшена путем регулирования посторонних переменных, использования стандартизированных инструкций, противовеса и исключения характеристик спроса и эффектов исследователя.

2. Внешняя валидность

Внешняя валидность связана с обобщением: в какой степени эффект в исследовании может быть обобщен на группы населения, параметры лечения и переменные измерения?

Внешняя валидность касается степени, в которой (внутренне валидные) результаты исследования могут считаться верными для других случаев, например, для разных людей, мест или времени.

Внешнюю валидность можно улучшить, поставив эксперименты в более естественную обстановку и используя случайную выборку для отбора участников.

Внешняя достоверность обычно делится на два разных типа:

  1. Популяционная валидность — другие люди
  2. Историческая валидность — с течением времени
  3. Экологическая валидность — степень, в которой результаты исследования могут быть применены к реальным жизненным обстоятельствам за пределами исследовательских групп

Оба основных элемента в оценке силы экспериментального дизайна.

Справочники по срокам действия и типам действительности

Анастаси , А., и Урбина, С. (1997). Психологическое тестирование (7-е изд.). Prentice Hall / Pearson Education.

https://www.simplypsychology.org/validity.html#ext

https://en.wikipedia.org/wiki/Validity_(statistics)

7.2: Validity — Social Sci LibreTexts

Действительность , часто называемая достоверностью конструкции, относится к степени, в которой мера адекватно представляет лежащую в основе конструкцию, которую она должна измерять.Например, действительно ли мера сострадания измеряет сострадание, а не другое понятие, такое как сочувствие? Валидность может быть оценена с использованием теоретических или эмпирических подходов, а в идеале должна измеряться с использованием обоих подходов. Теоретическая оценка валидности фокусируется на том, насколько хорошо идея теоретической конструкции транслируется или представлена ​​в оперативном измерении. Этот тип валидности называется трансляционной валидностью (или репрезентативной валидностью) и состоит из двух подтипов: валидность лица и валидность содержания.Трансляционная валидность обычно оценивается с помощью группы экспертов-судей, которые оценивают каждый элемент (индикатор) по тому, насколько хорошо они соответствуют концептуальному определению этой конструкции, и качественной методики, называемой Q-сортировкой.

Эмпирическая оценка достоверности исследует, насколько хорошо данная мера соотносится с одним или несколькими внешними критериями на основе эмпирических наблюдений. Этот тип валидности называется валидностью , связанной с критерием, , который включает четыре подтипа: конвергентная, дискриминантная, одновременная и прогностическая валидность.В то время как валидность перевода проверяет, является ли мера хорошим отражением лежащей в основе конструкции, валидность, связанная с критериями, исследует, ведет ли данная мера должным образом с учетом теории этой конструкции. Эта оценка основана на количественном анализе наблюдаемых данных с использованием статистических методов, таких как корреляционный анализ, факторный анализ и т. Д. Различие между теоретической и эмпирической оценкой достоверности показано на рисунке 7.2. Однако оба подхода необходимы для адекватного обеспечения достоверности показателей в социальных исследованиях.

Обратите внимание, что различные типы валидности, обсуждаемые здесь, относятся к валидности процедур измерения , которая отличается от валидности процедур проверки гипотез , таких как внутренняя валидность (причинность), внешняя валидность (обобщаемость) или статистическая валидность. заключение о действительности. Последние типы валидности обсуждаются в следующей главе.

Срок действия . Внешняя валидность относится к тому, кажется ли индикатор разумной мерой лежащей в его основе конструкции «на первый взгляд».Например, частота посещения религиозных служб, кажется, имеет смысл как показатель религиозности человека без особых объяснений. Следовательно, этот показатель имеет фактическую ценность. Однако, если бы мы предположили, сколько книг было извлечено из офисной библиотеки в качестве меры морального духа сотрудников, тогда такая мера, вероятно, не имела бы фактической достоверности, потому что она, похоже, не имеет большого смысла. Интересно, что некоторые из популярных мер, используемых в исследованиях организаций, не имеют фактической достоверности.Например, абсорбционная способность организации (сколько новых знаний она может усвоить для улучшения организационных процессов) часто измеряется как интенсивность исследований и разработок (т. Е. Расходы на НИОКР, деленные на валовую выручку)! Если ваше исследование включает в себя весьма абстрактные конструкции или конструкции, которые сложно концептуально отделить друг от друга (например, сострадание и сочувствие), возможно, стоит рассмотреть возможность использования группы экспертов для оценки фактической достоверности ваших показателей построения.

Рисунок 7.2. Два подхода к оценке валидности

Валидность содержания . Достоверность содержимого — это оценка того, насколько хорошо набор элементов шкалы совпадает с соответствующей областью содержимого конструкции, которую он пытается измерить. Например, если вы хотите измерить конструкт «удовлетворенность ресторанным обслуживанием» и определяете предметную область ресторанного обслуживания как включающую качество еды, вежливость обслуживающего персонала, продолжительность ожидания и общую атмосферу ресторана ( я.е., является ли он шумным, задымленным и т. длительность ожидания и атмосфера в ресторане. Конечно, этот подход требует подробного описания всей области содержания конструкции, что может быть затруднительно для сложных конструкций, таких как самооценка или интеллект. Следовательно, не всегда возможно адекватно оценить достоверность содержания.Как и в случае с номинальной достоверностью, экспертная коллегия судей может быть привлечена для проверки достоверности содержания конструкций.

Конвергентная валидность относится к степени близости меры к (или сходящейся) конструкции, которую она должна измерять, а дискриминантная валидность относится к степени, в которой мера не измеряет (или не отличается от нее) другие конструкции, измерения которых не предполагается. Обычно конвергентная валидность и дискриминантная валидность оцениваются совместно для набора связанных конструкций.Например, если вы ожидаете, что знания организации связаны с ее производительностью, как вы можете гарантировать, что ваша мера организационных знаний действительно измеряет организационные знания (для конвергентной достоверности), а не организационные показатели (для дискриминантной достоверности)? Конвергентная достоверность может быть установлена ​​путем сравнения наблюдаемых значений одного индикатора одного конструкта со значениями других индикаторов того же конструкта и демонстрации сходства (или высокой корреляции) между значениями этих индикаторов.Дискриминантная валидность устанавливается путем демонстрации того, что индикаторы одной конструкции отличаются от других конструктов (т.е. имеют низкую корреляцию с ними). В приведенном выше примере, если у нас есть трехэлементная мера организационных знаний и еще три элемента для организационной эффективности, на основе наблюдаемых выборочных данных, мы можем вычислить двумерные корреляции между каждой парой знаний и элементов производительности. Если эта корреляционная матрица показывает высокие корреляции внутри элементов организационных знаний и конструкций организационной эффективности, но низкие корреляции между элементами этих конструкций, то мы одновременно продемонстрировали конвергентную и дискриминантную валидность (см. Таблицу 7.1).

Таблица 7.1. Двумерный корреляционный анализ конвергентной и дискриминантной достоверности

Альтернативный и более распространенный статистический метод, используемый для демонстрации конвергентной и дискриминантной достоверности, — это исследовательский факторный анализ . Это метод сокращения данных, который объединяет заданный набор элементов в меньший набор факторов на основе двумерной корреляционной структуры, описанной выше, с использованием статистического метода, называемого анализом главных компонентов.Эти факторы должны идеально соответствовать лежащим в основе теоретическим построениям, которые мы пытаемся измерить. Общая норма для извлечения факторов состоит в том, что каждый извлеченный фактор должен иметь собственное значение больше 1,0. Затем извлеченные факторы можно вращать с использованием методов ортогонального или наклонного вращения, в зависимости от того, будут ли лежащие в основе конструкции относительно некоррелированными или коррелированными, для генерации весовых коэффициентов, которые можно использовать для агрегирования отдельных элементов каждой конструкции в составную меру.Для адекватной конвергентной валидности ожидается, что элементы, принадлежащие к общей конструкции, должны демонстрировать факторные нагрузки 0,60 или выше по одному фактору (так называемые нагрузки с одинаковыми факторами), в то время как для дискриминантной валидности эти элементы должны иметь факторные нагрузки 0,30 или меньше. по всем остальным факторам (кросс-факторным нагрузкам), как показано в примере повернутой матрицы факторов в таблице 7.2. Более сложным методом оценки конвергентной и дискриминантной валидности является подход с множеством признаков и несколькими методами (MTMM).Этот метод требует измерения каждого конструкта (признака) с использованием двух или более различных методов (например, опрос и личное наблюдение или, возможно, опрос двух разных групп респондентов, таких как учителя и родители, для оценки академического качества). Это обременительный и относительно менее популярный подход, поэтому здесь не обсуждается.

Критериальная валидность также может быть оценена на основе того, хорошо ли соотносится данная мера с текущим или будущим критерием, которые соответственно называются одновременной и прогностической валидностью. Прогностическая достоверность — это степень, в которой мера успешно предсказывает будущий результат, который теоретически ожидается. Например, могут ли стандартизированные результаты тестов (например, результаты теста на академические способности) правильно предсказать академические успехи в колледже (например, при измерении средней успеваемости в колледже)? Оценка такой достоверности требует создания «номологической сети», показывающей, как конструкции теоретически связаны друг с другом. Параллельная достоверность проверяет, насколько хорошо одна мера соотносится с другим конкретным критерием, который, как предполагается, имеет место одновременно.Например, хорошо ли соотносятся оценки учащихся в классе математики с их оценками в классе линейной алгебры? Эти оценки должны быть связаны одновременно, потому что они оба являются тестами по математике. В отличие от конвергентной и дискриминантной валидности, параллельная и прогностическая валидность часто игнорируется в эмпирических исследованиях социальных наук.

Таблица 7.2. Исследовательский факторный анализ конвергентной и дискриминантной достоверности

.