Надежность и валидность теста - это что такое? Валидность методики, виды валидности. Корреляционный анализ как один из приемов определения надежности и валидности

1. Показатель качества метода, его способность давать результаты, адекватно отражающие изучаемое явление, т.е. именно те результаты, для получения которых он предназначен (В. метода). 2. Мера соответствия теории эмпирическим данным, возможность делать разумно точные предсказания на основании теории (В. теории). 3. Мера соответствия результатов изучаемой реальности, точнее, представлениям о реальности (В. результатов). В данной статье В. обсуждается в первом смысле. В позитивистской науке различают В. измерения, внутреннюю и внешнюю В. экспериментальных процедур и В. статистического вывода.

В. измерительных процедур

Под измерением понимают процесс связывания теоретического понятия с одной или несколькими латентными переменными, а этих последних - с наблюдаемыми переменными. В классической теории результат измерения включает два не коррелирующих компонента: истинный и ошибочный. В отношении ошибок измерения делаются предположения, при выполнении которых поведение ошибок становится известным. В. измерительной процедуры - мера ее соответствия измеряемому конструкту. Чаще других оценивают критериальную (часто называемую эмпирической), конструктную, конвергентную и дискриминантную В. В качестве вспомогательных методов установления В. используют реферирование литературы по вопросу, экспертные оценки.

Критериальная В. измерительной процедуры оценивается по тесноте статистической связи (корреляции) между измеренными результатами и внешним критерием. Так, критериальная В. шкалы лидерства означает, что полученный показатель коррелирует с некоторым независимо полученным показателем, например, социометрическими данными. Указание на критериальную В. предполагает не только сообщение о коэффициенте корреляции между показателями теста и внешним показателем, но также о всех обстоятельствах исследования: как и в какой ситуации был измерен критерий, на какой выборке проводилось исследование и др. Критерии могут быть текущими (измеряемыми одновременно с применением валидизируемой процедуры) и прогностическими. Прогностическая В. высоко желательна для практически ориентированных методов измерения. Недостатками подхода является трудности с подбором критерия и риск измерения невалидного критерия, что существенно снижает полученный коэффициент корреляции. Как оцениваемое поведение, так и критерий могут меняться во времени, а выборки могут быть смещенными. Если бы исследователю удалось найти совершенный критерий, создание измерительной процедуры стало бы избыточным. В этой связи понятен парадокс, сформулированный Дж.Келли: В. метода - это его способность предоставлять и без того известную информацию. Зависимость критериальной В. от свойств критерия, невозможность нахождения удовлетворительного объективного показателя во многих областях знания существенно снижают ценность критериальной В. как показателя качества измерительной процедуры.

Конструктная В. устанавливается по статистической связи между показателями данной процедуры и других методик, измеряющих родственный конструкт. Гипотезы о статистической связи формулируются до их проверки, на основании содержательной теории. Конструктная валидизация - длительный процесс, и ни одна эмпирическая корреляция не может гарантировать достоверности измерения. Теоретически постулируется связь между конструктами, оценивается корреляция между индикаторами этих конструктов, на основании полученных данных пересматриваются теоретически ожидаемые связи между конструктами или между конструктами и индикаторами. Подбирается новый конструкт (или новый индикатор, или новая теория о связи между конструктами), и процесс повторяется снова. Оба конструкта могут оказаться неродственными. Так бывает, когда измерительные методы, выступающие под одним и тем же названием, строятся на разных теоретических основаниях. Другие проблемы связаны с ситуациями, когда измеренный показатель, привлекаемый для валидизации процедуры, измеряется недостаточно валидно; один и тот же индикатор одновременно измеряет разные конструкты; ошибки измерения коррелируют между собой. Если исследователь уверен/а в том, что структурная схема корректна (отсутствуют связи между индикаторами и посторонними конструктами, а корреляция между ошибками измерения равна нулю), он/а может найти корреляцию между конструктами, скорректированную на ненадежность индикаторов.

Для оценки конструктной В. измерительной процедуры часто используют факторный анализ индикаторов. Под этим именем понимается широкий набор методов снижения размерности данных, когда из множества измеренных переменных извлекается небольшое количество латентных переменных (факторов). Количество и теоретическая интерпретируемость факторов трактуется как мера В. измерительного метода, а факторные нагрузки измеренных переменных - как мера В. индикаторов. Факторная нагрузка - это стандартизованная мера структурной связи между общим фактором (латентной переменной) и индикатором. Ее часто определяют как корреляцию между фактором и переменной. Широко известные методы факторного анализа (например, анализ главных осей) является эксплораторной процедурой, т.е. не позволяет проверять статистических гипотез, а результат анализа существенно определяется техническими решениями, который принимает исследователь. В этом смысле возможности метода как средства валидизации ограничены. Чтобы ослабить произвол при проведении факторного анализа, используют кросс-валидизацию: выборка случайно расщепляется пополам, факторы извлекаются на одной половине выборки, а оправданность и устойчивость факторного решения проверяется на другой половине.

Понятия конвергентной и дискриминантной В. введены Д. Кембеллом и Д. Фиске как два взаимосвязанных показателя достоверности метода. Конвергентная В. требует "сходимости" (высокой корреляции) родственных конструктов, дискриминантная В. - отсутствия корреляций между измерениями неродственных конструктов. Более строго эта концепция реализована в подходе, известном под именем "Много черт - много методов", или МЧММ (MTMM - many traits, many methods). Суть его в том, что несколько свойств измеряются несколькими методами. Между показателями одного и того же свойства, измеренного с помощью разных методов, должны быть высокие корреляции, между показателями разных свойств, измеренными с помощью одного метода, - низкие. Третьим условием является превышение первого набора коэффициентов корреляции над вторым. Есть и более строгие статистические методы анализа корреляционной матрицы МЧММ. В последние годы приобрели популярность структурные уравнения, в частности, конфирматорный факторный анализ, который в соответствии с содержательной моделью раскладывает ковариации измерений на компоненты, связанные с влиянием методов, свойств, и ошибки. Полученные структурные коэффициенты интерпретируются как показатели В.

В. экспериментального метода

Круг понятий, связанных с оценкой В. эксперимента (и результатов эксперимента), был разработан методологами-постпозитивистами в 1960-х (Д. Кэмпбелл, Т. Кук, Дж. Стэнли и др.). В эпистемологической традиции, восходящей к Дж.С.Миллю и связывающей причинность с манипуляцией, истинный эксперимент со случайным распределением испытуемых по условиям рассматривается как единственное средство убедительной проверки каузальных гипотез. С этой точки зрения причинные утверждения в неэкспериментальных науках (социологии) нелегитимны. Предшествование во времени предполагаемой причины (независимой переменной) следствию (зависимой переменной) как одно из условий каузальной связи в эксперименте обеспечивается манипуляцией и измерением ее последствий. Сложнее выполнить другое требование к каузальному выводу - отсутствие правдоподобных альтернативных объяснений. Под внутренней В. понимается уверенность в том, что именно независимая переменная X служит основной причиной систематической изменчивости значений зависимой переменной Y, т.е. отсутствуют другие переменные, опосредующие связь между X и Y. Мы не в состоянии гарантировать В. эксперимента, но с учетом особенностей используемой исследовательской процедуры можем идентифицировать и устранить основные причины невалидности. Кэмпбелл и Стэнли предложили классификацию причин снижения внутренней В. История (фон) - это события, которые произошли между X и Y и могли повлиять на их ковариацию. Естественные изменения - перемены во внутреннем состоянии испытуемых, не связанные с влиянием X, такие как усталость, взросление, научение. Эффект инструмента связан с нежелательными изменениями измерительных процедур (технические поломки, усталость наблюдателей). Эффект статистической регрессии (соскальзывание к среднему) наблюдается тогда, когда экспериментальные и/или контрольные группы отбирались на основании крайних значений релевантных показателей; по причинам статистического свойства к моменту второго измерения максимальные значения показателей понизятся, а минимальные повысятся. Отбор групп как причина невалидности связан с неслучайным (неэквивалентным) отбором испытуемых или других единиц исследования. Отсев ("экспериментальная смертность") означает неравномерное и неслучайное выбывание участников исследования. Взаимодействие отбора с другими факторами описывает ситуацию, когда неслучайно отобранные испытуемые имеют разную личную историю, склонность к усталости, отсев и др. Внутренняя В. оценивается качественно по степени отклонения исследовательской процедуры от некоторого идеального случая. Это касается также неэкспериментальных планов исследования, в которых к приведенному перечню причин снижения валидности добавляются новые угрозы.

Внешняя В. характеризует степень обобщаемости полученных результатов на иные генеральные совокупности и контексты. Успешное воспроизведение исследования служит одним из важных условий оценки достоверности теорий и помогает уточнить диапазон пригодности последних. Одной из стратегий достижения внешней В. также является идентификация и устранение причин, ответственных за случайное получение результата. Это, в частности, реактивный эффект (влияние процедуры начального измерения на поведение испытуемых) и взаимная интерференция экспериментальных воздействий. Другие стратегии основаны на использовании плана рандомизированного эксперимента с единственным измерением после исследования (что снимает реактивный эффект); снижение риска влияния экспериментатора (напр., минимизация контактов экспериментатора с испытуемым, увеличение количества исследователей или двойной слепой метод, когда исследователь до окончания эксперимента не знает, кто из испытуемых каким воздействиям подвергается); повышение экологической В. (реалистичности) исследования. Важную методологическую роль в обеспечении В. научного исследования играет воспроизведение с расширением, когда каждая последующая репликация эксперимента предусматривает небольшие процедурные модификации.

В. статистического вывода

Под В. статистического вывода понимается выполнение комплекса условий, уменьшающих вероятность неверного статистического решения о нулевой гипотезе (о равенстве параметра некоторому значению или соответствии статистической модели полученным данным) или величине эффекта. Основным методом принятие статистических решений в последние десятилетия стала проверка статистической значимости, т.е. о равенстве параметра некоторому значению. Для этого используются критерии z, t, F, x2 и др. Эмпирически полученное значение критерия сравнивается с критическим, и на основании этого сравнения нуль-гипотеза отвергается или не отвергается. Т.о., решение носит бинарный характер (да-нет). В этом процессе можно совершить одну из трех ошибок: неверно отвергнуть истинную нуль-гипотезу (ошибка первого рода, альфа), неверно принять истинную альтернативную гипотезу (ошибка второго рода, бета) и неверно сформулировать статистические гипотезы, т.е. неправильно перевести исследовательский вопрос на язык статистики.

Угрозы В. статистического вывода многочисленны и имеют разную природу. Использование невалидных индикаторов (раздел данной статьи Валидность измерительных процедур) не дает возможности уверенно интерпретировать полученный результат. Использование ненадежно измеренных переменных приводит к существенному занижению полученных статистик.

Большой класс угроз В. статистического вывода связан с неверным формулированием модели. В частности, более известные линейные модели выбираются в тех случаях, когда лежащие в их основе предположения нарушаются: связь между переменными носит нелинейный характер, присутствуют экстремальные значения, дисперсии зависимой переменной для разных уровней независимой переменной неравны, переменные измерены более грубо, чем того требует модель, отсутствующие значения переменных распределены неслучайным образом. В стандартных пакетах статистического анализа имеются методы диагностики нарушений предположений модели. Более сложные концептуальные ошибки совершаются в связи с неверным определением переменных как независимых или ковариирующих, неправильным выбором моделей для зависимых (повторных) или независимых измерений, фиксированных или случайных эффектов. При сравнении нескольких средних или оценке значимости нескольких корреляций исследователи не всегда учитывают инфляцию ошибки первого рода: так, для j переменных мы получаем k = j(j - 1)/2 корреляций, и вероятность случайно получить хотя бы один значимый коэффициент корреляции, альфаобщ., равна 1 - (1 - альфа)k. Использование слишком большого числа переменных при небольшом числе наблюдений (респондентов) создает "сверхпригодность" модели, когда модель идеально описывает выборочные данные, но неадекватна для описания генеральной совокупности.

Многие простые ошибки статистического вывода обусловлены причудливым и механическим объединением двух разных подходов к статистическому решению - Фишера и Неймана-Пирсона. Последний подход подчеркивает важность мощности критерия для оценки значимости. Так, результат может оказаться статистически незначимым по причинам, связанным с недостаточной мощностью метода: слабость экспериментального воздействия, маленькая или гетерогенная выборка, ненадежное измерение переменных, чрезмерно малое значение ошибки первого рода. Статистическая значимость - это вероятность того, что полученный результат случаен на выборке данного объема, однако эта величина ничего не говорит о величине эффекта. Современные руководства рекомендуют сообщать в публикациях не только показатель значимости (p), но значения эффекта (типичные показатели - r Пирсона, t Стьюдента, d Коэна, g Хиджеса, ню2 для дисперсионного анализа и др.). Другими альтернативами бинарным решениям о статистической значимости являются доверительные интервалы, байесовы статистики и, в более широком смысле, воспроизведение с расширением и метаанализ.

В. в качественных исследованиях

В. в качественных исследованиях не может быть оценена с помощью описанных выше классических методов. Ряд авторов показывают примитивность имеющихся подходов к оценке В. и "критериологии" в целом (Т.Швандт, Дж.Смит). В то же время отказ от идеи достоверности/аутентичности в отличие от дискредитированной объективности выглядит слишком радикальным даже для постмодернистских исследователей. Поэтому другие авторы (Э.Губа, И.Линкольн, С.Квале, С.Мишлер) пытаются переформулировать традиционные критерии валидности, сделав их менее позитивистскими. Обсуждаются новые процедуры обоснования достоверности: коммуникативная валидизация (участие испытуемых в обсуждении результатов; привлечение к обсуждению коллег), процедурная валидизация (точность, тщательность и полнота полевых заметок или получаемых данных; полное, сбалансированное и прозрачное описание результатов, открытое для иных интерпретаций; чувствительность к обратной связи со стороны коллег; перепроверка выводов на других фрагментах полученного материала) и т.д. Среди прочих подходов к обоснованию достоверности результатов следует упомянуть установление степени правдоподобия (plausibility) как оценки полученного знания с позиции уже имеющихся знаний; доверие (credibility) как оценка и коллективного осмысления результатов с учетом природы феномена, и обстоятельств его наблюдения; укорененность в данных, включенность в контекст исследовательской программы (dependability), которая основана на тщательном изучении и оценке процедурных аспектов; чувствительность как способность исследователя увидеть социальную проблему и способствовать ее решению; онтологическая и образовательная аутентичность - способность повысить сознательность участников исследования (в первом случае) и их окружения (во втором); каталитическая аутентичность как влияние на социальные программы, способствующие улучшению качества жизни изучаемой популяции.

Постмодернистскими авторами обсуждаются принципиально новые понятия и принципы обоснования знания: ироническая (Ж.Бодрийар), неопрагматическая (Ж.-Ф.Лиотар), ризоматическая (Ж.Деррида) валидизация. Н.Дензин обосновал метод триангуляции как радикальной альтернативы традиционным подходам к валидизации. Триангуляция есть сочетанное и взаимообогащающее использование разных методов, методологий, данных, теорий и/или исследователей. Множественность подходов и приемов призвана ослабить эпистемологические ограничения, перейти установленные границы, выявить новые стороны феномена. Следует отметить, что идея триангуляции [истины] была порождена в постпозитивизме (Д.Кэмпбелл), где она понималась как некоторая процедура, набор полезных трюков: в дополнение к опросу "обычных" людей опросить экспертов; случайным образом расщепить выборку испытуемых пополам и провести анализ данных раздельно; исключить из анализа одну переменную и посмотреть, как изменится модель; валидизировать конструкт с помощью подхода "много черт - много методов" и т.д. Чтобы избежать нежелательных ассоциаций с позитивизмом, постмодернистская исследовательница-этнограф Л.Ричардсон в радикальном духе отказывается от идеи триангуляции и предлагает иную привлекательную метафору - кристалла, а не треугольника, кристаллизации, а не триангуляции. Кристалл одновременно создает, преломляет и искажает, он многогранен, и ни одна из его граней не более достоверна, чем любая другая. Как и знание, кристалл растет и разрушается. Метафорический подход к проблеме обоснования знания и оценки его качества неслучаен. Он призван разрушить критериальные подходы и представления о стандартах. Социальное исследование обладает ценностью лишь тогда, когда дает равные возможности высказаться представителям разных групп, создает равновероятные версии и подавляет доминирующие, "правильные" интерпретации.

Отличное определение

Неполное определение ↓

Человек пользуется различными методиками и инструментами, чтобы проверить или измерить какое-то качество. Насколько эта методика и инструмент способны качественно выдать результаты, обозначает их валидность. Что обозначает данное понятие в психологии? Какие существуют виды валидности? В психологии обычно данное свойство применимо к тестам и методикам, которыми пользуются специалисты.

Что такое валидность?

У рассматриваемого понятия существует много определений. Что такое валидность? Это пригодность и обоснованность применения какой-то методики или результата в конкретной ситуации. Прикладное значение данного слова – степень соответствия результатов и методик поставленным задачам.

Валидность – это измерение другого показателя, которое измеряет конкретные качества. Таким образом, методика направлена на измерение конкретного качества, например, интеллекта, а ее валидность должна показывать, насколько хорошо данная методика помогает в получении результатов.

Другим словом валидность можно назвать достоверностью. Она измеряет те тесты и методики, которые занимаются измерениями определенных психологических качеств. Чем лучше они измеряют те качества, которые измеряют, тем выше их валидность.

Валидность становится важной в двух случаях:

1. Когда некая методика разрабатывается.
2. Когда некая методика показывает результаты, и необходимо установить, насколько качественны данные результаты.

Таким образом, валидность – это характеристика, которая указывает пригодность конкретной методики для измерения какого-то качества и полезность, качественность, эффективность данной методики.

Обычно используется несколько видов валидности, чтобы провести проверку конкретного теста или методики. Здесь также происходит сравнение показателей, которые даются различными инструментами. Существует множество способов измерения того или иного психологического качества или характеристики. Чаще психологами будет использоваться та методика, которая дает более достоверные результаты. Это и будет показывать ее высокую валидность.

Вместе с валидностью часто рассматривается такое понятие, как надежность. Методики и тесты должны быть надежными, то есть они должны быть постоянными, достоверными. Экспериментатор должен быть уверен в том, что он рассматривает именно то качество, которое он желает рассмотреть. Вот почему надежность не всегда может быть валидной, однако валидность всегда должна быть надежной.

Валидность в психологии

Валидность используется во многих сферах жизни, где происходят измерения различных показателей. В психологии валидность также становится нужной, особенно в экспериментальной психологии. Валидность в психологии – это:

• уверенность экспериментатора в том, что он измеряет нужное ему качество;
• достоверность показателей, которые измеряют данное качество.

Если читатель хоть раз проходил психологические тесты, то он знает о внутреннем желании получить конкретный ответ на поставленный вопрос. Валидность теста показывает экспериментатору конкретный результат, которого он достигает путем тестирования. Здесь стоит конкретная задача, ответ на которую он должен получить после совершения всех нужных действий.

Методики и тесты должны быть полезными и достоверными, что и измеряется путем их валидности.

Существует три способа проверки на валидность:

1. Оценивание содержательной валидности – соответствие результатам оценивания испытуемого реальным качествам, которые проявляются в действительности. Здесь используется такое понятие, как лицевая валидность – человек должен видеть реальную связь между содержанием самой методики и ее результатами и действительностью, в которой проявляется измеряемое качество.
2. Оценивание конструктной валидности – определение того, что методика вычисляет научно обоснованные и заданные конструкты. Конвергентная валидизация позволяет использовать несколько методик, которые рассматривает схожие характеристики и дают более точные результаты рассматриваемого качества. Дискриминантная валидизация исключает другие методики, которые рассматривают качества, не имеющие корреляции с нужным качеством.
3. Оценивание критериальной валидности – это соответствие результатам ожидаемым показателям, которые выявляются другими способами. Здесь используется прогностическая валидность, которая помогает спрогнозировать дальнейшее поведение.

Виды валидности

Существует несколько видов валидности, которые рассмотрим ниже:

1. Внешняя валидность – обобщение вывода ситуации, популяции, независимых переменных. Она делится на:

• Операциональную валидность.
• Конструктную валидность – объяснение поведения человека в момент прохождения теста.

1. Внутренняя валидность – изменение в процессе эксперимента под влиянием неизменяемых факторов.
2. Дифференциальная валидность.
3. Инкрементная валидность.
4. Экологическая валидность – показатель того, что человек способен к совершению различных действий, которые в одной ситуации могут быть успешными, а в другой нет.

Данная классификация используется экспериментальной психологией. Организационной психологией и психодиагностикой используется другая классификация:

1. Конструктная валидность. Она делится на:

• Конвергентную валидность.
• Дивергентную валидность.

1. Критериальная (эмпирическая) валидность – подсчет корреляции по баллу по тесту внешнему параметру, который был выбран в качестве валидного показателя. Она делится на:

• Текущую валидность – изучение параметра в настоящем времени.
• Ретроспективную валидность – состояние или событие, которое было в прошлом.
• Прогностическую валидность – прогноз поведения, качества.

1. Содержательная валидность – используется в экспериментах, где рассматривается некоторое взаимодействие, деятельность. Имеет подвид:

• Очевидная валидность.

Другими видами валидности являются:

• Априорная.
• Конгруэнтная.
• Сопутствующая.
• Конструктивная.
• Консенсусная.
• Факториальная.
• Теоретическая и пр.

Что такое валидность теста?

Многие люди проходят тесты. Есть специальные психологические тесты, применяемые психологами, и другие, бульварные тесты. Что такое валидность теста, которая является важным ее критерием? Это показатель соответствия характеристики, качества, свойства к тесту, который их измеряет.

Тесты бывают разными. Они используются для измерения психофизиологических параметров человека. Самым высоким показателем валидности остается 80%. Полезность применения тестов становится в том случае, когда они позволяют получить точные данные по тем или иным конкретным характеристикам. Существует несколько подходов при изучении валидности теста:

1. Конструктивная валидность, которая позволяет более глубоко изучить качества человека в ситуации, деятельности, системе.
2. Валидность за критерием – изучение параметра в настоящем времени и прогнозирование его в будущем.
3. Содержательная валидность – соответствие психологических конструктов, их многообразие.
4. Прогностическая валидность – предсказывает развитие конкретного качества в будущем, что является затруднительным, поскольку оно может развиваться по-разному у разных людей.

Пока надежность и валидность теста не определены, его не применяют в психологической практике. Многое зависит от того, в каких областях применяются тесты. Есть учебные, профессиональные и прочие тесты, которые применяются в отдельных учреждениях для прогнозирования и выявления характеристик претендентов.

На сайте психологической помощи сайт вы также можете пройти тесты, которые уже обладают высокой валидностью и показывают достоверные результаты.

Что такое валидность методики?

Что такое валидность методики? Это показатель, который обозначает, занимается ли рассматриваемая методика изучением того качества, характеристики, для которой она предназначена. При этом делается акцент на том, что испытуемый, который проходит тестирование, может иначе видеть и характеризовать самого себя. Вот почему не всегда результаты учитывают мнение людей, которые могут не замечать за собой определенных характеристик.

Валидизацией называется проверка валидности методики. Чтобы определить действенность, эффективность, практичность используемой методики, применяется внешний независимый показатель – качество, которое наблюдается в повседневной жизни. Здесь выделяют 4 типа внешних показателей:

1. Критерий исполнения – затраченное время, количество работы, уровень успеваемости, рост профессиональных навыков и т. д.
2. Субъективные критерии – мнение, взгляды, предпочтение, отношение испытуемого к кому- или чему-либо. Здесь применяются анкеты, интервью, опросники.
3. Физиологические критерии – влияние внешнего мира на психику и организм человека. Здесь измеряются пульс, частота дыхания, симптомы утомления и пр.
4. Критерий случайности – возможен ли, к примеру, подбор лиц, которые не склонны к несчастным случаям? Изучение влияния определенного случая.

Теоретический поход в измерении валидности методов позволяет распознать, действительно ли технология изучает именно то качество, для которого она была предназначена.

Валидность также определяется встречаемостью изучаемого качества. Хорошо, если оно является распространенным, что и делает методику нужной и полезной. Также важными становятся этические и культурные изменения общества.

Итог

В психологической практике часто используются тесты и методики, которые помогают в изучении личности человека. Здесь речь идет в частности о внутренних параметрах, которые не видны глазом. Качества характера, манера поведения, возможный прогноз на будущее, каким человек будет и какова будет его жизнь, — все это изучается различными тестами и методиками, которые преследуют единый итог – изучение человека.

Итогом успешного определения валидности того или иного инструмента является успешное познание каждого человека, несмотря на то, как он смотрит сам на себя. Люди часто не замечают за собой определенных качеств, редко смотрят на себя трезвым взглядом. Тесты и методики позволяют раскрыть в себе отдельные параметры.

Прогноз валидных тестов и методик – быстрое и качественное познание другого человека с возможностью ему помочь в решении любой психологической проблемы. Это достигается нескоро, однако имеющиеся инструменты уже показали свою эффективность. Обычно данный вопрос интересует лишь тех людей, которые занимаются определением качества тестов и методик. Однако и простым людям будет полезно знать, каким упражнениям следует доверять, а каким нет.

Для того чтобы психолого-педагогический эксперимент был достаточно надежным средством исследования и позволял по­лучать вполне достоверные результаты, которым можно доверять и на основе которых можно делать правильные практические вы­воды, необходимо, чтобы используемые в нем психодиагности­ческие методы были научно обоснованными. Такими считают ме­тоды, отвечающие следующим требованиям: валидность, надеж­ность, однозначность и точность.

Термин «валидность» буквально означает: «полноценный», «пригодный», «соответст­вующий». Валидность по своей сути - это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность . Проверка валидности методики называется валидизацией.

Есть несколько разновидностей валидности, каждую из ко­торых следует рассматривать и оценивать отдельно, когда стоит вопрос о выяснении валидности психодиагностической методи­ки. Валидность может быть теоретической и практической (эм­пирической), внутренней и внешней.

Валидность теоретическая определяется по соответствию по­казателей исследуемого качества, получаемых с помощью дан­ной методики, показателям, получаемым посредством других методик - таких, с показателями которых должна существовать теоретически обоснованная зависимость. Теоретическую валидность проверяют по корреляциям показателей одного и того же свойства, получаемым при помощи разных методик, опирающих­ся или исходящих из одной и той же теории.

Валидностъ эмпирическая проверяется по соответствию диа­гностических показателей реальному поведению, наблюдаемым действиям и реакциям испытуемого. Если, например, с помощью некоторой методики мы оцениваем черты характера у данного испытуемого, то применяемая методика будет считаться прак­тически или эмпирически валидной тогда, когда мы установим, что данный человек ведет себя в жизни именно так, как предска­зывает методика, т.е. в соответствии с имеющейся у него чертой характера. По критерию эмпирической валидности методику проверя­ют путем сравнения ее показателей с реальным жизненным по­ведением или результатами практической деятельности людей.

Валидностъ внутренняя означает соответствие содержащих­ся в методике заданий, субтестов, суждений и т.п. общей цели и замыслу методики в целом. Она считается внутренне невалидной или недостаточно внутренне валидной тогда, когда все или часть включенных в нее вопросов, заданий или субтестов изме­ряют не то, что требуется от данной методики.

Валидностъ внешняя - это примерно то же самое, что и эм­пирическая валидность, с той лишь разницей, что в данном слу­чае речь идет о связи между показателями методики и наиболее важными, ключевыми внешними признаками, относящимися к поведению испытуемого.

При создании методики сразу оценить ее валидность трудно. Обычно валидность методики проверяется и уточняется в про­цессе ее достаточно длительного использования, тем более что речь идет о проверке по меньшей мере с четырех описанных выше сторон.

Не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл.

Существует четыре типа внешних критериев , используемых для доказательства валидности:

1) критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации;

2) субъективные критерии (они включают различные виды ответов, которые
отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды,
предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

3) физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т.д.);

4) критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации.

Существует нескольковидов валидности , обусловленных особенностями диагностических методик, а также временным статусом внешнего критерия:

1) Валидность "по содержанию". Этот прием используется в основном в тестах достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала. На это и должна ответить проверка валидности по содержанию. Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность "по содержанию" также подходит к критериально-ориентированным тестам. Иногда этот прием называют логической валидностью .

2) Валидность "по одновременности", или текущая валидность, определяется с помощью внешнего критерия, по которому информация собирается одновременно с
экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени (успеваемость в период испытания, производительность в этот же период и т д.). С ними коррелируют результаты успешности по тесту.

3) "Прогностическая" валидность . Определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

4) "Ретроспективная" валидность. Она определяется на основе критерия,
отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

При приведении данных о валидности разработанной методики важно точно указать, какой вид валидности имеется в виду (по содержанию, по одновременности и т.д.). Желательно также сообщать сведения о численности и особенностях индивидов, на которых проводилась валидизация. Такая информация позволяет пользующемуся методикой исследователю решить, насколько валиден этот прием для той группы, к
которой он собирается его применять. Как и в случае с надежностью, необходимо помнить, что в одной выборке методика может обладать высокой валидностью, а в другой - низкой. Поэтому если исследователь планирует использовать методику на выборке испытуемых, существенно отличающейся от той, на которой проводилась проверка валидности, ему необходимо заново провести такую проверку.

Кроме видов валидности, важно знать критерии валидности . Это основные признаки, по которым можно практически судить о том, является или не является данная методика валидной. Та­кими критериями могут стать следующие:

1. Поведенческие показатели - реакции, действия и поступ­ки испытуемого в различных жизненных ситуациях.

2. Достижения испытуемого в различных видах деятельно­сти: учебной, трудовой, творческой и других.

3. Данные, свидетельствующие о выполнении различных конт­рольных проб и заданий.

4. Данные, получаемые при помощи других методик, валидность или связь которых с проверяемой методикой считается до­стоверно установленной.

одна из важнейших характеристик психодиагностических методик и тестов, один из основных критериев их качества. Это понятие близко к понятию достоверности, но не вполне тождественно.

Проблема валидности возникает в ходе разработки и практического применения теста или методики, когда требуется установить соответствие между степенью выраженности интересующего свойства личности и методом его измерения. Валидность указывает, что именно тест или методика измеряет и насколько хорошо это делает; чем они валиднее, тем лучше отображается в них то качество (свойство), ради измерения коего они создавались. Количественно валидность может выражаться через корреляции результатов, полученных с помощью теста или методики, с другими показателями, - например, с успешностью выполнения соответственной деятельности. Валидность можно обосновать разными путями, чаще всего - комплексно. Применяются также дополнительные понятия валидности концептуальной, критериальной, конструктивной, и прочие виды валидности - со своими способами установления их уровня. Требование валидности весьма важно, и многие нарекания в адрес тестов или иных психодиагностических методик связаны с сомнительностью их валидности. Например, валидность измерения интеллекта зависит:

1) от определения понятия интеллекта, являющего ту или иную концепцию этого феномена;

2) от состава тестовых заданий, разрабатываемых согласно этой концепции;

3) от эмпирических критериев. Разные концепции требуют различного состава заданий, поэтому важен вопрос валидности концептуальной. Чем больше задания соответствуют данной авторской концепции интеллекта, тем увереннее можно говорить о валидности концептуальной теста. Корреляция теста с эмпирическим критерием указывает на его возможную валидность по отношению к данному критерию. Определение валидности теста всегда требует постановки дополнительных вопросов: валидность для чего? для какой цели? по какому критерию? Итак, понятие валидности относится не только к тесту, но и к критерию оценки его качества. Чем выше коэффициент корреляции теста с критерием, тем выше валидность. Развитие анализа факторного позволило создавать тесты, валидные по отношению к идентифицируемому фактору. Только проверенные на валидность тесты можно использовать в ориентации профессиональной, отборе профессиональном, в исследованиях научных.

ВАЛИДНОСТЬ

от англ. valid - пригодный) - комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.

Валидность

validity) - точность результатов теста или исследовательской работы; то есть тот предел, до которого тест или исследование в действительности измеряет или показывает то, что надо измерить и показать.

Валидность

Степень нашей уверенности в том, что тест, измерение или эксперимент действительно выполняет ту функцию, для которой они предназначены. Этот весьма общий термин по-разному используется в психологии. В процессе эксперимента мы можем оценить: 1. Внутреннюю валидность: действительно ли наблюдаемый эффект является следствием экспериментальной манипуляции? В экспериментах Милгрэма о повиновении авторитету сделанные выводы не могли бы считаться валидными, если бы участники не верили в то, что они действительно получают удар электрическим током. 2. Внешнюю валидность: даже если эксперимент удался, его результаты могут быть неприменимы к другим людям и в других ситуациях. Эксперименты в области социальной психологии часто подвергаются критике, так как они опираются на опыты с американскими студентами-добровольцами и используют лабораторные методы в ходе исследования (см. также Экологическая достоверность). При определении валидности теста или измерения мы пользуемся одним из ряда следующих критериев: 1. Очевидная валидность: действительно ли тест измеряет то, для чего он предназначен? К примеру, тест на умственное развитие может выглядеть именно так, как предполагается для тестов подобного рода (высокая степень очевидной валидности), или быть замаскированным под что-то еще (низкая степень очевидной валидности). 2. Содержательная валидность: в какой мере тест отражает интересующую область исследований? Экзаменационные документы подвергаются тщательной проверке, чтобы убедиться, что вопросы соответствуют навыкам и знаниям студентов того или иного курса. 3. Конкурентная (совпадающая) валидность: достоверность теста можно проверить, сопоставив его с уже существующими методами измерения. К примеру, новый тест на умственное развитие можно сравнить с другим тестом, валидность которого уже известна и доказана. Если показатели участников при испытании нового теста совпадают с показателями при проведении другого теста, то новый тест тоже обладает валидностью. 4. Прогностическая валидность: можно ли на основе теста предсказывать или рассчитывать показатели по другому критерию? Тесты, используемые с целью отбора, должны обладать хорошей прогностической валидностью. 5. Конструктная валидность: используется ли тест для адекватного измерения теоретического конструкта - т. е. действительно ли тест на умственное развитие определяет коэффициент умственного развития? Если это так, то тест должен обладать особенностями, позволяющими участникам выполнять его в соответствии с их уровнем интеллектуального развития.

ВАЛИДНОСТЬ

1. Общее и свободное значение – свойство истинности, правильности, соответствия реальности. Это значение распространено в обычном языке, но, как правило, не оно имеется в виду в специальной литературе. 2. В логике – свойство аргумента или заключения, которое считается валидным, потому что оно соответствует определенным логическим принципам. Основное положение здесь то, что должен быть правильным сам процесс рассуждения; аргумент может обладать валидностью в этом смысле и не соответствовать действительности, но ошибка в этом случае будет заключаться в допущениях, а не в процессе рассуждения. См. логика. 3. В тестировании – свойство любого измерительного инструмента, прибора или теста, при котором он измеряет то, что предназначен измерять. Валидность здесь – не простое понятие, и это не просто свойство "либо – либо" как в значении 2 и в некоторой степени в значении 1. В области тестов и измерений было разработано большое число процедур оценки валидности инструментов тестирования, наиболее широко используемые указаны ниже.

ВАЛИДНОСТЬ

validity)-достоверность (или степень достоверности) вывода, которую обеспечивают результаты реального эксперимента по сравнению с результатами безупречного эксперимента. “В.”-центральное понятие словаря экспериментатора: оно объединяет основные цели исследования с идеальными эталонами их достижения и реальными процедурами проведения экспериментах

Глобальной целью любого экспериментального исследования является обобщение полученных результатов и вывода об экспериментальной гипотезе. Однако полное достижение этой цели возможно лишь в мысленном, безупречном эксперименте, невыполнимом на практике. Реальный эксперимент в той или иной мере репрезентирует (представляет) безупречный, и чем лучше эта репрезентативность, тем выше В. эксперимента. Таким образом, повышение В., т. е. планирование проведения эксперимента в соответствии с его безупречным образцом, является конкретной задачей исследователя, успешность решения которой зависит, во-первых, от характера, реальных условий и, во-вторых, от адекватности выбора средств. Так, источники нарушения В., (прежде всего, ненадежность и смешение) отдаляют реальный эксперимент от безупречного, а способы их контроля, позволяют приблизиться к нему, т. е. обеспечить высокую В. для обобщения экспериментальных результатов. В. полученных данных можно оценить статистически: например, В. теста (в корреляционном исследовании) определяется степенью корреляции результатов его.выполнения с изучаемым видом деятельности испытуемых.

В соответствии с различными типами безупречного эксперимента различают внутреннюю и внешнюю В.:

Внутренняя В. - достоверность выводов, которую обеспечивают результаты реального эксперимента по сравнению с результатами идеального бесконечного экспериментов. Повышение внутренней В. связано с устранением результатов действия побочных переменных и с усреднением их изменчивости и нестабильности. Внутренняя В. - первое и необходимое требование к экспериментальным выводам: эксперимент, не обладающий внутренней В., названы автором просто неудачным,

Внешняя В. - достоверность выводов, которую обеспечивают результаты реального эксперимента по сравнению с результатами эксперимента полного соответствия. Повышение внешней В. обеспечивается достижением соответствия уровней дополнительных переменных в эксперименте уровням этих переменных в изучаемой реальности. Эксперимент, не обладающий внешней В., является неверным, не соответствующим поставленной гипотезе (но, быть может, пригодным для проверки, другой гипотезы).

Следует отметить, что любую переменную (фактор), отличную от независимой, также оказывающую влияние на зависимую переменную, автор называет просто “ other ” - другая. При переводе для обозначения таких переменных используются два разных термина: “побочная” - применительно к переменной, нарушающей внутреннюю В., и “дополнительная” - переменная, уровень которой входит в экспериментальную гипотезу и должен быть адекватно представлен с целью достижения внешней В. Иногда одни и те же факторы могут выступать в эксперименте и как побочные (нарушающие внутреннюю В.), и как дополнительные (влияющие на внешнюю В.). Устранение и унификация побочных факторов, повышающая внутреннюю В., может приводить к несоответствию уровней дополнительных переменных, что снижает внешнюю В. (см. Соответствие).

Валидность

адекватность и действенность теста, важнейший критерий его доброкачественности, характеризующий точность измерения исследуемого свойства, а также - насколько тест отражает то свойство, для диагностики которого он предназначен.

ВАЛИДНОСТЬ

от англ. valid – действительный, пригодный, действенный) – критерий качества конфликтологического исследования, степень соответствия его результатов целям, достоверность и глубина выводов. Различают два вида В.: внутреннюю и внешнюю. Внутренняя В. показывает, насколько удалось объективно, точно оценить именно то, что ставилось как цель исследования. Напр., конфликтологу необходимо сравнить частоту конфликтов в течение года в разных отделах организации. Для этого он опрашивает сотрудников организации, задавая им вопрос: «Как часто в вашем коллективе происходили конфликты в течение последнего года?». Такое исследование обладает низкой внутренней В., т. к. оценивается не реальная частота конфликтов, а мнение сотрудников о ней. Внешняя В. показывает, насколько корректно распространять выводы, полученные в результате исследования, на др. ситуации, конфликты, т. е. насколько результаты будут справедливы вне рамок данного исследования. Напр., эмпирическое исследование показало, что 78 % конфликтов в офицерском коллективе происходит в звене «начальник-подчиненный». Методика изучения обеспечила высокую внутреннюю В. выводов. Однако внешняя В. этих результатов мала, т. к. отношения между офицерами строго регламентированы и распространение данного вывода на заводские, научные и т. п. коллективы неправомерно. При проведении эмпирического конфликтологического исследования необходимо обеспечивать максимально возможную В. на этапе его подготовки, контролировать В. в процессе изучения, тщательно объяснять полученные данные и обосновывать выводы на завершающем этапе работы.

Валидность по своей сути - это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.

Проверка валидности методики называется валидизацией.

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий - показатель проявления изучаемого свойства в повседневной жизни. Таким критерием может быть и успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), и производственные достижения (для методик профессиональной направленности), и эффективность реальной деятельности - рисование, моделирование и т. д. (для тестов специальных способностей), субъективные оценки (для тестов личности).

4 типа внешних критериев:

1. критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.);
2. субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);
3. физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т.д.);
4. критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Эмпирическая валидность.

Если в случае с содержательной валидностью оценка теста производится за счет экспертов (устанавливающих соответствие заданий теста содержанию предмета измерения), то эмпирическая валидность измеряется всегда с помощью статистического коррелирования: подсчитывается корреляция двух рядов значений - баллов по тесту и показателей по внешнему параметру, избранному в качестве критерия валидности.

Конструктная валидность.

Конструктная валидность имеет отношение к теоретическому конструкту самому по себе и включает в себя поиск факторов, объясняющих поведение при выполнении теста. Как особый тип конструктная валидность канонизирована в статье Кронбаха и Миля (1955). Авторы оценивали с помощью этого типа валидности все тестовые исследования, которые не были прямо направлены на предсказание некоторых значимых критериев. Исследование содержало информацию о психологических конструктахл.

Валидность "по содержанию".

Содержательная валидность требует того, чтобы каждое задание, задача или вопрос, принадлежащие к определенной области, имели равные шансы стать заданиями теста. Валидность по содержанию оценивает соответствие содержания теста (заданий, вопросов) измеряемой области поведения. Тесты, составленные двумя командами разработчиков, проводятся на выборке испытуемых. Надежность тестов подсчитывается путем расщепления заданий на две части, в результате чего получают индекс содержательной валидности.

"Прогностическая" валидность.

"Прогностическая" валидность определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

"Ретроспективная" валидность.

Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

Конвергентная и дискриминантная валидность.

От того, как психолог определяет диагностический конструкт, зависит стратегия включения в тест определенных пунктов. Если Айзенк определяет свойство «нейротизм» как независимое от экстраверсии-интроверсии, то это означает, что в его опроснике примерно поровну должны быть представлены пункты, с которыми будут соглашаться невротичные интроверты и невротичные экстраверты. Если же на практике окажется, что в тесте будут преобладать пункты из квадранта «Нейротизм-Интроверсия», то, с точки зрения теории Айзенка, это означает, что фактор «нейротизм» оказывается нагруженным иррелевантным фактором - «интроверсией». (Точно такой же эффект возникает, если появится перекос в выборке - если в ней будет больше невротичных интровертов, чем невротичных экстравертов.)

Для того чтобы не сталкиваться с такими сложностями, психологи хотели бы иметь дело с такими эмпирическими показателями (пунктами), которые однозначно информируют только об одном факторе. Но это требование реально никогда не выполняется: всякий эмпирический показатель оказывается детерминированным не только тем фактором, который нам нужен, но и другими - иррелевантными задаче измерения.

Таким образом, по отношению к факторам, которые концептуально определяются как ортогональные к измеряемому (встречающиеся с ним во всех комбинациях), составитель теста должен при отборе пунктов применить стратегию искусственного балансирования.

Соответствие пунктов измеряемому фактору обеспечивает конвергентную валидность теста. Сбалансированность пунктов относительно иррелевантных факторов обеспечивает дискриминантную валидностъ. Эмпирически она выражается в отсутствии значимой корреляции с тестом, измеряющим концептуально независимое свойство.