Угрозы внутренней валидности

«Угрозы внутренней валидности» — выражение, относящееся к плану исслед., к-рое интерпретаторы данных используют для описания ряда вопросов, возникающих в связи с возможными неточностями при интерпретации причинно-следственных связей между изучаемыми переменными. Некоторые из этих угроз уже упоминались, в частности, при описании квазиэкспериментов. Выражение регрессия к среднему показателю используется для описания эффекта неточного измерения текущего и будущих наблюдений, и она представляет собой серьезную угрозу для внутренней валидности плана психол. исслед.

Другой угрозой является естественное развитие, поскольку испытуемые подвержены естественным процессам созревания и развития с течением времени независимо от манипуляций, к-рые совершает над ними исследователь. Эта последняя гипотеза, в частности, объясняет необходимость использования в исслед. контрольных групп, позволяющих осуществлять сравнения с естественно развивающимися испытуемыми.

Еще одной угрозой является отсев. Систематическое сокращение количественного состава групп вследствие выбывания, неявок, переезда людей в другой город, незаполненных критериальных опросников, и т. д. может делать менее заметной в результатах исслед. роль тех оставшихся участников, к-рые оказываются в меньшей степени подвержены эксперим. воздействию. А ведь чем более заметны улучшения по критерию, тем лучше выглядит эффективность самого изучаемого воздействия.

Угроза отбора возникает на этапе формирования исслед. состава групп участников. Систематический отбор или пассивный отбор (собственное желание) участников для изучаемого воздействия или условия может приводить к возникновению различий среди некоторых групп перед началом исслед. Эти группы будут по-прежнему отличаться от других и после реализации воздействия — даже когда они сами не подвергались воздействию. Поэтому, для достижения высокой внутренней валидности (причинно-следственных) утверждений в отношении взаимосвязей переменных, необходима формулировка и проверка альтернативной гипотезы о том, какими могли бы быть эти эффекты в отсутствие такого воздействия или условия.

Фонотносится к тем изменениям контекста проводящегося исслед., к-рые могут смешиваться с самими изучаемыми воздействиями. Подобное смешение делает невозможным отнесение изменений в испытуемых на счет исследуемого воздействия или внешних изменений.

Инструментальная погрешностьяв-ся угрозой внутренней валидности, почти исключительно присущей психологии, поскольку она возникает в результате происходящих со временем изменений стандартов наблюдателя или условий наблюдения. Эти изменения вызывают различия в оценках. Проблема состоит в том, что подобные расхождения в стандартах измерения могут приводить к ошибочным оценкам тех изменений, к-рые являются следствием изучаемых воздействий.

Эффект тестированияяв-ся примером другой, почти исключительно присущей психологии, угрозы внутренней валидности. Она связана с эффектом улучшения показателей испытуемых просто в результате предыдущего прохождения теста.

Нестабильность,как было указано выше, вытекает из попыток интерпретировать происходящие непосредственно после эксперим. воздействия или спустя к.-л. время естественные изменения испытуемых и измерений.

Существуют также четыре аффективных угрозы внутренней валидности: подражание, компенсаторное соперничество, компенсаторное уравнивание, и деморализация. Они тж присущи исключительно психол. науке, поскольку возникают в результате эмоциональных изменений у испытуемых и проводящего измерения персонала как формы адаптации к тому факту, что они не попали в число «избранных» участников исслед., получающих и осуществляющих эксперим. воздействие.

Внешняя валидность и метаанализ

Наконец, существует понятие внешней валидности — суммы характеристик исслед., к-рая позволяет осуществлять обобщение или распространение получаемых в исслед. (как результат высокой внутренней валидности) причинно-следственных утверждений на сходные категории людей, воздействий и критериев за пределами данного исслед.

Метаанализ.Внешняя валидность результатов исслед. существенно усиливается, когда объединяется и обобщается целый ряд исслед. одной и той же воздействующей переменной. Такая процедура называется метаанализом.В метаанализе определяются величина эффекта, оказываемого эксперим. воздействием и основными условиями исслед. на критериальные переменные. Последние выбираются в зависимости от теоретических интересов проводящего метаанализ исследователя. Т. о., если основной анализ предполагает сравнение связей всех пар переменных, то набор интересующих метааналитика связей является набором из переменных-условий и критериальных переменных, к-рый позволяет судить о величине эффекта изучаемого воздействия на эти критериальные переменные. Величина эффекта для каждого исслед. определяется простым делением разности между средними показателями по критериальной переменной в эксперим. группах и контрольной группе на меру изменчивости индивидуальных показателей в этих группах. В результате такого анализа можно продемонстрировать, что целый ряд изучавшихся переменных условий не оказывают влияния на набор критериев, что позволяет исследователям обобщать результаты своих исслед., не оглядываясь на эти, как было установлено в ходе метаанализа, посторонние условия.

Наконец, можно определить степень влияния каждой переменной-воздействия и их различных сочетаний на критерии. Это представляет особый интерес для прикладных областей, где важно знать не только о том, что одна переменная влияет на другую, но и насколько велико такое влияние.

См. также Контрольные группы, Экспериментальные методы, Проверка гипотезы, Измерение, Статистика в психологии

Дж. Эшер

Методы многомерного анализа (multivariate analysis methods)

Многомерность свойственна психол. данным по природе, поскольку они чаще всего состоят по крайней мере из неск. наблюдений за поведением одного человека или группы лиц. М. м. а. и были созданы для совместной обработки таких данных, напр. для их исслед. с целью обнаружения присущих им базисных характеристик либо, в случае дедуктивного подхода, для проверки или оценки априорных гипотез в отношении этих данных. В своих лучших образцах многомерный анализ представляет собой обобщение одномерного анализа, так что в тех случаях, когда данные состоят из значений только одной переменной, многомерный метод будет давать тот же результат, что и соотв. одномерный метод. Так, есть статистики, базирующиеся на многомерном распределении случайных величин, к-рые можно свести к таким хорошо известным одномерным статистикам, как хи-квадрат или t-критерий.

Многомерный анализ включает широкий спектр мат. и статистических методов и, вообще говоря, не существует общепринятого определения границ этой области. По общей договоренности, однако, такие специализированные предметы, как теория надежности или теория латентных черт, не считаются разделами многомерного анализа в силу их обособленных традиций в сфере психол. исслед. Методы анализа множественных дихотомических переменных часто рассматриваются и изучаются под своими названиями, напр. логлинейные модели. Также анализ повторных наблюдений, проведенных на одном человеке или на каком-то др. объекте, скажем, классе, обычно относится к особой области, наз. анализом временных рядов.

Модели

Многомерный анализ требует соединения трех различных типов информ. в одном методе, к-рый можно применять на практике. С т. зр. психолога, из накопленных в психологии действенных идей и знаний необходимо извлекать наиболее существенное и применять к ситуации анализа исходных данных. Такое очищенное знание, особенно если оно формализовано, наз. психол. моделью. Психол. модель обеспечивает контекст для выбора наиболее подходящего метода из множества многомерных или др. методов анализа (либо статистического описания) данных.

Второй тип используемой информ. — это мат. или структурная модель, устанавливающая отношения между осн. переменными, наблюдениями, параметрами и пр. Структурная модель является формально-математическим представлением, к-рое предполагается релевантным многомерной ситуации в силу психол. модели. В общем, многомерные методы основываются на линейных по своей природе моделях. Т. к. психол. теории часто предполагают существование нелинейных связей, иногда бывает трудно сделать допущение о линейности. И все-таки принятие этого допущения может быть оправданным в тех случаях, когда большинство зависимых (т. е. предсказываемых) переменных имеют аппроксимативно непрерывный характер. Если же эти переменные являются дихотомическими или порядковыми, будет трудно обосновать допущение о линейности иначе как соображениями удобства или аппроксимации.

Третий тип информ. — это статистическая модель. Такую модель нужно разрабатывать всякий раз, когда предполагается что-то большее, чем простое описание данных. В этом случае, помимо статистического описания данных, интерес могут представлять выводы о более широкой совокупности, на выборке из к-рой и были получены изучаемые данные. Осн. вопрос при состыковке структурной и статистической моделей — ошибка, обусловленная структурой наблюдений (error structure of observations). Недавно полученное обобщение многомерного нормального распределения, допускающее ненулевой, но постоянный эксцесс кривых плотности распределения переменных, оказалось полезным в качестве основы для расширения традиционных методов; был тж введен ряд непараметрических методов.

В добавление к описанию распределения переменных статистическая модель должна описывать модель выборки, используемой для получения наблюдений. Обычно полагают, что таковая является моделью независимых случайных наблюдений, при к-рой на оценки каждого отдельного человека не влияют оценки др. людей. Наконец, статистическая модель должна точно определять границы области действия определенных статистических или случайных процессов.

Хотя М. м. а. можно и нужно использовать как разведочные, для проникновения в суть собранных данных и формулирования гипотез о скрывающихся за ними факторах, большой класс этих методов составляют конфирматорные (подтверждающие) по своему характеру методы, предназначенные для проверки теорий. В общем, конфирматорный подход к многомерному анализу претендует на решение следующих задач: а) оценивание параметров распределения для проверки гипотез об этих параметрах; б) определение доверительных областей измеренных значений переменных на основе обоснованного применения теории выборок и стандартных ошибок; в) оценивание адекватности гипотетической структурной модели; г) сравнение контрастных моделей; д) придание вероятностных формулировок разным результатам и е) доверительное оценивание выводов.

Методы

Осн. многомерные методы можно разбить на 3 категории: методы линейных моделей, методы линейной композиции и линейные структурные методы. Их классиф. зависит от того, в какой степени включаемые в анализ переменные можно считать случайными, а не заданными или известными, и в какой мере можно опираться на теорию малых выборок, а не только на теорию больших выборок, учитывая, что теория линейных моделей является наиболее разработанной, а структурные методы, по крайней мере, достаточно хорошо разработаны в статистическом плане. Как уже упоминалось, существуют еще и нелинейные методы.

См. также Корреляция и регрессия, Статистика в психологии

П. М. Бентлер

Методы тестирования (testing methods)

Психол. тесты разраб. для столь широкого разнообразия целей, что сами М. т. значительно варьируют от теста к тесту. Существует множество континуумов, по к-рым можно классифицировать отдельные тесты.

С т. зр. содержания тест может измерять максимальное выполнение или типичное выполнение, выявлять лучший уровень, к-рого может достичь обследуемый, либо типичный уровень его выполнения. Тесты на максимальное выполнение (maximum performance tests)предполагают правильные и неправильные ответы; тесты на типичное выполнение (typical performance tests)обычно оценивают различия в стилях выполнения, без использования сравнительной оценки ответов с т. зр. их эффективности.

Тесты на максимальное выполнение можно разделить на две категории: тесты способностей и тесты достижений. Чистые тесты способностей (ability tests)измеряют то, что чел. оказывается в состоянии делать, и обычно формулируют тестовые задания в виде проблем, непосредственным опытом решения к-рых тестируемый вряд ли обладает. Чистые тесты достижений (achievement tests)оценивают объем знаний, к-рый чел. усвоил в процессе предшествующего обучения. Однако это различие не всегда является очевидным, поскольку тесты способностей, как правило, тж предполагают использование ранее усвоенных правил и принципов. Большинство споров, касающихся ошибок в тестах способностей, концентрируются вокруг вопроса о том, в равной ли степени все потенциальные обследуемые имели в своей жизни возможность овладеть этими предполагаемыми в качестве предварительного условия умениями.

Тесты способностей и тесты достижений можно классифицировать на континууме скорость — возможность. Чистые тесты скорости (speed tests)состоят из вопросов, на к-рые легко дать правильный ответ, но этот ответ необходимо дать быстро. Чистые тесты возможностей (power tests)состоят из заданий, обычно различающихся по степени трудности, к-рые оценивают максимальное выполнение без ограничений времени на работу с ними.

В соответствии с др. принципом классиф. можно выделить тесты действия, или «практические» (performance tests), и тесты вербальные, или «теоретические» (nonperformance tests). Тесты действия обычно требуют явного, активного реагирования, такого как моторные и манипулятивные действия, в то время как вербальные тесты обычно предполагают письменные вербальные ответы на вопросы.

Тесты личности (personality tests)подразделяются на два осн. типа: объективные и проективные. Объективные тесты личности (objective personality tests), такие как Миннесотский многофазный личностный опросник (ММРI), обычно включают вопросы, предполагающие ответы в форматах «да/нет» или множественного выбора, к-рые доступны объективной количественной обработке. Эти вопросы (или утверждения), составляющие пункты теста, часто объединяются в шкалы, измеряющие различные аспекты личности. Несмотря на объективность получения оценок по отдельным шкалам, их интеграция в профили для целостного описания личности обычно предполагает привлечение субъективных суждений. Проективные тесты (projective tests)используют неопределенные стимулы, к-рые обследуемый должен интерпретировать, предположительно путем «проецирования» в эту интерпретацию отдельных аспектов своей собственной личности. Классическими проективными тестами являются Тест чернильных пятен Роршаха и Тест тематической апперцепции (ТAT). Проведение и обработка проективных тестов требует специальной подготовки и значительного профессионального опыта.

Тесты могут разраб. для индивидуального или групп. проведения. Индивидуальные тесты, такие как IQ-тесты Векслера, требуют для проведения больших временных затрат. Групп. тесты, такие как Тест академических способностей (SAT), требуют меньших временных затрат, но обычно не позволяют тестирующему оценивать аттитюды к тестированию, анализировать стратегию ответов или расспрашивать тестируемого в отношении специфических ответов с целью поиска дополнительной, уточняющей информ.

Тремя осн. подходами в интерпретации тестовых показателей являются нормативный, ориентированный на статистические нормы, критериально ориентированный и ипсативный. Нормативный подход используется наиболее часто и предполагает сравнение индивидуального показателя с групповым, рассматриваемыми в качестве нормы. Критериально-ориентированная система связывает уровень выполнения теста индивидуумом с абсолютными стандартами или критериями. Ипсативный подход предполагает сравнение индивидуальных показателей друг с другом.

См. также Психометрика

М. Эллин

Методы эмпирического исследования (empirical research methods)

Слово «эмпирический» буквально означает «то, что воспринимается органами чувств». Когда это прилагательное употребляется по отношению к методам научного исслед., оно служит для обозначения методик и методов, связанных с сенсорным (чувственным) опытом. Поэтому говорят, что эмпирические методы основываются на т. н. «твердых (неопровержимых) данных» («hard data»). Кроме того, эмпирическое исслед. твердо придерживается научного метода в противоположность др. исследовательским методологиям, таким как натуралистическое наблюдение, архивные исследования и др. Важнейшая и необходимая предпосылка, лежащая в основе методологии эмпирического исслед. состоит в том, что оно обеспечивает возможность своего воспроизведения и подтверждения/опровержения. Пристрастие эмпирического исслед. к «твердым данным» требует высокой внутренней согласованности и устойчивости средств измерения (и мер) тех независимых и зависимых переменных, к-рые привлекаются с целью научного изучения. Внутренняя согласованность является осн. условием устойчивости; средства измерения не могут быть высоко или хотя бы достаточно надежными, если эти средства, поставляющие сырые данные для последующего анализа, не будут давать высокие интеркорреляции. Неудовлетворение этого требования способствует внесению в систему дисперсии ошибок и приводит к получению неоднозначных или вводящих в заблуждение результатов.

Не нашли, что искали? Воспользуйтесь поиском по сайту: