Факторы, угрожающие внешней валидности

1. Взаимодействие результатов тестирования: оценки в контрольном тесте испытуемых, прошедших предварительное тестирование, могут быть сочтены непредставительными для совокупности, не прошедшей предварительный тест, в силу того, что предварительный тест [c.149]определенным образом повысил чувствительность испытуемых к независимой переменной.

2. Взаимодействие отбора и проведения эксперимента: в результате непоследовательно проведенного отбора может быть сформирована экспериментальная группа, реагирующая на независимую переменную иначе, чем генеральная совокупность.

3. Реактивное воздействие обстановки эксперимента: условия эксперимента могут быть нерепрезентативны с точки зрения условий окружающего мира.

4. Интерференция нескольких исследований: при одновременном осуществлении более чем одного исследования могут возникнуть изменения, отличные от тех, которые возникли бы, если бы каждое исследование проводилось отдельно.

5. Нерелевантные данные измерений: все измерения отражают многообразные аспекты окружающей действительности, в число которых могут входить нерелевантные компоненты, создающие видимость изменений при отсутствии таковых или маскирующие реальные изменения.

6. Нерелевантные повторения исследований: в том случае, когда независимые переменные являются сложными событиями (таковы, например, посещение тюрьмы в примере с “операцией по устрашению” или высшее образование), исследователи могут не знать, какой из аспектов события вызывает изменение в объектах исследования, и по ошибке не включить релевантный аспект независимой переменной во все экспериментальные предъявления.

В идеале в исследовании должна использоваться программа, позволяющая исключить как можно большее количество факторов, представляющих собой угрозу валидности. Однако и самая лучшая программа будет бесполезной, если у нас нет ресурсов для ее выполнения. Временной фактор, наличие денежных средств, обученных кадров, оборудования – все это накладывает ограничения при выборе программы исследования. Если исследователь не уверен, что основные факторы, способные представлять угрозу для валидности в данном исследовании, контролируются программой, удобной с точки зрения имеющихся ограничений на ресурсы, следует отложить реализацию проекта до того момента, пока нужные ресурсы окажутся в его распоряжении. Лучше отказаться от [c.150]исследования вообще, чем провести плохое исследование, в результате которого можно прийти к неверным выводам.

И последнее соображение относительно программы исследования. Оно касается возможного в ходе осуществления программы нарушения профессиональной этики. Не будет ли нанесен кому-либо какой-нибудь ущерб? Если да, то насколько серьезный? Не слишком ли это дорогая цена за ту пользу, которая может быть принесена обществу? Каждый ученый должен ответить на эти вопросы в соответствии со своими ценностными ориентациями и принятыми в его профессии нормами. В приложении Б перечисляются рекомендуемые этические нормы проведения исследований, одобренные в ведущих профессиональных ассоциациях политологов и социологов. Единственный руководящий принцип, который мы можем предложить для решения такого рода проблем, – это еще раз высказать наше убеждение, что наука существует не сама по себе, а является инструментом, служащим человечеству. [c.151]

ДОПОЛНИТЕЛЬНАЯ ЛИТЕРАТУРА

Вопросы, касающиеся программы исследования, обсуждаются в ряде общих работ, посвященных методам исследования в социальных науках. К таким работам можно отнести кн.: Ваbbiе Е. The Practice of Social Research, 5 ed. – Beltmont, Calif.: Wadsworth, 1989; Miller D.C. Handbook of Research Design and Social Measurement, 5 ed. – Newbury Park, Calif.: Sage, 1991; Nachmias D.,Nachmias Ch. Research Methods in the Social Science, 3 ed. – NewYork: St.Marotin's, 1987. Большой популярностью пользуется работа: Cook Th.D., Сampbеll D.Т. Quasi-Experimentation. – Chicago: Rand McNally, 1979.

Путям разработки надежной логической базы в области социальных наук для интерпретации проводимых исследований посвящена кн.: Вlаlосk H.M., Jr. Causal Inferences in Nonexperimental Research. – Chapel Hill: University of North Carolina Press, 1964. Сущность квазиэкспериментальных программ и их использование в социологии рассматривается в статьях сборника: Caporaso J.A., Roos L.L., Jr. (eds.) Quasi-experimental Approaches. – Evanstone (Ill.): Northwestern University Press, 1973, – а соотношение между экспериментальными и квазиэкспериментальными программами рассматривается в работе:

Асlаnd H. Are Randomised Experiments the Cadillacs of Design? // Policy Analysis. – Vol.5. – 1979, Spring. Более подробный анализ программы исследования можно найти в: Вlаlосk H.M., Jr. (ed.) Causal Models in Panel and Experimental Designs. – N.Y.: Adline, 1985. Еще ряд хороших примеров исследовательских программ см. в: Tufte E.R. Quantitative Analysis of Social Problems. – Reading (Mass.): Addison-Wesley, 1970. Удачное использование программы измерения временного ряда представлено в: Imring F.Е. Firearms and Federal Law; The Gun Control Act of 1968. // Journal of Legal Studies. – Vol.4. – 1975, January. – P.133-198. [c.152]

КТО, ЧТО, ГДЕ, КОГДА: ПРОБЛЕМА ВЫБОРКИ

Раз в десять лет Бюро переписи, отдел министерства торговли США, проводит перепись, стремясь определить, подсчитать и измерить определенные характеристики образа жизни каждого человека в стране. Закон требует, чтобы все сотрудничали с лицами, проводящими перепись, и давали правдивые ответы на вопросы типа: “сколько у вас телевизоров?”, “есть ли в вашем доме водопровод?”. По имеющимся оценкам, перепись 1990 г. обошлась федеральному правительству в 2 600 000 000 долларов; для получения соответствующей информации было привлечено 480000 служащих, интервьюеров и других лиц, работавших в течение нескольких месяцев. Всего в США было идентифицировано и обследовано около 250 000 000 человек.

Надо ли говорить, что не многие политологи готовы к таким огромным затратам для удовлетворения своих личных исследовательских интересов. В то же время объекты их интересов (объекты исследования) для различных практических целей могут быть столь же многочисленны. Сто миллионов избирателей, четверть миллиарда жителей западных демократий, сто тысяч документов – все это может оказаться в центре внимания политологического исследования, хотя количество отдельных объектов в каждом из этих случаев слишком велико, чтобыих можно было всесторонне проанализировать. Даже Бюро переписи, со всеми его тысячами работников и миллионами долларов, оказалось не в состоянии задать каждому идентифицированному липу все свои вопросы. Вместо этого была разработана короткая анкета для большинства населения и более полная для отдельных респондентов. Так же как политологи и многие другие исследователи, Бюро переписи сочло необходимым использовать выборку.

В настоящей главе мы рассмотрим применение и механизм формирования выборки, отбора сравнительно небольшого числа объектов, изучение которых может дать [c.153] нам большой объем информации огенеральной совокупности, из которой они были выбраны. Поступая таким образом, мы будем иметь дело с тем, что мы назвали генерализацией, возможностью делать общие выводы, основанные на анализе небольшого числа объектов. С этой целью мы должны задать себе три вопроса. Во-первых, что же такое репрезентативная выборка? Во-вторых, какие существуют возможности для отбора конкретных объектов, которые образовали бы такую выборку? И в-третьих, сколько объектов необходимо отобрать, чтобы можно было назвать выборку репрезентативной? Рассмотрим поочередно все эти вопросы.[c.154]

РЕПРЕЗЕНТАТИВНАЯ ВЫБОРКА

Фактически мы начнем не с одного, а с трех вопросов: что такое выборка? когда она является репрезентативной? что она собой представляет?

Совокупность – это любая группа людей, организаций, интересующих нас событий, относительно которых мы хотим сделать выводы, а случай, или объект, – любой элемент такой совокупности¹.Выборка – любая подгруппа совокупности случаев (объектов), выделенная для анализа. Если мы захотим изучить деятельность законодателей штата по принятию решений, мы могли бы исследовать такую деятельность в законодательных органах штатов Виргиния, Северная Каролина и Южная Каролина, а не во всех пятидесяти штатах и, исходя из этого, распространить полученные данные на генеральную совокупность, из которой были выбраны эти три штата. Если мы хотим исследовать систему предпочтений избирателей Пенсильвании, мы могли бы сделать это, опросив 50 рабочих компании “Ю. С. Стил” в Питсбурге, и распространить результаты опроса на всех избирателей штата. Аналогично, если мы хотим измерить умственные способности студентов колледжей, мы могли бы протестировать всех игроков защиты, зарегистрированных в штате Огайо в данном футбольном сезоне, и затем распространить полученные результаты на генеральную совокупность, частью которой они являются. В каждом примере мы действуем следующим образом: устанавливаем подгруппу внутри генеральной совокупности, довольно [c.154]подробно изучаем эту подгруппу, или выборку, и распространяем наши результаты на всю совокупность. Это и есть основные этапы формирования выборки.

Однако представляется совершенно очевидным, что каждая из этих выборок имеет существенный недостаток. К примеру, хотя законодательные органы Виргинии, Северной Каролины и Южной Каролины и являются частью совокупности законодательных органов штатов, они в силу исторических, географических и политических причин, скорее всего, будут действовать очень схожим образом и совсем иначе, чем законодательные органы таких отличающихся от них штатов, как Нью-Йорк, Небраска и Аляска. Хотя пятьдесят рабочих-сталелитейщиков в Питсбурге действительно могут быть избирателями штата Пенсильвания, они в силу социально-экономического статуса, образования и жизненного опыта, вполне возможно, будут иметь взгляды, отличные от взглядов многих других людей, точно так же являющихся избирателями. И точно так же, хотя футболисты штата Огайо и являются студентами колледжей, они в силу самых разных причин вполне могут отличаться от других студентов. Иными словами, хотя каждая из этих подгрупп действительно является выборкой, члены каждой из них систематически отличаются от большинства остальных членов совокупности, из которой они выбраны. В качестве отдельной группы ни одна из них не является типичной с точки зрения распределения признаков мнений, мотивов поведения и характеристик в генеральной совокупности, с которой она ассоциируется. Соответственно, политологи сказали бы, что ни одна из этих выборок не является репрезентативной.

Репрезентативная выборка – это такая выборка, в которой все основные признаки генеральной совокупности, из которой извлечена данная выборка, представлены приблизительно в той же пропорции или с той же частотой, с которой данный признак выступает в этой генеральной совокупности. Таким образом, если 50% всех законодательных органов штатов собираются лишь раз в два года, приблизительно половина состава репрезентативной выборки законодательных органов штатов должна быть такого типа. Если 30% избирателей Пенсильвании принадлежат к “синим воротничкам”, около 30% репрезентативной [c.155]выборки для этих избирателей (а не 100%, как в приведенном выше примере) должны быть из числа “синих воротничков”. И если 2% всех студентов колледжей являются спортсменами, приблизительно та же самая часть репрезентативной выборки студентов колледжей должна приходиться на спортсменов. Иными словами, репрезентативная выборка представляет собой микрокосм, меньшую по размеру, но точную модель генеральной совокупности, которую она должна отражать. В той степени, в какой выборка является репрезентативной, выводы, основанные на изучении этой выборки, можно без всяких опасений считать применимыми к исходной совокупности. Это распространение результатов и есть то, что мы называем генерализуемостью.

Возможно, пояснить это поможет графическая иллюстрация. Предположим, мы хотим изучать модели членства в политических группах среди взрослого населения США. На рис.5.1 изображено три круга, разделенных на шесть равных секторов. Рис.5.1а представляет всю рассматриваемую совокупность. Члены совокупности расклассифицированы в соответствии с политическими группами (такими, как партии и группы интересов), к которым они относятся. В этом примере каждый взрослый принадлежит по меньшей мере к одной и не более чем к шести политическим группам; и эти шесть уровней членства в одинаковой степени распространены в совокупности (отсюда равные сектора). Предположим, мы хотим исследовать мотивы вступления людей в группу, выбор группы и модели участия, однако из-за ограниченности ресурсов мы в состоянии обследовать только одного из каждых шести членов совокупности. Кого же отобрать для анализа?

Одну из возможных выборок заданного объема иллюстрирует заштрихованная область на рис.5.1б, однако она явно не отражает структуру совокупности. Если бы мы делали обобщения на основе этой выборки, мы пришли бы к выводу: (1) что все взрослые американцы принадлежат к пяти политическим группам и (2) что все групповое поведение американцев совпадает с поведением тех, кто принадлежит именно к пяти группам. Однако мы знаем, что первый вывод не верен, и это может зародить в нас сомнение относительно валидности второго. Таким образом, [c.156]выборка, изображенная на рис.5.1б, нерепрезентативна, поскольку она не отражает распределение данного свойства совокупности (часто называемогопараметром) в соответствии с его реальным распространением. Про такую выборку говорят, что она смещена в направлении к членам пяти групп или смещена в направлении от всех остальных моделей членства в группах. Опираясь на такую смещенную выборку, мы обычно приходим к ошибочным выводам относительно генеральной совокупности.

Ярче всего это может быть продемонстрировано на примере катастрофы, постигшей в 30-е годы журнал “Литэрари дайджест”, который организовал опрос общественного мнения относительно результатов выборов. “Литэрари дайджест” представлял собой периодическое издание, в котором перепечатывались редакционные статьи из газет и другие материалы, отражавшие общественное мнение; этот журнал был очень популярен в начале века. Начиная с 1920 г. журнал проводил широкомасштабный общенациональный опрос, в ходе которого более чем миллиону человек по почте рассылались избирательные бюллетени с просьбой отметить, чья кандидатура на предстоящих президентских выборах для них предпочтительнее. В течение ряда лет результаты опроса, проводившиеся журналом, оказывались настолько точными, что опрос, проведенный в сентябре, казалось, делал ноябрьские выборы малосущественными. Да и как при такой большой выборке могла произойти ошибка? Однако в 1936 г. именно это и случилось: с большим перевесом голосов (60:40) победа была предсказана кандидату от республиканской партии Альфу Ландону. На выборах Ландон проиграл инвалиду – [c.157]Франклину Д. Рузвельту – практически с тем же результатом, с которым должен был победить. Доверие к “Литэрари дайджест” было столь сильно подорвано, что вскоре после этого журнал перестал выходить. Что же произошло? Все очень просто: в голосовании, проведенном “Дайджест”, использовалась смещенная выборка. Почтовые открытки рассылались людям, чьи имена были извлечены из двух источников: телефонных справочников и списков регистрации автомобилей. И хотя прежде этот метод отбора не слишком отличался от других методов, совсем по-другому обстояло дело теперь, во время Великой депрессии 1936 г., когда менее состоятельные избиратели, наиболее вероятная опора Рузвельта, не могли позволить себе иметь телефон, не говоря уж об автомобиле. Таким образом, фактически выборка, использовавшаяся в опросе, организованном “Дайджест”, была смещена в сторону тех, кто, скорее всего, должен был выступать за республиканцев, и при этом еще удивительно, что у Рузвельта был такой хороший результат.

Как же решить эту проблему? Возвращаясь к нашему примеру, сравним выборку на рис.5.1б с выборкой на рис.5.1в. В последнем случае для анализа также отобрана шестая часть совокупности, однако каждый из основных типов совокупности представлен в выборке в той пропорции, в которой он представлен во всей совокупности. Такая выборка демонстрирует, что один из каждых шести взрослых американцев принадлежит к одной политической группе, один из шести – к двум и т.д. Такая выборка позволит также выявить другие различия между ее членами, которые могли бы соотноситься с участием в разном числе групп. Таким образом, выборка, представленная на рис.5.1в, является репрезентативной выборкой для рассматриваемой совокупности.

Конечно, данный пример является упрощенным по крайней мере с двух чрезвычайно важных точек зрения. Во-первых, большинство совокупностей, интересующих политологов, более разнообразно, чем та, что приведена в примере. Люди, документы, правительства, организации, решения и т.п. отличаются друг от друга не по одному, а по гораздо большему числу признаков. Таким образом, репрезентативная выборка должна быть такой, чтобы каждая из основных, отличная от других область была [c.158]представлена пропорционально ее доле в совокупности. Во-вторых, ситуация, когда реальное распределение переменных, или признаков, которые мы хотим измерить, заранее неизвестно, встречается гораздо чаще, чем противоположная, – возможно, оно не измерялось в предшествующей переписи населения. Таким образом, репрезентативная выборка должна быть построена так, чтобы она могла точно отражать существующее распределение даже тогда, когда мы не в состоянии прямо оценить ее валидность. Процедура формирования выборки должна иметь внутреннюю логику, способную убедить нас, что, будь мы в состоянии сравнить выборку с переписью, она действительно оказалась бы репрезентативной.

Чтобы обеспечить возможность точного отражения сложной организации данной совокупности и определенную степень уверенности в том, что предлагаемые процедуры способны сделать это, исследователи обращаются к методам статистики. При этом они действуют по двум направлениям. Во-первых, используя определенные правила (внутреннюю логику), исследователи решают вопрос о том, какие именно конкретные объектыим изучать, что именно включать в конкретную выборку. Во-вторых, используя совсем другие правила, они решают, сколько объектов выбрать. Мы не будем подробно изучать эти многочисленные правила, рассмотрим лишь их роль в политологическом исследовании. Начнем рассмотрение со стратегий выбора объектов, образующих репрезентативную выборку.[c.159]

Не нашли, что искали? Воспользуйтесь поиском по сайту: