Эмпирическое обоснование методики опроса

В предшествующих разделах были изложены разнообразные тре­бования к методике опроса, без соблюдения которых не может быть обеспечена надежность социологической информации. Однако в каж­дом исследовании эти общие методические принципы реализуются

в различных конкретных проявлениях. Разрабатывая, вопросник Iанкету или план интервью), автор обычно интуитивно учитывает весь сложный комплекс методических требований. Завершая состав­ление анкеты, исследователь в зависимости от уровня своего опыта и знаний более или менее уверен, что вопросы и общая конструк­ция его методического инструмента обоснованы относительно иссле­довательских задач и учитывают социально-психологические осо­бенности совокупности людей, которых предстоит опрашивать. Эта уверенность может базироваться на знании специальной методи­ческой литературы, па анализе и учете методического опыта ана­логичных исследований, на предварительных консультациях с экс­пертами и на немногочисленных (до десятка) предварительных опросах знакомых и незнакомых людей.

Однако вся эта подготовительная работа не освобождает социо­лога от специального этапа методической работы — пробного (пило­тажного) исследования, имеющего целью эмпирическую апробацию лодготовленного инструментария.

В отличие от основного содержательного исследования пилотаж имеет свои задачи — проверить качество методического инструмен­тария, выяснить соответствие этого инструментария нормативным требованиям, предъявляемым к методике той конкретной разновид­ности опроса, которая используется исследователем.

Определению задач пробного исследования предшествует специ­альный этап методической работы — логический анализ подготов­ленного вопросника. На этом этапе автор опросника (желательно совместно с экспертом-методистом) выполняет несколько разновид­ностей критического анализа.

Анализ вопросов анкеты.Прежде всего проверяется логическая обоснованность (релевантность) формулировки каждого вопроса по отношению к содержанию искомой информации, которая должна быть получена с помощью этого вопроса. Исходной точкой такого инализа должен быть список единиц искомой информации с ука­занием номеров вопросов, которые обеспечивают ее получение, конт­роль и перепроверку качества.

Такой анализ гарантирует исследователю, во-первых, полноту и достаточность эмпирического описания изучаемых процессов и явлений и предохраняет от весьма возможной ситуации, когда, приступая к анализу результатов, исследователь обнаруживает, что по одним параметрам получены избыточные данные, а по другим — минимальные, либо они вообще не были предусмотрены.

Такой анализ — первая подготовка к этапу обработки и интер­претации данных, обеспечивающему завершающий этап исследова­ния — возвращение от эмпирического описания предмета исследо­вания к концептуальным теоретическим обобщениям ".

¹⁹ См. об этом подробнее в кн.: Маслова О. М., Косолапое М. С. Опыт проек­тирования опросного инструментария для исследования социалистического образа жизни: (От концепции — к методическому обеспечению).— В ни.: Состоянии и основные тенденции развития советского образа жизни. М., 1980, с. 104—130. Ротапринт.

.384

Во-вторых, па этом этапе проверяется соответствие формулиро­вок вопросов логическим требованиям построения вопроса как от­носительно самостоятельной измерительной процедуры. Контроли­руя соблюдение этих условий, исследователь должен по поводу каждого вопроса анкеты выяснить для себя: а) спрашиваю ли я именно о том, что мне необходимо? Не произошло ли при конструи­ровании вопроса замены показателей (см. пример в разделе «Ре­левантность»); б) достаточно ли однозначно определена в форму­лировке вопроса информация, которая ожидается от респондента, т. е. нет ли терминов или выражений, допускающих различное понимание их смысла различными группами респондентов; в) нет ли в формулировке вопроса задач, не обеспеченных техникой за­полнения (шкалами, перечпем вариантов ответов, таблицами для регистрации ответов, указаниями о числе возможных вариантов ответов); г) нет ли в формулировках шкал смещений к положитель­ному или.отрицательному ответу; д) нет ли в формулировках аль­тернативных вопросов совмещения не исключающих друг друга оспований; е) нет ли внушающих формулировок вопросов.

Результатом такого анализа будет разделение вопросов анкеты или плана интервью на две группы. Первая — вопросы, содержащие очевидные нарушения требований к логике их построения по кри­терию обоснованности. Эти вопросы либо убираются to анкеты, либо их формулировки соответствующим образом корректируются.

Вторая группа — вопросы, не содержащие ошибок обоснованно­сти. Соотношение численности этих групп вопросов в анкете может служить одним из показателей методической квалификации автора анкеты или плана интервью.

Кроме того, существует специальная схема анализа, по которой устанавливается соответствие формулировок вопросов системе ка­тегорий опрашиваемых. Качество каждого вопроса подготовлен­ной анкеты должно быть перед планированием пробного исследо­вания оценено автором по следующим критериям ²⁰.

1. Выдержаны ли требования к языку опрашиваемого, не полу­
чилось ли так, что для части респондентов язык слишком труден,
а для другой, наоборот, примитивен?

2. Все ли вопросы и варианты ответов понятны? Нет ли в фор­
мулировке вопросов сложных терминов?

3. Не слишком ли абстрактны вопросы и не слишком ли они
конкретны?

4. Понятны ли респонденту единицы измерения, имеющиеся в
анкете?

5. Компетентны ли опрашиваемые для ответов на вопросы, по
следует ли включить фильтры на компетентность?

6. Пет ли опасности утомить опрашиваемого, как снизить мо-
потонность вопросов?

-²⁰ Схема приводится с незначительными изменениями по книге: Ядов В. А. Социологическое исследование М., 1972, с. 179. Аналогичная схема содер­жится в кн.: Ноэль Э. Массовые опросы. М., 1978, с. 80,

7. Не предъявляют ли вопросы непосильных требований к памя­
ти респондента?

8. Нет ли опасности получения стереотипных ответом:

9. Не слишком ли многочисленны варианты ответов па вопрос,
пет ли необходимости расчлепить их на тематические блоки?

10. Не вызовет ли вопрос отрицательные эмоции у опраши­
ваемого?

11. Не задевает ли вопрос самолюбие респондента или интимные

стороны его жизни, самосознания?

Предварительный логический анализ каждого вопроса анкеты по названным критериям дает социологу возможность выявить в анкете вопросы, имеющие замечания по каким-либо из перечислен­ных критериев. Оценка вопросов по каждому из названных кри­териев может производиться па основании методического опыта предшествующих исследований.

К сожалению, сложившиеся традиции использования результа­тов ранее проведенных исследований связаны по преимуществу с содержательными, но не сметодическими целями. Л между тем каждое проведенное исследование может быть рассмотрено и как апробация методов сбора данных па статистически значимых со­вокупностях, причем результаты этой апробации иногда и состав­ляют главную его исследовательскую ценность.

В ряде случаев результаты вторичного анализа позволяют уточ­нить или доказать пригодность формулировки вопроса без специаль­ной эмпирической проверки, но далеко не всегда это бывает воз-можпо.

Эмпирическая проверка вопросника.Для каждого вопроса, ко­торый вызывает предположения о возможных несоответствиях ка­ким-либо критериям из предложенной схемы анализа, должна быть разработана процедура эмпирической проверки в пробном иссле­довании.

Возможпы песколько вариантов такой проверки.

Интервью об интервью. Данные о том, как респонденты понима­ют смысл отдельных заданий, содержащихся в вопросе, о том, как они интерпретируют значения отдельных слов, терминов, выраже­ний, могут быть получены с помощью дополнительных вопросов, которые интервьюер задает респонденту, только получив ответ па вопрос анкеты. Например: респондент назвал некоторую сумму в ответ на вопрос о том, сколько примерно нужно денег для того, чтобы содержать семью из четырех человек — родители и двое де­тей школьного возраста. После этого интервьюер задает дополни­тельный уточняющий вопро-с о том, какие расходы имел в виду респондент, учитывал ли он при этом квартплату, расходы па одежду, питание или что-либо еще? Оказывается, что некоторые из респондентов понимают выражение «содержать семью», как «прокормить семью», и после уточняющего вопроса пазывают сум­му вдвое большую. Если подобные случаи встречаются часто, не­обходимо уточнить содержание данного термина, раскрыв его в формулировке вопроса.

Вопросы подобного рода, выясняющие систему соотнесения оп­рашиваемых, иродумываются заранее при составлении программы пробного исследования и включаются в текст пилотажной анкеты вслед за вопросами, понимание которых они должны уточнить. Таким образом, структура пилотажного варианта вопросника как бы удваивается: кроме содержательных вопросов, она включает своеобразное «интервью об интервью», цель которого — сбор мето­дической информации.

«Интервью об интервью» можно оформлять в виде отдельного документа, в который включены только те вопросы, о которых лужен дополнительный разговор с респондентами.

«Интервью об интервью» должно включать такие методические зопросы, как «время начала беееды» (в пачале вопросника) и «вре­мя окончания беседы» (в конце вопросника), вопросы об утомляе­мости респондента, о том, приходилось ли респонденту раньше уча­ствовать в опросах, о согласии участвовать в подобных опросах в дальнейшем, и традиционный вопрос о пожеланиях и критических замечаниях по поводу содержания анкеты п организации опроса. Методический эксперимент. Программа пробного нсследовашш может включать специальные методические процедуры, имеющие целью выяснение структуры представлений, языка опрашиваемых, Л1Х аналитических возможностей ²¹. Например, возможно применение специальных тестов на проверку понимания отдельных слов, тер­минов, выражений, которые содержатся в формулировках вопросов. Например, в пробном исследовании, где испытывалась методика опроса, предназначенная для всесоюзного исследования аудитории галеты «Правда»²², респондентам предлагался тест па понимание ряда слов, содержащихся в плане интервью для читателя, куда ъключались такие понятия и словосочетания, как «оперативность информации», «рубрика в газете», «передовая статья», «полпота ин­формации», «статьи по экономике и народному хозяйству» и др. По поводу вопросов, формулировки которых в предварительном анализе были оценены как ненадежные, может быть спланирован специальный методический эксперимент. Вопрос формулируется о двух вариантах; для каждого варианта разрабатываются методиче­ские гипотезы об их пригодности для получения искомой информа­ции; определяются те эмпирические факты (поведение или ответы респондентов), по которым можно будет судить о том, какие гипо­тезы подтвердились. В пробном исследовании испытываются оба ва­рианта, полученные данные анализируются и служат основанием для выбора наиболее работоспособного варианта вопроса.

Наблюдение. Большая часть пробных исследований основана именно на этом методе, в частности па неструктурированном на­блюдении. Интервьюер в процессе опроса накапливает впечатления о том, как относятся респонденты к теме опроса, пет ли проявлений

²¹ Исследование проводилось в 1П76—1077 гг. ИСТ! ATI СССР. ™ Масло в а О. М. К вопросу о прост upouainiu социологических анкет.— Со-циол. исслед., 1981, № 1, с. 1G2—103.

непонимания вопросов, какова компетентность опрашиваемых по поводу отдельных вопросов, нет ли признаков утомляемости и т. п.

Обычно впечатления интервьюеров во время пилотажного ис­следования обсуждаются на методических совещаниях «по свежим следам»: на следующий день после опроса проводится совещание-с обменом впечатлениями и замечаниями, их обсуждение с под­робным протоколом. После окончания пилотажа все записи ана­лизируются и вопросник дорабатывается.

Результаты неструктурированного наблюдения можно система­тизировать с помощью специальной «Анкеты интервьюера», кото­рую интервьюер может заполнять в конце пилотажа, обобщая впе­чатления от всех проведенных им бесед с респондентами.

Возможен другой вариант, когда единицей наблюдения стано­вится не анкета в целом, а каждая отдельная ситуация опроса. Тогда «Анкета интервьюера» заполняется на каждое проведенное интервью, а анализ данных, содержащихся в анкетах, позволяет выяснить особенности восприятия и понимания вопросов различ­ными возрастными, образовательными и другими социально-демогра­фическими группами респондентов.

Разделение функций наблюдателя и интервьюера. Применение метода наблюдения в пробном исследовании будет более эффектив­ным, если проведение опроса и наблюдение за ситуацией взаимо­действия его участников поручить разным исполнителям: интервью­еру и наблюдателю.

Интервьюер ведет беседу по предметной части опросника, за­дает дополнительные вопросы, связанные с анализом методиче­ского качества опросного инструментария, фиксирует полученные ответы.

Наблюдатель следит за ходом интервью и фиксирует все до­ступные наблюдению события, явления, признаки, составляющие социально-психологический контекст беседы. При этом появляется возможность использовать структурированное наблюдение по зара­нее разработанному плану. Разработка плана структурированного-наблюдения ведется в соответствии с общепринятыми требования­ми к этой методической процедуре.

Например, при апробации плана интервью, разработанного для^ уже упоминавшегося исследования аудитории газеты «Правда»,, применялся метод неструктурированного наблюдения с разделением функций интервьюера и наблюдателя. Во время инструктажа ин­тервьюеров и наблюдателей определялись общие направления на­блюдений, связанные с методическими характеристиками ситуации опроса. Учитывались признаки: а) ситуационного характера опро­са — продолжительность интервью, утомляемость респондента, влия­ние третьих лиц, отношение к опросу; б) психологические особен­ности восприятия вопросов анкеты: понимание смысла вопросов, понимание отдельных терминов, употребляемых в анкете, способ­ность к анализу собственного читательского поведения, способность к анализу деятельности газеты как основа формирования чита­тельских оценок и мнений о газете, выяснялась также взаимная

информированность членов семьи об отношении к газете и чита­тельских интересах друг друга.

Для получения искомой информации использовались формали­зованные вопросы методического характера, которые задавались респондентам в процессе интервью дополнительно к основным во­просам анкеты. Каждое интервью проводилось двумя социологами (мужчиной и женщиной) — интервьюер н наблюдатель, которые по­очередно менялись ролями. Наблюдатель записывал в «Дневнике наблюдений» все виды наблюдаемых реакций респондента, сопут­ствующие его ответам на отдельные вопросы анкеты (реплики, уточ­нения, отступления от предмета интервью, недоуменные вопросы и разъяснения интервьюера, проявления поспешности, утомляемо­сти и т. д.).

Записи в дневниках наблюдателей при последующей обработке систематизировались: на каждый вопрос анкеты составлялась ме­тодическая характеристика в зависимости от зафиксированных на­блюдателями реакций респондентов.

Апробация структуры анкеты и методических инструкций по ее заполнению. Анализ и эмпирическая апробация отдельных вопро-¹ сов анкеты не исчерпывают задач, связанных с пробным исследо­ванием. Анкета, как уже указывалось, не просто совокупность во­просов, а целостный инструмент, предназначенный для получения комплекса взаимосвязанных данных, образующих эмпирическое опи­сание изучаемого объекта. Знакомясь с вопросами анкеты, респон­дент воспринимает их во взаимосвязи, формирует целостный образ темы опроса, причем в процессе опроса мотивация сотрудничества с интервьюером может меняться от положительно активной до фор­мально безразличной или негативной, ведущей к отказу. Функция создания и поддержания положительного отношения к опросу свя­зана со специальными методическими частями вопросника: планом (или примерным текстом) вводной беседы, контактными вопросами, переходами от одного блока вопросов к другому, с вопросами, пред­назначенными для снятия напряжения, отвлечения, и с другими приемами, объединяющими вопросы анкеты в целостную беседу.

Все виды реакций респондентов на эти специальные методиче­ские приемы фиксируются в пробном исследовании методом на­блюдения, выявляются с помощью специальных вопросов в «интер­вью об интервью», а контролируются в «Анкете интервьюера».

Важной задачей, входящей в апробацию структуры анкеты яв­ляется обнаружение возможного влияния предшествующих ответов на последующие. Предположения о таком влиянии формируются на этапе предварительного анализа логики построения блока во­просов. В пилотаже эти предположения проверяются путем приме­нения двух вариантов с разной последовательностью вопросов.

Указания по технике заполнения вопросника могут быть адре­сованы либо респондентам (если вопросник рассчитан на проведе­ние анкетирования), либо интервьюерам, если в основном опросе будет использоваться метод интервью. Независимо от варианта, планируемого для основного исследования, пилотаж всегда прово-

дится методом интервью. Однако если проверяется пригодность пп-струкций, адресованных респондентам, то интервьюер предлагает опрашиваемому самостоятельно прочитать вопрос и указания по его заполнению по тексту анкеты и сообщить интервьюеру выбран­ный вариант ответа. При этом фиксируются всо случаи обращения респондента ва разъяснениями по поводу техники заполнения вопроса.

Если проверяется инструкция по технике заполнения, адресо­ванная интервьюеру, то вопросы, вызвавшие затруднения в техника заполнения, оставляются незаполненными, а формулировка ответа, вызвавшего затруднения при регистрации, записывается дословно. Анализ подобных ситуаций, зафиксированных в пилотаже, является осповой для доработки инструкции интервьюеру.

Литература для дополнительного чтения

Бади Б. Ш., Малинкин А. Н. Уровни «практического сознания» и стиль жизни: проблема интерпретации ответов респондента — Соцнол. неелсд., 1082, JSs 3, с. 137—145.

Воловин В. П. Надежность информации в социологическом исследовании. Ки­ев: Наук, думка, 1974. 135 с. -

Воронов 10. Г. Методы сбора информации в социологическом исследовании. М.: Статистика, 1974. 158 с.

Ростовский 3. О повышении достоверности опроса в социологических иссле­дованиях.— Соцнол. нсслед., 1978, № 4, с. 160—1G5.

Дадамян Г. Г., Дондурей Д. Б. Проблемы шкалирования ястетичегкнх оценок в социологических исследованиях.— Социол. нсслед., 1974, № 3, с. 191

Димитров Д. Проблемы достоверности социологической информации.— Социол. исслед., 1979, № 1, с. 186—194.

Докторов Б. 3., Фирсов Б. М. Методические вопросы формализации социологи­ческих анкет.— Соцнол. нсслед., 1975, А» 3, с. 63—73.

Докторов Б. 3. О надежности измерения в социологическом исследовании. Л.: Наука, 1979. 128 с.

Докторов Б. 3. Повышение возврата анкет при почтовом опросе.— Социол. нс­след., 1981, № 3, с. 127—133.

Журавлева II. В. Об использовании основных типов интервью в практике со­циологических исследований.— В кн.: Вопросы методики и техники социо­логических исследований. М.: ПСИ АН СССР, 1975, с. 92—103. Ротапринт.

Коган В. 3. Обеспечение достоверности информации на .стадии подготовки апкет к обработке на ЭВМ.— Соцнол. исслед.. 1977, № 2, с. 134—140.

Лекции по методике конкретных социальных исследовании Под ред. Г. М. Анд­реевой. М.: Изд-во МГУ, 1972, с. 93—173.

Маслова О. М. К вопросу о проектировании социологических анкет.— Социол. нсслед., 1981, № 1, с. 158—165.

Михайлов С. Эмпирическое социологическое исследование. М.: Прогресс, 1975. 383 с.

Ноэль 9. Массовые опросы. М.: Прогресс, 1978. 379 с.

Паниотто В. П., Яковенко 10. И. Некоторые способы совершенствования поч­тового опроса.— Социол. псслед., 1981, А"г 3, с. 13$—138.

Погосян Г. А. Интервьюер как источник экспертной информации.— Социол. исслед., 1981, № 4, с. 157—164.

Процесс социального исследования.' М.: Прогресс, 1975, пазд. 1.4.4.

Пзпто Р., Гравитц М. Методы социальных наук. М.: Прогресс, 1972, с, 407— 4G7.

Таршис Е. Я., Чернакова II. Е. Организация работы полевой социологической лаборатории.— Социол. исслед., 1982, № 3, с. 157—160.

Федоров И. В. Причипы пропуска ответов при апкетпом опросе.— Социол. во

слод., 1982, № 2, с. 185—189. Хмелъко В. Е. Номинальная шкала личностных качеств: (Опыт построепия

базового тезауруса).— Социол. исслед., 1981, № 2, с. 124—134. Шуман Г., Прессер С. Открытый и закрытый вопрос.— Социол. исслед., 1982,

№ 3, с. 145—156. Ядов В. А. Социологическое исследование. М.:, Паука, 1972. 239 с.

ГЛАВА ОДИННАДЦАТАЯ

Не нашли, что искали? Воспользуйтесь поиском по сайту: