Насколько Вы лично удовлетворены следующими сторонами своей жизни? 3 глава

Остановимся на более результативных показателях.

1. Показателем абсолютной устойчивости шкалы назовем вели­чину, показывающую долю совпадающих ответов в последователь­ных пробах

(3)

Этот показатель использует не всю информацию, содержащуюся в соотношении ответов проб I и II, а базируется лишь на частотах совпадающих ответов. Однако он хорош, например, для характе­ристики устойчивости качественных признаков.

Для описания устойчивости количественных признаков его не­достаточно, поскольку при большом числе градаций доля совпада­ющих ответов будет чрезвычайно мала и значение W мало инфор­мативно. Здесь пригодны показатели неустойчивости, т. е. величи­ны ошибки, учитывающие не просто факт несовпадения ответов, а степень этого несовпадения. Ошибки рассчитываются по край­ней мере для порядковых признаков.

Линейной мерой несовпадения оценок является средняя ариф­метическая ошибка, показывающая средний сдвиг в ответах в рас­чете на одну пару последовательных наблюдений:

(4)

Здесь и — ответы по анализируемому вопросу l-то респондента в I и II пробах соответственно.

Пример. Пусть ответы на вопрос в пятибалльной шкале для выборки 50 человек распределились, как в табл. 31.

Таким образом, в I пробе оценку «1» дали 9 респондентов, из них только трое повторили ее в пробе II, пятеро отметили «2», один дол оценку «3» и т. д.

Таблица 31. Распределение ответов в двух пробах

Ошибка такого соотношения ответов:

Данный показатель использует всю информацию, содержащуюся в распределении, хорошо интерпретируется как средний сдвиг в ответах одного респондента, однако имеет определенные ограниче­ния аналитического характера и поэтому обычно редко использу­ется в статистических расчетах.

Средняя квадратическая ошибка для последовательных дан­ных[146] в расчете на одну пару наблюдений выглядит так:

(5)

Для данных табл. 31 эта ошибка будет равна

(совпадение и в этом примере чисто случайное).

До сих пор речь шла об абсолютных ошибках, размер которых выражался в тех же единицах, что и сама измеряемая величина, например 0,82 балла в пятибалльной шкале. Это не позволяет срав­нивать ошибки измерения разных признаков по разным шкалам. Следовательно, помимо абсолютных, нужны относительные показа­тели ошибок измерения.

В качестве показателя для нормирования абсолютной ошибки можно использовать максимально возможную ошибку в рассмат­риваемой шкале ( ).

Если число делений шкалы k, тогда равно разнице между крайними значениями шкалы ( — ), т. е. k —1, и относи­тельная ошибка имеет вид

(здесь — средняя арифметическая ошибка измерения).

Однако зачастую этот показатель плохо работает из-за того, что шкала не используется на всей ее протяженности. Поэтому бо­лее показательными являются относительные ошибки, рассчитан­ные по фактически используемой части шкалы, как было рассмот­рено выше. Если число градаций в; работающей части шкалы обозначить , то тогда более надежной будет такая оценка ошибки:

Если в качестве абсолютной ошибки использовалась средняя квадратическая ошибка S, то показатель относительной ошибки

Пример. Допустим, что шкала имеет 7 градаций. При опреде­лении «работающей» части этой шкалы анализируется распределение полученных в I пробе оценок:

Оценка
Частота

Здесь на оценки 5, 6, 7 приходится лишь 11 наблюдений, т. е. 2,26%. Проверка согласно критерию (формула (1)) устанав­ливает, что эта часть шкалы не работает, т. е. используются лишь градации 1, 2, 3, 4, поэтому = 4 — 1 = 3. На основании соот­ношения ответов в I и II пробах находим сдвиги в ответах (ошиб­ки). Распределение ошибок по этой шкале оказалось следующим:

Значение ошибки	—4	—3	—2	—1
Частота

Таким образом, = 0,60 и относительная ошибка = , или 20%, и = — явно завышенная точность измерения. Однако оценка по также является довольно грубой и не использует, всю информацию, содержащуюся в ответах I про­бы, ведь реально не все оценки могут дать максимальный сдвиг, а только крайние на шкале.

Оценим для приведенного распределения максимальный сдвиг по реально работающей части шкалы: только крайние значения (233,78+11) могут дать сдвиг в 3 балла, 106 и 59 ответов могут дать максимальный сдвиг в 2 балла. Таким образом, возможный сдвиг для данного исходного распределения может быть равен средней в 2,6 балла четырехбалльной шкалы, т. е. фактическая ошибка еще больше: .

Повышение устойчивости измерения. Для решения этой задачи необходимо выяснить различительные возможности пунктов исполь­зуемой шкалы, что предполагает четкую фиксацию респондентами отдельных значений: каждая оценка должна быть строго отделена от соседней. На практике это означает, что в последовательных про­бах респонденты практически повторяют свои оценки. Следователь­но, высокой различимости делений шкалы должна соответствовать малая ошибка.

Эту же задачу можно описать в терминах чувствительности шка­лы, которая характеризуется количеством делений, приходящихся на одну и ту же разность в значениях измеряемой величины, т. е. чем больше градаций в шкале, тем больше ее чувствительность. Однако чувствительность нельзя повышать простым увеличением дробности, ибо высокая чувствительность при низкой устойчивости является излишней (например, шкала в 100 баллов, а ошибка из­мерения ±10 баллов).

Но и при малом числе градаций, т. е. при низкой чувствитель­ности, может быть низкая устойчивость, и тогда следует увеличить дробность шкалы. Так бывает, когда респонденту навязывают кате­горические ответы да, нет, а он предпочел бы менее жесткие оценки. И потому он выбирает в повторных испытаниях иногда да, иногда нет для характеристики своего нейтрального поло­жения.

Итак, следует найти некоторое оптимальное соотношение меж­ду чувствительностью и устойчивостью. Введем правило: исполь­зовать столько градаций в шкале, чтобы ее ошибка была меньше 0,5 балла.

Если ошибка меньше -0,5 балла, то в последовательных опросах ответы в среднем будут совпадать. При балла ответы в последовательных опросах будут в среднем отличаться на 1 балл (и выше).

Существуют способы, позволяющие добиться требуемой чувстви­тельности.

Пример. В исследовании каждый испытуемый дает 8 оценок некоторым профессиональным качествам инженеров. Значение оце­нок варьирует от +3 до —3. Проведено два измерения. Рассмотрим суммарное распределение оценок по четырем качествам (самостоя­тельность, творчество, инициативность, опытность), данных тринад­цати респондентов (табл. 32).

Всего в табл. 32 представлено 416 пар наблюдений: 13 респон­дентов ×8 оценок ×4 качества. Из них в первой пробе 226 оценок имели значение 3; во второй пробе из них только 170 были по­вторены, 47 оценок получили значение 2, 6 оценок — значение I и 3 оценки — значение 0.

Таблица 32.Распределение ответов в двух пробах

Проба	Проба
				—1	—2	—3
—1 —2 —3									2,70 2,47 2,18 1,06 2,67 0,25 —1,50	0,3383 0,4547 1,3962 1,8175 0,2044 0,6875 0,2500	3,01 1,96 3,39 1,95
									2,44

Таким образом, дли исходной оценки 3 средняя оценка во второй пробе стала равной

и т.д.

На основании этого соотношения оценок получим распределение ошибок:

Рассчитаем среднюю арифметическую ошибку = 0,69.

Поскольку >0,5, ищем неразличающиеся градации.

Средние оценки по каждой строке сравниваем с помощью кри­терия Стьюдента. Если окажется, что и отличаются незна­чимо ( ), то далее нужно сравнивать и и т. д. до значимого отличия средних ( записаны в последнем столбце табл. 32, а значимые значения выделены).

Здесь все оценки попадают в три непересекающихся класса: оценка 3 отличается от 2; 2 и I не отличаются друг от друга, но отличаются от соседних оценок; последние четыре значе­ния взаимно неразличимы.

Следовательно, респонденты различают лишь три уровня вме­сто семи предложенных, и шкала должна быть преобразована в трехбалльную, где высокой оценке соответствует исходная оценка в 3 балла, средней — 2 и 1 балл; низкой — 0, —1, —2, —3. При­своим описанным уровням новые баллы — соответственно 3, 2, 1. В итоге имеем следующее соотношение оценок (табл. 33).

Это распределение характеризуется ошибкой = 0,43 балла, т. е. уже меньше 0,5 градации, и потому такая шкала устойчива.

Таблица 33.Итоговое распределение оценок

В общем случае возможны два варианта соотношения исходных оценок: 1) классы неразличимости оценок не пересекаются (на пример, как это было в только что рассмотренном случае):

2) классы неразличимости оценок пересекаются, например, так

В первом случае можно подобрать для шкалы числовую серию, т. е. упорядоченный ряд чисел, в котором большее число характе­ризует более высокий уровень качества.

Во втором случае имеется полуупорядоченная система оценок, и ее можно отобразить лишь на полуупорядоченную числовую си­стему. В рассматриваемом примере возможно, в частности, такое числовое представление:

Там, где между исходными оценками нет существенного раз­личия, разница между значениями числового представления (ниж­ний ряд чисел) меньше 1; при значимом различии разница боль­ше 1.

Однако часто желательно иметь преобразованные оценки, вы­раженные целыми числами. В таком случае можно предложить сле­дующую систему понижения дробности шкалы: ближайшим исходным значениям, существенно отличающимся друг от друга, присваивают ранги последовательно I, II, III и т. д. В рассматривае­мом, примере это будет выглядеть так:

Для промежуточных значений, несущественно отличающихся от соседних (например, исходную оценку 2 можно отнести в любые классы — и в I, и во -II), следует предложить дополнительные кри­терии отнесения их в один из двух соседних классов. Можно в качестве критерия использовать меру относительной близости про­межуточной оценки к тому или иному соседнему классу и путем перебора всех возможных схем объединения искать схему с наи­меньшей ошибкой.

В конечном итоге порядок действия может быть таким. На ос­нове данных двух последовательных проб определяем пороги различаемости градаций шкалы. В том случае, если обнаружено сме­шение градаций, применяют один из двух способов.

Первый способ. В итоговом варианте уменьшают дробность шкалы (например, из шкалы в 7 интервалов переходят на шкалу в 3 интервала).

Второй способ. Для предъявления респонденту сохраняют преж­нюю дробность шкалы и только при обработке укрупняют соот­ветствующие ее пункты (как это было показано выше).

Второй способ кажется предпочтительнее, поскольку, как правило, большая дробность шкалы побуждает респондента и к более активной реакции. При обработке данных информацию следует перекодировать в соответствии с проведенным анализом различи­тельной способности исходной шкалы.

Итак, предложенные способы анализа целесообразны при отра­ботке окончательного варианта методики. Анализ устойчивости отдельных вопросов шкалы позволяет: а) выявить плохо сформулиро­ванные вопросы, их неадекватное понимание разными респондентами; б) уточнить интерпретацию шкалы, предложенной для оценки того или иного явления, выявить более оптимальный вариант дробности значения шкалы.

Изучение устойчивости окончательного варианта методики даст представление о надежности данных (связанной с устойчивостью), которые будут получены в основном исследовании. 1

Обоснованность измерения. Проверка обоснованности шкалы предпринимается лишь после того, как установлены достаточные правильность и устойчивость измерения исходных данных. Как уже отмечалось, проверка обоснованности — достаточно сложный про­цесс и, как правило, не до конца разрешимый, И поэтому нецелесообразно сначала применять трудоемкую технику для выявления обоснованности, а после этого убеждаться в неприемлемости дан­ных вследствие их низкой устойчивости.

Обоснованность данных измерения — это доказательство соответ­ствия между тем, что измерено, и тем, что должно было быть измерено. Некоторые исследователи предпочитают исходить из так называемой наличной обоснованности, т. е. обоснованности в поня­тиях использованной процедуры. Например, считают, что удовлет­воренность работой — это то свойство, которое содержится в от­ветах на вопрос: Удовлетворены ли Вы работой? В серьезном социологическом исследовании, имеющем целью проверку некото­рых теоретических гипотез, такой сугубо эмпирический подход не­приемлем.

Остановимся на возможных формальных подходах к выяснению уровня обоснованности методики. Их можно разделить на три груп­пы: 1) конструирование типологии в соответствии с целями иссле­дования на базе нескольких признаков; 2) использование парал­лельных данных; 3) судейские процедуры.

Первый вариант нельзя считать формальным методом — это всего лишь некоторая схематизация логических рассуждений, начало процедуры обоснования, которая может быть на этом закончена, а может быть подкреплена более мощными средствами.

Второй вариант требует использования по крайней мере двух источников для выявления одного и того же свойства. Обоснован­ность определяется степенью согласованности соответствующих данных.

В последнем случае мы полагаемся на компетентность судей, которым предлагается определить, измеряем лимы нужное нам свойство или что-то иное.

Рассмотрим предложенные варианты последовательно.

Конструированная типология. Один из способов — использова­ние контрольных вопросов, которые в совокупности с основными дают большее приближение к содержанию изучаемого свойства, раскрывая различные его стороны.

Например, можно определять удовлетворенность работой лобо­вым вопросом: Устраивает ли Вас Ваша нынешняя работа? Ком­бинация его с двумя другими косвенными: Хотите ли Вы перейти на другую работу? и Предположим, что Вы по каким-то при­чинам временно не работаете. Вернулись бы Вы на свое прежнее место работы? — позволяет произвести более надежную дифферен­циацию респондентов. Типология по пяти упорядоченным группам от наиболее удовлетворенных работой до наименее удовлетворенных проводится помощью логического квадрата.

Обоснованность в подобного рода типологии не доказывается каким-либо формальным критерием и опирается на логические доводы.

Единственное требование, которое может быть выдвинуто при конструировании такого рода типологии, — это положительная кор­реляция между составляющими ее признаками. Отсутствие положительной взаимосвязи между вопросами может свидетельствовать, о том, что мы не понимаем сущности измеряемого явления.

Так, попытка построить типологию самостоятельности инженера в работе на базе двух вопросов — сложность получаемых инже­нером заданий (плюс за сложность) и обращение его за консуль­тациями (плюс за самостоятельное решение) — оказалась неудач­ной, ибо вопросы коррелировали отрицательным образом и как раз сложность задания предполагала обращение к консультациям.

Параллельные данные. Нередко целесообразно разработать два равноправных приема измерения заданного признака, что позволяет установить обоснованность методов относительно друг друга, т. е. повысить общую обоснованность путем сопоставления двух неза­висимых результатов.

Классифицируем параллельные процедуры в зависимости от соотношения методов и исполнителей: а) несколько методов — один исполнитель; б) один метод — несколько исполнителей; в) несколь­ко методов — несколько исполнителей.

Несколько методов — один исполнитель. Здесь один и тот же исполнитель использует два или более различных метода для изме­рения одного и того же свойства.

Рассмотрим различные способы использования этого метода, и прежде всего — эквивалентные шкалы. Понятие эквивалентности тесно связано здесь с психологическим явлением социальной уста­новки. Всевозможные акты поведения, обусловленные некоторой установкой, или состояние предрасположенности к определенному поведению составляют целостность (универсум) данной предраспо­ложенности. Универсум можно описать совокупностью признаков.

Возможны равнозначные выборки признаков для описания — измерения социальной установки. Эти выборки и образуют парал­лельные шкалы, обеспечивая параллельную надежность.

Каждую шкалу рассматриваем как способ измерения некоторого свойства и в зависимости от числа параллельных шкал имеем ряд способов измерения. В качестве исполнителя выступает респондент, дающий ответы одновременно по всем параллельным шкалам. Все ответы сортируем в зависимости от принадлежности к шкале и та­ким образом получаем параллельные данные.

При обработке такого рода данных следует выяснить два момен­та: 1) непротиворечивость пунктов отдельной шкалы; 2) согласо­ванность оценок по разным шкалам.

Первая проблема возникает в связи с тем, что модели ответов не представляют идеальной картины: ответы нередко противоречат друг другу. Такая противоречивость свойственна как кумулятив­ным, так и некумулятивным шкалам. Поэтому встает вопрос, что принимать за истинное значение оценки респондента на данной шкале.

Вторая проблема непосредственно касается сопоставления па­раллельных данных.

Рассмотрим пример неудавшейся попытки повысить надежность измерения признака удовлетворенность инженера профессией с помощью трех параллельных порядковых шкал. Приведем две из них:

Шкала А

Шкала В

15 суждений (в порядке, обозначенном слева) предъявляются респонденту общим списком, и он должен выразить свое согласие или несогласие с каждым из них. Каждому суждению присваива­ется оценка, соответствующая его рангу в указанной шкале (спра­ва). (Например, согласие с суждением 4 дает оценку 1, согласие с суждением 11 —оценку 5 и т. д.).

Рассматриваемый здесь способ предъявления суждений списком дает возможность проанализировать пункты шкалы на непротиво­речивость. При использовании упорядоченных номинальных шкал обычно считается, что пункты, образующие шкалу, взаимно исклю­чают друг друга и респондент легко найдет тот из них, который ему подходит.

Изучение распределений ответов доказывает, что респонденты выражают согласие с противоречивыми (с точки зрения исходной гипотезы) суждениями. Например, по шкале 5 42 человека из 100 одновременно согласились с суждениями 13 и 12, т. е, с двумя противоположными суждениями.

Наличие в ответе противоречивых суждений приводит к необ­ходимости вычислять ошибку противоречивости. Это будет разница в рангах, наиболее противоположных для данной шкалы суждений в ответе респондента.

Итак, средние ошибки, характеризующие противоречивость для рассматриваемых шкал, оказались равными

= 0,37; = 1,57.

Ошибка в 1,57 балла при пятибалльной оценке, видимо, слишком велика, чтобы считать шкалу приемлемой.

Для эквивалентных шкал итоговая оценка респондента рассчи­тывается как суммарная (или усредненная) оценка по разным шка­лам. Однако для правомерности такой процедуры необходимо уста­новить соответствие оценок респондента по всем рассматриваемым шкалам.

В вышеприведенном примере такого соответствия не наблюда­лось, что сказалось на коэффициенте корреляции r = —0,02.

Поиск эквивалентной процедуры для повышения надёжности шкалы — весьма утомительная и кропотливая операция. Поэтому данный прием можно рекомендовать лишь при разработке ответ­ственных психологических тестов или методик, предназначенных для массового употребления или панельных исследований.

Один метод — несколько исполнителей. Если метод надежен, то разные исполнители дадут совпадающую информацию, но если их результаты плохо согласуются, то либо измерения ненадежны, ли­бо результаты отдельных исполнителей нельзя считать равноценными. В последнем случае надо установить, нельзя ли считать ка­кую-либо группу результатов заслуживающей большего доверия. Решение этой задачи тем более важно, если предполагается, что одинаково допустимо получение информации любым из рассматриваемых методов (например, использование самооценок против оценок. Анализ параллельных данных с помощью описанных ниже процедур позволит установить правильность такого предположения.

Для количественных признаков при решении вопроса о согласо­ванности оценок нескольких исполнителей предлагается выявить ошибки соответствия одним из приемов, рассмотренных при изуче­нии устойчивости. Прежде всего, поскольку мы имеем здесь слу­чай прямых групповых наблюдений, наиболее адекватной оценкой совпадения данных является средняя квадратическая ошибка.

Пусть каждый раз измерение производят два человека, и рес­понденту приписывается значение в виде средней (х) из двух ис­ходных. Оценку точности такого измерения следует производить по формуле

(8)

Пример. Двое судей оценивают опытность инженера в работе по семибалльной шкале. Предположим, что 13 респондентов получили такие оценки:

Судья

Респондент

А В

Не нашли, что искали? Воспользуйтесь поиском по сайту: