Использование тестов для принятия классификационных решений

Характер классификации.Психологические тесты могут использоваться для целей отбора, расстановки и распределения (или классификации). При отборе (selection) каждый индивид либо принимается, либо не принимается. Решения о зачислении абитуриента в колледж, принятии кандидата на работу или направлении новобранца на офицерские курсы — все это примеры отбора. Когда отбор производится в несколько этапов, его начальные стадии часто называют отсеиванием, или скринингом, а термин «отбор» сохраняют за более интенсивными заключительными стадиями. Термин «отсеивание» может к тому же употребляться для обозначения любой формы быстрого и приблизительного отбора, даже если он не сопровождается углубленными процедурами отбора.

Расстановка и распределение отличаются от отбора тем, что их осуществление не связано с выбыванием кого бы то ни было из участников программы. Для всех участников определяются соответствующие места или «комбинации условий» с тем, чтобы максимизировать конечный результат. В случае расстановки (placement) назначения могут основываться на единственном показателе, который можно получить с помощью одного теста — скажем, математического теста достижений. Если применяется батарея тестов, ту же роль может сыграть совокупный показатель, вычисленный по уравнению регрессии. Примерами расстановки могут служить решения о делении первокурсников по данным теста достижений на группы для изучения математики, назначении канцелярских работников на требующие разного уровня компетентности и ответственности должности или определении степени тяжести психически больных в целях назначения соответствующей терапии. Очевидно, что в каждом из этих решений применяется лишь один критерий и что определение места конкретного человека определяется его положением на одной-единственной шкале прогнозирующего показателя.

В отличие от расстановки, при распределении (classification) во внимание принимается два критерия или более. Так, в армии распределение — одна из главных проблем, поскольку каждый новобранец должен быть приписан к той военной специальности, где его служба будет наиболее эффективной. Решения о распределении людских ресурсов столь же необходимы в промышленности, когда вновь нанятые сотрудники направляются на курсы подготовки для последующего выполнения разного рода работ. Еще одним примером может служить консультирование студентов по вопросу выбора программы обучения (естественные науки, гуманитарные науки, и т. д.) или области специализации. Консультирование основывается в значительной степени на Распределении, так как клиенту сообщаются его шансы на успех в разных академических программах или профессиях. Клинический диагноз также представляет собой проблему распределения, ибо в этом случае главной целью каждого диагноза является Решение о наиболее подходящем курсе лечения.

Если расстановка может осуществляться на основе одного или нескольких прогнозирующих показателей, то распределение требует множественных предикторов, ^вВДидность которых устанавливается отдельно по каждому критерию. Классификационная батарея требует разных уравнений регрессии для каждого критерия. Одни ^Тесты могут быть представлены во всех уравнениях, хотя и с разными весами, другие -

Часть 2. Технические и методологические принципы

только в одном или двух, а в остальных уравнениях их веса равны или близки к нулю. Таким образом, используемая комбинация тестов из состава батареи и их веса меняются в зависимости от критерия. Один из ранних образцов такой классификационной батареи является тестовая батарея, разработанная в военно-воздушных силах США для распределения личного состава по различным курсам специальной подготовки. Эта батарея, состоящая как из тестов типа «бумага—карандаш», так и из аппаратных тестов, обеспечивала получение выраженных в станайнах показателей для пилотов, штурманов, бомбардиров и ряда других специалистов ВВС. Находя ожидаемые значения критериальных показателей по различным уравнениям регрессии, можно было предсказать, например, что данного человека лучше готовить к специальности пилота, чем штурмана. Современный образец гораздо более широкой батареи — Проект Л, или Проект отбора и распределения специалистов сухопутных войск США (J. P. Campbell, 1990b).

Дифференциальная валидность.При оценивании классификационной батареи большое значение придается ее дифференциальной валидности по отдельным критериям. Цель такой батареи — предсказание разницы в выполнении каждым человеком двух или более видов профессиональной деятельности, учебных программ или в других критериальных ситуациях. Тесты, из которых составляются такие классификационные батареи, должны давать сильно различающиеся коэффициенты валидности для отдельных критериев. Например, применительно к задаче классификации по двум критериям идеальный тест имел бы высокую корреляцию с одним критерием и нулевую (или, еще лучше, отрицательную) — с другим. Тесты общего интеллекта сравнительно мало пригодны для целей распределения, так как они примерно одинаково прогнозируют успех в большинстве областей деятельности. Поэтому их корреляции с подлежащими дифференциации критериями были бы слишком сходными. Человека, набравшего высокий балл по такому тесту, пришлось бы классифицировать как подходящего для любого назначения, и было бы невозможно предсказать, где он преуспеет больше. В классификационной батарее должно быть несколько тестов, являющихся хорошими предикторами критерия А и плохими предикторами критерия В, и несколько других тестов — плохих предикторов критерия А, но зато хороших предикторов критерия В.

Для отбора тестов с целью максимизации дифференциальной валидности классификационной батареи разработаны специальные статистические методы (Brogden, 1946а, 1951, 1954; Horst, 1954; Mollenkopf, 1950b; Zeidner, & Johnson, 1991). Однако когда число критериев больше двух, проблема сильно усложняется, и для таких случаев нет чисто аналитического решения. На практике применяют различные эмпирические методы, чтобы приблизиться к желаемым целям. Исчерпывающий анализ сложностей, связанных с решением задачи классификации, дан Кэмпбеллом (J. P. Campbell, 1990а, pp. 715-721).

Множественные дискриминантные функции.Альтернативный подход к проблеме принятия классификационных решений основан на применении множественной дис-криминантной (или классифицирующей) функции (French, 1966). По существу, это математический метод для определения того, насколько показатели конкретного человека по всему набору тестов приближаются к показателям, типичным для представителей определенной профессии, учебной программы, психиатрического синдро-

Глава 6. Валидность: измерение и интерпретация

ма или другой категории. После чего этого человека можно было бы отнести к той специфической группе, с которой он обладает наибольшим сходством. Если уравнение регрессии позволяет предсказать степень успеха в каждой области, то метод множественной дискриминантнои функции позволяет рассматривать всех тестируемых в рамках одной категории как обладающих равным статусом. Групповое членство — единственные критериальные данные, используемые этим методом. Классифицирующая функция полезна в тех случаях, когда критериальные показатели недоступны и можно установить только групповую принадлежность. Валидизация некоторых тестов, например, производится путем проведения их с людьми, занятыми в разных профессиях, хотя при этом отсутствуют какие-либо меры успешности работы для конкретных людей в каждой такой профессиональной области.

Дискриминантную функцию целесообразно применять и тогда, когда связь между критерием и одним или несколькими предикторами носит нелинейный характер. Например, для некоторых черт личности может существовать оптимальный диапазон, отвечающий данной профессии. Лица с большей или меньшей выраженностью такой черты оказались бы, таким образом, в невыгодном положении. Разумно ожидать, что, скажем, продавцы с умеренно высоким уровнем социального доминирования скорее всего будут преуспевать в работе и что их шансы на успех будут снижаться по мере отклонения их тестовых показателей в любую сторону от этой оптимальной области. С помощью дискриминантных функций мы, в общем, и отбираем тех, чьи показатели попадают в границы оптимальной области, тогда как использование уравнения регрессии заставило бы нас ожидать наилучшей работы от продавцов с максимальным показателем социальной доминантности¹. Разумеется, при отрицательной корреляции между прогнозирующим показателем и критерием уравнение регрессии дало бы более благоприятный прогноз для лиц с низкими тестовыми показателями. Но все равно в этом случае нет прямого способа получить максимальную оценку для промежуточного значения тестового показателя. Хотя во многих случаях оба этих метода дают одинаковые результаты, существуют ситуации, когда одни и те же лица могут оказаться отнесенными к разным категориям при их распределении на основе уравнения регрессии и дискриминантнои функции. Для большинства целей психологического тестирования применение уравнения регрессии более эффективно, однако при некоторых обстоятельствах дискриминантная функция лучше подходит для получения необходимой информации.

Максимизация использования талантов.Дифференциальное прогнозирование критериев с помощью батареи тестов позволяет полнее использовать людские ресурсы, чем при применении одного общего теста или совокупного показателя, вычисляемого по уравнению регрессии. Как видно из таблиц Тейлора—Расселла и из других примеров данной главы, эффективность любого теста при отборе персонала для выполнения определенной работы зависит от коэффициента отбора. При принятии классификационных решений мы работаем с меньшими величинами коэффициента отбора и, следовательно, имеем возможность назначить на каждую должность более квалифицированных людей. Если из 100 претендентов предполагается принять по Ю человек на каждую из двух должностей или специальностей, то при использовании ^0ТДельных предикторов для каждой из них коэффициент отбора составит 10 %. Если

'о утверждение авторов справедливо только в отношении линейной регрессии. — Примеч. науч. ред.

Часть 2. Технические и методологические принципы

же используется единственный предиктор (такой, как тест общего интеллекта), то коэффициент отбора составит уже 20 %, поскольку нам ничего не остается, как взять на работу 20 человек с наибольшими показателями.

Даже когда предикторы обеих специальностей тесно коррелируют между собой, так что некоторые из претендентов могли быть приняты как на одну, так и на другую работу, использование отдельных предикторов все равно дает значительный выигрыш. Эта ситуация проиллюстрирована в табл. 6-3, где приведены средние стандартные критериальные показатели работников, принятых на каждую из двух должностей при использовании стратегии отбора (единственный предиктор) и стратегии распределения (или, иначе говоря, классификации) с двумя различными предикторами, валидность каждого из которых определена относительно собственного профессионального критерия. Если бы работников принимали наугад, без всякого отбора, средний стандартный показатель в этой шкале был бы равен нулю. Аналогичный результат получился бы и в том случае, если бы коэффициент отбора на каждую должность составлял 50 %, так что всех 100 % подавших заявление пришлось бы принять на работу. Заметим, что даже в этих условиях, как видно из нижней строки таблицы, использование двух предикторов привело бы к повышению среднего уровня выполнения работы. При двух некоррелирующих предикторах оценка этого уровня была бы равна 0,31 (т. е. почти на 1/3 стандартного отклонения выше среднего уровня выполнения работы теми, кого приняли наугад). С ростом корреляции между предикторами эффективность работы отобранных на их основе лиц снижается, но все еще остается выше эффективности случайно набранных работников даже при корреляции 0,80. При более низких значениях коэффициента отбора, разумеется, можно набрать более квалифицированный персонал. Однако, как видно из табл. 6-3, средний уровень выполнения работы при любом значении коэффициента отбора остается выше для принятых на работу при использовании стратегии распределения, чем стратегии отбора.

Таблица 6-3 Средние стандартные критериальные показатели лиц, назначенных на каждую из двух должностей при использовании стратегий отбора или распределения

(Перепечатано в сокращении из Brogden, 1951, р. 182)

Практической иллюстрацией преимуществ стратегий распределения служит использование показателей Областей пригодности (Aptitude Areas) при распределении личного состава по военным специальностям в сухопутных войсках США (Maier, & Fuchs, 1973). В этом исследовании каждая Область пригодности соответствовала группе армейских профессий, требующих сходного паттерна способностей, знаний и интересов. Для определения показателя военнослужащего в каждой Области пригод-

Глава 6. Валидность: измерение и интерпретация

Рис. 6-4. Процент получивших показатели выше среднего в тесте AFQT

и в наиболее подходящих Областях пригодности по Армейской классификационной

батарее в выборке 7500 добровольно поступающих на военную службу

(По данным U. S. Army Research Institute for the Behavioral and Social Sciences.

С любезного разрешения J. E. Uhlaner.)

ности использовалось от трех до пяти тестов из 13-тестовой классификационной батареи. На рис. 6-4 представлены результаты исследования 7500 добровольно поступающих па военную службу, в котором сравнивалась эффективность использования показателей Области пригодности и общего теста отсеивания, так называемого Квалификационного теста вооруженных сил {ArmedForces Qualification Test [AFQT]). Отметим, что только 56 % этой группы достигли или превысили 50-й процентиль по AFQT, в то время как 80 % достигли или превысили средний стандартный показатель, равный 100, в своей наилучшей Области пригодности. Таким образом, когда людей распределяют по конкретным рабочим местам на основе необходимых для выполнения такой работы способностей, подавляющее большинство способно справиться с ней па уровне не хуже или даже лучше среднего для всей выборки. Казалось бы, невозможно почти каждому быть выше среднего, но это достигается благодаря тому, что почти Каждый превосходит средний уровень хотя бы в какой-то одной способности.

По сути то же самое было наглядно показано при изучении совершенно иной совокупности — одаренных детей (Feldman, & Bratton, 1972). В демонстрационных целях 49 детей из двух обычных 5-х классов оценили по 19 показателям, до этого использовавшимися при отборе учеников для специальных программ работы с одаренными Детьми. Среди этих показателей были общие показатели группового теста интеллекта И батареи учебных достижений, оценки по тестам отдельных способностей и учебных навыков, скажем чтения и арифметики, показатели теста творческого мышления, оценки по музыке и рисованию, а также результаты выбора учителями наиболее «одаренных» и «творческих» детях в классе. Когда по каждому критерию было выделено по пять лучших учеников, вместе они составили 92 % группы. Тем самым еще раз было "сказано, что применение многомерных критериев позволяет установить превосход-^сть>< в каких-то областях почти всех членов группы.

Часть 2. Технические и методологические принципы

Не нашли, что искали? Воспользуйтесь поиском по сайту: