|
|
Обработка результатов экспертного опросаЭкспертный опрос и его использование в социологии. Экспертный опрос является разновидностью опросного метода. Также его называют опросом компетентных лиц или методом экспертных оценок. Основное назначение экспертного опроса – это выявление сложных аспектов исследуемой проблемы, повышение надежности получаемой информации. Особенности экспертного опроса: • Во-первых, эксперты не являются представителями объекта исследования • Во-вторых, экспертный опрос носит не массовый, а индивидуальный характер • В-третьих, опрос экспертов не носит анонимного характера, отсюда совершенно другое отношение к экспертам: как к активным участникам исследования. • И, наконец, в экспертном опросе нас интересуют не обыденные представления людей, а знания специализированные, профессиональные. методологические проблемы экспертного опроса: • подбор экспертов • процедура их работы • обработка высказанных мнений В практике социологических исследований используется: 1. для прогноза развития того или иного явления 2. для оценки степени достоверности массового опроса 3. для сбора предварительной информации о проблеме исследования (зондаж) 4. в ситуациях, когда массовый опрос простых респондентов не возможен или не эффективен.
2 Виды экспертных опросов: – индивидуальный и групповой; – очный и заочный; – разовый и повторный, но все они могут быть поделены на две большие группы: • методы очного ОЭ • методы заочного ОЭ Наиболее часто используется такая разновидность очного экспертного опроса, как свободное интервью (или индивидуальный опрос экспертов). В этом случае исследователь не имеет жесткого плана беседы, а интервью преследует разведывательную цель и помогает более полно и всесторонне представить изучаемую проблему. Другой разновидностью является коллективная работа экспертов – “мозговая атака” или брейнсторминг. Часто эта методика используется при проведении деловых игр с целью генерации идей и выбора оптимального решения из их максимально возможного количества. Наиболее простым видом заочного опроса экспертов является сбор мнений. Методика состоит в том, что экспертам рассылаются опросные листы, в которых они должны в развернутой форме изложить свое мнение. По сути, сбор мнений подобен свободному интервью, но в письменной форме. Дельфийская техника заочного опроса экспертов была разработана американцами Н. Дэлки и О. Хелмером. Эта разновидность опроса экспертов проводится в 3-4 тура. В каждом последующем туре участников знакомят с результатами предыдущих туров. Суть заключается в том, чтобы все эксперты пришли к результатам и оценкам с минимальным разбросом мнений. Сейчас для применения этой методики используют электронную почту. Метод применяют наиболее часто в социальном прогнозировании. При проведении экспертного опроса методом Дельфи, процедуру опроса разбивают на несколько этапов: 1. Рассылка участникам опроса постановки проблемы 2. Сбор и резюмирование коллективного ответа, формулирование сценариев развития, прогнозов 3. Ознакомление экспертов с полученными результатами, сбор их мнений 4. Анализ и резюмирование полученных на предыдущем этапе данных 5. Выработка решения В настоящее время метод Дельфы применяется для подготовки материалов, необходимых для выбора решений на самых различных уровнях управления: государственном, отраслевом, региональном и в рамках отдельных организаций.
3 Формирование группы экспертов. Именно отбор экспертов во многом предопределяет эффективность использования самого метода. Эксперт – это человек, обладающий определенными знаниями и опытом в области, к которой относится объект экспертизы. Правильно отобрать экспертов для экспертного опроса не просто. В экспертном опросе должны участвовать те люди, которые действительно разбираются в сути решаемой проблемы. Исследователь должен определить критерии, по которым он будет выбирать экспертов и прописать саму процедуру отбора экспертов. Критерии отбора экспертов: 1. Степень компетентности эксперта в решаемой проблеме. Для определения компетенции используются такие показатели как: уровень и профиль образования, профиль работы, стаж работы, занимаемая должность, количество и качество раньше проведенных экспертиз, например, сбывшиеся прогнозы эксперта. 2. Уровень объективности и незаинтересованности эксперта при решении данной проблемы. (эксперт не должен быть лично заинтересован в принятии определенного решения). 3. Способность к командной работе (тогда, когда экспертный опрос проводится в группе и очно). При отборе экспертов можно прибегнуть к использованию специальной анкеты, ответы на которую будут отражать готовность эксперта принять участие в решении поставленной задачи. Как правило, потенциальным экспертам на заполнение такой анкеты дается не много времени, около 10 минут. За это время эксперт должен показать свою компетентность. Часто эта процедура выглядит так: экспертам раздают анкеты и просят их перед тем как начать отвечать, ознакомиться со всеми вопросами и отыскать один, который по их мнению, они знают лучше всего. Этому вопросу эксперт ставит оценку 5. Затем он должен найти вопрос, который, он знаете хуже других, и присвоить ему оценку 1. Затем эксперт оценивает все оставшиеся вопросы относительно этих двух, используя шкалу оценок 1, 2, 3, 4 и 5 баллов. В результате, вопрос, о котором он знает почти так же много, как и по первому вопросу, получит балл 5. Вопрос, по которому у эксперта средние знания, он оценивает в 3 балла и т. д. Собрав данные об индивидуальной самооценке каждого эксперта, социолог рассчитывает среднюю самооценку по группе, разделив сумму индивидуальных самооценок по каждому вопросу на количество экспертов в группе. В результате этих действий исследователь получает числовой индекс, показывающий объем знаний, которым обладает группа экспертов по данному вопросу. Также при отборе экспертов применяется метод взаимной оценки, когда экспертов просят оценить компетентность других экспертов. Правда при таком подходе есть опасность проявления личностных симпатий и антипатий одного эксперта (или нескольких экспертов) к другому эксперту. Кроме того, эксперты могут просто не правильно оценить компетентность своих коллег, поскольку не владеют всей информацией о деятельности, опыте, знаниях и т.д. других экспертов. Еще при отборе экспертов иногда применяется метод «снежного кома». В этом случае, каждый из привлеченных экспертов дает исследователям список фамилий других экспертов, которые, по его мнению, также хорошо разбираются в исследуемой проблемной ситуации. Процесс сбора фамилий экспертов прекращается тогда, когда перестаю встречаться новые фамилии. Одно из ограничений метода снежного кома состоит в том, что можно получить не репрезентативную выборку из экспертов, так как привлекая своих знакомых, эксперт может рекомендовать только тех специалистов, которые имеют схожие с ним идеи по поводу проблемной ситуации, которую необходимо решить. Другой аспект отбора экспертов это "Сколько их должно быть?" Современная практика демонстрирует сильную вариацию числа лиц, принимающих участие в экспертном опросе. Иногда эта цифра достигает и несколько сотен человек. При повышении требований к экспертам (а также с учетом ограниченности ресурсов) обычно подбирается от 5 до 50 человек по одной проблеме (по мнению В. Шляпентоха).
Обработка результатов экспертного опроса После того, как экспертный опрос проведен необходимо обработать и проанализировать полученную от них информацию. Если эксперт в состоянии сравнить и оценить возможные варианты действий, приписав каждому из них определенное число, считается, что он обладает определенной системой предпочтений. Предпочтения эксперта могут быть заданы на разных шкалах: номинальной, порядковой, интервальной. В зависимости от того, по какой шкале заданы эти предпочтения, экспертные оценки содержат больший или меньший объем информации и обладают различной способностью к математической формализации. Как правило, для обработки информации полученной от экспертов применяют следующие методы: метод простого ранжирования, метод последовательных сравнений и метод парных сравнений. Метод ранжирования. Суть метода сводится к тому, что факторы, влияющие на исследуемую проблему или оценки экспертов, ранжируются в порядке возрастания или убывания их значимости, что позволяет отобрать наиболее важные факторы или оценки. Когда необходимо упорядочить какие-либо явления (объекты) во времени или пространстве. Это ситуация, когда исследователя интересует не сравнение степени выраженности какого-либо их качества, а лишь взаимное пространственное или временное расположение этих явлений (объектов) Когда необходимо упорядочить объекты в соответствии с каким-либо качеством, но при этом не требуется производить его точное измерение. В случаях, когда какое-либо качество в принципе измеримо, но в настоящий момент не может быть измерено по причинам практического или теоретического характера. Шкала, получаемая в результате ранжирования называется порядковой.
Метод последовательных сравнений. Этот метод был разработан У. Черчменом и Р. Акофом. Процедура данного метода состоит в следующем. Эксперту предоставляется перечень факторов, которые необходимо оценить по их относительной важности и ранжировать. Наиболее важному фактору эксперт ставит оценку 1, а остальным факторам оценки лежащие в интервале от 0 до 1 в порядке их относительной важности. Затем эксперт решает, является ли фактор с оценкой 1 более важным, чем комбинация остальных факторов. Если это так, то он увеличивает оценку этого фактора так, чтобы она была больше, чем сумма всех остальных факторов. Если же эксперт считает, что фактор, обладающий оценкой 1, не является более важным, чем комбинация остальных факторов, он корректирует оценку этого фактора так, чтобы она была меньше суммы всех остальных факторов. Далее эксперт определяет, является ли второй наиболее важный фактор более важным, чем все остальные факторы, получившие более низкие оценки; повторяется та же процедура, что и для первого фактора. Применение метода последовательных сравнений основано на предположении о том, что если задан некоторый интервал действительного переменного, скажем от 0 до1, то эксперт, основываясь на имеющейся у него информации, может установить предварительные оценки для каждого события, а затем уточнить их на основе сравнения с помощью определенной логической процедуры. Применение данного метода при выявлении предпочтений для большого числа факторов вызывает трудности оценки у эксперта. Для уменьшения этих трудностей был разработан метод парных сравнений. Метод парных сравнений. Этот метод разработан Луи Терстоуном и впервые был использован для ранжирования преступлений по степени серьезности. В методе парных сравнений объекты сопоставляются экспертами попарно, а затем выбирается один из них. Эксперт может установить равенство объектов или зафиксировать свои предпочтения на некоторой шкале. Метод парных сравнений удобен не только тогда, когда число объектов велико, но и тогда, когда различия между объектами настолько малы, что непосредственное ранжирование или оценка не обеспечивают их разумного упорядочивания. Чаще всего при парном сравнении двух объектов ограничиваются простой констатацией того, что один из них предпочтительнее другого. В отдельных случаях, когда степень предпочтения можно выявить, используются отдельные шкалы, где каждой степени предпочтения присваивается определенная оценка. В экспертном опросе оптовых покупателей, для измерения оценок экспертов использовалась шкала Терстоуна. Это метод, основанный на предварительном измерении шкальных значений набора суждений, отражающих различную степень выраженности измеряемой характеристики. В данном исследовании методом эталонирования суждений был выбран метод равнокажущихся интервалов. На первом этапе группой экспертов осуществлялся отбор и эталонирование предложенных суждений. Отбирались только те из них, которые получили наиболее согласованные оценки экспертов. На втором этапе происходило само шкалирование установки экспертов. Для этого полный набор отобранных суждений в случайном порядке предъявлялся каждому эксперту, который выражал свое согласие или несогласие с каждым из предложенных суждений. Шкальное значение индивида (по изучаемой характеристике товаров) определялось как среднее шкальных значений тех суждений, с которыми он согласился. Затем, полученные таким образом оценки экспертов были обработаны методом многофакторного дисперсионного анализа. Задачей этого метода является изучение влияния нескольких факторов (независимых переменных) на рассматриваемый признак (зависимую переменную). Независимыми переменными в данном случае выступали такие характеристики экспертов, как: пол, возраст, должность и стаж работы. В качестве зависимых переменных выступали оценки экспертов относительно важности различных свойств товаров (электроинструментов).
Достоинством экспертных методов является их относительная простота и применяемость для анализа и прогнозирования практически любых ситуаций, в том числе в условиях неполной информации. Важной особенностью этих методов является возможность прогнозировать качественные характеристики рынка, например, изменение социально-политического положения на рынке или влияние экологии на производство и потребление тех или иных товаров.
К очевидным недостаткам экспертных методов относятся: возможный субъективизм мнений экспертов и ограниченность их суждений.
Плюсы метода:
Примеры ЭО
Статья подготовлена на основе работы, выполненной в рамках государственного контракта между Министерством образования и науки РФ и Центром исследований и статистики науки на проведение работ по теме «Разработка научно-технологического прогноза на долгосрочную перспективу» Всего к опросу с целью формирования перечней перспективных технологий привлечено около 3 тыс. организаций В результате опроса получено почти 600 ответов, каждый из которых содержит от 1-2 до 200-300 (у крупных разнопрофильных организаций, университетов и т. д.) формулировок перспективных технологий. Полученные формулировки перспективных технологий с соответствующей разбивкой на тематические разделы включены в анкету для проведения опроса экспертов. Анкета, разработанная в электронной и бумажной версиях, представляет собой таблицу, в подлежащем которой приводится перечень технологий, а в сказуемом – перечень критериев, по которым эти технологии должны быть оценены. Далее анкеты были разосланы экспертам для их заполнения. В сопроводительном письме содержались подробные инструкции, адресованные непосредственно эксперту, участвующему в ее заполнении. При проведении опроса экспертам предлагалось оценить каждую из технологий с точки зрения: актуальности; инвестиционной привлекательности; конкурентоспособности; потенциальной возможности разработки в России; мер, необходимых для осуществления ее разработки. Анкета для проведения экспертного опроса по приоритетному направлению «Экология и рациональное природопользование» включала в себя формулировки 66 перспективных технологий, по «Энергосберегающим технологиям» – 192 технологии. Актуальность технологий эксперты оценивали по пятибалльной шкале на основе четырех критериев: национальная безопасность, экономический рост, социальное развитие, экология. . Сводная оценка актуальности технологий, учитывающая все четыре критерия актуальности, отраженных в анкете, наиболее высока у «Технологии заблаговременного извлечения метана из угольных пластов скважинными методами», которая относится к группе «Технологии общего назначения». Отметим, что из общего числа высокоактуальных технологий (выше 3,5 балла), которых, по оценкам экспертов, имеется 95, наибольшее число (21) принадлежит к группе «Технологии переработки и утилизации отходов». По его результатам была сформулирована соответствующая база данных. Работы над данным проектом предполагается продолжить. Рассмотрим пример организации экспертного опроса в системе здравоохранения региона с целью определения показателей, оказывающих определяющее влияние на систему. Участвуют восемь экспертов, которые оценивают следующие показатели: С помощью коэффициента конкордации Кэнделла Ж оценивается степень согласованности мнений экспертов. При этом коэффициент конкордации Кэнделла определяется по формуле Коэффициент конкордации Кэнделла изменяется в пределах от 0 до 1, при этом чем ближе значение коэффициента к 1, тем теснее степень согласованности экспертов. В рассматриваемом случае степень согласованности близка к среднему значению. Таким образом, по результатам выполненного исследования можно утверждать, что показатели, оказывающие определяющее влияние на систему здравоохранения, по степени влияния распределились следующим образом: 1. Индивидуальные оценки всех экспертов сводятся в таблицу априорного ранжирования (табл. 1).
может быть использован при изучении всех сфер деятельности. Разновидности экспертного опроса достаточно эффективно применяются на разных этапах социологического исследования: в определении целей и задач, выявлении проблемных ситуаций, поиске гипотез, ходе интерпретации понятий, обосновании надежности инструментария и исходной информации, в обосновании выводов, в выработке рекомендаций.
Не нашли, что искали? Воспользуйтесь поиском по сайту: ©2015 - 2024 stydopedia.ru Все материалы защищены законодательством РФ.
|