В ходе дискуссии разрешается критика.

Дискуссия может проводиться несколько часов и поэтому необходимо определить регламент работы: время на доклад ведущего и выступления, проведение перерывов. Следует иметь в виду, что во время перерывов дискуссия продолжается, т.е. имеют место кулуарные обсуждения. В связи с этим не следует делать перерывы слишком короткими, поскольку локальные обсуждения дают положительный эффект.

Результаты дискуссии фиксируются в виде стенограмм или магнитной записи. После окончания дискуссии проводится анализ этих записей для более четкого представления основных результатов, выявления различий в мнениях. Также как и при мозговом штурме примерно через сутки после окончания дискуссии может собираться дополнительная информация от экспертов.

Рассмотренные виды опроса дополняют друг друга и в определенной мере являются взаимозаменяемыми. Для генерации новых идей, направленных на решение проблем, целесообразно применять мозговой штурм, дискуссии, анкетирование и метод "Дельфи" (первые два тура).

Всесторонний критический анализ может быть проведен в форме дискуссии. Для количественной и качественной оценки свойств, параметров, времени и других характеристик исследуемых объектов применяются анкетирование и метод "Дельфи". Интервьюирование целесообразно использовать для уточнения результатов, полученных другими видами экспертизы.

Некоторые замечания о групповом экспертном опросе. Отдельный эксперт в ряде случаев может быть очень полезным как источник сведений и советник для руководителя, принимающего решения. Работа, выполненная одним экспертом, может обобщить мнения многих специалистов и дать полезные исходные данные для анализа. К числу групповых экспертных опросов относятся:

- открытое обсуждение вопросов с последующим открытым или закрытым голосованием;

- закрытое обсуждение (обсуждение без прямого контакта его участников при сохранении анонимности их мнений) с последующим закрытым голосованием или заполнением анкет экспертного опроса;

- свободное высказывание без обсуждения и голосования. Опыт показал, что открытое обсуждение поставленных перед группой экспертов вопросов до достижения определенного согласия между ними или до выработки общей позиции имеет ряд существенных недостатков. К ним относятся, в частности, взаимное влияние суждений экспертов и нежелание их отказываться от мнений, ранее высказанных публично. Поэтому при подготовке решений все более широко применяется закрытое обсуждение и свободное высказывание.

Закрытому обсуждению также свойственен ряд недостатков:

- отсутствие дискуссии;

- усложнение обратной связи из-за неточности формулировок, недоразумений или ошибок;

- относительно большой срок между запросом и ответом;

- трудности или ошибки в понимании причин высказанного мнения и неясности по поводу его источников.

Эти недостатки могут быть существенно уменьшены при сочетании письменной и устной форм опросов.

Закрытое обсуждение можно подразделить на две категории:

- опрос, проводимый в один тур, путем одноразового заполнения анкет, и опрос, проводимый в несколько туров, путем многократного заполнения анкет экспертного опроса для последовательного уточнения оценок.

ОЦЕНКА СОГЛАСОВАННОСТИ СУЖДЕНИЙ ЭКСПЕРТОВ

При оценке объектов исследования эксперты зачастую расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности позволяет более обоснованно интерпретировать причины расхождения мнений.

Оценка согласованности суждения экспертов основывается на использовании понятия компактности, наглядное представление о котором дает геометрическая интерпретация результатов экспертизы. Оценка каждого эксперта представляется как точка в некотором пространстве, в котором имеется понятие расстояния. Если точки, характеризующие оценки всех экспертов, расположены на небольшом расстоянии друг от друга, т.е. образуют компактную группу, то, очевидно, можно это интерпретировать как хорошую согласованность мнений экспертов. Если же точки в пространстве разбросаны на большие расстояния, т.е. не принадлежат одной области, то согласованность мнений экспертов невысокая. Возможно, что точки - мнения экспертов - расположены в пространстве так, что образуют две или несколько компактных групп. Это означает, что в экспертной группе существуют две или несколько существенно отличающихся точек зрения на оценку объектов исследования. Может быть область точек, не образующих совокупности мнений - размытая область. В этом случае не удалось обнаружить точек зрения на решаемую проблему. Лицо, принимающее решение, может повторить экспертизу или принять какое-либо решение самостоятельно.

Конкретизация изложенной идеи оценки согласованности мнений экспертов производится в зависимости от использования количественных или качественных шкал измерения и выбора меры степени согласованности.

При использовании количественных шкал измерения и оценке всего одного объекта все мнения экспертов можно представить как точки на числовой оси. Эти точки можно рассматривать как реализации случайной величины и поэтому для оценки центра группировки и разброса точек представляется возможным использовать хорошо разработанные методы математической статистики. Центр группировки точек можно определить как математическое ожидание (среднее значение) или медиану случайной величины, разброс количественно оценивается дисперсией случайной величины. Мерой согласованности оценок экспертов, т.е. компактности расположения точек на числовой оси, может служить отношение среднеквадратического отклонения к математическому ожиданию случайной величины.

Если объект оценивается несколькими числовыми параметрами, то мнение каждого эксперта представляется как точка в пространстве параметров. Центр группировки точек опять вычисляется как математическое ожидание вектора параметров, а разброс точек - дисперсией вектора параметров. Мерой согласованности суждений экспертов может служить в этом случае сумма расстояний оценок от среднего значения, отнесенная к расстоянию математического ожидания от начала координат. Мерой согласованности может служить количество точек, расположенных в радиусе среднеквадратического отклонения от математического ожидания, ко всему количеству точек. Различные методы определения согласованности количественных оценок на основе понятия компактности (близости) рассматриваются в теории группировок и распознавания образов.

При измерении объектов в порядковой шкале согласованность оценок экспертов в виде ранжировок или парных сравнений объектов также основывается на понятии компактности.

Метод простого ранжирования заключается в том, что каждый эксперт располагает признаки в порядке предпочтения. Цифрой 1 обозначается наиболее важный признак, цифрой 2 - следующий по важности и т. д. Полученные результаты сводятся в таблицу, общий вид которой представлен в таблице 8.6.1.

Таблица 8.6.1

Сводная таблица результатов

После того, как данные от экспертов собраны, проводится обработка полученных оценок.

При ранжировании объектов используется мера согласованности мнений группы экспертов - дисперсионный коэффициент конкордации (коэффициент согласия).

Рассмотрим матрицу (табл.8.6.1) результатов ранжировки m объектов группой из d экспертов

||r_is|| ,

где r_is - ранг, присваиваемый s-экспертом i-му объекту. Составим суммы рангов по каждой строке. В результате получим вектор с компонентами

.

Будем рассматривать величины r_i как реализации случайной величины и найдем оценку дисперсии. Как известно, оптимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой:

, (8.1)

где - оценка математического ожидания (средний ранг), равная

. (8.2)

Дисперсионный коэффициент конкордации определяется как отношение оценки дисперсии (8.1) к максимальному значению этой оценки:

. (8.3)

Коэффициент конкордации изменяется от нуля до единицы, поскольку 0£D£D_max.

Максимальное значение дисперсии равно

. (8.4)

Введем обозначение

. (8.5)

Используя (8.5), запишем оценку дисперсии (8.1) в виде

. (8.6)

Подставляя (8.4), (8.6) в (8.3) и сокращая на множитель (m-1), запишем окончательное выражение для коэффициента конкордации

. (8.7)

Данная формула определяет коэффициент конкордации для случая отсутствия связных рангов. При W=0 согласованность оценок различных экспертов отсутствует, а при W=1 согласованность мнений экспертов полная.

При крайних коэффициентах конкордации могут быть даны следующие рекомендации. Если W=0, то для получения достоверных оценок следует уточнить исходные данные о событиях и (либо) изменить состав группы экспертов. При W=1 не всегда можно считать оценки объективными, поскольку может оказаться, что все члены экспертной группы условились придерживаться одинаковых взглядов.

Необходимо, чтобы найденное значение W было больше заданного значения W_З (W>W_З). Обычно принимается W=0,5, т.е. при W>0,5 выводы экспертов согласованы в большей мере (сходятся в оценке событий), чем несогласованы. При W<0,5 оценки нельзя считать в достаточной степени согласованными.

При наличии связных рангов коэффициент конкордации вычисляется по формуле

, (8.8)

где

, (8.9)

В формуле (8.9) T_s - показатель связных рангов в s-й ранжировке, H_s - число групп равных рангов в s-й ранжировке, h_k - число равных рангов в k-й группе связных рангов при ранжировке s-м экспертом. Если совпадающих рангов нет, то H_s=0, h_k=0 и, следовательно, T_s=0. В этом случае формула (9.8) совпадает с формулой (8.7).

Коэффициент конкордации представляет собой случайную величину. Оценка значимости W может быть произведена по критерию Пирсона χ². Величина d(m-1)W имеет χ² = распределение с χ = m-1 степенями свободы.

При наличии связных рангов χ² = распределение с ν = m-1 cтепенями свободы имеет величину

. (8.10)

ПРИМЕР 1. Результаты ранжировки шести объектов (X₁, X₂, X₃, X₄, X₅ и X₆) пятью экспертами (s₁, s₂, s₃, s₄, s₅) представлены в табл.8.6.2

Таблица 8.6.2

Сводная таблица результатов ранжирования

Вычислим коэффициент конкордации и произведем оценку его значимости. Среднее значение по формуле (8.2) равно

.

Величина S в соответствии с формулой (8.5) равна

.

Поскольку в ранжировке имеются связные ранги, то вычисление коэффициента конкордации выполняется по формуле (8.8). Предварительно вычисляются T_s, используя формулу (8.9). В данном примере из табл. 8.6.2 следует, что в ранжировке экспертом s₁ имеется одна группа связных рангов, поэтому Н₁=1, а в этой группе содержится два связных ранга, равных 2,5, поэтому k=1 и h₁=2. Отсюда Т₁=2³-2=6. Аналогичным образом вычисляются Т₂...Т₅:

Ò₂=3³-3=24; Ò₃=2³-2+2³-2=12; Ò₄=2³-2+2³-2=12; Ò₅=2³-2=6.

Подставляя значения Т_s, S и m=6, d=5 в формулу (8.8) и произведя вычисления, получаем

W = 12´361 / [5²(6³-6)-5´60] = 0,874.

Оценим значимость коэффициента конкордации. В данном случае число степеней свободы ν=m-1=6-1=5. Табличное значение для ν=5 и 5% уровня значимости равно 11,07 (табл. 8.6.2). Вычисляя значение χ² по формуле (8.10), получаем

χ² = 12´361 / [5´6´7 - 0,25´60] = 21,8.

Поскольку 11,07<21,8, то гипотеза о согласии экспертов в ранжировках принимается.

Не нашли, что искали? Воспользуйтесь поиском по сайту: