Анализ достоверности групповых оценок

В методе классификации оценку достоверности можно проводить, используя коэффициент согласия или устойчивость групповых оценок.

Оценка согласованности экспертов. Исходя из общей формулы коэффициента согласия, приведенной в п. 3, выведем выражение для ко­эффициента, используемого при обработке экспертных оценок в методе классификации. Сначала, выведем формулу для Ej, характеризующего согласованность экспертов по одному объекту j.

Коэффициент корреляции оценок пары экспертов i и l по объекту равен:

.

Среднее:

. (5)

А среднее квадратичное Sⁱ = S^l равно

.

Но так как все значения , кроме одного , то

. (6)

Таким образом,

.

Коэффициент согласия экспертов по объекту j равен

Введем обозначения:

,

, (7)

тогда выражение для Ej перепишется в виде:

, (8)

Оценку согласованности экспертов по всей совокупности объектов можно провести, если все эксперты дали оценки всех объектов, т.е. . В этом случае

, (9)

. (10)

Как указывалось в п. 3, проверка значимости коэффициента согла­сия заключается в проверке гипотезы H0 случайности совпадении мнений экспертов, которую можно также интерпретировать и как случайность про­ставления экспертами своих оценок.

Сначала рассмотрим вопрос оценки значимости коэффициентов со­гласия Ej (по каждому объекту). Для проверки гипотезы в качестве ста­тистики используем Еj, вычисляемую по формуле (8). Найдем функцию распределения Ej, когда гипотеза H0 верна и число экспертов тj доста­точно большое (метод классификации требует привлечения значительного числа экспертов ).

Выражение (8) для Ej с учетом (7) перепишем в виде:

(11)

Так как , (см. (5), (6)), то введя переменную , для которой уже , а , формула примет вид:

. (12)

В соответствии с центральной предельной теоремой сумма независимых одинаково распределенных случайных величин при достаточно большом числе слагаемых распределена по нормальному закону [2]. Значит, распределена по нормальному закону с и .

После нормировки перейдем к , распределенной по нормальному закону с и . Выражение (12) с учетом (13) примет вид:

. (14)

Сумма квадратов независимых нормально распределенных случайных величин, в свою очередь, распределена по закону Пирсона с числом степеней свободы n, равным числу слагаемых в сумме за вычетом количества наложенных связей на элементы суммы [3]. Таким образом, распределена по закону Пирсона с числом степеней свободы , т.к. на каждую строку матрицы накладывалось условие .

Из (14) получаем, что когда гипотезаH0 верна, статистика

(15)

распределена по закону Пирсона с числом степеней свободы .

Для проверки гипотезы H0 необходимо задать уровень значи­мости который характеризует требования к надежности групповых оценок, по таблицам распределения (см. приложение 11) определить .

При малом числе экспертов для проверки значимости следует использовать таблицы распределения при малых выборках (приложение 3).

Решающим правилом для того, чтобы считать коэффициент со­гласия значимым и, соответственно, групповую оценку объекта Oj досто­верной, является следующее неравенство: или .

Проверка значимости коэффициента согласия E по всей совокупности объектов осуществляется аналогично Еj. При этом статистика вычисляется по формуле:

, (16)

число степеней свободы равно .

При малом числе экспертов для проверки значимости E следует использовать таблицы распределения E при малых выборках (приложение 4).

Говоря о сравнении оценок объектов, данных различными экспер­тами, необходимо остановиться на коэффициенте корреляции.

Максимальное значение коэффициента корреляции, вычисляемого по формуле (9), равно 1, а минимальное значение соответствует несов­падению оценок экспертов и равно:

. (17)

Как видно из (17), зависит от числа классов и отрицательно.

Однако в шкале наименований между шкальными значениями устанавли­вается только отношение равенства и отсутствует отношение порядка, как в других шкалах (порядка, интервалов, отношений). Поэтому, сравнивая оценки, измеренные по шкале наименований, не имеет смысла говорить об отри­цательном коэффициенте корреляции.

Поэтому для оценки согласованности оценок двух экспертов или согласованности оценок одного эксперта с групповыми введем специаль­ный коэффициент корреляции для шкалы наименований (индекс "Н" указывает на шкалу наименований), который будет меняться в интервале (0; 1). Значение "нуль" соответствует несовпадению оценок экспертов, а единица полному совпадению. Выражение для получим из формулы (9), для – путем линейного преобразования

.

Коэффициенты и найдем из следующих условий:

;

.

С учетом(17) эти условия запишутся в следующем виде:

;

.

Решением этой системы уравнений является:

.

Подставим эти выражения в (9):

.

В результате преобразования получим:

. (18)

Подсчет осуществлять довольно просто: достаточно вычислить количество объектов, по которым оценки экспертов совпали, и отнести результат к общему числу объектов n.

Проверка на значимость коэффициента корреляции заключается в проверке гипотезы H0 о независимости оценок i и lэкспертов, которую можно интерпретировать и как гипотезу равенства нулю.

Если рассматриваемая гипотеза верна, то вероятность того, что

= 1, т.е. того, что совпадут оценки j объекта у i и l экспертов, равна , а вероятность того, что оценки экспертов не совпадут ( = 0), равна .

Так как оценки объектов независимы, то вероятность совпадения оценок всех п объектов i и l экспертов, т.е. ,равна . Вероятность того, что совпадут оценки (n-1) объектов, т.е. , равна . Вероятность того, что , равна .

Функция распределения при выполнении выдвинутой гипоте­зы может быть получена из следующего выражения:

.

В приложении 2 приведены функции распределения . По заданному уровню значимости находится . Решающее правило для отвержения выдвинутой гипотезы о не­зависимости оценок экспертов имеет вид .

По коэффициенту корреляции рекомендуется оценивать согласо­ванность мнений каждого эксперта с групповыми оценками.