Проверка согласованности показаний экспертов

Групповая экспертная оценка может считаться надежной лишь при условии достаточной согласованности экспертов.

1. Проверка согласованности показаний экспертов с помощью коэффициентов ранговой корреляции Спирмена.

Порядок проверки:

1. Вычисляют отклонения между показаниями двух экспертов по каждому из сравниваемых элементов

2. Определяют квадрат указанных отклонений и их сумму

,

3. Вычисляют опытный коэффициент ранговой корреляции по формуле:

Проверка согласованности производится по следующему соотношению:

Если , то гипотеза о согласованности показаний экспертов не отвергается; если  то гипотеза о согласованности показаний экспертов отвергается.

При этом:

,

где t = 2,78.

Полученные результаты сведены в таблицы 7, 8, 9, 10, 11 и 12.

Таблица 7

Попарная согласованность экспертов №1 и №2

№ эксперта	Элементы (факторы)						Сумма
	Елабуга	Менделеевск	Мензелинск	Нижнекамск	Чистополь	Агрыз
1	6	3	2	1	4	5	8,5
2	6	4,5	1	2	4,5	3
	0	-1,5	1	-1	-0,5	2
	0	2,25	1	1	0,25	4

Т.к. > , то гипотеза о согласованности показаний экспертов №1 и №2 не отвергается.

Таблица 8

Попарная согласованность экспертов №1 и №3

№ эксперта	Элементы (факторы)						Сумма
	Елабуга	Менделеевск	Мензелинск	Нижнекамск	Чистополь	Агрыз
3	6	3	2	1	4	5	6
4	5	3	2	1	6	4
	1	0	0	0	-2	1
	1	0	0	0	4	1

Т.к. > , то гипотеза о согласованности показаний экспертов №1 и №3 не отвергается.

Таблица 9

Попарная согласованность экспертов №1 и №4

№ эксперта	Элементы (факторы)						Сумма
	Елабуга	Менделеевск	Мензелинск	Нижнекамск	Чистополь	Агрыз
1	6	3	2	1	4	5	6,5
4	4,5	4,5	2	1	5	4
	1,5	-1,5	0	0	-1	1
	2,25	2,25	0	0	1	1

Т.к. > , то гипотеза о согласованности показаний экспертов №1 и №4 не отвергается.

Таблица 10

Попарная согласованность экспертов №2 и №3

№ эксперта	Элементы (факторы)						Сумма
	Елабуга	Менделеевск	Мензелинск	Нижнекамск	Чистополь	Агрыз
2	6	4,5	1	2	4,5	3	8,5
2	5	3	2	1	6	4
	1	1,5	-1	1	-1,5	-1
	1	2,25	1	1	2,25	1

Т.к. > , то гипотеза о согласованности показаний экспертов №2 и №3 не отвергается.

Таблица 11

Попарная согласованность экспертов №2 и №4

№ эксперта	Элементы (факторы)						Сумма
	Елабуга	Менделеевск	Мензелинск	Нижнекамск	Чистополь	Агрыз
2	6	4,5	1	2	4,5	3	5,5
4	4,5	4,5	2	1	5	4
	1,5	0	-1	1	-0,5	-1
	2,25	0	1	1	0,25	1

Т.к. > , то гипотеза о согласованности показаний экспертов №2 и №4 не отвергается.

Таблица 12

Попарная согласованность экспертов №3 и №4

№ эксперта	Элементы (факторы)						Сумма
	Елабуга	Менделеевск	Мензелинск	Нижнекамск	Чистополь	Агрыз
3	5	3	2	1	6	4	3,5
4	4,5	4,5	2	1	5	4
	0,5	-1,5	0	0	1	0
	0,25	2,25	0	0	1	0

Т.к. > , то гипотеза о согласованности показаний экспертов №3 и №4 не отвергается.

Полученные значения ранговой корреляции занесены в таблицу 13.

Таблица 13

Коэффициенты ранговой корреляции

Проверка согласованности экспертов методом определения ранговой корреляции показала высокую согласованность оценок экспертов, о чем свидетельствует коэффициенты ранговой корреляции, которые стремятся к 1.

2. Проверка согласованности показаний группы экспертов с помощью коэффициента конкордации Кендела.

1. Определяем сумму рангов по каждому из элементов

и общую сумму рангов по всем элементам

2. Вычисляем среднеарифметическое значение коллективного мнения группы.

3. Вычисляем среднее значение суммы рангов:

4. Вычисляем фактические отклонения поэлементных сумм рангов от среднего значения суммы рангов и их квадраты:

5. Определяем сумму квадратов отклонений

6. Вычисляем значение коэффициента конкордации Кендела

7. Вычисляем значение величины:

Если > , то гипотеза о согласованности показаний экспертов не отвергается; если < то гипотеза о согласованности показаний экспертов отвергается. Где -критическая точка распределения Пирсона; =11,1

Результаты расчетов сводим в таблицу 14.

Таблица 14

Коэффициент конкордации Кендела

№ эксперта	Элементы (факторы)						Сумма рангов, Sфакт
	Елабуга	Менделеевск	Мензелинск	Нижнекамск	Чистополь	Агрыз
1	6	3	2	1	4	5	21
2	6	4,5	1	2	4,5	3	21
3	5	3	2	1	6	4	21
4	4,5	4,5	2	1	5	4	21
xj	21,5	15	7	5	19,5	16	84
xjср	5,375	3,75	1,75	1,25	4,875	4
	7,5	1	-7	-9	5,5	2
	56,25	1	49	81	30,25	4	221,5

_jср

.

> =11,1, следовательно, гипотеза о согласованности показаний экспертов не отвергается.

Проверка согласованности показаний группы экспертов с помощью коэффициента конкордации Кендела показала высокую оценку согласованности экспертов. Полученный результат дает такое же значение, как и при использовании коэффициента ранговой корреляции, что говорит о взаимозаменяемости этих методов.