При экспертной оценке, например, оценке конкурентоспособности продукции, необходимо, как в любой научной работе, провести статистическую обработку данных. Последняя начинается с определения согласованности мнений экспертов, числовым выражением которой является коэффициент конкордации.
Для чего нужна оценка согласованности мнений экспертов?
Эта оценка необходима, в первую очередь, потому, что мнения экспертов могут сильно расходиться по оцениваемым параметрам. Изначально оценку проводят по ранжированию показателей и присвоению им определенного коэффициента значимости (весомости). Несогласованное ранжирование приводит к тому, что данные коэффициенты будут статистически недостоверными. Мнения экспертов при их необходимом количестве (более 7-10) должны быть распределены по нормальному закону.
Понятие о коэффициенте конкордации
Итак. Согласованность - это конкордация. Коэффициент - это безразмерная величина, показывающая отношение в общем случае дисперсии к максимальной дисперсии. Обобщаем эти понятия.
Коэффициент конкордации - это число от 0 до 1, показывающее согласованность мнений экспертов при проведении ранжирования каких-то свойств. Чем ближе это значение к 0, тем согласованность считается более низкой. При величине данного коэффициента менее 0,3 мнения экспертов считаются несогласованными. При нахождении величины коэффициента в диапазоне от 0,3 до 0,7 согласованность считается средней. При величине более 0,7 согласованность принимается как высокая.
Случаи использования
При проведении статистических исследований могут возникать ситуации, в которых объект может характеризоваться не двумя последовательностями, которые статистически обрабатываются с помощью коэффициента конкордации, а несколькими, которые соответствующим образом ранжируют с помощью экспертов, имеющих одинаковый уровень профессионализма в определенной области.
Согласованность ранжирования, осуществленного экспертами, необходимо определять для подтверждения правильности гипотезы о том, что эксперты производят относительно точные измерения, что позволяет формировать различные группировки в экспертных группах, которые обуславливаются во многом человеческими факторами, прежде всего такими, как различие взглядов, концепций, разными научными школами, характером профессиональной деятельности и т. д.
Краткая характеристика метода рангов. Его достоинства и недостатки
При осуществлении ранжирования используется метод рангов. Его сущность заключается в том, что каждому свойству объекта присваивается свой определенный ранг. Причем каждым экспертом, входящим в экспертную группу, этот ранг присваивается самостоятельно, в результате чего возникает необходимость обработки этих данных с целью выявления согласованности мнений экспертов. Осуществляется этот процесс при помощи расчета коэффициента конкордации.
Главное достоинство метода рангов - простота осуществления.
Основными недостатками метода являются:
- небольшое количество объектов ранжирования, поскольку при превышении их количества 15-20, становится трудно присвоить объективные ранговые оценки;
- на основании использования данного метода остается открытым вопрос о том, насколько далеко по значимости находятся исследуемые объекты друг от друга.
При использовании данного метода необходимо учитывать, что рейтинги основываются на какой-либо вероятностной модели, поэтому применять их нужно с осторожностью, учитывая область применения.
Ранговый коэффициент конкордации Кендалла
Используется с целью определения зависимости между количественными и качественными признаками, характеризующими однородные объекты и ранжированными по одному принципу.
Определение данного коэффициента производится по формуле:
t = 2S/(n(n-1)), где
S - сумма разностей между числом последовательностей и числом инверсий по второму признаку;
n - количество наблюдений.
Алгоритм расчета:
- Осуществляется ранжирование величин х в порядке либо убывания, либо возрастания.
- Величины у располагают в том порядке, в котором они соответствуют величинам х.
- Для каждого последующего ранга у определяют, сколько превышающих его значений рангов идет за ним. Их складывают и рассчитывают меру соответствия последовательностей рангов по x и y.
- Аналогично рассчитывают количество рангов у с меньшими значениями, которые также складывают.
- Складывают количество рангов с превышающими значениями и количество рангов с меньшими значениями, в результате получают величину S.
Данный коэффициент показывает зависимость между двумя переменными, и в большинстве случаев называется ранговым коэффициентом корреляции Кендалла. Такую зависимость можно изобразить графически.
Определение коэффициента
Как это делается? В случае, если количество ранжируемых признаков или факторов превышает 2, используют коэффициент конкордации, который, по своей сути, представляет собой множественный вариант ранговой корреляции.
Будьте внимательны. Расчет коэффициента конкордации основан на отношении отклонения суммы квадратов рангов от средней суммы квадратов рангов, умноженного на 12, к квадрату экспертов, умноженных на разницу между кубом числа объектов и числом объектов.
Алгоритм расчета
Для того чтобы понять, откуда берется число 12 в числителе расчетной формулы, посмотрим на алгоритм определения.
Для каждой строки с рангами определенного эксперта вычисляется сумма рангов, которая представляет собой случайную величину.
Коэффициент конкордации в общем виде определяется как отношение оценки дисперсии (D) к максимальному значению оценки дисперсии (Dmax). Приведем последовательно формулы определения этих величин.
где rср - оценка математического ожидания;
m - число объектов.
Подставляя полученные формулы в отношение D к Dmax получаем окончательную формулу коэффициента конкордации:
Здесь m - число экспертов, n - число объектов.
Первая формула используется для определения коэффициента конкордации, если нет связанных рангов. Вторая формула используется в том случае, если связанные ранги имеются.
Итак, окончен расчет коэффициента конкордации. Что дальше? Полученное значение оценивается на значимость с помощью коэффициента Пирсона умножением данного коэффициента на количество экспертов и на число степеней свободы (m-1). Полученный критерий сравнивается с табличным значением, и при превышении значения первого над последним, говорят о значимости исследуемого коэффициента.
В случае наличия связанных рангов расчет критерия Пирсона несколько усложняется и производится следующим отношением: (12S)/(d(m2+m)-(1/(m-1))x(Ts1 +Ts2 +Tsn)
Пример
Предположим, что экспертным методом оценивается конкурентоспособность сливочного масла, реализуемого в розничной торговой сети. Приведем пример расчета коэффициента конкордации. Прежде, чем оценить конкурентоспособность, необходимо проранжировать потребительские свойства данного товара, которые участвуют в проводимой оценке. Предположим, что в качестве таких свойств будут выступать следующие: вкус и запах, консистенция и внешний вид, цвет, упаковка и маркировка, содержание жира, торговое наименование, производитель, цена.
Примем, что в состав экспертной группы входят 7 экспертов. На рисунке продемонстрированы результаты ранжирования данных свойств.
Среднее значение r рассчитывается как среднее арифметическое и составит 31,5. Для нахождения S суммируем квадраты разниц между ris и r средним, согласно приведенной ранее формулы, и определим, что величина S составляет 1718.
Рассчитаем коэффициент конкордации по формуле без использования связанных рангов (связанными были бы ранги в случае, если у одного и того же эксперта по разным свойствам встречались бы одинаковые ранги).
Величина данного коэффициента составит 0,83. Это свидетельствует о сильной согласованности мнений экспертов.
Проверим ее значимость по критерию Пирсона:
7 х 0,83 х (8-1) = 40,7.
Табличный критерий Пирсона при 1% уровне значимости составляет 18,5, а при 5% - 14,1. И то, и другое числа - меньше расчетного значения, следовательно, при уровне значимости 1% принимается значимым рассчитанный коэффициент конкордации.
Пример демонстрирует простоту и доступность расчета для любого человека, владеющего основами математических расчетов. Для их облегчения можно воспользоваться формами электронных таблиц.
В заключение
Таким образом, коэффициент конкордации показывает согласованность мнений нескольких экспертов. Чем дальше он от 0 и ближе к 1, тем мнения более согласованные. Подтверждаться данные коэффициенты должны расчетом критерия Пирсона.
