Экспертная оценка качества или качественная оценка экспертов. Качественная экспертиза

1. Экспертный метод оценки качества товаров: определение, особенности при экспертизе продовольственных и непродовольственных товаров.

Экспертный метод
Экспертный метод определения показателей качества основан на учете мнений специалистов-экспертов. Эксперт – это специалист, компетентный в решении конкретной задачи. Этот метод применяют в тех случаях, когда показатели качества не могут быть определены другими методами из-за недостаточного количества информации, необходимости разработки специальных технических средств и т.п.
Экспертный метод является совокупностью нескольких различных методов, которые представляют собой его модификации. Известные разновидности экспертного метода применяются там, где основой решения является коллективное решение компетентных людей (экспертов). Квалификация эксперта определяется не только знанием предмета обсуждения. Учитываются специфические возможности эксперта. Например, в пищевой промышленности при оценке качества продуктов питания учитывают возможности эксперта воспринимать вкус, запах, а также его состояние здоровья. Эксперты, оценивающие эстетические и эргономические показатели качества, должны быть хорошо осведомлены в области художественного конструирования.
При использовании экспертного метода для оценки качества формируют рабочую и экспертную группы. Рабочая группа организует процедуру опроса экспертов, собирает анкеты, обрабатывает и анализирует экспертные оценки.
Экспертная группа формируется из высококвалифицированных специалистов в области создания и использования оцениваемой продукции: товароведы, маркетологи, дизайнеры, конструкторы, технологи и др. Желательно, чтобы экспертная группа формировалась не для одной экспертизы, а как постоянно функционирующий орган с достаточно стабильным составом экспертов.

2.Экологичность и безопасность товаров: определение, значимость, виды безопасности, характерезующие экологичность и безопасность.

Экологические свойства - способность товара не оказывать вредного воздействия на окружающую среду при эксплуатации. Все больше загрязнение окружающей среды ставит существование человечества на грань катастрофы. Из-за этого резко возрастает степень значимости экологические свойств (например, для муки, крахмала, стирального порошка надежны транспортные средства, упаковка). Все товары в разной степени загрязняют окружающую среду на различных этапах товародвижения. Так, наибольшее загрязнение окружающей среды отмечается при производстве товаров или сырья, материалов или полуфабрикатов. Показателями экологических свойств товаров служат различные виды загрязнений, которые ухудшают безопасность окружающей среды. В Федеральном законе «о техническом регулировании» безопасность населения и окружающей среды объединены в безопасность для жизни, здоровья потребителей, животных и растений, для имущества юридических и физических лиц. Безопасность - очень важное и широко трактуемое свойство многих объектов: товаров, процессов, услуг, а так же окружающей среды. Поэтому в ст. 2 ФЗ "О техническом регулировании» дано обобщенное определение: Безопасность - состояние, при котором риск вреда или ущерба ограничен допустимым уровнем. Это отсутствие риска для жизни, здоровья, при эксплуатации товаров». Безопасность товаров относиться к обязательным требованиям и должна регламентироваться техническими регламентами. Этим качеством должны обладать все Потребительские товары . В отличие от других потребительских свойств, ухудшение или утрата приводит к потерям функционального или социального назначения, превышение допустимого уровня показателей безопасности переводит продукцию в категорию опасной. В соответствии с ФЗ «О техническом регулировании» различают следующие виды безопасности : 1) химическая безопасность - отсутствие риска, которой может быть нанесен токсичными веществами. (Токсичные элементы- соли тяжелых металлов, запрещены пищевые добавки, красители для упаковки, мышьяк, ртуть, медь, железо); 2) рациональная безопасность - отсутствие вреда, которые могут нанести радиоактивные элементы (строительные материалы: шифр, цемент); 3) механическая безопасность - отсутствие вреда, который может быть нанесен вследствие ударов, трения, проколов (в основном на непродовольственные товары -одежда, обувь); 4) электрическая, магнитная, э/магнитная безопасность - отсутствие риска, который может быть нанесен воздействием электрических, магнитных, э/магнитных полей при эксплуатации сложнотехнических товаров (электротовары, например, печи); 5) термическая безопасность (температура увеличивается) - ею должны обладать нагревательные приборы; 6) санитарно-гигиеническая безопасность (биоповреждения): а) заболевания вызывают микроорганизмы; б) насекомые, грызуны - зоологические повреждения; 7) противопожарная безопасность - отсутствие недопустимого риска для жизни, здоровья при хранении и эксплуатации товаров в результате возгорания или самовозгорания.

3. Покажите на примере качественной приемки какой-либо группы товаров в конкретном торговом предприятии (магазине, базе) следующее:

Наличие на исследуемый товар сертификата соответствия на безопасность и на качество;

Нарушение каких факторов качества (сырье, технологические процессы, конструкция, упаковка, маркировка, хранение) вызвал перевод изделия в брак;

По какому НД (полное обозначение и наименование стандарта или ТУ) производилась приемка по качеству и какие конкретно требования были нарушены (необходимо дать формулировку соответствующего пункта НД, где отражены эти требования);

Укажите величину приемочного и браковочного числа на исследуемый товар.

Проводилась приемка партии текстильных товаров (полушерстяных одеял) в магазине «Промтовары» ИП Белова Г.А.По российскому законодательству реализация потребителю большинства вида товаров невозможна без документа, подтверждающего их соответствие требованиям безопасности. Таким образом, проведение сертификации для ряда товаров является обязательным условием их вывода на рынок с целью последующей реализации.Одеяла относятся к товарам, подлежащим обязательной сертификации, так как их качество может повлиять на безопасность людей.Сертификат соответствия – это документ, подтверждаюoий соответствие продукции требованиям безопасности и качества, установленным для данной продукции в технических регламентах, сводах правил, действующих стандартов и другой документации.На одеяла имелись в наличии санитарно-эпидемиологическое заключение и сертификат соответствия в системе сертификации ГОСТ Р.Приемка товара осуществлялась по ГОСТ 20566-75 «Ткани и штучные изделия текстильные. Правила приемки и методы отбора образцов» на соответствие качества одеял требованиям ГОСТ 9382-78 «Одеяла чистошерстяные и полушерстяные. Общие технические требования».Согласно пункта 3 ГОСТ ГОСТ 20566-75 проверке качества штучных изделий по внешнему виду, соответствию упаковки маркировки требованиям НТД подвергают 100 % продукции.При внешнем осмотре партии одеял, состоящей из 20 штук, было обнаружено одно одеяло с необработанными краями – края одеяла не обшиты лентой и не обметаны.Таким образом, было нарушено требование пункта 1.11 ГОСТ 9382-78 «Одеяла чистошерстяные и полушерстяные. Общие технические требования», согласно которому, обрезные края одеял должны быть обшиты лентой или прочно обметаны через край на специальных обметочных машинах хлопчатобумажными нитками или нитками из химических волокон. Данное несоответствие возникло в результате нарушения технологического процесса изготовления одеяла - не выполнены операции по обработке краев.

Эксперт - специалист (профессионал), оценки и суждения которого ЛПР считает полезным учитывать при принятии решений.

Дадим некоторые пояснения. Естественно, что мнения начинающего терапевта и всемирно известного кардиолога несопоставимы по уровню оценки состояния больного и рекомендаций по его лечению в достаточно сложной ситуации. Однако если больному необходима экстренная помощь, а специалист высокого профессионального уровня по той или иной причине не может быть приглашен, то решение будет принимать тот, кто окажется рядом, даже если он и менее квалифицирован. В этой ситуации в роли эксперта оказывается именно он.

Таким образом, формирование состава экспертной комиссии зависит от:

· конкретной ситуации принятия решения;

· возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов;

· возможностей специалистов принять участие в работе экспертной комиссии.

Необходимо также отметить, что в настоящее время не существует общепринятой единой методики оценки качеств эксперта, поэтому мнения о профессиональном уровне специалиста нередко существенно расходятся. В реальной практике ЛПР стремится либо сам составить мнение о профессиональном уровне кандидата в эксперты, либо доверяет это тем, кому поручена организация экспертизы. Поэтому при отсутствии возможностей и опыта организации и проведения экспертиз имеет смысл обращаться к услугам независимых центров экспертизы, информационно-аналитическим центров и т.п., основными задачами которых являются анализ ситуации, оценка объектов экспертизы, подготовка и оценка альтернативных вариантов решений.

При оценке качеств эксперта необходимо учитывать его профессиональные знания, опыт деятельности и эффективность работы в составе экспертных комиссий. Существует много способов оценки качеств эксперта, каждый из которых может быть удачно использован в том или ином конкретном случае. Они подразделяются на три основных группы:

· априорные;

· апостериорные;

· тестовые.

Априорными называются методы оценки качеств эксперта, при которых не используется информация о результатах его участия в предшествовавших экспертизах.

Апостериорными называются методы оценки качеств эксперта, основанные на информации о результатах его участия в предыдущих экспертизах.

Тестовыми являются методы оценки качеств эксперта, предполагающие проведение специального испытания.

Априорные методы оценки эксперта. К этой группе относятся, прежде всего, наиболее распространенные методы самооценивания, суть которых заключается в том, что эксперт сам дает оценку своим качествам. При этом могут использоваться следующие способы:

· самооценка по одной из балльных шкал (3-х, 5-ти, 10-ти или 100-балльной);

· самооценка с использованием вербально-числовых шкал, которые, наряду с численными значениями градаций, содержат их качественное описание;

· самооценка по вербальной шкале, при которой эксперт дает словесную оценку своим знаниям и опыту, используя для этого качественные градации заранее разработанной шкалы;

· самооценка при помощи дифференциального метода, при котором эксперт оценивает свои качества, используя два основных частных критерия: критерий, характеризующий его знакомство с основными источниками информации в данной области (например, специальные отечественные и зарубежные периодические издания, патентная информация, внутрифирменная информация и т.п.) и критерий, характеризующий знакомство с объектом экспертизы (например, знание отраслевой специфики, конкретного предприятия, знакомство с образцами продукции и т.д.).

В этом случае комплексная самооценка эксперта рассчитывается по формуле:

К к = (К и + ß К з) / 2,

где К к - комплексная самооценка эксперта, К и - коэффициент информированности (в долях единицы), К з - коэффициент знакомства с проблемой, ß - весовой коэффициент.

Более подробно вопросы измерения показателей и типы шкал будут рассмотрены в следующей теме.

Точность методов самооценки довольно спорна. С одной стороны, никто лучше самого эксперта не представляет всю совокупность знаний и опыта, которыми он обладает. С другой стороны, человек больше всего ошибается, оценивая свои собственные возможности.

К другой группе априорных методов оценки качеств эксперта относятся методы взаимной оценки, использование которых предполагает, что эксперты оценивают друг друга. Наиболее распространенным из них является метод списка экспертов. Процедура его применения заключается в следующем. Каждый из экспертов составляет список специалистов, которых он считает компетентными в данной области. Затем на основе этих списков рассчитывают коэффициент компетентности эксперта - отношение числа списков, в которых данный специалист присутствует, к общему числу составленных списков.

К числу априорных методов оценки качеств эксперта относится также наиболее распространенный документационный или анкетный метод. В нем для оценки определенных качеств специалиста предлагается пользоваться объективными характеристиками, имеющими документальное подтверждение, например, такими, как: стаж работы, ученая степень, ученое звание, занимаемая должность, количество публикаций, индекс цитирования и т.п. При этом следует иметь в виду, что основываясь только на этих объективных факторах невозможно адекватно оценить пригодность и полезность участия эксперта в работе конкретной экспертной группы.

Апостериорные методы оценки. Эти методы предполагают при оценке качеств эксперта использование результатов его участия в предшествовавших опросах. С их помощью в определенной степени могут быть выявлены такие качества как конформизм, конъюнктурность, компетентность эксперта. В частности, для оценки уровня компетентности специалиста может быть применен метод парных сравнений. Его суть заключается в том, что эксперту последовательно предъявляются пары сравниваемых объектов оценки и он выбирает из каждой пары наиболее предпочтительный с его точки зрения объект. После предъявления всех пар у аналитиков имеется информация о сравнительных предпочтениях эксперта в отношении оцениваемых объектов. При этом может возникнуть ситуация, когда при непосредственном сравнении первый объект предпочтительней второго, второй предпочтительней третьего, но, в то же время, третий объект оказывается предпочтительней первого, т.е. возникает очевидное противоречие. В реальной практике такие противоречия (конечно, в более длинных цепочках сравнения) случаются не так уж редко. Естественно, чем меньше противоречий в оценках эксперта, тем более обоснована его компетентность.

Апостериорный метод предполагает также оценку достоверности суждений эксперта. В качестве критерия, позволяющего оценить такую достоверность, используется коэффициент достоверности - относительная частота случаев, в которых эксперт приписывал наибольшую вероятность впоследствии подтвердившимся событиям. При использовании данного метода рассчитывают также среднее значение коэффициента достоверности экспертной комиссии и сравнивают с ним индивидуальные коэффициенты экспертов.

Еще одним методом апостериорной оценки является метод отклонения от результирующей групповой оценки.Этот метод основан на расчете коэффициента отклонения - Ко.

К oi = D oi / D max ,

где К oi - коэффициент отклонения суждений i-го эксперта, D oi - отклонение индивидуальной оценки i-го эксперта от результирующей оценки, D max - максимально возможное отклонение оценки эксперта от результирующей оценки.

Тестовые методы оценки качеств эксперта. Их суть - выполнение испытуемым экспертом некоторого заранее подготовленного задания. Эти методы достаточно хорошо известны, т.к. широко используются для определения профессиональной пригодности специалистов в различных областях деятельности. Достоинство этих способов состоит в том, что они позволяют не только установить наличие у эксперта определенного профессионального уровня, но и выявить навыки и опыт, необходимые для продуктивного участия в работе экспертной комиссии. Необходимо, однако, помнить, что проведение тестовых экспериментов требует соблюдения следующих важных правил:

· тест должен быть разработан специально под конкретные объекты экспертной оценки;

· истинные значения оцениваемых параметров (правильные ответы) должны быть известны аналитической группе, проводящей испытание, но неизвестны испытуемому эксперту;

· должна быть разработана шкала для определения точности оценок, даваемым экспертом;

· вероятность случайного угадывания истинной оценки должна быть очень мала.

Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта как воспроизводимость экспертных оценок. Для этого проводят несколько тестовых экспериментов, приближенных к условиям реальной экспертизы. При этом интервал времени между ними должен быть достаточным для того, чтобы испытуемый успел забыть результаты предыдущего. После чего сравнивают между собой полученные оценки. Более стабильные (воспроизводимые) оценки эксперта свидетельствуют как о большей его профессиональной компетентности, так и о большей пригодности для участия в экспертной комиссии.

ЦЕЛИ ЗАНЯТИЯ: 1) изучение методов количественной оценки качества экспертов при формировании экспертной группы;

2) использование методов статистической оценки качества экспертов при создании экспертной группы, предназначенной для оценки качества конкретного изделия.

1.ОБЩИЕ ПОЛОЖЕНИЯ

Одним из наиболее важных вопросов, которые приходится решать в процессе экспертной оценки качества продукции, является подбор экспертов. Так же как в метрологии точность результата измерения зависит от точности прибора, которым производится это измерение, так и объективность экспертной оценки, ее точность зависят в основном от квалификации эксперта, его способности к аналитическому мышлению, синтетическому обобщению, от его кругозора, эрудиции, психофизиологических способностей и т.д.

В настоящее время на практике для количественной оценки качества экспертов используются следующие методы:

1. Эвристические, при которых значение оценок определяются человеком; методы эвристической оценки основаны на том, что представление, сложившееся о данном эксперте у окружающих (или у него самого), достаточно правильно отражает его истинное качество; эвристические оценки включают: самооценку, взаимооценку, оценку эксперта членами рабочей группы.
2. Статические, при которых значение оценок получаются в результате обработки суждения экспертов об оцениваемой продукции.
3. Тестовые, при которых значения оценок получаются в результате специальных испытаний, основанных на решении специально подобранных тестовых задач.
4. Документальные, при которых значения оценок получаются на основе анализа документальных данных об экспертах.
5. Комбинированные, при которых значения оценок получаются с помощью любой совокупности перечисленных выше методов.

Наиболее обоснованными в настоящее время являются статистические методы оценки качества экспертов, поэтому рассмотрим их более подробно.

К методам статической оценки относят оценку по отклонению от среднего мнения экспертной группы Кос и оценку воспроизводимости результата Квр, которые могут быть получены после обработки результатов специальных опросов, предшествующих операции формировании экспертной группы.

В основе первого метода лежит посылка, что истинным значением определяемой экспертами величины (свойства), является значение средней оценки экспертной группы. Чем меньше отклонение значения индивидуальной оценки, назначенной экспертом, от групповой средней оценки, тем выше качество этого эксперта, которое может быть учтено путем присвоения в результате каждому эксперту соответствующего «веса» или весового коэффициента.

В том случае, когда эксперт определяет численные значения оцениваемых свойств (в баллах, долях единицы или ппроцентах), предлагается использовать в качестве оценки эксперта расстояние между «средним» рядом значений оценок и значениями оценок назначенными данным экспертом. Например:

при этом n

j=1/2А Кi - Кij

где Кi- среднее значение i- той оцениваемой величины (свойства);

Кij- значение i- той величины (свойства), назначенное j -тым экспертом; n

В основе второго метода лежит посылка, что высоким может считаться качество такого эксперта, для которого свойственна воспроизводимость назначаемых значений оценок, т.е. значения оценок одного и того же объекта в нескольких турах должны быть достаточно близкими. В этом случае можно говорить о стабильности его мнения. Способы оценки качества эксперта по воспроизводимости результата аналогичны способам оценки по отклонению от среднего мнения.

В том случае, когда эксперты ранжируют оцениваемые величины (свойства), для количественного выражения их качества или согласованности, чаще всего на практике используется коэффициент конкордации, который вычисляется следующим образом:

m2 (n3 - n) - m Tj

где Si - сумма рангов, присвоенных m экспертами i-тому фактору;

S - среднее значение сумм рангов;

Величины Si и S определяются отношениями:

Si= Кij ; S= Si / n

где j - номер эксперта;

i - номер оцениваемого фактора.

Величина Tj определяется из выражения:

Tj= (t3jl – tjl),

где tjl - число одинаковых рангов 1-го вида в оценках j -того эксперта;

Lj -количество групп факторов с совпавшими рангами в оценках j -того эксперта.

Коэффициент конкордации изменяется в пределах от нуля до единицы и его значение, равное единице, соответствует полной согласованности мнений экспертов. Обычно согласованность мнений экспертов считается достаточной при W >0,5.

Согласованность мнений экспертов может быть случайной или неслучайной. В качестве количественной оценки степени этой случайности используется уровень значимости коэффициента конкордации. Этот уровень находится из таблицы на основе данных о числе степеней свободы n=1 и величины 2 (критерий Пирсона).

Величина 2 определяется по формуле:

mn (n +1) - 1 Tj

Определенный таким образом уровень значимости коэффициента конкордации дает значение вероятности случайного совпадения мнений экспертов, т.е. достоверность оценок. Если согласованность мнений экспертов высокая и неслучайная, то данная экспертная группа может быть принята за основу для экспертной оценки качества продукции. Если же согласованность мнений недостаточная (W<0,5), то анализируя оценки отдельных экспертов, выделяют эксперта (экспертов), имеющего наиболее отличающиеся оценки от общей совокупности оценок других экспертов и подсчитывают значение коэффициента конкордации опять. Эту операцию повторяют до тех пор, пока не будет достигнута приемлемая согласованность экспертных оценок. При этом рекомендуется, чтобы количество оставшихся экспертов было не менее 2/3 от первоначального состава экспертной группы. В противном случае требуется заново сформировать экспертную группу. Для решения большинства задач по экспертной оценке качества продукции, оптимальными могут считаться экспертные группы, включающие от 7 до 20 экспертов.

II Самостоятельная работа.

Задание 1. Для заданного аналога оцениваемого изделия, произвести экспертную оценку эргомических свойств, в соответствии с разработанной иерархической структурой свойств этого изделия (см. практическое занятие №2). Определить численные значения соответствующих эргономических показателей, руководствуясь следующей оценочной шкалой:

Произвести необходимую статистическую обработку полученных данных с целью оценки качества каждого эксперта, участвующего в эксперементе. Результаты выполнения задания рекомендуется представить в виде следующей таблицы:

Задание 2. Используя экспресс-метод экспертной оценки качества, произвести ранжирование ряда предложенных изделий (3…5 шт.), аналогичных оцениваемому изделию, в зависимости от уровня их качества произвести необходимую статистическую обработку полученных данных с целью оценки качества каждого эксперта, участвующего в эксперементе. Результаты выполнения задания рекомендуется представить в виде следующей таблицы:

Экспертные оценки и способы измерений.

Оценка эксперта – количественное и/или качественное измерение соответствующего показателя.

Методы получения количественных экспертных оценок

Непосредственная количественная оценка

Эксперт указывает конкретное числовое значение или диапазон искомого параметра.

Метод средней точки.

Применяется при большом количестве альтернативных вариантов.

Сначала выбираются наиболее (А) и наименее (Я) предпочтительные альтернативы. Далее – промежуточный вариант – М, оценка которого делит отрезок А – Я пополам.

Методы получения качественных экспертных оценок

Экспертная классификация (определение принадлежности к группе, сорту, категории – сорт чая)

Ранжирование альтернатив – упорядочение сравниваемых альтернатив по степени предпочтительности определённого признака.

Метод экспертных кривых применяется для получении прогнозов на основе анализа динамики показателей, характеризующих объект эксперимента (график, экстраполяция). Для предотвращения ошибок при экстраполяции на основе обобщенного мнения экспертов на графике определяются точки, в которых следует ожидать изменения тенденции развития показателя.

Инструментами вышеперечисленных методов являются качественные и количественные шкалы.

19. Способы оценки качеств экспертов и формирование экспертных комиссий.

Метод суда.

Процедура аналогична судебному заседанию. Часть экспертов – обвиняют, часть – защищают, часть – присяжные, выносящие окончательный вердикт. Экспертные оценки – субъективны, поэтому ключевой вопрос – подбор экспертов.

Оценка качеств эксперта .

Эксперт – специалист, профессионал, оценки и суждения которого лицо, принимающее решение, считает полезным учитывать в процессе принятия решения.

Формирование состава экспертной комиссии эависит от:

Конкретной ситуации принятия решения;

Возможностей организаторов экспертизы привлечь для работы высококвалифицированных специалистов;

Возможностей специалистов принять участие в работе экспертной комиссии.

Не существует общепринятой единой методики оценки качеств эксперта.

Можно опираться на:

Профессиональные знания;

Опыт и эффективность деятельности в составе экспертных комиссий.

Способы оценки качеств эксперта:

Априорные – не используют информацию о результатах участия эксперта в предыдущих экспертизах (самооценка, взаимная оценка, метод списка экспертов, документационный (анкетный) метод).

Апостериорные – используют информацию о результатах участия эксперта в предыдущих экспертизах (метод парных сравнений объектов, наиболее предпочтительных для данного эксперта, метод отклонения от результирующей групповой оценки).

Тестовые – подразумевают проведение специального испытания.

Тест должен быть специально разработан под конкретные объекты экспертной оценки

Истинные значения оцениваемых параметров (правильные ответы) не должны быть известны эксперту

Должна быть разработана шкала для определения точности оценок, даваемых экспертом

Вероятность случайного угадывания правильной оценки должна быть очень мала.

Использование тестовых методов позволяет оценить такое важное профессиональное качество эксперта как воспроизводимость экспертных оценок. Проводят ряд аналогичных тестов и оценивают полученные результаты. Стабильность оценок говорит о профессиональной компетенции эксперта.

В образовательном сервисе

, аспирант , *****@***ru,

ФГОУВПО «Российский государственный университет туризма и сервиса», г. Москва

Success of information system depends significantly on the quality of its functioning, however it is not always possible to define it by the settlement-analytical method. In the article quality questions with reference to information systems of high school are considered. Methodological conditions of an estimation of the quality by means of an expert method are considered. The technology and model of calculation of indicators of an expert estimation of the quality are developed.

Успешность информационной системы в значительной мере зависит от качества ее функционирования, однако не всегда возможно определить его расчетно-аналитическим методом. В статье рассматриваются вопросы качества применительно к информационным системам вуза. Рассмотрены методологические условия оценки качества с помощью экспертного метода. Разработаны технология и модель расчета показателей экспертной оценки качества.

Key words : Quality of information systems, expert estimation, educational service

Ключевые слова : качество информационных систем, экспертная оценка, образовательный сервис

Эффективность информационных систем (ИС) в значительной мере определяется оценкой качества на всех стадиях их жизненного цикла . Особую значимость составляет задача оценки качества функционирования информационных систем в образовательном сервисе, например, в вузовской сфере. Существует несколько направлений в оценке качества, в частности, эвристический, расчетно-аналитический и экспертный. В практике экспертной оценки качества, в частности при экспертной оценке потребительских свойств продукции в основном применяются комплексная и оперативная экспертизы . Однако пока нет методик экспертной оценки качества функционирования информационных систем вуза.

Комплексная экспертиза проводится для всестороннего изучения и оценки качества информационных систем серийно. В связи с этим при экспертизе реализуют системный, комплексный подход к анализу и оценке функционирования ИС. При комплексной экспертизе необходимо получить не только более полную характеристику оцениваемой конкретной ИС, но также и определенный научный, методический и нормативный материал , используемый при проведении оценки качества ИС достаточно широкого класса и назначения.

Оперативная экспертиза основывается на данных, полученных при проведении предшествующих комплексных экспертиз. Этот прием позволяет существенно сократить объем и сроки экспертных работ при достаточной глубине и обоснованности экспертных заключений.

При экспертном методе оценку уровня качества или показателя того или иного свойства ИС можно определить в безразмерных единицах. В случае если результат оценки (экспертного измерения) качества эксперты представляют в виде ранжированного ряда, то численное определение оценок экспертов состоит в следующем.

1. Все объекты оценки (информационная система, ее компоненты, свойства) нумеруются произвольно.

2. Эксперты ранжируют объекты по шкале порядка.

3. Ранжированные ряды объектов, составленные экспертами, сопоставляются.

Пример . Пусть пять экспертов о семи объектах экспертизы Q составили такие ранжированные ряды по возрастающей шкале порядка:

эксперт № 1 –

эксперт № 2 –

эксперт № з –

эксперт № 4 –

эксперт № 5 –

Место объекта в ранжированном ряду называется его рангом. Численное значение ранга в ряду возрастающей шкалы порядка увеличивается от 1 до t. В нашем примере t=1.

4. Определяются суммы рангов каждого из объектов экспертной оценки. В рассматриваемом примере они таковы:

https://pandia.ru/text/78/318/images/image007_78.gif" width="85" height="85 src="> (1) ,

где n – количество экспертов; m - число оцениваемых показателей;

https://pandia.ru/text/78/318/images/image009_66.gif" width="334" height="125 src=">.

Анализируя полученные экспертным методом оценки качества, можно не только указать, какой объект лучше или хуже других, но и на сколько.

Если ранжирование объектов по их качеству осуществлять в табличной форме, то сопоставления и расчеты численных значений экспертных оценок производятся по следующей методике.

Во-первых, составляется таблица, по которой каждый эксперт осуществляет сопоставление и оценку рассматриваемых объектов. При этом каждый i-й объект сопоставляется с другими j-ми объектами сравнения. Если при попарном сопоставлении i-и объект признается лучше j-го, то это условие обозначается цифрой 1, противоположная оценка обозначается -1, а равнокачественные объекты отмечаются в таблице цифрой 0 (ноль).

В таком случае сопоставительная таблица оценок одного эксперта, например, шести ИС, как объектов исследования, будет иметь следующий вид.

Оценки эксперта по объектам

Из этой таблицы видно, что предпочтительные оценки данного эксперта получили ИС в такой последовательности: № 5, № 3 и № 1. Предпочтительным в данном случае является ИС № 5.

Данные о предпочтениях всех экспертов группы суммируются и рассчитываются обобщенные предпочтения одних ИС над другими, то есть рассчитывается экспертный показатель качества ИС в виде ее частоты предпочтений.

Частота предпочтения находится как частное от деления всех предпочтений данного объекта на возможное число предпочтений, т. е.

https://pandia.ru/text/78/318/images/image012_50.gif" width="75" height="51 src=">,

где Оценочная деятельность" href="/text/category/otcenochnaya_deyatelmznostmz/" rel="bookmark">оценку объектов , то есть сначала это сделать в одной последовательности, а потом в противоположной. При этом, естественно, количество учитываемых оценок экспертов удваивается и С=m(m-1). В остальном методика расчетов показателей качества не изменяется.

При экспертизе качества ИС могут быть использованы балльные оценки, которые даются непосредственно экспертами или получаются в результате формализации процесса оценки. Эта формализация бывает эвристической или экспериментальной.

Непосредственное назначение балльных оценок производится экспертами независимо друг от друга или в процессе обсуждения. Количество баллов в принимаемой оценочной шкале может быть разным. Для оценки показателей качества можно использовать пяти-, семи - или десятибалльную шкалы.

Пример пятибалльной шкалы.

Оценка Число баллов

Отличное качество 5

Хорошее качество 4

Вполне удовлетворительное качество 3

Удовлетворительное качество 2

Плохое качество 1

Пример семибальной шкалы.

Оценка Число баллов

Качество очень высокое 7

Качество высокое 6

Качество выше среднего 5

Качество среднее 4

Качество ниже среднего 3

Качество низкое 2

Качество очень низкое 1

Обобщенный показатель качества K экс , определяемый экспертным методом по балльной системе исчислений, находят как среднее арифметическое значение оценок, поставленных всеми экспертами и вычисляют по формуле

https://pandia.ru/text/78/318/images/image021_27.gif" width="84" height="53 src=">,

где -- значение показателя качества, полученное в каждом туре; m -- число туров опроса.

Эвристическая формализация экспертных оценок заключается в определении зависимости между значениями параметрических показателей и их оценками в баллах. На основании этого строится график или разрабатывается математическая формула, которые позволяют выражать балльную оценку показателей качества в натуральных единицах измерений , например, производительность ИС как число выдаваемых пользователю документов в единицу времени.

При экспериментальной формализации устанавливают соотношение значений балльных оценок со значениями показателей, определяемыми в результате эксперимента. Следует отметить, что экспертный метод определения значений показателей качества с использованием способа экспериментальной формализации оценок экспертов является более объективным, чем без такой формализации .

В экспертной оценке можно применять так называемый социологический метод оценки качества ИС. Этот метод, как и экспертный, основан на опросах, мнениях, но не специальных экспертов, а различных пользователей ИС – студентов, преподавателей, аспирантов, сотрудников управления, научного сектора вуза и др. Этот социологический метод можно считать модификацией экспертного. Социологический метод определения значений показателей качества продукции является по существу маркетинговым и осуществляется с помощью не экспертов, а фактических или потенциальных потребителей результатной информации, выдаваемой ИС. Сбор мнений потребителей производится опросом или с помощью распространения и заполнения специальных анкет-вопросников, а также путем организации конференций, выставок, аукционов, опытно-показательной эксплуатации и т. п.

Экспертный метод можно эффективно применять и для оценки качества отдельных компонентов ИС – технических средств, программных продуктов, базы данных , лингвистических средств и др.

Литература

1. Исаев оценки качества информационных систем. М.: ИМСГС, 20с.

2. Орлов принятия решений. М.: Изд-во «Март», 20c.

3. Литвак оценки и принятие решений. М.: Патент, 19с.