На рисунке 5 изображена пошаговая схема разработки системы показателей в организации.

Предполагается, что у организации уже существует четко определенная система стратегических целей верхнего уровня и стратегия. В этом случае задача построения системы показателей существенно упрощается. Если же стратегия и цели не сформулированы, разработать адекватную систему показателей сложнее.

Прежде всего (шаг 1 ) необходимо определить цели разработки системы показателей. Для чего она будет использоваться? Возможные варианты ответов представлены ниже:

Для контроля реализации стратегии и достижения стратегических целей компании;

Для контроля операционной эффективности и улучшения процессов;

Для формирования отчетности для собственников;

Для разработки системы мотивации персонала.

В зависимости от целей разработки система показателей будет иметь различную сложность. Если, например, у организации нет четко определенной стратегии, то акцент при разработке системы может быть сделан на показатели операционной эффективности.

Если стратегия у организации есть, то на шаге 2 необходимо разработать конкретные показатели достижения стратегических целей. Степень конкретности должна быть такой, чтобы было понятно, кто из менеджеров отвечает за достижение по каждому показателю установленных целевых значений. Одновременно может выполняться шаг 3 , связанный с разработкой (точнее, с пересмотром уже существующих) индикативных показателей уровня организации в целом. Таких показателей в системе должно быть немного. Лучше сосредоточить внимание на конкретных показателях.

Рисунок 5 – Методика разработки системы показателей организации

На шаге 4 на основе конкретных показателей достижения стратегических целей разрабатываются показатели оценки операционной эффективности процессов (для одного и более уровней). Желательно при этом обратить внимание на сквозные процессы и разработать соответствующие показатели. Часть показателей достижения стратегических целей может быть напрямую (без детализации) отнесена к соответствующим процессам.

На шаге 5 необходимо свести все разработанные показатели в единую систему, оформить ее документально и провести серию согласований на различных уровнях управления. Желательно привлечь к этой работе собственников, поскольку менеджмент может быть заинтересован в создании адекватной системы показателей.

При сведении всех показателей в единую систему может оказаться, что некоторые из них излишни по различным причинам (взаимное дублирование, невозможность расчета, низкая информативность и т. п.). Такие показатели исключаются из системы.

Шаг 6 включает в себя необходимость разработать методики расчета для показателей, вошедших в систему. Методика расчета должна содержать все необходимые требования для обеспечения расчета показателя, например, перечень исходных данных и их источники, формулу расчета, его периодичность, ответственных за расчет и т. д.

При разработке методик расчета показателей часто оказывается, что для части из них невозможно получить исходные данные, для других формула расчета является слишком сложной или спорной и т.п. Может выясниться, что ряд показателей дублируется. Поэтому в ходе разработки методик система показателей может измениться.

После того как созданы система показателей и методики их расчета, необходимо разработать формы управленческой отчетности (шаг 7 ). Проще всего их сделать с помощью MS Excel. Поскольку методики расчета содержат формулы для расчета, то последние могут быть использованы при настройке отчетов в Excel.

На завершающем этапе (когда и система показателей, и методики их расчета, и формы отчетности разработаны) они утверждаются и запускаются в работу (шаг 8 ).

После двух-трех циклов планирования и отчетности система показателей, методики расчета и разработанные формы отчетности должны быть скорректированы с учетом опыта их практического использования в организации.

Известно, что критерий - это правило выбора решения. Критерий призван связать любые действия, осуществляемые в системе, с целями ее функционирования. Критерий позволяет отбирать наилучшим образом средства для достижения цели. Поскольку создание и использование различных средств достижения цели связаны с затратами на их создание и эксплуатацию, критерий должен соизмерить эти затраты с достигаемыми с их помощью результатами по реализации целевых задач. Критерий выступает «полномочным представителем» цели во всей системе. Он описывает задачи системы в более емкой и, как правило, более удобной форме, чем раздельное описание целей и возможных средств их достижения. Требуется лишь периодически анализировать соответствие используемых критериев целям системы, не допуская смещения целевых установок, вытекающих из используемых критериев, от главных целей системы. Это смещение часто становится главной проблемой в различных системах.

В экономических системах критерий приобретает ряд особенностей, связанных с характером общественной организации производства. Центральными задачами экономических критериев являются оценка эффективности принимаемых решений, соизмерение общественной потребности и степени ее удовлетворения, оценка общественной необходимости, общественной полезности создаваемой или используемой системы. Другой важной стороной экономических критериев выступает необходимость соизмерения результатов и затрат на их достижение. Как результаты, так и затраты - материальные, фондовые, трудовые - весьма различны по своему составу и характеру, так что критерий должен «уметь» соизмерять их единой мерой, общим способом. Третья важная сторона экономических критериев - непрерывная сравнительная оценка возможности применения ресурсов, используемых в процессе создания и эксплуатации систем. Для каждой системы существует много вариантов исполнения, различающихся по материало-, энерго-, фондо- и трудоемкости, внутри каждого вида ресурсов существуют большие возможности взаимозамещения. Четвертой важной стороной являются единая стоимостная мера и единый способ измерения на основе закона стоимости. Каждый экономический критерии отражает частные, отдельные стороны экономической системы. Более того, содержание критерия зависит от способа его использования. Системой критериев мы называем взаимосвязанный комплекс экономических, функциональных и физических величин, обладающих определенной размерностью в единой системе инвариантов и измеряющих основные качества системы и всех ее подсистем, управление которыми необходимо и достаточно для достижения цели системы.

В тех случаях, когда в системе критериев выделяется главный, причем допускающий точное количественное выражение, он называется критерием оптимальности. Однако это возможно лишь в очень ограниченном числе случаев. Не следует путать понятия критерия оптимальности - количественной формы отражения любого критерия - и критерия эффективности, отражающего существенные содержательные стороны функционирования системы. Критерий оптимальности, взятый изолированно, может и вообще не соответствовать задаче эффективного развития системы.

Систему критериев всегда разрабатывают в определенном порядке исходя из критериев верхнего уровня системы и далее «сверху вниз», вплоть до процессов функционирования, прямо связанных с основным технологическим процессом. Такой порядок построения позволяет четко определить и выразить в форме критерия нижнего уровня вклад каждого звена в достижение задач, определяемых критерием верхнего уровня. С целью точного выявления факторов, влияющих на значения каждого критерия, и обеспечения их взаимосвязи в составе каждого критерия предусматривается выделение компонентов, соответствующих организационнотехническим мероприятиям, и факторов, соответствующих мероприятиям по совершенствованию управления. Рост эффективности непосредственно связан с ростом мощности систем. Принимая во внимание, что это возрастание мощности протекает всегда в определенный период времени, получаем, что эффективность прямо зависит от величины этого времени. Отсюда вытекает особая важность временных критериев, т.е. критериев, выраженных непосредственно во времени достижения целевых показателей. Можно выделить четыре компонента, входящих в состав любого количественного критерия:

• 1) потенциальное значение критерия;
• 2) компоненты, определяемые экстенсивными факторами;
• 3) компоненты, отражающие факторы научно-технического прогресса и совершенства системы;
• 4) срок достижения заданной величины критерия.

Критерии выявляют содержание процессов функционирования системы, однако практически используются обычно не сами критерии, а построенные на их основе величины - показатели, допускающие простые процедуры расчета. Необозримое множество показателей, используемых в системах, зачастую ставит исследователя в тупик при попытке в них разобраться. Только на одном предприятии можно выделить десятки тысяч показателей, сложным образом сцепленных между собой. Любой показатель лишь приблизительно, косвенно отражает описываемый им процесс.

По характеру отражения элементов описываемого процесса можно выделить три крупные группы показателей:

• 1) отчетные и плановые показатели, непосредственно отражающие основные характеристики элементов процесса в натуральной или стоимостной форме;
• 2) нормативы, нормы и тарифы, являющиеся удельными характеристиками расходования средств, использования мощностей или создания продукции;
• 3) оценочные показатели, или оценки, дающие косвенное, относительное и обобщенное описание элементов процесса.

Все эти показатели, характеризующие один и тот же процесс, тесно связаны между собой.

Оценочные показатели играют особую роль в системе, позволяя в обобщенной форме выражать содержание и условия функционирования, направляя процесс функционирования на достижение наилучших результатов. Есть две принципиальные возможности, два пути формирования системы показателей функционирования системы. Первый состоит в формировании показателей непосредственно по ходу технологических операций основного процесса, а также всех вспомогательных и обслуживающих процессов с учетом их технологии и организации. Второй - в формировании системы показателей на основе изучения и последовательной детализации задач функционирования. Например, в системах управления предприятием, организованных традиционно, преобладает первый способ формирования показателей. Каналы информации в таких системах часто перегружены безадресными потоками данных (показатели, зарегистрированные в ходе производственного процесса, передающиеся с уровня на уровень управления), работникам системы управления просто не хватает времени, чтобы систематически вникать в организацию процесса производства. Системы программного целевого управления, ориентированные на первоочередное достижение целевых показателей, используют второй способ формирования системы показателей. Исходными данными здесь являются перечень основных функций системы - от непосредственного обеспечения основного производственного процесса до формулирования целевых показателей на верхнем уровне; перечень задач, решаемых по каждой из функций системы с указанием перечней входных и выходных данных и критериев их решения (система критериев формируется и отлаживается ранее), а также совокупность моделей формирования показателей в форме текстовых описаний, алгоритмов расчета и построения показателей, вспомогательных экономико-математических моделей, описывающих формирование и использование экономических показателей.

В отличие от показателей сложившейся традиционной системы, структура которых зачастую несопоставима, что вызывает скрытое дублирование показателей, структура показателей для вновь создаваемой системы жестко задана, так что показатели всех уровней и звеньев управления построены по единому принципу. Это облегчает их восприятие и обработку как «вручную», так и в интегрированной системе обработки информации. Если система критериев и показателей проектируется целиком заново, то ее внутренняя согласованность и непротиворечивость «вытекают из построения», как говорят математики. Однако действительность оказывается сложнее теоретических схем, проектируемая система фактически должна встраиваться в уже сложившуюся систему норм, правил, элементов регламентации управленческой деятельности, согласовываться по входным и выходным параметрам со смежными системами, накладываться на сложившуюся систему служебных отношений. Поэтому даже в случае вновь проектируемой системы, а тем более если речь идет об усовершенствовании старой системы показателей, требуется доводка системы критериев и показателей. Иногда это становится центральной задачей, когда в ходе системного анализа процесса функционирования выясняется разлаженность критериев оценки деятельности подразделений, экономических рычагов, стимулов и других хозяйственных механизмов.

Процесс отладки критериев в миниатюре повторяет процесс проектирования системы. Основным инструментом отладки, «регулировочным стендом», также служит комплексная модель системы, в которой, однако, лишь намечается описание основного процесса, функций и задач системы и т.п.

Подробно выписываются показатели, используемые в качестве критериев оценки деятельности или для принятия решений, а также критерии, выявляемые в ходе специального анализа функционирования в различных подразделениях и организациях. Такое исследование проводится путем логического анализа процессов функционирования и системы показателей. При этом надо учитывать, что критерии далеко не всегда осознаются, явно формулируются, но всегда вытекают из интересов отдельных людей и организаций. Иногда для выявления критериев требуется провести анализ множества уже принятых решений.

Выявленный перечень критериев по каждому этапу основного процесса вместе со списком ответственных за принимаемые решения организаций отражается в комплексной модели процесса функционирования.

Анализ системы критериев проводят исходя в первую очередь из целей системы, а также комплекса подцелей, детализированных для каждого этапа процесса. Если удается сформулировать главный критерий для всего процесса или отдельного этапа, то пытаются согласовать с ним остальные критерии за счет изменения системы показателей, распределения ответственности между организациями, изменения экономического механизма. Главное в настройке критериев - чтобы каждый показатель, «работающий» как критерий, выражал вклад звена, деятельность которого он оценивает, в прирост значения главного критерия системы или, если единый критерий системы управления отсутствует, - непосредственно в достижение целевых конечных показателей системы.

Отладка системы критериев и показателей устраняет потери, которые несет система из-за противоречий в направлениях деятельности отдельных звеньев, ликвидирует показатели-фикции, выдает точный «наряд на работу» каждому показателю управления. Нет необходимости придумывать какие-то новые, особые показатели, в наиболее «чистой» форме отражающие задачи экономического управления. Такие показатели, как объемы производства, номенклатура, себестоимость, качество, являются практически «вечными», они в равной степени свойственны и фабрике, построенной еще в прошлом веке, и будущему заводу.

Отладка показателей и критериев обслуживающих и функциональных подразделений, а также показателей, оценивающих деятельность самой системы, производится на основе измерения вклада, вносимого ими в эффективность основного процесса. В то же время необходимо стимулировать наиболее рациональную внутреннюю организацию деятельности, для чего устанавливаются вспомогательные показатели, характеризующие работу функциональных и обслуживающих подразделений как структурного целого; важно найти здесь точную меру между этими двумя группами показателей.

Отладка системы показателей линейных подразделений нижнего звена системы направлена на устранение всех функций и задач, не свойственных этому звену, на достижение которых оно не может эффективно воздействовать.

Отладка системы критериев верхнего уровня производится аналогично отладке системы критериев функциональных и обслуживающих подразделений. Здесь, однако, основное внимание должно быть обращено на обеспечение функций, специфических для верхнего уровня системы: формулирование целей, контроль и текущая подстройка критериев, планирование обновления производимой продукции, организация развития самой системы.

Процедура выбора показателей, достаточно и полно отражающих свойства системы, сложна. На практике для оценки свойств систем и их элементов используется несколько сотен различных показателей: количественные, качественные, экономические, технические, общие, комплексные, частные, основные, вспомогательные, специфические, исходные, производные и т.н.

Для принятия решений и оценки степени влияния данных показателей друг на друга используют различные модели и принципы принятия решений, которые, однако, не позволяют формировать определенные однозначные ответы при оценке эффективности на ранних стадиях создания систем.

Рассмотрим общий подход к формированию показателей, который позволит в дальнейшем систематизировать основные этапы оценки эффективности системы и процедуры принятия решений в процессе ее создания и применения. В соответствии с изложенным выше стратифицированным описанием систем вся совокупность показателей, характеризующих систему, имеет иерархическую структуру:

• П1- показатели, характеризующие систему на уровне моделей страты 1;
• П2 - показатели, соответствующие страте 2;
• ПЗ, П4-Пп - частные технические показатели, соответствующие стратам 3, 4,..., п до принятого уровня подробности исследования системы.

Каждая группа показателей на соответствующем i -м уровне деления включает:

• показатели эффективности, характеризующие суммарный эффект от применения системы или ее элементов, которые рассматриваются как отдельные системы на i-м уровне;
• параметры выбора, включающие показатели внешних свойств системы или ее элементов;
• организационно-экономические показатели ЖЦ, оказывающие непосредственное влияние на значения общего показателя эффективности.

• одноуровневые, определяющие взаимосвязь между показателями эффективности и параметрами выбора каждого уровня;
• межуровневые, определяющие взаимосвязь между параметрами выбора предыдущего уровня и показателями эффективности последующего уровня.

В соответствии с вышеизложенным можно предложить следующие этапы определения показателей системы:

• формулировка, анализ и декомпозиция цели, стоящей перед надси- стемой;
• формирование облика и составление стратифицированного описания системы;
• предварительное определение: показателей, характеризующих эффективность достижения цели; параметров выбора, оказывающих непосредственное влияние на показатели эффективности системы и характеризующих внешние свойства системы, условий выбора, включающих предполагаемые воздействия окружающей среды, возможность комплек- сирования системы с другими системами, наличие дублирующих систем и ограничения на допустимые значения показателей эффективности;
• формирование моделей страты 1, позволяющих исследовать влияние параметров и условий выбора на показатели эффективности, уточнение результатов выбора показателей и облика системы;
• анализ описания системы в пределах страты 2, дальнейшая декомпозиция целей, стоящих перед системой: определение целей подсистем страты 2, определение системотехнических показателей эффективности, характеризующих эффективность достижения целей подсистемами страты 2, параметров выбора, характеризующих внешние свойства, видов обеспечения системы, первичных и вторичных функциональных подсистем, определение условий выбора данных показателей;
• формирование межуровневых зависимостей; исследование с помощью этих зависимостей влияния показателей эффективности страты 2 на параметры выбора страты 1, определение на основе этого требований к показателям эффективности страты 2;
• формирование моделей страты 2, позволяющих исследовать влияние параметров и условий выбора на показатели эффективности страты 2;
• уточнение результатов выбора показателей и облика системы.

При переходе к страте 3 процедура выбора показателей повторяется. Процедура выбора заканчивается после достижения приемлемого равновесия между показателями и моделями всех уровней. Предельная детализация показателей зависит от принятой степени подробности исследования системы.

Система показателей работы организации позволяет собственнику, руководителю и сотрудникам оценивать эффективность своих действий. Поэтому её разработка является одним из факторов эффективного управления.

На практике система показателей работает следующим образом. Вы можете планировать показатели, которые компания должна достигнуть. После выполнения проекта вы можете сравнить запланированные показатели с фактическими. Это позволяет сказать, насколько эффективной была работа. Любой опыт, как негативный, так и позитивный можно использовать для улучшения работы компании.

Ваши сотрудники, имея систему показателей, получают дополнительный стимул - они стремятся выполнить свои действия так, чтобы количественные показатели, зависящие от их работы, были достигнуты.

Таким образом, система показателей работы имеет значение .

Показатели работы компании и отдельного процесса

Для начала, прежде чем создавать систему показателей, их следует разделить. Для анализа работы компании будут одни показатели, для оценки процесса или задачи другие. Такое разделение необходимо для эффективного контроля. Текущий контроль, обычно, применяется для оценки показателей процесса. Заключительный контроль применяется для оценки работы компании по общим показателям за период.

В большинстве случаев показатели процесса и общие для компании могут быть взаимосвязаны. Например, срок выполнения задачи и затраты по компании за период. Если сотрудник или рабочая группа, по каким-то причинам, выполняли задачу дольше, то это отображается на затратах и прибыли. Это позволяет говорить о том, что, контролируя и влияя на текущие процессы, можно влиять на общие результаты работы компании.

Прибыль, затраты и не только

Экономический результат является едва ли не главным для оценки работы компании. Эти результаты не только греют душу собственника, но и упрощают получение кредитов, инвестиций для развития, открытия нового направления.

Прежде всего, к экономическим результатам относится прибыль. Обычно принято рассчитывать прибыль до налогообложения. Прибыль является ключевым показателем деятельности компании за период и характеризует её успех на рынке. Часто, вместе с прибылью, пользуется относительный показатель, который называется рентабельностью. Рентабельность в большинстве случаев - это отношение валовых затрат к чистой прибыли, измеряется в процентах. Грубо говоря, вы узнаёте, сколько прибыли вам приносит каждый рубль вложенных средств. Процентный показатель рентабельности (прибыльности) в анализе не отделим от абсолютного показателя прибыли, выраженного в рублях (валюте).

Рынок ограничивает стоимость товара. Вряд ли получится продать аналогичный товар по цене, выше рыночной. Поэтому имеет смысл устанавливать в качестве показателя величину затрат. Данный показатель будет наглядно демонстрировать, сколько тратит ваша компания и, при необходимости, эти затраты можно уменьшать, путём экономии или оптимизации. Но можно и увеличивать, в таком случае увеличение затрат должно нести определённый эффект. Затраты принято структурировать (калькулировать) по зонам возникновения затрат, что облегчает анализ.

Если вы используете кредиты, инвестиции, то имеет смысл рассчитывать рентабельность (прибыльность) этих средств. А также рассчитывать прибыль на инвестиционные или кредитные средства. Данный показатель позволит вам оценить эффективность использования этих средств, а значит, целесообразность их привлечения.

Для небольшой и средней компании этими показателями можно, в большинстве случаев, ограничиться при анализе эффективности работы, управлении и контроле.

Количественно-объёмные показатели

К таковым показателям относятся следующие: количество продаж, количество произведённого товара, количество товара находящегося на складе и т.п. Это имеет смысл там, где присутствует товарный оборот. Эти показатели часто используют при анализе ассортимента, эффективности работы отделов сбыта по группам товара, а также при анализе закупок, если товар направляется на склад.

Для тех компаний, которые производят услуги, объективно использовать денежный эквивалент. Показатель "сделано три сайта", или "продано две программы" не имеет смысла. Лучше использовать показатели оборот, валовый доход - сумма средств, полученная от реализации товаров и услуг. Также имеет смысл устанавливать эквивалент, когда речь идёт о сложных продажах. Например, кроме поставки товара, компания осуществляет монтаж, обслуживание, совершенствует товар в течение его эксплуатации у клиента (например, компьютерные программы).

Нечисловые показатели

Об этих показателях работы более подробно в другой статье (Не измеряемые показатели). Если кратко, то это лояльность клиентов, сотрудников, степень удовлетворения, качество, конверсия и т.п.

Ответственность

При разработке системы показателей важно установить ответственных лиц и сделать это правильно. Кто отвечает за продажи? Отдел продаж? Нет. За объём продаж несут ответственность все, начиная от отдела закупок и заканчивая бухгалтерией, руководителем компании. В противном случае могут наблюдаться нежелательные конфликты, например, между отделом закупок и отделом продаж. Отдел закупок находит товар, закупает его и после этого отдел продаж должен его распродать, например, в течение месяца. А если не продадут? Причины для этого могут быть как субъективные, так и объективные. Например, ограниченный спрос, низкое качество товара, высокая конкуренция. Поэтому оставлять ответственность на отделе сбыта не совсем правильно.

Также следует назначать ответственных лиц за показатели отдельного процесса. Например, курьер отвечает за целостность упаковки и товара, программист за свою часть программного кода, менеджер колл-центра за выполнение стандарта приветствия, разговора с клиентом.

За общие показатели работы компании несёт ответственность руководитель. Осуществляя управление компанией и контроль, он может влиять на эти показатели.

Разрабатывая систему показателей, не старайтесь сильно углублять её. Чем больше показателей, тем сложнее контролировать работу, а полученные данные не всегда поддаются анализу. Поэтому в этой статье перечислены только основные показатели, которые будут необходимы вам в работе.

УДК 338.23

разработка системы критериев

и методических подходов

к экспертной оценке эффективности

деятельности научных организаций*

с. В. ПРОНИЧКИН, кандидат технических наук, старший научный сотрудник E-mail: pronichkin@mail. ru Институт системного анализа РАН И. П. ТИХОНОВ, кандидат технических наук, ведущий научный сотрудник E-mail: 8tat@mail. ru Институт химической физики РАН

В статье представлены результаты сравнительного анализа существующих подходов к оценке эффективности деятельности научных организаций в России и за рубежом. Для оценки эффективности деятельности научных организаций предложено использовать вербальные экспертные методы, которые не требуют проведения громоздких и трудоемких вычислений множества числовых показателей и весовых коэффициентов, основываются на предлагаемой оригинальной системе качественных критериев.

Ключевые слова: критерий, вербальный анализ решений, экспертиза, компетентность.

Экономика современных промышленно развитых стран все в большей степени основывается на знаниях, которые воплощаются в результатах научно-технической деятельности. Одним из главных источников развития научно-технического комплекса России, его реструктуризации, модернизации и устойчивого подъема при переходе к инновационному типу развития являются результаты фунда-

* Статья подготовлена при поддержке РФФИ (проект № 12-07-00509).

ментальных исследований. Большинство государственных инвестиций в исследования и разработки фундаментального характера имеют своей целью содействие расширению фундаментальной базы знаний. Оценка эффективности деятельности научных организаций позволит различным федеральным органам более эффективно разрабатывать политику развития научного комплекса России .

Анализ опыта деятельности научных организаций зарубежных стран показал, что можно выделить два подхода к оценке эффективности их деятельности, которые лучше рассмотреть на примере. Обратимся сначала к опыту Европы (выделим Великобританию), а затем рассмотрим опыт России.

Фундаментальными исследованиями в Великобритании занимаются так называемые классические университеты. Оценка их деятельности осуществляется регулярно, раз в три года университет направляет на экспертизу отчет, в котором указывает наиболее значимые результаты своей деятельности. Отчет поступает на экспертизу (peer review), которая является анонимной с двух сторон (double blind). В качестве экспертов выступают ведущие

специалисты от бизнес-сообщества и ученые из образовательных учреждений.

Научная деятельность в Великобритании оценивается по полученным результатам с использованием всего трех критериев :

1) новизна, значимость и глубина проработки;

2) масштабность результата исследования;

3) конкурентоспособность.

Каждый из критериев имеет пять градаций оценок. Каждая градация имеет словесное описание применительно к конкретной сфере научного знания (например, физика, химия, социология). Всего выделено 36 областей научного знания.

Критерию сопоставлен коэффициент его важности: 1 - 0,65; 2 - 0,2; 3 - 0,15.

Градации шкалы критерия сопоставлены баллы: 0, 1, 2, 3, 4, 5.

Подход к оценке результатов научной деятельности в Великобритании основывается исключительно на экспертных количественных оценках.

Рассмотрим российский опыт. Согласно официально принятой типовой методике, утвержденной приказом Министерства образования и науки РФ от 14.10.2009 №№ 406, оценка результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, проводится на основе анализа и сопоставления показателей результативности их деятельности . Оценка проводится ежегодно, причем установлены шесть основных направлений оценки, по каждому из них выбраны несколько критериев и соответствующих количественных показателей:

1) научный потенциал и эффективность научных исследований;

2) вовлеченность научной организации в национальное и мировое научно-образовательное сообщество;

3) коммерциализация и прикладное значение результатов исследований;

4) кадровая обеспеченность научной организации;

5) ресурсная обеспеченность научной организации;

6) состояние финансовой деятельности научной организации.

Предусматривается также, что возможна одновременная оценка группы научных организаций, имеющих сходные цели, работающих в одной области науки или осуществляющих деятельность в

сходных условиях (референтные группы). Однако отсутствуют ясные правила формирования референтных групп, в типовой методике указывается, что референтые группы формируются по мере необходимости. В референтной группе организации сравниваются по общим для всех организаций показателям.

В указанные шесть групп критериев включаются исключительно количественные «измеримые» показатели, а именно: удельный вес внутренних затрат на исследования и разработки в общем объеме выполненных научной организацией работ; число публикаций работников научной организации, индексируемых в базе данных Web of Science; число охраняемых объектов интеллектуальной собственности.

Подход к оценке результатов научной деятельности в России основывается исключительно на количественных показателях.

Отметим ключевые методологические отличия официального подхода к оценке деятельности научных организаций, принятого в России, по сравнению с подходом, принятым в Великобритании.

В России не учитывается длительность цикла производства фундаментального научного результата. Если взять такие области знания, как физику, химию, биологию, то длительность цикла научного исследования и соответственно публикация его результатов, как правило, занимает гораздо больше времени, чем для гуманитарных наук (например экономики). Таким образом, классифицировать и ранжировать научные организации разных профилей по числу публикаций просто нецелесообразно, поскольку они практически несравнимы.

Отличительной особенностью подхода в России является большое количество показателей оценки - 48. Такое количество показателей создает известные трудности по их сбору, обработке и анализу, причем предопределяет невозможность выделить главное. Видимо, кто-то основывается на вере в то, что с помощью большого числа показателей в науке можно что-то точнее охарактеризовать. Однако получается, что «вместе с водой выплескиваем и ребенка»: хотели как лучше, а получается как всегда. Обстоятельная критика такого подхода, применяемого в настоящее время для оценки высших учебных заведений категории «национальный исследовательский университет», представлена в работе С. В. Проничкина, В. И. Круглова, В. П. Соловьева, А. И. Кочетова .

В работе А. Ф. Яковлева справедливо отмечено, что ряд показателей типовой методики не могут быть применены при оценке социогумани-тарных исследований: патентные исследования, коммерциализация результатов и взаимодействие с реальным сектором экономики. Эти показатели должны быть заменены на другие, релевантные гуманитарным исследованиям.

Важно отметить, что системы оценки в России и Великобритании не разделяют науку на фундаментальную и прикладную. Если это фундаментальная наука, то нужно оценивать качество фундаментальных результатов, практическое использование которых часто трудно представить. А если это прикладные исследования, то надо оценивать те практические результаты, которые получены.

Ключевым недостатком подходов как в России, так и в Великобритании является то, что и те и другие используют так называемый количественный подход, основанный на числовом измерении показателей, которыми характеризуются объекты. Однако, несмотря на кажущуюся простоту и очевидность, количественный подход мало пригоден для работы с качественными характеристиками, ведь он содержит целый ряд методологических дефектов. Укажем наиболее важные из этих дефектов.

Практически невозможно априори назначить количественные шкалы оценок, сопоставив качественным факторам какие-либо числа так, чтобы они «правильно» и «объективно» выражали плохо формализуемые свойства научно-технических результатов и одинаково понимались разными людьми.

При этом не существует никакой содержательной аргументации в пользу выбора той или иной градации шкалы числовых оценок (например, использование шкалы с градациями 1-2-3, 1-3-5-7-9 или др.). Более того, как было убедительно показано, использование порядковых шкал, имеющих разные числовые шкалы, даже по одним и тем же критериям может привести к совершенно разным итоговым упорядочениям и разбиениям на классы исходной совокупности объектов. Тем самым, задавая произвольные градации оценок на шкалах, можно получить любую наперед заданную ранжировку и любую классификацию многопризнаковых объектов.

Наконец, при использовании шкал числовых оценок появляется искушение сформулировать один «простой» и «понятный» итоговый показатель, агрегирующий частные оценки (который

обычно задается в виде суммы, взвешенной суммы или некоторой усредненной оценки), по величине которого и проводится сравнение объектов. В этом случае происходит смешение разнородных показателей, важных и неважных факторов, оценок разных экспертов, что делает невозможным выделение наиболее значимых для выбора показателей, увеличивает возможность присвоения содержательно незначительным результатам научных организаций достаточно высоких итоговых оценок.

Предлагаемые в существующих методиках многочисленные числовые коэффициенты, получаемые, как правило, экспертным путем, а также огромный спектр оцениваемых параметров не только значительно усложняют процесс мониторинга и вычисления интегральной оценки, но и затрудняют объяснение вычисленных значений оценки. Поэтому достоверность получаемых результатов не может считаться достаточной для принятия решений о финансировании исследований за счет средств федерального бюджета.

Практика мониторинга деятельности научных учреждений, выполняющих фундаментальные и прикладные исследования, требует достаточно простой, понятной и недорогой в использовании методологии оценки эффективности их деятельности.

Анализ числовых показателей, используемых в типовой методике, позволяет определить состояние отдельных направлений деятельности научной организации, выделить ее «сильные и слабые стороны». Гораздо сложнее при таком подходе провести сравнительный анализ нескольких организаций. На сегодняшний день задача разработки адекватного методического подхода к определению обобщенных итоговых показателей для сравнительного анализа эффективности научных организаций по существу остается актуальной.

Эффективность деятельности научной организации (эффективность ее результатов) наиболее адекватно можно характеризовать исключительно разнообразными качественными показателями. При этом требуемая информация о разных аспектах результата деятельности научной организации может быть получена, главным образом, по результатам экспертизы.

В исследованиях А. Б. Петровского, Г. В. Рой-зензона, И. П. Тихонова, А. В. Балышева, Э. Н. Яковлева для оценки деятельности научных организаций используется разработанная специалистами

экспертно-аналитического центра Минобрнауки России и Института системного анализа РАН система из 11 качественных критериев, объединенных в две группы: 1) оценки научной деятельности (НД); 2) оценки финансово-экономической деятельности. Группа оценки НД включает пять критериев:

1) уровень научных результатов;

2) признание научных результатов;

3) квалификация научных кадров;

4) возраст научных работников;

5) степень обновления научного оборудования.

Среди этих критериев важнейшим является

первый - «Уровень научных результатов», ведь именно результаты, собственно научная продукция, являются первоосновой при оценке эффективности научных организаций. Поэтому применительно именно к этому критерию рассмотрим далее возможности применения адекватных методов оценки.

В данной работе предлагается новый подход к многокритериальной экспертной оценке и анализу эффективности деятельности научных организаций. Предлагаемая методология основывается на групповом упорядочивании многопризнаковых объектов с использованием оригинальных методов вербального (качественного) анализа решений .

Вербальный анализ решений представляет собой относительно новый подход в теории и практике многокритериальной оценки и сравнения альтернатив. Он разрабатывается в течение многих лет в Институте системного анализа РАН сначала под руководством академика РАН О. И. Ларичева, а затем доктора технических наук А. Б. Петровского, причем успешно применяется при решении различных задач. Особенностью этих задач является описание рассматриваемых объектов (вариантов, альтернатив) при помощи многих признаков как количественных, так и качественных (последние играют не меньшую роль, чем первые). Степень достижения требуемого значения показателя качества измеряется многими критериями с вербальными шкалами.

В развитие упомянутых исследований для более детальной оценки результатов научных организаций в рамках критерия «Уровень научных результатов» была разработана система, состоящая из семи качественных критериев:

1) характер результата:

Теоретический результат;

Экспериментальный результат, имеющий материальное воплощение и направленный на

создание и совершенствование промышленных технологий и продукции;

Информационный результат, не имеющий материального воплощения и направленный на создание и совершенствование социальных технологий;

Результат опытно-конструкторской разработки;

Тестирование, испытание, апробация;

2) вид результата:

Автоматизированный комплекс;

Автоматизированная система;

Агрегат;

Алгоритм;

Аппарат;

База данных;

Другие виды;

3) вклад результата в решение основных задач научной организации:

Результат вносит существенный вклад в решение основных задач научной организации;

Результат вносит определенный вклад в решение основных задач научной организации;

Результат вносит некоторый вклад в решение основных задач научной организации;

Результат не влияет на решение основных задач научной организации;

4) вклад результата в решение социальных проблем:

Создание условий для повышения качества жизни;

Повышение уровня образованности и информированности населения;

5) востребованность результата:

Актуальность результата;

Уровень научно-технической значимости результата;

Уровень конкурентоспособности результата;

Возможный спрос на результат;

Возможная сфера использования результата;

Возможный масштаб применения результата;

6) практическая реализуемость результата:

Степень проработки результата;

Возможность тиражирования результата;

Уровень правовой охраны результата;

Возможные сроки практической реализации результата;

7) готовность потребителей к освоению результата:

Готовность производственной базы к освоению результата;

Готовность производственного персонала к освоению результата;

Готовность системы материально-технического обеспечения к освоению результата;

Наличие финансовых средств для освоения результата;

Наличие опыта освоения результата.

Первые два критерия классифицируют результаты по характеру и виду. Третий критерий учитывает непосредственный вклад результата в решение основных задач научной организации. Четвертый критерий дает оценку вклада результата научной организации в решение социальных проблем. Пятый критерий позволяет получить оценку востребованности результата научной организации.

Возможность практической реализации результата научной организации служит основой научно-технического прогресса . Для оценки практической значимости результата предназначены шестой и седьмой критерии.

Критерии с четвертого по седьмой включают в себя подкритерии, их характеризующие.

Для каждого критерия (подкритерия) была разработана вербальная шкала с небольшим числом градаций, обеспечивающих ясную различимость оценок. Например, шкала подкритерия «Актуальность результата» имеет такой вид:

Требуется безотлагательное применение результата;

Результат потребуется в ближайшее время;

Результат потребуется в отдаленной перспективе;

Оценить неотложность применения результата затруднительно.

Для организации и проведения экспертизы результатов научных организаций разработаны методические рекомендации, в которых нашли отражение следующие ключевые моменты:

1) общие положения;

2) цели, задачи и принципы экспертизы;

3) объекты и субъекты экспертизы;

4) порядок проведения экспертизы;

5) нормативно-методическое обеспечение экспертизы;

6) организационно-техническое и финансовое обеспечение экспертизы.

Объектами экспертизы служат результаты научных организаций. Для инвентаризации и анали-тико-информационного представления результатов создается специализированный реестр, который

обеспечивает автоматизированный поиск требуемых данных по критериям оценки результатов, другим ключевым показателям и индикаторам. Организационно-методическое обеспечение, предназначенное для построения и ведения реестра результатов научных организаций, предусматривает реализацию следующих положений:

1) цели и основные принципы создания и функционирования реестра;

2) структура реестра;

3) права и обязанности держателя реестра;

4) пользователи реестра и их взаимоотношение с держателем реестра;

5) ликвидация реестра.

Субъектами экспертизы выступают эксперты - известные ученые и специалисты, работающие в институтах РАН, высших учебных заведениях, отраслевых научных организациях. Отбор экспертов представляет собой достаточно сложную задачу, от решения которой в значительной мере зависит эффективность использования методов сбора и обработки суждений экспертов и, в конечном итоге, качество экспертизы в целом и корректность решений, принимаемых на базе экспертных заключений.

Определенную помощь при отборе экспертов может оказать сопоставление кандидатов в эксперты по индивидуальным качествам, которыми должен обладать, по мнению психологов и специалистов по проведению экспертиз, «идеальный» эксперт . При формировании реестра экспертов целесообразно учитывать их компетентность, которую можно оценить, например, по следующим показателям:

1) профиль и уровень образования;

2) связь профиля профессиональной деятельности с областью экспертизы;

3) опыт и стаж работы по профилю;

4) характер и уровень проблем, рассмотренных ранее экспертом, выполненных экспертиз, сбывшихся прогнозов.

Процедура экспертизы результатов научных организаций предусматривает индивидуальную работу экспертов по многокритериальной оценке результатов и анализ итогов экспертизы по различным критериям.

В целях повышения обоснованности экспертной оценки каждый результат независимо оценивается несколькими (не менее чем двумя) экспертами. Эксперт изучает представленный ему объект экспертизы, оценивает полученный научный результат по критериям, приведенным в экспертной анкете, а также

дает свое письменное агрегированное заключение о значимости результата, которое служит основой для подготовки обобщенного экспертного заключения. Результатами индивидуальной экспертизы являются многокритериальная экспертная оценка научного результата и письменное экспертное заключение.

Формализацию понятия «эффективность деятельности научной организации» предлагается рассматривать как задачу классификации многопризнаковых объектов, где объектами служат различные комбинации вербальных оценок результата организации по приведенным выше критериям, а классами решений являются различные градации интегрального критерия «Эффективность деятельности научной организации». Градации порядковой шкалы интегрального (комплексного) критерия эффективности деятельности организации определяют агрегированные упорядоченные оценки результата по критериям, которые характеризуют деятельность как высокоэффективную, эффективную или низкоэффективную.

Ранжирование результатов научных организаций предлагается осуществлять, используя метод группового упорядочения объектов АРАМИС (агрегирование и ранжирование альтернатив относительно многопризнаковых идеальных ситуаций) . Метод основан на расчете близости объекта к идеальному объекту, имеющему наилучшие/наихудшие оценки по всем критериям, данными всеми экспертами. Преимущество метода АРАМИС заключается в том, что он позволяет ранжировать объекты, которые оценены несколькими экспертами по многим качественным критериям, без построения индивидуальных ранжировок, причем исключает необоснованную трансформацию исходной вербальной информации в числовую форму.

В заключение следует отметить, что предлагаемые методические подходы и система критериев представляют собой прозрачный механизм оценки деятельности научных организаций по их результатам. Методические подходы не требуют проведения громоздких и трудоемких вычислений сотен числовых показателей и весовых коэффициентов. Данная работа будет продолжена в дальнейшем в направлении детализации остальных критериев оценки результатов деятельности научных организаций.

Список литературы

1. Ларичев О. И. Вербальный анализ решений / под ред. А. Б. Петровского. М.: Наука, 2006.

2. Многокритериальный анализ деятельности научных организаций / А. Б. Петровский, Г. В. Рой-зензон, И. П. Тихонов, А. В. Балышев, Э. Н. Яковлев // XIII Национальная конференция по искусственному интеллекту с международным участием (КИИ-2012). Труды конференции. Т. 3. Белгород: Изд-во БГТУ. 2012. С. 64-71.

3. Неволин И. В., Хрусталёв О. Е., Хрус-талёв Ю. Е. Методология оценки финансовой значимости и реализуемости инновационных проектов создания интеллектуальной продукции // Финансовая аналитика: проблемы и решения. 2013. № 11 (149). С. 39-45.

4. Проничкин С. В., Круглов В. И., Соловьев В. П., Кочетов А. И. Разработка критериальной модели для независимой оценки деятельности вуза категории «Национальный исследовательский университет» // Высшее образование сегодня. 2010. № 7. С. 6-16.

5. Петровский А. Б. Теория принятия решений. М.: Изд. центр «Академия», 2009.

6. Проничкин С. В. Разработка компетентнос-тной модели эксперта для независимой оценки образовательной деятельности вузов // Сб. мат-лов Международной межвузовской и институтской научно-технической конференции «64-е дни науки студентов МИСиС», 14-21.04.2009, ГТУ ВПО «Московский институт стали и сплавов «МИСиС». М.: МИСиС, 2009. С. 399-400.

7. Рощин А. В., Тихонов И. П., Проничкин С. В. Методический подход к оценке эффективности результатов научно-технических программ // Экономический анализ: теория и практика. 2013. № 21 (324). С. 10-18.

8. Типовая методика оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения: утверждена приказом Министерства образования и науки РФ от 14.10.2009 № 406.

9. Яковлева А. Ф. Об основных подходах к оценке результативности научных исследований в России // Измерение философии. Об основаниях и критериях оценки результативности философских и социогуманитарных исследований / Ин-т философии РАН; сост. и отв. ред. А. В. Рубцов. М. : ИФРАН, 2012. С. 144-156.

10. Higher Education Funding Council for England, Research Assessment Exercise 2014 «Assessment criteria and level definitions». Bristol: HEFCE, 2013.

Известно, что определение показателей (характеристик) качества процессов, продукции и системы качества в целом необходимо, прежде всего, для проведения мониторинга и измерения в системе качества вуза. В представлено определение термина «мониторинг» - это постоянное наблюдение за каким-либо процессом с целью выявления его соответствия желаемому результату. В стандарте ГОСТ Р ИСО 9000-2008 нет определения термина «измерение», но есть определение «процесса измерения» - это совокупность операций для установления значения величины.

К.М.Рахлиным был сделан анализ многочисленных трактовок понятия «измерение», в результате которого он выделил три группы. В первую группу входят определения наиболее общего характера, например: «Измерение предполагает сравнение объектов в определенном отношении». Во второй группе определений главным признаком измерений называют выражение результата числом. В третьей группе измерение связывается с обязательным наличием единицы измерения или эталона. Все эти группы не противоречат друг другу, но отражают особенности измерения различных объектов. Переход от первой группы определений к третьей есть переход от менее строгих к более строгим представлениям об измерении.

В соответствии с этими группами определений можно выделить три уровня измерений . Первый уровень предполагает сравнение объектов по наличию или отсутствию у них исследуемого свойства с использованием методов номинации, классификации и нумерации. На втором уровне происходит сравнение объектов по интенсивности проявляемых свойств с использованием методов шкалирования, упорядочивания, топологии. Третий уровень предполагает сравнение объекта с эталоном. Следовательно, третий уровень измерений является объектом метрологии.

Существуют различные классификации видов измерения. Так, К.М.Рахлин предлагает выявленные им три уровня измерений подразделить на физические и внефизические (метрические и неметрические). К внефизическим относятся все экономические и социально-экономические измерения . Именно эти измерения, в основном, и осуществляются в системе качества вуза.

Здесь мне хотелось бы упомянуть о следующем. В ряде отечественных публикаций, касающихся методологии измерений, указывается , что измерением понимают сравнение путем эксперимента измеряемой физической величины с однородной (одноименной) физической величиной, принятой за единицу. Поэтому говорить об измерении, без измерений с помощью средств измерений, В.И.Колмановский считает невозможным, и все другие измерения правильнее называть процедурой оценки соответствия. Но в работах Ю.П. Адлера и

В.Л.Шпера , которую критикует В.И.Колмановский, как раз высказывается противоположная точка зрения, и оценка таких показателей, как успешность фирмы, имидж, любовь потребителя, качество сотрудника также относятся к измерениям. В настоящей работе мы также придерживаемся точки зрения вышеуказанных авторов.

В работе Б.Андерсена также представлена классификация видов измерений:

1) прямые и косвенные (прямые измерения, которые можно измерить инструментально; косвенные, которые можно измерить на основе индикаторов, например индекс удовлетворенности);

Для того чтобы измерить качество воздуха в зале заседаний можно измерить температуру, влажность - это прямые меры, однако достаточно сложно установить их оптимальное соотношение. В этом случае можно измерить число лиц, активно участвующих в обсуждениях или число лиц, по разным причинам покинувших зал. Такие измерения дадут косвенную интерпретацию качества искусственного климата в зале.

2) финансовые и нефинансовые

Финансовые показатели используются наиболее часто. Однако нефинансовые показатели иногда могут дать больше оперативной информации, которая в конечном итоге отразится и на финансовых показателях. Поэтому необходимо совместное использование таких показателей.

3) меры результата и меры процесса

Показатели процесса имеют сильное влияние на результат, и было бы неправильно судить об успешности, только по результату. Поскольку низкий уровень брака на выходе может быть вызван высокими затратами на 100% контроль.

Меры, определяемые в соответствии с целью:

• - меры результата (дают представление о том, что удалось достигнуть, не говоря о том, как это было достигнуто);
• - диагностические меры (это косвенные меры достигнутого, позволяют прогнозировать показатели результата на ближайшую перспективу, их использование дает возможность вовремя определить проблемные места и выбрать способ совершенствования процесса);
• - меры компетенции (определяет способность в целом в дальнейшем достигать запланированных результатов).

Для достижения наибольшей информативности и результативности измерений, применяемые прямые и косвенные, финансовые и нефинансовые показатели, показатели результата и показатели процесса, должны быть сбалансированными. При этом не всегда от измерений требуется предельная точность. Чаще нужно узнать общую тенденцию, достигнуто улучшение или нет, как повлияло принятое решение на показатели. Поэтому здесь важное значение имеет практическая пригодность измерений . Э.Деминг отмечал, что «Функционирование любого составляющего систему подпроцесса должно оцениваться в терминах его вклада в цели всей системы, а не по его индивидуальной производительности или прибыли и ни по какому другому соревновательному критерию»

К.М.Рахлин в работе высказывал мысль об установлении критериев измеримости, исходя из особенностей процессов. Об этом же упоминает и В.В.Ященко , указывая, что очень часто в определении уровня достигнутого значения показателя используются понятия «удовлетворительно», «достаточный», «соответствующий», которые разными людьми могут быть по-своему интерпретированы. Операциональные определения же позволяют всегда понимать друг друга однозначно. Особенно это важно при проведении измерений и сборе данных. Понятие операционального определения ввел Э.Деминг. Подразумевается, что слова и понятия в разных ситуациях могут иметь разный смысл. Например, стол «чистый» означает, что за ним можно обедать или на нем можно проводить хирургические операции. Операциональное определение придает точный смысл слову, исключая двоякость понимания посредством установления того, как понятие измеряется и применяется в конкретном наборе обстоятельств. Для начала работ по измерению и анализу показателей (характеристик) команде необходимо согласовать и в дальнейшем использовать операциональные определения внутри команды. В дальнейшем это позволит избежать ошибок из-за непонимания, которые ведут к потере времени и увеличению вариабельности процесса. Кроме того, необходимо быть осторожными и разумно выбирать количество показателей для измерений. Когда измерений слишком много, появляется избыточная информация, которую невозможно проанализировать. Вследствие этого появляется пренебрежение к информации, и некоторая действительно важная информация может быть пропущена.

Анализируя классификации методов измерений, применяемых в науке о количественной оценке качества - квалиметрии, нами определено, что для измерения и оценивания результатов процессов и продукции системы качества вуза могут применяться следующие методы:

• измерительный - основан на информации, получаемой с использованием технических средств (например, измерение температуры в аудитории, уровня излучения от ПЭВМ и т.д.). Как уже отмечалось, этот метод используется для измерения и оценивания системы качества вуза достаточно редко;
• регистрационный - основан на информации, получаемой путем подсчета числа определенных предметов, событий или затрат (например, число срывов учебных занятий, количество учебных пособий и т.п.);
• расчетный - основан на информации, получаемой с помощью теоретических и эмпирических зависимостей, например, процент охвата социологическими опросами;
• экспертный метод - проводится группой специалистов, например, оценка соответствия программы учебной дисциплины требованиям федерального государственного образовательного стандарта;
• социологический - проводится методом опросов, например, внутренних и внешних потребителей.

Одной из важнейших задач, стоящих перед разработчиками системы качества в соответствии с требованиями ГОСТ Р ИСО 9001-2008, то есть создание системы «как надо», является создание системы показателей качества вуза, необходимой для управления его деятельностью. Но известно, что в результате многолетней деятельности вузов, в каждом из них сложились свои системы качества (системы управления) «как есть», во многом имеющие общие черты. Каждый вуз, создавая свою систему управления, разрабатывал также и систему показателей для ее измерения. Как правило, ежегодный анализ этих показателей, проводимый в вузе, основывается на измерении (оценке) работы по направлениям деятельности: учебно-воспитательная, научная, методическая и другие. Это перекликается с основными процессами его системы качества. Хотя в реестре процессов СибГТУ (таблица 2.5) мы видим несколько другие их наименования: «Реализация основных образовательных программ», «Воспитательная и внеучебная работа с обучаемыми», «Научные исследования и разработки», «Проектирование основных образовательных программ». В вузе собираются сведения, и осуществляется измерение показателей по направлениям деятельности, которые частично «перекрывают» некоторые процессы системы качества. Эти показатели затем сравниваются с показателями стратегического (и ежегодного) планирования вуза, показателями лицензирования и государственной аккредитации, критериями отбора ведущих вузов России и другими. Особое внимание уделяется динамичному развитию вуза. Следовательно, можно утверждать, что при измерении деятельности вуза, в первом приближении, используется процессный подход, в части измерения качества некоторых процессов (аналогов видов деятельности). Но, кроме измерения показателей по направлениям деятельности, в некоторых вузах определяется рейтинг факультета, кафедры, руководителей, преподавателей. То есть в данном случае можно говорить о применении функционального подхода.

Все это можно использовать при формировании системы качества вуза в соответствии с требованиями ГОСТ Р ИСО 9001-2008. В.Г. Елиферов и В.В. Репин также считают, что если в организации существует система показателей деятельности, то необходимо провести декомпозицию этих показателей в показатели процессов. То есть показатели процесса должны быть интегрированы в общую систему показателей деятельности организации (которая достаточно часто применяется в вузах). Это должно привести к интеграции уже существующей и требуемой систем показателей измерения.

• однозначная связь со стратегическими показателями организации (увязка с верхним уровнем);
• «прозрачность» для руководителей организации;
• удобство для владельцев процессов, управляющих своими процессами на основе этих показателей;
• понятность персоналу, выполняющему процесс;
• измеримость (показатели должны быть измеримы в цифровом выражении).

Разрабатываемая система показателей измерения должна являться, прежде всего, инструментом управления для высшего руководства вуза, для которого основными целями измерения является оценка:

• деятельности вуза в целом (динамика развития, сравнение с показателями государственной аккредитации, критерии ведущих вузов России и другие);
• отдельных процессов вуза, работы его конкретных подразделений;
• работы каждого руководителя;
• работы каждого преподавателя и сотрудника.

По нашему мнению, создание системы показателей вуза, также как и определение измеримых целей в области качества вуза и его структурных подразделений (рисунок 3.4), должно происходить по «вертикали» и по «горизонтали». То есть, когда (как было показано в п.3.2), стратегические цели вуза «по вертикали» декомпозируются на структурные подразделения, то в стратегии для каждой стратегической задачи уже определены «измеряемое значение для показателя стратегической задачи» и «величина индикатора достижения стратегической задачи» (таблица 3.6), и их можно использовать для создания системы показателей измерения вуза и его структурных подразделений. В дополнении к ним из информационных карт процессов также можно выделить показатели измерения, полученные по «горизонтали», на основании процессного подхода.

В работе М. Коуэна рассматривается функциональнопроцессная матрица Пола Хэриона, в которой по горизонтали представлено управление по процессам, а по вертикали управление по функциям. Основываясь на этой работе, мы также решили использовать матрицу как инструмент для интеграции различных показателей качества вуза и формирования их в единую систему.

Принимаем, что большинство показателей оценки деятельности вуза можно разделить на три множества:

• 1) Множество А, объединяющее показатели, определенные на основании стратегии вуза;
• 2) Множество В, включающее показатели, полученные из информационных карт процессов;
• 3) Множество С, состоящее из федеральных государственных требований (лицензионных и аккредитационных показателей) и требований ФГОС ВПО.

Все эти три множества являются пересекающимися, то есть некоторые из этих показателей могут входить в два и/или три множества.

Поэтапно показатели множеств А, В и С мы объединяем в подмножества к>п, которые располагаем в блочную матрицу (таблица 3.8). Матрица состоит из трех блоков, расположенных вертикально и соот-

ветствующих различным уровням управления вуза: верхнего (В), среднего (С), нижнего (Н). В каждом блоке есть некоторое число руководителей (от 1 до п), например, для высшего уровня управления эти руководители обозначены Х Ь Х 2 ......Х„. В левой части матрицы представлены процессы: процесс 1, процесс 2......процесс N. Это могут быть ос

новные процессы и/или обеспечивающие. Следовательно, индексы в подмножествах П >, т, к, п означают: верхний - указывает к какому процессу относится подмножество; нижний - порядковый номер руководителя и к какому уровню управления он относится. Например, подмножество П 2 кс означает, что оно относится к процессу 2 и к-ому руководителю среднего уровня управления.

Таблица 3.8

Матрица распределении показателей но процессам и ответственным

руководителям

Процессы	Уровни управления вуза и ответственные руководители
	Высший (В)			Средний (С)			Нижний (Н)
	х,		Х„	у,		у к
Процесс 1
Процесс 2
Процесс N

Для каждой ячейки матрицы проводится анализ с целью исключения дублирования показателей и получения непересекающихся подмножеств П 1 " 1 п1?к, п . Причем часть этих подмножеств для какого-то процесса и руководителя будет «пустой», то есть не будет содержать никаких показателей.

На примере СибГТУ рассмотрим это для двух основных процессов и двух руководителей:

• подмножество П’пв, относящееся к процессу 1 и к п-ному руководителю блока высшего руководства;
• подмножество П 2 1 С, относящееся к процессу 2 и к первому руководителю блока среднего руководства.

Предположим, что к подмножеству п’ пв можно отнести процесс «Проектирование и разработка основной образовательной программы ООП». Это сквозной процесс, в котором участвуют различные структурные подразделения и его управление осуществляется на различных уровнях: вуза, факультетов и кафедр. К подмножеству П 2)с - процесс «Довузовская подготовка», который является функциональным и, в основном, осуществляется силами деканата довузовской подготовки.

На основании стратегии СибГТУ была осуществлена декомпозиция стратегических задач на процессы системы качества вуза (таблица 3.9).

Из информационных карт анализируемых процессов СибГТУ было проведено распределение показателей цели процессов между ответственными руководителями (таблица 3.10).

Декомпозиция показателей стратегических задач на процессы системы качества вуза (фрагмент)

Таблица 3.9

Процессы	Измеряемые значения показателей стратегических задач	Ответ ственные
Проектирование и разработка образовательных программ	А 1.1.2 Количество рабочих учебных планов по ФГОС ВПО в вузе А 1.4.1 Количество новых конкурентоспособных ООП в вузе А 1.4.2 Количество новых направлений подготовки магистров	Проректор по учебной работе
	А1.1.2 Количество рабочих учебных планов по ФГОС ВПО на факультете А 1.4.1 Количество новых конкурентоспособных ООП на факультете
	А1.1.2 Количество рабочих учебных планов по ФГОС ВПО на кафедре	Зав. кафедрами
Довузовская подготовка	А2.2.1 Количество направлений подготовки школьников по элективным курсам А2.2.2 Количество проведенных профориентационных мероприятий А2.2.2 Количество участников профориентационных мероприятий
	А2.2.1 Процент поступивших в СибГТУ от общего числа обучавшихся на ФДП и подавших заявление на поступление, %

Для формирования подмножеств П 1 , П 2 ]с для каждой ячейки, относящейся к конкретному процессу и руководителю, объединили показатели: «измеряемые значения показателей и стратегических задач» из таблицы 3.9 и «измеряемые значения показателей цели процесса» из таблицы 3.10. Следует обратить внимание, что при разработке стратегии СибГТУ и создании информационных карт процессов использовались федеральные государственные требования и требования ФГОС ВПО, но рекомендуем еще раз проверить, нельзя ли эти требования и соответствующие им показатели применить к формируемым подмножествам П" пв, П 2 1с , для исследуемых процессов и соответствующих руководителей. Следовательно, должна появиться новая таблица, в которой эти показатели объединены. В монографии она не приводится.

Далее проводится экспертная оценка каждой ячейки новой таблицы, то есть собранных в ней показателей для каждого исследуемого подмножества - П" пв, П 2 1с , с целью исключения коррелируемых или дублирующих показателей. Рекомендуется также исключать показатели, ориентированные на процесс, а не на его результат. Например, показатель «количество проведенных профориентационных мероприятий» для процесса «Довузовская подготовка».

Таблица ЗЛО

Распределение показателей цели процесса между ответственными

руководителями (фрагмент)

Процессы	Измеряемые значения для показателей цели процесса	Ответствен
Проектирование и разработка образовательных про	Соответствие УМКД/ЭУМКД ООП вуза нормативным требованиям и требованиям заинтересованных сторон Процент обеспеченности УМКК/ЭУМКД ООП вуза Удовлетворенность студентов обеспечением (доступностью) УМКД/ЭУМКД ООП вуза	Проректор по учебной работе
	Соответствие УМКД/ЭУМКД ООП факультета нормативным требованиям и требованиям заинтересованных сторон
	Соответствие УМКД/ЭУМКД ООП кафедры нормативным требованиям и требованиям заинтересованных сторон	Зав. кафедрами
Довузовская подготовка	Процент поступивших в СибГТУ от обучившихся на ФДП Удовлетворенность слушателей обучением на факультете довузовской подготовки (ФДП)	Декан ФДП

В результате мы получаем таблицу 3.11, содержащую селективные подмножества показателей. Эти показатели можно отнести к ключевым показателям деятельности (КПД). Известно (ГОСТ Р ИСО 9004-2010, п.8.3.2), что «эти показатели должны поддаваться количественному измерению и должны давать возможность организации устанавливать измеримые цели, идентифицировать, вести мониторинг и прогнозировать тенденции и осуществлять корректирующие и предупреждающие действия и действия по улучшению в случае необходимости».

Следует подчеркнуть, что окончательный перечень КПД должен быть подвергнут экспертизе и согласованию со всеми заинтересованными сторонами. В результате в него войдет оптимальный набор КПД,

которые вуз выберет для себя в качестве «универсальной линейки», с помощью которой будут формироваться цели организации, а затем, по истечении определенного временного периода, осуществляется оценка (измерение) их достижения. Это даст возможность рассчитать результативность процессов, дать оценку деятельности руководителей. Кроме того, по мере необходимости, эти показатели можно использовать для мониторинга процессов. Значение этих показателей должно подвергаться анализу с помощью статистических методов управления качеством.

Ключевые показатели деятельности вуза, распределенные по процессам и ответственным руководителям (фрагмент)

Таблица 3.11

Ключевые показатели деятельности вуза	Ответ ственные
Процесс «Проектирование и разработка ООП»
1. Количество ООП в вузе, разработанным согласно ФГОС ВПО 2. Количество новых конкурентоспособных ООП в вузе 3. Количество новых направлений подготовки магистров в вузе 4. Соответствие структуры освоения всех ООП вуза требованиям ФГОС ВПО 5. Соответствие срока и трудоемкости освоения всех ООП вуза требованиям ФГОС ВПО 6. Процент обеспечения всех видов занятий по дисциплинам всех учебных планов вуза учебно-методической документацией 7. Наличие возможности доступа всех обучающихся к фондам учебно-методической документации и изданиям 8. Соответствие УМКД/ЭУМКД ООП вуза нормативным требованиям (в т.ч. вуза) и требованиям заинтересованных сторон (в т.ч. работодателей) 9. Удовлетворенность студентов обеспечением (доступностью) УМКД/ЭУМКД ООП вуза	Проректор по учебной работе
Процесс «Довузовская подготовка»
1. Процент поступивших в СибГТУ от общего числа обучавшихся на ФДП и подавших заявление на поступление, % 2. Удовлетворенность слушателей обучением на факультете довузовской подготовки (ФДП)

Разработанная система ключевых показателей деятельности (КПД) вуза (таблица 3.11) не исключает сбор и других показателей или сведений, характеризующих процессы и деятельность вуза по всем направлениям. Это, как правило, мы видим в традиционных годовых отчетах образовательных организаций. В них освещается, что было сделано, сколько и каких мероприятий проведено, достижения вуза и т.д. В работе А.А.Факторович обоснована методология и технология ценностно-мотивационного управ-

ления качеством педагогической деятельности преподавателя вуза. Ценностно-мотивационный подход в управлении качеством образовательного процесса в вузе не отменяет процессный, но расширяет его возможности. Представлены основные показатели и критерии эффективности внутриву-зовской системы управления качеством образования, построенной в соответствии с ценностно-мотивационным подходом. На наш взгляд, эти показатели и критерии могут также быть использованы при формировании системы ключевых показателей деятельности вуза.

Разработанная система ключевых показателей деятельности образовательной организации позволит:

• исключить дублирование показателей;
• более четко распределить ответственность между руководителями различного ранга;
• повысить управляемость процессов системы качества образовательной организации.

На наш взгляд, система КПД позволит провести оценку качества системы управления, по принципу: цели были поставлены, и как (насколько) они были реализованы. Это будет продвигать вузы к переходу реализации их деятельности на основе принципов менеджмента качества.