Позитивные изменения, Том 3 №1, 2023. Positive changes. Volume 3, Issue 1 (2023)

Без стандартов, но по призванию. Является ли оценка проектов и программ профессией?

Юлия Вяткина

DOI 10.55140/2782–5817–2023–3–1–16–27

Тема профессионализации оценки проектов и программ (в социальной сфере, культуре, науки, экологии и т. д.) существует в повестке международных организаций второй десяток лет, в российской практике – около десяти. Появляется много публикаций, проводятся дискуссии, специалисты по оценке обсуждают статус ее как профессии на региональном и международном уровне. В нашей стране эта тема рассматривается на ежегодных конференциях Ассоциации специалистов по оценке программ и политик (АСОПП). Так является ли оценка проектов и программ профессией, и если да, то как это можно понять и узнать?

Юлия Вяткина

Редактор журнала «Позитивные изменения»

Прежде чем начать разговор о профессионализации оценки (здесь и далее под оценкой мы будем понимать оценку проектов и программ – прим. ред), рассмотрим, каким образом то или иное занятие превращается в профессию.

Американский социолог Гарольд Виленски, исследовавший функционирование различных организационных структур в современном обществе, предложил в 60-х гг. прошлого века модель, согласно которой формирование профессии проходит несколько стадий[9].

Все начинается с того, что некое занятие приобретает статус полной занятости. Т. е. достаточно много людей занимаются некой деятельностью с утра до вечера и зарабатывают этим на жизнь. Полная занятость – это отправная точка, иначе занятие не может превратиться в профессию. Кроме того, она возможна, когда есть спрос на услуги.

Вторая стадия – это появление школы профессиональной подготовки людей, которые занимаются этим видом деятельности. Такая школа чаще всего ассоциирована с университетами. Далее появляется профессиональная ассоциация – объединение людей, которые занимаются этой деятельностью на постоянной основе. Ассоциация делает определенные шаги, чтобы со стороны государства были приняты какие-то нормативные документы, которые бы позволяли в установленном порядке лицензировать, сертифицировать деятельность, чтобы появилась своего рода профессиональная монополия. Также профессиональная ассоциация влияет на профподготовку специалистов, появляется теория, методы, стратегии деятельности и компетенции специалистов.

Следующий шаг – этический кодекс, который обеспечивает предотвращение злоупотреблений авторитетом и властью. Профессиональные ассоциации демонстрируют общественности, что они контролируют соблюдение этического кодекса и являются саморегулируемыми.

Еще один этап – формирование позитивного имиджа в обществе. Когда имидж есть, можно говорить о том, что появляется профессия.

Есть два подхода к определению профессии. В первом случае ее обозначают как деятельность, занятие, работу. Во втором – как группу людей.

Профессия как деятельность – это оплачиваемая работа, особенно та, которая предполагает длительное обучение и формальную квалификацию. Соответственно, профессионал – это человек, который прошел такое обучение, получил подтверждение своей квалификации и занимается такой работой.

Генеральный директор и старший вице-президент по оценке в Группе Всемирного банка Кэролайн Хайдер выделяет важные черты состоявшихся профессий[10]:

• Существует установленный порядок получения высшего образования, обязательного для каждого члена профессии, а для некоторых профессий требуется регулярное обновление знаний и навыков.

• Профессия требует, чтобы новые выпускники практиковали в тесном сотрудничестве и под наблюдением более опытных практиков.

• Есть сильные, признанные профессиональные ассоциации, которые обеспечивают соблюдение и укрепление стандартов.

• Имеется законодательство, устанавливающее требования и обеспечивающее основу для обращения в суд в случае злоупотребления служебным положением.

Мы решили провести собственное небольшое исследование и обратились к экспертам, которые в теме оценки уже достаточно давно. Наши спикеры ответили, что пока еще рано говорить о том, что оценка – это зрелая профессия. Причем степень ее зрелости в разных странах отличается.

«Мне кажется, что эта профессия в стадии становления. Есть много признаков, свидетельствующих об этом. Если взять процент тех, кто закончил высшие учебные заведения по специальности «Оценка», в мире таких специалистов немного. В России пока нет такой специализации. Люди приходят в оценку из разных сфер деятельности с разным бэкграундом», – говорит генеральный директор компании «Процесс Консалтинг» Алексей Кузьмин.

Всегда стоит помнить о том, что когда мы говорим про профессию, то мы должны понимать, что у нее должен быть целый ряд атрибутов. В России часть из них есть, а другой части нет, обращает внимание Ирина Ефремова-Гарт, первый заместитель директора Форума Доноров.

Одним из основных признаков профессионализации той или иной деятельности является самоорганизация сообщества. Например, в нашей стране в 2014 году создана Ассоциация специалистов по оценке программ и политик (АСОПП), миссия которой – развитие и продвижение оценки как профессии в России. Сибирским центром поддержки общественных инициатив и Центром социальных технологий «Гарант» проводятся летние школы по оценке, активно работает клуб PROОЦЕНКУ, на заседаниях которого коллеги обмениваются наработанными практиками и уроками. Не менее важным атрибутом профессионализации является наличие принципов и стандартов, сформулированных сообществом специалистов. В России, как и в других странах, где работают профессиональные ассоциации, такие принципы были разработаны и приняты АСОПП[11]. Их отличительной чертой является то, что каждый из шести принципов содержит рекомендации не только для специалистов по оценке, но и для заказчика, и участника оценки. Еще один признак профессионализации – система сертификации, когда специалист, обладающий опытом и знаниями в сфере оценки, получает официальное подтверждение этому факту. В нашей стране сертификации специалистов по оценке нет, в то же время этого нет во многих странах мира, за исключением Канады и Японии.

В список признаков можно включить и рост интереса вузов к профессиональной подготовке специалистов по оценке: например, в Московском государственном психолого-педагогическом университете появилась магистерская программа «Доказательное проектирование и оценка программ в области управления социальными рисками в сфере детства». Одним из факторов, способствующих развитию оценки в России, стала организация и проведение стратегического аудита со стороны Счетной палаты Российской Федерации. Он проводится в целях оценки реализуемости, рисков и результатов достижения стратегических целей, а также оценки влияния внешних и внутренних факторов на уровень достижения стратегических целей.

«Все это свидетельствует о том, что оценка развивается как профессия», – резюмирует Ирина Ефремова-Гарт.

Президент Сибирского центра поддержки общественных инициатив (СЦПОИ) Елена Малицкая отмечает, что в нашей стране появляется запрос со стороны государства на специалистов по оценке. «Правда, этот запрос специфический – на определенный тип оценки, который связан с экспертизой заявок, проектов и программ», – говорит Елена Малицкая.

С возросшим запросом на специалистов и обучение оценке согласна и Марина Михайлова, директор центра «Гарант».

«Пока что оценка – это экспертная область, а не профессия. Но если лет 15–20 назад это был разговор между специалистами, которые этим занимаются, то сейчас ситуация сильно изменилась. С одной стороны, про оценку стали гораздо больше говорить. С другой стороны, всем, кто подается на конкурсы Фонда президентских грантов и другие, необходимо оценивать результаты проектов. Кроме того, стало больше образовательных продуктов, которые учат самооцениванию», – говорит Марина Михайлова.

По ее словам, появились конкурсы, которые награждают людей и организации, которые уделяют внимание оценке. Сообщество экспертов стало обращать внимание на годовые отчеты, есть ли там информация про оценку результатов работы организации. Также пришло понимание того, что оценка – это не удел единичных суперспециалистов, а то, чем все так или иначе занимаются. Просто иногда сотрудники организаций не отдают себе в этом отчет.

Оценка прошла приличный путь профессионализации, но в то же время ей еще далеко идти вперед, считает Наталья Кошелева, президент Ассоциации специалистов по оценке программ и политик, консультант по мониторингу и оценке программ и проектов социальной направленности.

«Любая профессия постоянно куда-то развивается. Профессии становятся все более нишевыми, оценка – в том числе. Это маленькая профессия, но довольно быстрорастущая», – говорит она.

Во всем мире людей, которые получили диплом по специальности «Оценка» не так много, как юристов или экономистов. У западных коллег есть программы магистратуры и PhD по оценке, но с учетом того, что оценка – профессия междисциплинарная, то количество профессионалов в этой области не определяется числом тех, кто получил диплом в вузе, считают эксперты.

Так откуда же появляются специалисты и как они строят профессиональную карьеру? Алексей Кузьмин говорит, что в американской, канадской, европейской ассоциации специалистов по оценке, насчитывающих несколько тысяч человек, состоят люди с очень разным бэкграундом.

«Давайте, я перечислю: по базовому образованию это психологи, социологи, педагоги, медики, инженеры, специалисты по компьютерным технологиям, экономисты, менеджеры, статистики. Конечно, если ты закончил университетскую программу, где было обучение методам социологических исследований, то это хорошее подспорье», – говорит он.

Сам эксперт пришел в оценку в конце 1990-х гг. из сферы консультирования в области организационного развития. В 1999 году стал членом Американской ассоциации оценки, посещал за рубежом конференции и семинары, читал литературу на английском языке, а в 2001 г. решил пойти на программу PhD в Штатах и закончил ее со специализацией в области организационного поведения и оценки программ.

«У многих людей за рубежом, которых я знаю, профессиональная карьера складывается как у специалистов по оценке внутри организаций. Это в больших структурах, конечно, происходит. Общий знаменатель для всех историй – в какой-то момент человек сталкивается с необходимостью проведения оценки, что-то внутри резонирует, ему это кажется интересным. И дальше начинается разворот в этом направлении, поиск информации, обучение, поиск специалистов, которые этим занимаются», – говорит Алексей Кузьмин.

Елена Малицкая также называет 1998–1999 год, когда ее работа стала тесно связана с оценкой. «Мы сами тогда, как Сибирский центр поддержки общественных инициатив, проводили грантовые конкурсы. И у нас возникла потребность в мониторинге, оценке и обучении. И мы просто начали внедрять оценку в свою работу и работу членов нашей сети ресурсных центров. А в 2000 году мы провели первую школу и международную конференцию в Новосибирске по оценке, которые позже стали регулярными», – говорит Елена Малицкая.

Руководитель ресурсно-методического центра Благотворительного фонда «Дорога к дому», член правления Ассоциации специалистов по оценке программ и политик Алена Богомолова – одна из тех, кто проходил обучение от СЦПОИ и «Гаранта» на Международной школе оценки. По своему основному образованию Алена Богомолова – социолог. По ее словам, в период обучения в университете у нее было много практических проектов, которые так или иначе были связаны с оценкой, только тогда это называлось по-другому. «В начале 2000-х, во всяком случае у нас в Череповце, это называлось «социологическое сопровождение». И включало в себя комплекс мероприятий, которые сейчас мы понимаем под оценкой или под дизайном оценки. Я училась, учусь и дальше буду учиться, потому что оценка – это очень живая профессия», – говорит она.

Ирина Ефремова-Гарт и Наталья Кошелева получили образование в магистратуре американских университетов. Ирина получила степень MPA (Master of Public Administration), закончив School of Public Administration в Университете Делавера.

«За два года обучения в моем расписании были классы по различным методам исследования, по оценке, по оценке в деятельности некоммерческих организаций. И это было настолько вкусно, интересно, зажигательно, что все мои планы заниматься госуправлением ушли в самый низ листа приоритетов. И, вернувшись в Москву, я понимала, что буду заниматься оценкой и некоммерческими организациями», – говорит эксперт.

По ее словам, она побывала в разных ролях: заказчиком оценки, внутренним оценщиком, внешним оценщиком. А работа в IBM позволила сделать интересные наблюдения: некоммерческие организации, умеющие работать с данными и пользующиеся цифровыми технологиями, значительно чаще достигают своей миссии, могут доказательно рассказать, какой вклад они вносят в решение социальной проблемы.

Наталья Кошелева узнала об оценке, еще обучаясь в магистратуре в School of Public and Environmental Affairs (Школе общественных и экологических вопросов) Университета Индианы.

«Это было в марте 1996 года. Мне попалось объявление, что нужен человек для оценки двух проектов экологической направленности, которые финансировал IREX (Совет международных научных исследований и обменов – прим. ред.). Я тогда первый раз увидела, что есть такая штука, как оценка. Прелесть американского университета в том, что там есть открытая библиотека. Я просто пошла, нашла книжки по этой теме, почитала, поняла общий принцип, и подала заявку. И меня взяли», – рассказала Наталья Кошелева.

Специалист по оценке эффективности проектов и программ Международной организации труда (МОТ) Ирина Синелина получила степень магистра в США по специальности Nonprofit Management, проходила стажировку в некоммерческой организации в Нью-Йорке. И потом вернулась в Москву, где работала сначала в некоммерческой организации, где нужен был анализ результатов воздействия тренингов, а потом пришла в Международную организацию труда, где появилась позиция evaluation officer.

«В МОТ, как и во всех организациях ООН, существует определенная система проведения оценки. Это делается с целью подотчетности донорам, увеличения опыта и совершенствования работы. Мы работаем, как и вся ООНовская система, по стандартным критериям Организации экономического сотрудничества и развития – ОЭСР (the Organisation for Economic Co-operation and Development, OECD). Их базовых пять: актуальность, эффективность, действенность, устойчивость и воздействие. А два года назад еще была добавлена согласованность», – рассказывает Ирина Синелина.

Марина Михайлова училась принципам и подходам к оценке у «Процесс Консалтинг» и у Сибирского центра поддержки общественных инициатив, на международных школах, в том числе по оценке организационного развития и оценке персонала.

«Из разных кусочков потихоньку складывался уже теоретический опыт. И на практике – это, во-первых, большой опыт оценки проектов, поданных на грантовые конкурсы. Потому что мы, как «Гарант», были организаторами таких конкурсов с 2001 года в Архангельской области. Потом было участие в экспертизе за явок в рамках других конкурсов, оценка результатов тех проектов, которые были нами же поддержаны. Также у меня был небольшой опыт в оценке, когда я была директором кадрового агентства, это оценка персонала и оценка системы управления в организации», – говорит Марина Михайлова.

Тема знаний и компетенций в оценке тесно связана с темой обучения. Если мы знаем, какие должны быть компетенции, мы знаем, чему учить и как сформулировать должностные инструкции.

С конца 80-х гг 20 века разные профессиональные объединения специалистов по оценке стали публиковать перечни компетенций. Так, Группа оценки ООН считает, что специалист по оценке должен обладать: базовыми профессиональными компетенциями, техническими навыками, навыками управления, межличностными навыками, продвигать культуру оценки.

Канада – страна, в которой есть сертификация специалистов по оценке, – предложила следующие сферы компетенций для практического осуществления оценки[12]:

1. Рефлексивная – компетенции, относящиеся к фундаментальным нормам и ценностям в сфере оценки, а также осознанию уровня собственной экспертизы и потребностей в профессиональном росте.

2. Техническая – компетенции, относящиеся к специфическим аспектам оценки: планирование, сбор данных, анализ данных, подготовка отчета.

3. Ситуативная – компетенции, относящиеся к оценочному мышлению, применяемому для анализа и учета специфических для каждой оценки интересов, проблем и обстоятельств.

4. Управленческая – компетенции, относящиеся к процессу управления проектом/оценкой (бюджетирование, ресурсное обеспечение, руководство).

5. Межличностная – компетенции, относящиеся к коммуникации, переговорам, разрешению конфликтов, сотрудничеству. Ассоциация специалистов по оценке программ и политик пока такой список компетенций не имеет. Президент АСОПП Наталья Кошелева из основных компетенций специалистов по оценке в России выделяет понимание того, как работают программы и проекты. Не менее важно умение собирать, анализировать и представлять данные. Для тех, кто занимается внешней оценкой, необходимы коммуникационные и межличностные компетенции. И сейчас все больше требуются навыки визуальной коммуникации.

Алена Богомолова говорит о том, что специалисту по оценке необходима возможность обмена мнениями, знаниями.

«Нужны группы людей или площадки, где ты можешь говорить о том, что у тебя получается/не получается и обсуждать еще на старте оценки, как лучше поступить, какие вопросы сформулировать, какой дизайн использовать. Нужна возможность разговаривать про это с другими людьми. Потому что в вакууме развиваться очень сложно. Что еще очень важно? На мой взгляд, иметь свою ценностную профессиональную позицию, исходя из которой ты будешь делать оценку», – говорит она.

С ней солидарна Марина Михайлова: «Чтобы быть хорошим специалистом, надо быть внутри профессионального сообщества, обмениваться опытом, учиться у других, общаться. И важно, чтобы люди, которые хотят быть оценщиками, соблюдали этические нормы. Все-таки оценка – это не аудит, не ревизия. И здесь важно, что оценка проводится не для того, чтобы поставить двойку или пятерку, а для того, чтобы ответить на какие-то вопросы и принять нужные решения. Специалист по оценке – это человек, который пришел помочь разобраться», – поясняет Марина Михайлова.