Большинство сотрудников некоммерческих организаций так заняты основной работой, что им просто некогда разбираться, как оценивать свои программы и проводить саму оценку.
Мотивации менять эту ситуацию у руководства тоже нет, кажется, что все «и так работает». Кроме того, оценки просто пугают НКО. Ведь по результатам может оказаться, что организация делает что-то не так, а узнавать такое, как правило, не очень приятно.
В итоге измерение эффективности представляется НКО необязательной и даже лишней работой. На самом деле это не так.
Оценка финансово выгодна НКО
Измерять и оценивать свою эффективность нужно, чтобы понимать, достигает ли НКО желаемых результатов, объясняет эксперт по организационному развитию, автор проектов «Без сахара» и Lemon Pie Анна Морозова. Для любой организации важно ставить себе цели и периодически сверяться, что уже сделано на этом пути и что еще можно сделать.
«Коммерческие организации хорошо знают свою аудиторию: они регулярно вкладывают средства в изучение ее поведения, реакций, предпочтений, – говорит Юлия Ходорова, директор БФ «Культура благотворительности». – У НКО меньше ресурсов, но им также необходимо знать свою аудиторию и понимать, что для нее важно и ценно, и для этого проводить оценку».
Аудитории НКО – не только ее благополучатели, но и доноры, партнеры, сама команда организации, уточняет исполнительный директор некоммерческой организации «Эволюция и филантропия» Ольга Евдокимова. Разные аудитории могут по-разному определять эффективность НКО. Вы можете получить от них данные, которые помогут вам лучше работать для разных аудиторий. Например, ваши программы будут точно отвечать запросам благополучателей, а донорам вы предложите финансировать именно те проекты, на которые они захотят тратить свои средства.
То есть, измеряя эффективность, НКО может узнавать, какие технологии и методы работают, и управлять качеством своих программ, при необходимости меняя их, – а значит, лучше выполнять свою миссию и усиливать свое социальное воздействие. Кроме того, благодаря оценке НКО также накапливают знания для будущего.
Измерение эффективности также финансово выгодно для НКО: можно оценить соотношение достигаемых результатов к затрачиваемым ресурсам и понять, как оптимизировать расходы.
Оценки повышают шансы организации на получение грантов: сегодня многие грантодающие организации интересуются, есть ли у НКО данные, подтверждающие ее эффективность. Кроме того, делясь результатами оценки, НКО могут стать более понятными и прозрачными для людей, а значит, привлечь их как потенциальных доноров.
«Некоторые НКО считают: они работают в таком формате, что их нельзя оценить. Программы организации уникальны, а значит, типичные методы им не подойдут. Но практика мировой филантропии показывает, что есть множество инструментов, можно подобрать подходящие к абсолютно любой некоммерческой организации и оценить каждую из них», – говорит исполнительный директор благотворительного фонда «Социальный навигатор» Татьяна Задирако.
НКО оценивается через ее работу и социальное воздействие на общество. Обе эти оценки эффективности или одну из них (в зависимости от своих целей) может проводить любая организация, объясняет Юлия Ходорова, директор БФ «Культура благотворительности».
• Оценка работы НКО. Оценивается система управления, компетенции сотрудников, потенциал для развития, востребованность деятельности, наличие ресурсов, устойчивости. Фокус и критерии для оценки эффективности НКО могут различаться в зависимости от ее задач и плана развития. Для кого-то актуальная цель и критерий эффективности в моменте – сохранить объем бюджета, число сотрудников, продолжить текущие проекты, а для кого-то – увеличить объемы привлекаемых средств, количество программ и сотрудников;
• Оценка социального воздействия. Здесь оценивается воздействие программ НКО на решение конкретной социальной проблемы и на подопечных, устойчивость и ценность результатов для них. В эту оценку важно вовлекать конечных благополучателей: собирать их мнения и анализировать, что изменила НКО для них.
Какие есть метрики
Любое измерение эффективности НКО должно включать несколько разных показателей, объясняет Татьяна Задирако:
- Качественные показатели. Это могут быть достигнутые в ходе программ результаты, качество услуг, оказываемое благополучателям. Например, улучшение жизни благополучателей (людей удалось вылечить, реабилитировать), изменение выраженности проблемы, с которой работает НКО, в обществе (продвижение закона, решающего эту проблему, масштабирование программы, помогающей охватить больше благополучателей);
- Количественные показатели. Сюда можно отнести бюджет организации, стоимость ее услуг, количество доноров, волонтеров, подопечных и тех, у кого повысилось благополучие в ходе участия в программе НКО.
Эти показатели работают в комплексе и одинаково важны: «Качественные показатели требуют измерения и должны иметь количественную характеристику, иначе это просто набор слов, – объясняет Ольга Евдокимова. – Мы понимаем, что благодаря нашей программе что-то изменилось, но у какого количества граждан? Какова динамика изменений за период времени? Необходимо оперировать числами, они помогают нам измерять результаты».
Определять показатели нужно, отталкиваясь от целей и задач своей программы. Что вы хотели улучшить благодаря ей? на какой аспект жизни благополучателей повлиять? При этом стоит помнить, что показатель имеет значение, если им можно управлять, – он будет меняться при корректировке программы. Например, вы получили данные, которые говорят, что самостоятельность ваших подопечных-подростков выросла не так сильно, как было запланировано, или у одних категорий подростков она больше, чем у других. Всеми этими показателями можно управлять, если это имеет отношение к вашей программе.
Какие есть методы и инструменты
Эффективность НКО измеряют стандартными социологическими методами сбора данных: количественные подсчеты, анкетирование, беседы (сторителлинг), опросы, интервью, фокус-группы, наблюдения, тесты, изучение документации и отчетов. Кроме того, задействуются методы видеосъемки (например, оказания услуги подопечному) и анализа увиденного, изучения соцсетей (например, информации о подписчиках сообщества НКО).
Одни инструменты используются для получения обратной связи от стейкхолдера, например анкета или опрос. В них нужно включать вопросы, из ответов на которые можно понять, что именно НКО сделала хорошо, а что стоит улучшить.
Инструмент сторителлинга (или разговор) помогает выслушать историю человека, не ограничивая его определенными вопросами. Он сам рассказывает о взаимодействии с НКО: с какой проблемой обратился за помощью, какие услуги получал, какие изменения заметил первыми, какие – потом. Слушая «вольный» рассказ, можно заметить вещи, про которые НКО могла не догадаться сама, объясняет Ольга Евдокимова.
В каких-то случаях уместны инструменты без активного участия благополучателя, например наблюдение. Здесь сотрудники НКО сами анализируют свои сильные и слабые стороны.
Методика, как правило, в том, чтобы задействовать один или несколько инструментов сбора и анализа данных. Например, небольшой организации можно начать с анкеты обратной связи и по мере роста НКО включать все больше инструментов. Так можно получить более достоверные количественные и качественные показатели. В идеале стоит использовать несколько инструментов.
Задействуя несколько инструментов – количественный подсчет, анкета и глубинное интервью – НКО, помогающее приемным семьям, может оценить:
– число или долю благополучателей, достигших положительных изменений (количество семей, взявших на воспитание в семью сирот);
– состояние благополучателя до и после участия в программе (насколько школа приемных родителей помогла ее выпускникам и теперь они уверены, что смогут воспитывать сироту);
– удовлетворенность благополучателей.
Как часто измерять эффективность
Оценка должна быть регулярной, ее нельзя сделать один раз и потом всегда опираться на полученные данные. Сверяться с актуальными целями и тем, идете ли вы к ним, надо постоянно – как с картой, идя по новому маршруту. А для этого необходимо регулярно проводить оценку, уверена Анна Морозова.
Частота оценки зависит от объема работы НКО и от степени изменений, которые происходят вокруг нее. Если сфера устойчивая и в ней ничего долгое время не меняется, достаточно измерять эффективность организации раз в год, считает Анна. Если же степень изменений в сфере высока и/или сама организация быстро растет и развивается, то оценку надо делать чаще, хотя бы раз в полгода.
Стоит также опираться на запросы внутренних и внешних стейкхолдеров, говорит Ольга Евдокимова: «Если у самой команды НКО на каком-то этапе возникли исследовательские запросы – как можно было бы усилить социальное воздействие – стоит обращаться к оценке. Она поможет найти «рамку» эффективности, позволяющую достигать НКО свои цели».
Например, фонд «Страна – детям» примерно раз в полгода возвращается к каждой из семей своих подопечных – высылает им анкеты, просит участвовать в опросах. В фонде также есть специалист по оценке социального эффекта: он созванивается с родителями подопечных и проводит с ним интервью. Цель фонда – всегда быть в курсе, какие происходят изменения в жизни детей, улучшилось ли их состояние, и понимать, надо ли в данный момент корректировать свои программы для лучшей помощи подопечным.
Кто должен проводить оценку
Команде НКО важно и самой регулярно измерять свою эффективность, уверена Ольга Евдокимова. Этот процесс должен быть такой же стандартной частью работы, как фандрайзинг или PR. Оценкой могут заниматься менеджеры программы или сотрудники по работе с благополучателями. Соответствующие обязанности надо прописать в их должностных инструкциях.
«Важно начинать с небольших шагов – они должны быть органичны, не сильно влиять на нагрузку сотрудников и не вызывать у них раздражение, – советует Ольга. – Если команда раньше никогда не занимались ничем подобным, она может начать с чего-то простого, скажем, рассылать благополучателям анкету обратной связи. Но необходимо постоянно реагировать на полученные данные и анализировать их, чтобы «почувствовать вкус» обратной связи и понять ее ценность».
Команда НКО может также привлекать специалиста со стороны. Внешние эксперты помогут достичь большей объективности: «Для полноценного анализа важно приглашать независимых специалистов, которые увидят ситуацию извне», – объясняет Юлия Ходорова.
• Разработка методологии. В самом начале работы внешний эксперт сможет создать подходящую систему оценки индивидуально для вашей программы или организации, подобрать инструменты и определить ключевые показатели. В дальнейшем НКО может использовать эти наработки и своими силами собирать и анализировать информацию;
• Составление анкет/вопросов для интервью. Важно, чтобы с помощью этих вопросов можно было получить нужные данные. Лучше полностью поручить это социологу или попросить его проверить сделанное командой;
• Анализ данных. Для этого также могут быть полезны компетенции и опыт профессиональных исследователей.
Но даже при смешанной оценке команде НКО можно самой собирать данные (особенно, если сбор данных требует доверительных отношений), делать выводы и решать, какие изменения вносить в свои программы: «Максимальную пользу измерение эффективности принесет, если даст команде новое знание о программах. Внешние оценщики могут, конечно, принести это новое знание, но тогда это надо отдельно проговаривать с ними в ТЗ, – поясняет Ольга. – Сотрудники НКО должны самостоятельно заниматься мониторингом и делать выводы».
Внешнего специалиста НКО может найти в вузах: будущие социологи, например студенты ВШЭ, регулярно бесплатно помогают некоммерческим организациям. Профессиональных социологов с опытом работы с НКО можно найти в Ассоциации специалистов по оценке программ и политик, в «Процесс Консалтинг», Институте оценки, организации «Эволюция и филантропия», фонде «Культура благотворительности», проекте «Пульс НКО».
Платная оценка может стоить ориентировочно 150 000-300 000 рублей. Все зависит от организации и масштаба ее программ: оптимальная стоимость составляет порядка 2-5% от годового бюджета НКО, объясняет Татьяна Задирако. Эту сумму ежегодно стоит заранее закладывать на измерение эффективности организации. При необходимости ее можно включать в грантовую заявку.
Как использовать результаты в работе
Когда данные собраны, становится понятно, что в НКО или в ее конкретной программе хорошо работает, а что нет. Исходя из этого, организация может понять, какие программы стоит усиливать, какие корректировать, а какие закрывать.
«Например, мы оценивали проект по трудоустройству людей с инвалидностью в одном из небольших городов. У команды проседало взаимодействие с работодателями – те не до конца понимали аспекты трудоустройства людей с инвалидностью. По результатам нашей оценки НКО поняла это и решила изменить свою программу, начав уделять больше внимания взаимодействию с работодателями, – говорит Юлия. – Мы также общались с благополучателями этой организации и выяснили, что не у всех из них цель – получать зарплату: некоторым достаточно быть занятым регулярным трудом. Поэтому мы начали рассматривать разные варианты сотрудничества с работодателем».
Указания об изменениях должны поступать «сверху», объясняет Татьяна Задирако: совет директоров собирается, согласовывает план корректировок, доносит свои решения до менеджмента НКО и при необходимости обсуждает их с ним. Затем руководители направлений дают указания своим подчиненным, и в ежедневную работу организации вносятся изменения.
Планы перемен и то, как они внедряются, также стоит обсуждать на ретритах и стратсессиях – там могут быть услышаны мнения всех сотрудников. А через год после начала работы команде НКО стоит вновь собраться, чтобы проверить, все ли прошло по плану.
При этом важно понимать, что оценка не всегда приводит к кардинальным изменениям в организации – иногда они не нужны. Получая обратную связь, вы услышите большое количество предложений, что вам надо изменить, но вы не обязаны следовать всем советам, поясняет Ольга Евдокимова. Возможно, вам нужны совсем небольшие корректировки, например, изменить время приема благополучателей.
– По сути не важно, какие изменения у вас происходят в результате оценки, стратегические или тактические, и происходят ли вообще, – говорит Ольга. – Важнее, что вы получили внешнее независимое подтверждение своей эффективности. Это само по себе полезно, и вы будете распространять это в паблике. Главное, чтобы в НКО шли процессы, которые в целом регламентируют, как результаты оценки используются в работе. В идеале это отражает документ, который в международной практике называется «Управленческий ответ».
Рисунки Варвары Гранковой
