Грантодатели, бизнес-партнеры и доноры ожидают от НКО подтвержденных данных о результатах программ. Но оценивать собственную работу некоммерческим организациям необходимо не только для них, но и для себя. При этом важно считать не «сколько сделали», а «что изменилось».
По словам Юлии Ходоровой, директора фонда «Культура благотворительности» и эксперта по оценке социального воздействия программ, регулярная оценка позволяет НКО проверить, действительно ли ее работа решает заявленную проблему, а также понять, какие изменения (в том числе неожиданные) происходят с благополучателями. Все это помогает принимать решения о масштабировании или закрытии направлений, а также получать убедительные цифры для грантовых заявок и отчетов.
– Определите стейкхолдеров – круг заинтересованных сторон.
– Спланируйте желаемые изменения и пути их достижения
– Создайте карту изменений для всех стейкхолдеров.
– Разработайте показатели оценки – метрики для измерения изменений
– Собирайте и анализируйте данные – информацию об изменениях.
– Управляйте воздействием – какие решения можно принять по результатам оценки?
Главный инструмент оценки – «Теория изменений»
«В коммерческой сфере у клиентов постоянно запрашивают обратную связь, – говорит Юлия Ходорова. – В благотворительности же часто исходят из того, что «мы делаем хорошее дело, и так все отлично». Однако оценка – это маркер зрелого подхода и внимания к людям».
Прежде чем начинать работу, НКО следует осмыслить, какие социальные изменения и на каком уровне она хочет получить в результате. Этот метод называется «теория изменений». Ее полезно описать в начале проекта, но можно сделать и задним числом – главное, чтобы команда была с ней согласна.
«Теория изменений описывает логическую цепочку, которая ведет от начальных вложений к долгосрочному эффекту, – объясняет Юлия Ходорова. – Она будет выглядеть так: вклады (не только деньги, но и время, компетенции и т.п.) – деятельность (например, занятия, консультации, мероприятия) – непосредственные результаты – изменения (в качестве жизни людей) – воздействие (влияние НКО) – системные изменения».
Например, НКО проводит реабилитацию группы детей. Непосредственный результат – улучшение когнитивных функций. А воздействие – это изменения в траектории обучения и социализации. НКО должна видеть всю цепочку, чтобы понять, куда она ведет доноров и благополучателей.
«Когда мы говорим об оценке изменений и воздействии, мы смещаем фокус с того, что мы сделали, на то, что происходит с людьми дальше. Это более глубокий взгляд на реальные перемены в их жизни», – подчеркивает Юлия Ходорова.
Учитывайте мнения всех участников
Стейкхолдеры – это те, на кого влияет работа вашей НКО. Это не только подопечные, но и их родители, помогающие специалисты, партнеры, чиновники и волонтеры.
Стейкхолдеров можно сегментировать по категориям и возрастам и определить 8-10 групп, чтобы точнее сформулировать ожидания. Для каждого стейкхолдера нужно прописать, какие положительные изменения вы ожидаете, какие отрицательные или побочные эффекты могут возникнуть и что из этого подтверждается опросами. Карта изменений может выглядеть как таблица: стейкхолдер – предполагаемые результаты, подтвержденные и неожиданные.
Реальный пример из практики фонда «Искусство, наука и спорт» – оценка программы «Особый взгляд» для людей с инвалидностью по зрению, которые получали новые навыки.
– Обучение готовке – люди начали собираться компаниями, появился новый досуг.
– Обучение работе со смартфоном – включились в инфополе, общаются с внуками.
– Обучение движению с тростью или собакой-проводником – снизился страх улицы.
– Незапланированный негатив: повысив самостоятельность, некоторые столкнулись с непониманием прохожих.
«Негатив важно учитывать. Если вы работаете, например, с трудоустройством инвалидов и не учитываете их возможные конфликты в коллективе, вы закрываете глаза на реальность. Оценка приземляет ожидания и дает полную картину, а не иллюзию успеха», – подчеркивает Юлия Ходорова.
Метрики могут быть субъективными
Одна из сложных задач – превратить качественные изменения в измеримые показатели. Данные, полученные от благополучателей, могут быть субъективными (например, улучшение самооценки, повышение мотивации или самоудовлетворенность) и объективными (например, посещаемость).
Например, при опросе юных подопечных нередко выясняется, что для них важным в проекте было совсем не то, что планировали организатор-НКО. Подросток может сказать: «Занятия – да, хорошо, но главное – я нашел здесь друга». И это тоже положительный результат воздействия НКО. Объективными показателями для подростков могут быть количество времени, проводимого в школе, участие во внеклассных мероприятиях и увеличение числа друзей.
«Не бойтесь субъективных показателей, – предупреждает Юлия Ходорова. – Для оценки социального воздействия они вполне допустимы. Главное – задавайте вопросы простым языком. Для детей – в игровой форме, для пожилых – в виде коротких интервью». Для объективности оценки она советует прашивать окружение благополучателя – родителей, учителей или соцработников.
Часто НКО сталкиваются с проблемой: человек пришел на одну консультацию или получил разовую адресную помощь и исчез. Как оценить воздействие вашей НКО?
«В таких случаях сложно отследить долгосрочный эффект (обычно считается, что это результат через три года), – отмечает Юлия Ходорова. – Но можно сохранить контакт и попробовать связаться через несколько месяцев. Также допустимо измерить перемены в моменте: улучшение самочувствия, снижение тревоги, получение информации. А можно оценить социальные аспекты: скажем, пациент смог выйти на работу или сократил расходы на лекарства – это уже косвенные признаки воздействия».
Как собирать обратную связь: анкета, фокус-группа, наблюдение
Эксперты советуют использовать качественные методы сбора данных (фокус-группы, интервью, наблюдения) и количественные (анкетирование). Последний метод помогает определить, насколько распространены изменения. «Пример из практики: мы спрашиваем: «Появились ли у вас новые друзья?». Если «да» говорят только 20%, значит, мы зря делали акцент на социализацию в нашей теории изменений», – подчеркивает Юлия Ходорова.
Анастасия Ефимова, эксперт по сбору обратной связи БФ «Культура благотворительности», отмечает, что самый глубокий метод – фокус-группа. Это неформальная беседа с 5-7 участниками по заданному сценарию, которую лучше проводить очно, за чаем. Люди цепляют друг друга воспоминаниями, и разговор получается глубоким, чего не даст анкета. «Здесь необходим сильный модератор, который вовремя остановит направление беседы «по кругу» и задаст правильный вектор», – подчеркивает Анастасия Ефимова.
Чтобы проводить наблюдение, необходим отдельный человек с чек-листом, который зафиксирует поведение аудитории. Например, сколько рук поднимают, кто отвлекается, кому нужно встать и походить. Этот метод ценен нем, что не нужно напрягать и опрашивать людей.
Важное правило анкетирования – короткая анкета. Ее заполнение должно занимать около 7 минут, частота опроса – один-два раза в год, чтобы не надоедать. Мотивировать людей можно так: нужно обосновать необходимость проекта, чтобы сохранить занятия.
Говорите с респондентами на их языке
Анастасия Ефимова не рекомендует интервью для массового сбора обратной связи, так как это слишком сложно и трудозатратно: «Интервью необходимо, если вы общаетесь с экспертом, представителем администрации или узким специалистом. Требует высокого мастерства от интервьюера».
При сборе обратной связи можно использовать игровые методы. Например, «голосование ногами» – вы задаете вопрос, и чтобы ответить «да», люди должны подойти к окну, «нет» – к двери, «может быть» – встать в угол. Еще один метод — ролевые игры. Подросткам можно предложить отвечать от лица героев любимых фильмов.
Среди важных принципов сбора обратной связи – лаконичность. «Я называю это принципом телеграммы. Прежде чем задавать вопрос, подумайте, зачем вам эта информация. Представьте, что за каждый вопрос вы платите деньги, и оставьте только самое необходимое», – советует Анастасия Ефимова.
Кроме того, необходимо использовать язык аудитории, говорить просто и понятно, адаптировать речь под собеседника. Например, с подростками можно использовать их сленг, с пожилыми – общаться максимально уважительно и без спешки, с работающими – коротко, «без воды» и сложных терминов.
Следует выбрать актуальный момент для вопросов, когда человек может дать осмысленный ответ. Например, после окончания проекта.
Не забывайте сами дать обратную связь
Важно обрабатывать собранную информацию и в свою очередь давать обратную связь. Следует вносить изменения, которые в ваших силах, например, если подопечные просят поменять график. Если просьбу выполнить невозможно, необходимо объяснить причину этого (например, что вы не можете сменить помещение, так как оно бесплатное, и вам оно нужно, чтобы сохранить бесплатность занятий).
Важный принцип – конструктивно реагировать на критику. Анастасия Ефимова выделяет проблему «вежливого молчания»: «В коммерческом секторе клиенты охотно жалуются. В благотворительности часто стесняются критиковать (бесплатно же!) или боятся, что их исключат из проекта. Поэтому наша задача – создать безопасное пространство, где люди не боятся высказывать рекомендации, зная, что их услышат и не накажут».
Юлия Ходорова при сборе обратной связи советует не забывать, что изменения могут происходить не только из-за работы определенной НКО, но и благодаря другим организациям, незапланированным факторам или просто естественному ходу жизни. Чтобы отделить именно свое влияние, НКО может использовать контрольную группу – сравнивать участников проекта с теми, кто не участвовал. Если такой возможности нет, следует хотя бы честно признать ограничения.
Как работать с негативом
Главная цель оценки – принять правильные управленческие решения. Если НКО видит, что один из ожидаемых результатов не достигается, следует задуматься об изменении методики, усилении работы с конкретной группой или вообще отказаться от неэффективного направления.
Если обнаружились отрицательные последствия, следует проработать их. Например, при конфликтах в трудовых коллективах, куда трудоустраиваются люди с инвалидностью, добавить просветительскую работу. Если оценка показала, что воздействие незначительно – пересмотрите теорию изменений.
– Обсудите в команде: какой социальный эффект вы хотите достичь в долгосрочной перспективе.
– Напишите теорию изменений для одной из ваших программ – от ресурсов до долгосрочных эффектов.
– Составьте список стейкхолдеров – всех, на кого влияет ваша работа.
– Спросите у благополучателей, что изменилось в их жизни благодаря вашему проекту.
– Примите необходимые управленческие решения на основе оценки социального воздействия.
Коллажи Дмитрия ПЕТРОВА
