Почему рост показателей ещё не повод увеличивать бюджет
После изменения системы напоминаний доля пациентов, приходящих на приём, выросла с 70 до 78%. Руководитель направления предлагает распространить новую практику на все филиалы. Результат выглядит убедительно: посещаемость увеличилась, дополнительные расходы известны, а сама инициатива не требует серьёзных организационных изменений. Но достаточно ли этого, чтобы увеличить бюджет?
На первый взгляд, решение очевидно. Если новое сообщение помогает пациентам чаще приходить на приём, его стоит использовать во всей сети.
Однако положительная динамика показателя ещё не доказывает, что улучшение произошло благодаря принятому решению. И даже если эффект действительно существует, он не обязательно окупает расходы на его достижение.
Поэтому прежде чем масштабировать изменение, собственнику необходимо ответить на два вопроса: действительно ли оно повлияло на результат и насколько этот результат экономически оправдан.
В книге «Доказательный медицинский маркетинг» мы разбираем эту проблему на примере медицинской организации. Но аналогичные ошибки встречаются практически в любом бизнесе, где управленческие решения принимаются на основании изменений показателей.
Почему рост показателя не доказывает эффективность решения
Предположим, что клиника изменила содержание сообщения, которое пациенты получают перед визитом.
Раньше после записи отправлялось стандартное напоминание. Теперь сообщение содержит дополнительные сведения о подготовке к приёму и более понятную инструкцию по подтверждению записи.
Через месяц аналитики фиксируют улучшение: доля пациентов, которые действительно пришли на приём, выросла с 70 до 78%.
Руководитель делает вывод, что новая коммуникация работает, и предлагает распространить её на остальные филиалы.
Проблема заключается в том, что за этот месяц в клинике могли произойти и другие изменения.
Например, закончился сезон отпусков, появились дополнительные вечерние часы приёма, изменился состав врачей или увеличилась доля повторных пациентов, которые обычно лучше соблюдают договорённости о посещении.
Каждый из этих факторов способен повлиять на доходимость.
Если сравнивать только показатели до и после внедрения, невозможно установить, какую часть улучшения обеспечило новое сообщение, а какую — изменения в работе клиники и составе пациентского потока.
В управленческой практике это одна из наиболее распространённых ошибок: последовательность событий принимают за причинно-следственную связь.
Сначала компания внедрила изменение. Затем показатель вырос. Следовательно, именно изменение обеспечило рост.
Но для такого вывода недостаточно знать, что одно событие произошло раньше другого.
Чтобы оценить эффективность решения, необходимо понять, каким был бы результат в сопоставимых условиях без этого изменения.
Как проверить, действительно ли изменение работает
Один из наиболее надёжных способов — провести контролируемый эксперимент.
В нашем примере подходящих пациентов можно случайным образом распределить на две группы. Первая продолжит получать стандартное сообщение, вторая — новый вариант.
Обе группы наблюдаются в течение одного периода. При этом медицинская помощь, обязательная информация и обычные процедуры сопровождения остаются неизменными.
Случайное распределение позволяет снизить вероятность того, что различия между группами связаны с особенностями пациентов, врачей или расписания.
Однако важен не только сам факт разделения на группы, но и соблюдение правил эксперимента.
Например, администраторы не должны самостоятельно выбирать, каким пациентам отправлять новое сообщение. Иначе они могут чаще использовать его для людей, которые изначально с большей вероятностью придут на приём.
Необходимо заранее определить, какие записи участвуют в эксперименте, как учитываются отмены и переносы, что считается состоявшимся посещением и когда подводятся итоги.
В противном случае даже наличие двух групп не гарантирует корректности сравнения.
Подобные принципы организации экспериментов подробно описаны в руководстве NIST по планированию экспериментов.
Если случайное распределение невозможно, компания может сравнивать филиалы, периоды или группы пациентов с похожими характеристиками. Но в таком случае придётся отдельно оценивать влияние других факторов, а уверенность в причинно-следственном выводе будет ниже.
Главное — выбрать способ проверки до получения результата, а не подбирать объяснение под уже выросший показатель.
Восемь процентных пунктов роста: сколько это стоит в деньгах
Вернёмся к учебному примеру из книги.
В эксперименте участвовали 400 пациентов, случайным образом распределённых на две равные группы.
| Показатель | Стандартное сообщение | Новое сообщение |
|---|---|---|
| Количество пациентов | 200 | 200 |
| Состоявшиеся посещения | 140 | 156 |
| Доля пришедших пациентов | 70% | 78% |
В группе с новым сообщением состоялось на 16 посещений больше.
Разница составляет восемь процентных пунктов, или примерно 11,4% относительно исходного уровня доходимости.
Теперь переведём результат в экономику.
Предположим, что каждое дополнительное посещение приносит клинике 3 000 рублей после вычета переменных расходов на оказание услуги. Организация новой коммуникации для группы из 200 пациентов обошлась в 30 000 рублей.
Если вся наблюдаемая разница действительно вызвана новым сообщением, расчёт выглядит следующим образом:
| Показатель | Значение |
|---|---|
| Дополнительные посещения | 16 |
| Вклад одного посещения после переменных расходов | 3 000 ₽ |
| Дополнительный вклад | 48 000 ₽ |
| Расходы на новую коммуникацию | 30 000 ₽ |
| Дополнительный результат | 18 000 ₽ |
Получается, что эксперимент принёс положительный экономический результат.
Но здесь есть важное условие: расчёт предполагает, что именно новое сообщение обеспечило все 16 дополнительных посещений.
Если фактический эффект меньше, экономика будет другой.
При заданных расходах клинике необходимо получить как минимум десять дополнительных посещений, чтобы покрыть стоимость изменения.
Для группы из 200 пациентов это соответствует увеличению доходимости на пять процентных пунктов.
Таким образом, для принятия решения появляется конкретный экономический ориентир: новая коммуникация должна обеспечивать прирост доходимости не менее пяти процентных пунктов, чтобы окупаться при заданных условиях.
Остаётся установить, насколько полученные данные позволяют рассчитывать на такой результат в дальнейшем.
Почему положительного результата эксперимента может быть недостаточно
Наблюдаемая разница между группами составляет восемь процентных пунктов. Но это оценка, полученная на ограниченном количестве пациентов.
Если повторить эксперимент на другой случайной выборке, результат, скорее всего, будет несколько отличаться.
Поэтому при оценке экспериментов важно учитывать статистическую неопределённость.
В нашем примере приближённый 95%-й доверительный интервал для разницы независимых долей составляет от −0,6 до +16,6 процентного пункта.
Иными словами, наблюдаемые данные совместимы с достаточно широким диапазоном возможных эффектов: от небольшого ухудшения до существенного улучшения доходимости.
Для собственника здесь важно не само значение доверительного интервала, а его отношение к экономике решения.
Мы уже установили, что для покрытия расходов необходим прирост на пять процентных пунктов.
Однако полученный интервал включает значения ниже этого порога.
Следовательно, эксперимент пока не даёт достаточно точной оценки, чтобы уверенно рассчитывать на окупаемость изменения при масштабировании.
Это не означает, что новое сообщение бесполезно. Наблюдаемый результат положительный, и продолжение проверки может быть оправданным.
Но решение о распространении практики на всю сеть потребует либо более точной оценки эффекта, либо готовности компании принять соответствующий экономический риск.
Здесь важно различать две ситуации.
В первой эксперимент организован корректно, но наблюдений недостаточно для принятия решения. Тогда можно продолжить проверку в соответствии с заранее установленным планом.
Во второй нарушены сами условия сравнения: например, группы формировались по разным правилам или одновременно изменились другие процессы. Простое увеличение количества наблюдений не устранит эту проблему.
Поэтому фраза «нужно больше данных» сама по себе не является достаточным аналитическим выводом. Необходимо понимать, чего именно не хватает: точности оценки или достоверности самого сравнения.
Почему успешный эксперимент не всегда можно масштабировать
Допустим, клиника продолжила эксперимент и получила достаточно убедительные подтверждения эффективности нового сообщения.
Означает ли это, что теперь его можно внедрять во всех филиалах?
Не обязательно.
Экономика изменения зависит от условий, в которых оно применяется.
Например, в первом филиале дополнительные сообщения отправлялись силами действующих администраторов, у которых было достаточно свободного времени. При масштабировании на всю сеть может потребоваться увеличение штата или внедрение дополнительного программного обеспечения.
Изменится и стоимость коммуникации.
Кроме того, увеличение доходимости имеет экономический смысл только в том случае, если клиника действительно получает дополнительные состоявшиеся посещения, которые иначе были бы потеряны.
Если расписание врача и так полностью загружено, улучшение посещаемости может привести преимущественно к изменению распределения пациентов, а не к увеличению общего объёма оказанных услуг.
В некоторых подразделениях дополнительные посещения потребуют расширения расписания, привлечения других специалистов или перераспределения нагрузки.
В результате решение, которое оказалось прибыльным в одном филиале, может иметь совершенно другую экономику в другом.
Поэтому при масштабировании необходимо отдельно оценивать стоимость внедрения, доступность ресурсов и ожидаемый дополнительный результат.
Особенно важно проверить, сохраняются ли условия, благодаря которым эксперимент оказался успешным.
Например, если новый порядок коммуникации требует индивидуальной работы администратора с пациентом, его эффективность может снижаться по мере увеличения нагрузки.
Если результат зависит от конкретного состава пациентов, перенос практики на другое направление также может изменить эффект.
Эксперимент подтверждает результат в определённых условиях. Масштабирование требует проверки того, насколько эти условия воспроизводимы.
Как принимать решение об увеличении бюджета
Результаты управленческого эксперимента должны позволять собственнику выбрать конкретное действие, а не просто оценить динамику показателей.
Для этого в итоговом анализе необходимо соединить несколько элементов.
Прежде всего — описание самого изменения. Что именно компания начала делать иначе и какие процессы затронула инициатива?
Далее — способ проверки. Какие группы сравнивались, как они формировались и какие обстоятельства могли повлиять на результат?
Затем — оценка эффекта. Насколько изменился целевой показатель и какова неопределённость этой оценки?
После этого — экономика. Какой дополнительный результат получила компания, сколько стоило изменение и какой минимальный эффект необходим для окупаемости?
Наконец — условия масштабирования. Какие ресурсы потребуются при расширении, сохранятся ли первоначальные расходы и не возникнут ли новые ограничения?
Такой анализ позволяет разделить несколько принципиально разных управленческих решений.
Если эксперимент организован некорректно, необходимо пересмотреть способ проверки.
Если наблюдаемый эффект положительный, но оценка недостаточно точна, может потребоваться продолжение эксперимента.
Если эффект подтверждён, но не покрывает расходы, следует пересмотреть стоимость или содержание инициативы.
Если изменение обеспечивает приемлемый экономический результат и его условия воспроизводимы, появляется основание для масштабирования.
При этом универсального статистического порога, после которого любое изменение обязательно следует внедрять, не существует. Решение зависит от величины инвестиций, возможных потерь, обратимости изменений и готовности компании принимать риск.
Для небольшой и легко отменяемой инициативы допустим один уровень неопределённости. Для масштабного изменения, требующего значительных вложений, — другой.
Поэтому качественная управленческая аналитика должна не только показывать результат эксперимента, но и помогать оценивать последствия возможной ошибки.
Доказательный подход начинается с постановки вопроса
Компании часто начинают анализ изменений с построения отчётов. Собирают данные, сравнивают периоды, рассчитывают динамику показателей и пытаются определить, какие инициативы оказались успешными.
Но если заранее не сформулировано управленческое решение, даже подробная аналитика может оказаться бесполезной.
Например, рост количества подтверждённых записей сам по себе не отвечает на вопрос об эффективности новой коммуникации. Для клиники важнее понять, увеличилось ли число состоявшихся посещений и оправдывает ли дополнительный результат расходы.
Поэтому доказательный подход начинается с определения того, какое решение предстоит принять, какие данные для него необходимы и при каком результате компания будет готова действовать.
Далее следует проверка причинно-следственной связи, оценка экономического эффекта и анализ условий, в которых этот эффект можно воспроизвести.
Именно такая последовательность позволяет отличать действительно эффективные управленческие изменения от случайных колебаний показателей.
Рост показателя — повод изучить результат. Основанием для увеличения бюджета он становится только после проверки причин, экономики и условий масштабирования.
Как мы работаем с управленческой аналитикой в Paper Planes
В проектах по автоматизации и управлению на основе данных мы начинаем с определения решений, которые компания должна принимать, и показателей, необходимых для их обоснования.
На этой основе формируем требования к данным, аналитическим моделям и управленческой отчётности.
Если задача связана с проверкой изменений в пациентском маршруте, дополнительно рассматриваем организацию процессов, распределение ответственности и возможности проведения контролируемых экспериментов.
Подробнее о направлениях работы:
ИТ, автоматизация и искусственный интеллект
Подробнее — в книге «Доказательный медицинский маркетинг»
В книге мы разбираем, как использовать данные для оценки маркетинговых и управленческих решений в медицинских организациях.
Отдельное внимание уделяем проверке гипотез, экономике изменений и ограничениям, которые необходимо учитывать при масштабировании успешных практик.