Оценка PMF в SaaS продукте

Product Market Fit – состояние, когда продукт соответствует ожиданиям пользователей и закрывает их потребности. При наличии сильного PMF, продукт, как правило, находит устойчивый спрос со стороны ЦА.

Мало времени на чтение? Переходите сразу к самому важному.

Методы оценки

1. Вопрос по методике Шона Эллиса: «Как бы вы себя чувствовали, если бы больше не могли пользоваться продуктом?». PMF достигнут, если доля ответов «очень разочарован» – от 40% и выше.
2. Оценка поведенческих метрик (в статье разбирается именно этот метод): устойчивое удержание, высокая частота использования, органический приток и т.п.
3. Оценка доли пользователей, которые совершили ключевое событие за определенное время. Думаю, что ключевым событием должен быть как минимум Aha-момент (точка, когда пользователь осознает, что продукт может решить его проблему).
4. Оценка NRR (Net Revenue Retention) – какой процент дохода от существующих клиентов компания сохранила за период.
5. Наличие качественных сигналов: сокращение длины сделок, копирование конкурентами, запросы от пользователей и поддержки наподобие «можете добавить еще и это?».

Оценка PMF через удержание и количество активных пользователей

Ниже я опишу, как оценивал PMF в SaaS продукте с большим количеством инструментов (20+). Оценка осуществлялась на базе данных об удержании пользователей, а также на базе количества пользователей из разных сегментов в конкретных инструментах.

Я выбрал именно этот метод потому что он позволяет охватить всех пользователей, а также потому что работа ведется с точными данными систем аналитики.

Исходные данные

Как я писал выше, для оценки будем использовать две метрики:

• Удержание (retention)
• Количество активных пользователей

Удержание необходимо для того, чтобы непосредственно оценить PMF. Количество активных пользователей в целом даст понимание, насколько интересен инструмент разным аудиториям.

Для каждой из метрик предусмотрено два среза:

• Сегмент аудитории (SOHO, SMB, Enterprise)
• Инструмент в сервисе

Также есть сегмент SOHO without shop – он находится слегка за скобками, так как у нас нет данных по выручке в магазинах этих пользователей. В него могли попасть пользователи как из SOHO, так и из Enterprise.

Срезы помогут понять, насколько ценным является каждый инструмент для каждого из сегментов. Далее это можно будет использовать при разработке GTM планов.

Так выглядят исходные данные для исследования:

Обработка данных

Перед погружением в практику напомню, на какие вопросы я хочу ответить:

1. Каким сегментам вообще нужны наши инструменты?
2. Как активно используются инструменты разными сегментами?
3. Какой retention и его динамика в инструментах у разных сегментов?
4. Есть ли PMF у инструментов?

1. Каким сегментам вообще нужны наши инструменты?

Для ответа на этот вопрос обращаемся к данным по активным пользователям. Но мы не можем сравнивать абсолютные значения, так как сегменты разные по размеру.

На скриншоте выше видно, что Enterprise составляет 39,56% от аудитории, SMB – 20,97%, SOHO – 6,17%, а SOHO without shop – 33,31%.

Корректируем абсолютные значения в соответствии с размерами аудиторий. Таким образом, мы моделируем ситуацию, как будто все сегменты равны по размеру. Получаем таблицу, где уже можем сравнивать количество пользователей в инструментах в разных сегментах:

Для большей наглядности, в каждую строку добавляем условное форматирование с цветовой шкалой. Таким образом видим, какие инструменты популярны в разных сегментах.

Если оценивать конкретно этот случай, видно следующее:

1. По мере роста выручки, пользователи используют все больше инструментов сервиса в своей работе.
2. Есть несколько инструментов, которые пользуются спросом только у компаний с небольшой выручкой. По мере роста и перехода в категории SMB и Enterprise, потребность в них сильно снижается (строки 3 и 4, а также последние две).

2. Как активно используются инструменты разными сегментами?

Итак, выше мы поняли, что для сегмента Enterprise важны практически все инструменты, однако какие-то задачи актуальны раз в месяц или даже реже, а какие-то выполняются на ежедневной основе.

Следующим этапом я оцениваю как активно сегменты используют каждый инструмент. Для этого нужно разделить количество пользователей каждого инструмента на количество пользователей в самом популярном инструменте (или на общее количество пользователей в сегменте).

Получаем такую таблицу:

В данном случае цветовую шкалу применяем к столбцам и видим, что во всех сегментах самыми востребованными инструментами являются расположенные в строках 5, 6, 7, 8 и 11.

В принципе, это первый шаг к пониманию, есть ли PMF в данных инструментах.

3. Какой retention и его динамика в инструментах у разных сегментов?

Следующий шаг – оценка retention по каждому инструменту. Она будет строиться из двух составляющих:

1. % пользователей, вернувшихся в инструмент на 6-ой месяц (можно выбрать любой другой период в зависимости от наличия данных и задачи)
2. Динамика кривой удержания. Это моя субъективная оценка, в которой есть четыре значения:
   • Вверх (явный тренд на возврат пользователей)
   • Вниз (явный тренд на отток пользователей)
   • Флет (стабильное количество пользователей после первоначального снижения)
   • Спорно (разнонаправленная динамика от месяца к месяцу, которую не получается как-либо классифицировать)

Собираем данные и получаем таблицу такого вида:

Если посмотреть на тепловую карту, можно заметить, что сегмент SOHO имеет неплохую динамику по большинству инструментов. Но в то же время, в сегментах SMB и Enterprise динамика остается позитивной всего лишь в нескольких инструментах. Это может значить следующее:

1. Большое количество инструментов важно только на ранних этапах (когда выручка еще не высока).
2. Многие инструменты перестают удовлетворять более опытных пользователей. Это приводит к переходу на решения конкурентов и снижению % продлений в сегментах SMB и Enterprise.

4. Есть ли PMF у инструментов?

В принципе, проделав упражнения из предыдущих частей, становится понятно, какие инструменты делают свою работу хорошо, а какие откровенно слабы.

Если мы продаем сервис целиком, а не его инструменты по отдельности, логично оценить PMF сервиса в целом для каждого из сегментов. Для этого все предыдущие результаты (потребность в инструментах, активность использования, удержание и динамику удержания) помещаем в единую таблицу для сегмента.

Добавляем еще один столбец, где субъективно, исходя из полученных данных, оцениваем PMF по каждому инструменту. Я использовал шкалу от 0 (инструмент вообще не закрывает потребности пользователя) до 3 (инструмент полностью закрывает потребности пользователя).

Получаем такую картину:

Теперь мы видим, есть ли PMF у отдельных инструментов, а также общую оценку PMF нашего сервиса для сегмента SMB (31 балл из 72 возможных).

По другим сегментам результаты получились следующие:

• SOHO – 43 балла
• Enterprise – 33 балла

Итоги

Я считаю, что исследование может стать отправной точкой для дальнейших работ:

• Более глубокий анализ инструментов с низким PMF (опросы, кастдевы).
• Адаптация рекламных материалов про конкретные инструменты под сегменты, где есть PMF.
• Изменение фокусов в коммуникациях продаж и поддержки.
• Пересмотр продуктовой стратегии в целом.

Если у вас остались вопросы или вы хотите «пощупать» таблицу – напишите мне в телеграм или на почту.