# Дейв Келлогг: 15 признаков сломанных метрик в вашем SaaS-бизнесе

Источник: https://www.youtube.com/watch?v=oHk3sHLx-KY
Канал: SaaStr
Опубликовано: 13.12.2023

---

В рамках подкаста SaaStr известный эксперт Дейв Келлогг делится опытом выстраивания здоровой аналитики в технологических компаниях. Он описывает 15 ключевых признаков того, что в вашем SaaS-стартапе искажены метрики, и предлагает пятиуровневую модель зрелости данных. Этот материал поможет фаундерам и инвесторам перестать использовать цифры как инструмент давления и превратить их в стратегический компас.

## 🔨 От избиения к манипуляциям: как метрики превращаются в оружие
[[JUMP:01:05]]

По мнению Дейва Келлогга, первая и самая разрушительная патология в стартапах — это использование метрик в качестве «дубинки» (bludgeoning) [01:05]. Вместо того чтобы служить инструментом понимания бизнеса, цифры становятся орудием политического давления. Совет директоров бьет ими генерального директора за отклонение от бюджета, CEO отыгрывается на коммерческом директоре (CRO), а тот перекладывает вину на директора по маркетингу (CMO) [01:18]. 

Яркий пример такой нездоровой динамики — обвинения в срыве плана по лидам в адрес CMO, который уже два года как переключил стратегию на генерацию пайплайна и вообще не считает лиды [01:32].

Атмосфера страха неизбежно порождает вторую проблему — введение в заблуждение (misleading) [02:00]. Если менеджмент видит в совете директоров угрозу, совет превращается в мероприятие, которое нужно просто пережить. В ход идут манипуляции с графиками и таблицами.

Дейв Келлогг приводит классический пример манипуляции с мостом ARR [02:50]:

*   Компания заявляет совету директоров: «Мы завершили квартал, выполнив план по ARR на 96%!»
*   Совет директоров доволен, однако дьявол кроется в деталях.
*   На самом деле компания выполнила план по новым логотипам (new logo ARR) всего на 60%, а по расширению (expansion) — на 93% [03:41].
*   Общий показатель удержался на уровне 96% только за счет огромного стартового ARR, который сработал как стабилизатор [03:15]. 

По оценке Келлогга, в реальности этот квартал был катастрофическим, а показатель эффективности инвестиций (burn multiple) превысил запланированный почти в два раза [03:56]. Самой частой формой такого манипулирования спикер называет «сбор вишен» (cherry-picking) — практику, когда на слайды попадают только те показатели, которые выросли, а состав метрик меняется от квартала к кварталу [04:10].

## 🌀 Синдром бесконечного дня сурка и «крысиные норы»
[[JUMP:04:35]]

Третий тревожный сигнал — это эффект дежавю на встречах совета директоров [04:35]. По мнению Дейва Келлогга, если из квартала в квартал вы обсуждаете одни и те же проблемы без какого-либо сдвига, у вас явные проблемы с метриками [04:48]. В здоровых компаниях цифры быстро подсвечивают неработающие гипотезы, позволяя менять тактику на ходу [05:01]. Спикер вспоминает своего друга, который уволился из стартапа именно по этой причине: ему надоело ходить на одно и то же совещание на протяжении года [13:59].

Четвертый симптом Келлогг называет «крысиными норами» (rat holding) [05:26]. Это ситуация, когда вместо обсуждения самого бизнеса совет часами спорит о формулировках метрик. 

Типичный сценарий:

1.  Директор по маркетингу рапортует о генерации 1200 квалифицированных лидов (MQL) [05:51].
2.  Отдел продаж заявляет, что они «голодают» и не видят лидов [06:04].
3.  Начинается получасовой спор о том, что именно считать MQL [06:17].
4.  Выясняется, что маркетинг записал в MQL всех посетителей последней пользовательской конференции [06:17].

В итоге, как отмечает Келлогг, время упущено, а конструктивного разговора о продажах так и не произошло.

## 🗣️ Сломанная семантика и недоверие инвесторов
[[JUMP:06:42]]

Пятый признак — проблемы с семантикой, когда топ-менеджеры вкладывают разный смысл в одни и те же слова [06:42]. Келлогг описывает свой любимый диалог с вице-президентом по продажам о прогнозе выручки:

*   — Какой прогноз на этот квартал?
*   — 4,3 миллиона [06:56].
*   — А наиболее вероятный исход?
*   — 4,5 миллиона [07:08].
*   — А если поднажать?
*   — 4,7 миллиона [07:21].

По словам спикера, подобные ответы — признак «новичка» в продажах [07:08]. Профессиональный коммерческий директор всегда назовет консервативную цифру. 

Худшее определение «оптимистичного сценария» (best case), которое приходилось слышать Келлоггу, звучит как «если сойдутся звезды» [07:34]. Вместо этого он рекомендует внедрять вероятностный подход к прогнозированию и оперировать понятием 90%-го доверительного интервала [08:15]. Для понятности топ-менеджменту можно объяснить это так: «Вы имеете право не попасть в этот прогноз один раз в два с половиной года» [08:28].

Шестой симптом — тотальный пересчет (recalculation) [08:40]. Дейв Келлогг шутит: 

> «Разница между венчурным инвестором (VC) и инвестором из private equity (PE) в том, что VC спрашивает, какой у вас CAC, а PE сам говорит вам, какой у вас CAC» [09:06].

Если члены совета директоров заставляют своих аналитиков пересчитывать все показатели стартапа вручную по сырым данным, это свидетельствует о глубоком кризисе доверия к управленческой команде [09:32].

Седьмой признак — необъяснимость (inexplicability) [10:12]. Это ситуация, когда верхнеуровневые показатели (ARR, остаток денежных средств) не выполняются, но при этом все промежуточные метрики (конверсии по стадиям пайплайна, стоимость лида, средний чек, длина цикла продаж) выглядят идеально [10:25]. Келлогг утверждает: если вы не можете диагностировать причину провала по операционным метрикам, ваша система аналитики сломана [10:38].

## 🎼 Музыка не совпадает со словами: диссонанс и «пытка» данных
[[JUMP:10:51]]

Восьмой симптом — диссонанс между формой и содержанием презентации [10:51]. Дейв Келлогг сравнивает это с веселой песней, текст которой посвящен тяжелой наркотической зависимости [11:04]. 

В отчетах стартапов это выглядит так: фаундеры радостно рассказывают о высоком уровне удовлетворенности сотрудников, падении количества багов и росте производительности разработки, скромно умалчивая о том, что их Burn Multiple равен 7x [11:32]. Это означает, что компания тратит 7 долларов на привлечение 1 доллара нового ARR [11:58]. Келлогг считает это классической попыткой избежать обсуждения «дохлого лося на столе» (dead moose) [12:11].

Среди других симптомов спикер выделяет:

*   **Арифмофобию (innumeracy):** когда на вопросы о цифрах на совете директоров могут ответить только финансовый директор или глава RevOps, а профильные вице-президенты молчат или просят дождаться коллег [12:38].
*   **Путаницу между корреляцией и причинно-следственной связью:** например, когда рост оттока клиентов связывают с загруженностью службы поддержки, хотя истинной причиной является плохо работающий продукт [19:42].
*   **«Пытку» данных (torture):** манипулирование расчетами ради красивой картинки [20:46]. 

В качестве примера «пытки» данных Келлогг приводит кейс компании, которая заявила о рекордно низком оттоке клиентов по логотипам (logo churn) в 5% при денежном оттоке (revenue churn) в 25% [21:26]. Анализ показал, что ради удержания красивой метрики компания продлевала контракты с уходящими клиентами за символический 1 доллар [21:53]. Подобные хитрости Келлогг называет экстремальным вредительством для бизнеса [22:18].

## 🗺️ Разрыв со стратегией, бенчмарки и «эффект лоскутного одеяла»
[[JUMP:14:25]]

Одной из главных проблем Дейв Келлогг называет оторванность метрик от реальной стратегии компании (disconnect) [14:25]. Если стартап заявляет о фокусе на средний бизнес (mid-market) для ухода от высококонкурентного сегмента малого бизнеса (SMB), но продолжает показывать на совете директоров общие, агрегированные метрики продаж, стратегия существует только на бумаге [14:54]. Инвесторы не увидят динамики перехода. В этом случае, по мнению спикера, первыми слайдами презентации должны идти показатели именно целевого сегмента: ASP в mid-market, длина цикла продаж и покрытие пайплайна в этом направлении [15:33].

Другая крайность — оценка показателей в изоляции, или «эффект лоскутного одеяла» (peacemealing) [16:23]. Инвесторы часто требуют от стартапа одновременно лучшего на рынке CAC, феноменального LTV, выдающегося роста и соблюдения «правила 40» [16:35]. 

Келлогг считает это несправедливым давлением:

*   Высокий CAC может быть оправдан сверхдлинным жизненным циклом клиента (LTV) [17:03].
*   Бурный рост компании на 120% в год неизбежно ухудшает CAC на переходном этапе из-за найма новых менеджеров по продажам [17:30]. Метрики необходимо оценивать только в комплексе.

Наконец, Келлогг предостерегает от слепого копирования бенчмарков (misbenchmarking) [17:56]. Сравнивать себя со «средним по рынку» стартапом бессмысленно, так как в выборку попадают компании с совершенно разными целями — от бутстрэп-проектов до PE-активов, готовящихся к продаже по мультипликатору EBITDA [18:22]. 

Спикер предлагает сегментировать бенчмарки по уровню притязаний (aspiration) [18:47]. Если ваша цель — IPO («Гарвард» для стартапов), вам нужно сравнивать себя не со средним Blended-показателем удержания выручки в 104%, а ориентироваться на когорту лидеров с NDR 125% [19:14].

## 📈 Модель зрелости SaaS-метрик: от хаоса к траектории
[[JUMP:22:45]]

Для системного решения этих проблем Дейв Келлогг разработал пятиуровневую модель зрелости SaaS-метрик [24:42]. Он предупреждает фаундеров о наличии «предпринимательского слепого пятна»: руководителям кажется, что навести порядок в аналитике можно за 30–60 дней, тогда как на практике этот процесс занимает несколько кварталов упорной работы [25:20]. Переход на новые уровни зрелости требует изменения процессов управления изменениями (change management), апгрейда команды RevOps/FP&A и готовности менеджмента быть уязвимым перед инвесторами [26:02].

Пять уровней зрелости по Келлоггу:

1.  **Фундамент (Foundation):** выработка единого глоссария, согласование формул расчетов и семантики показателей [24:42].
2.  **Доверие (Trust):** создание жестких, неизменных шаблонов отчетности, исключающих манипуляции и выборочное представление данных [24:42].
3.  **Связь со стратегией (Link to Strategy):** привязка операционных показателей к ключевым стратегическим вызовам компании [25:07].
4.  **Культура (Culture):** внедрениеデータ-ориентированного подхода на всех уровнях управления [25:07].
5.  **Траектория (Trajectory):** использование метрик для долгосрочного планирования развития бизнеса на 3–5 лет вперед [25:07].

## ⚙️ Практическое внедрение: шаблоны, комитеты и опережающие индикаторы
[[JUMP:26:41]]

На первом уровне (Фундамент) Келлогг часто сталкивается с инфраструктурными барьерами. Например, многие европейские компании до сих пор ведут учет по структуре затрат (nature-based P&L), а не по функциональному назначению (function-based P&L) [26:53]. Без разделения затрат на продажи, маркетинг, разработку и поддержку рассчитать адекватный CAC физически невозможно [27:05]. Первым шагом к здоровым метрикам должна стать реформа плана счетов [27:17]. 

Чтобы разгрузить топ-менеджмент, Келлогг рекомендует делегировать эту рутину специально созданному Комитету по метрикам (metrics committee) из числа заинтересованных сотрудников и представителей инвесторов [27:43].

На втором уровне (Доверие) главным инструментом становятся жесткие шаблоны [28:08]. 

> «Шаблоны выстраивают доверие», — декларирует Дейв Келлогг [28:08].

Правильный шаблон должен содержать:

*   Исторические данные как минимум за последние 5–9 кварталов для отслеживания трендов [28:22].
*   Богатый контекст: сравнение факта с планом, предыдущим прогнозом и показателями аналогичного периода прошлого года [28:22].
*   Единый формат презентации, который не меняется от квартала к кварталу, лишая менеджмент возможности скрыть плохие результаты [28:08].

На третьем уровне (Связь со стратегией) Келлогг ссылается на методологию Ричарда Румельта и его книгу «Хорошая стратегия, плохая стратегия» [29:15]. Суть стратегии — выявить главное препятствие бизнеса и сфокусировать ресурсы на его преодолении [29:29]. 

Для завоевания доверия инвесторов мало просто поставить годовую цель (например, вырастить ASP). Нужно дать совету директоров опережающие индикаторы (leading indicators), или, используя морскую метафору Келлогга, «колдунчики» (telltales) на парусах, показывающие смену курса еще до того, как лодка совершит поворот [30:10]. Таким опережающим индикатором может выступать средний чек сделок, находящихся на ранних стадиях пайплайна [30:36].

Для построения настоящей Культуры данных (четвертый уровень) Дейв Келлогг предлагает сделать своей настольной цитату Джима Барксдейла: 

> «Если у нас есть данные, давайте смотреть на данные. Если все, что у нас есть, — это мнения, давайте остановимся на моем» [31:15].

Только когда руководители направлений поймут, что приходить на совещания без подтвержденных цифр недопустимо, культура сдвинется с мертвой точки [13:06]. А на пятом уровне (Траектория) компания получает возможность планировать сложные долгосрочные маневры — например, экспансию в Европу или масштабный рефакторинг продукта для снижения себестоимости (COGS) [23:51]. Такие шаги временно ухудшают CAC и R&D-показатели в краткосрочной перспективе, но обеспечивают взрывной рост капитализации на горизонте трех-пяти лет. Понимание этих взаимосвязей и есть высшая точка зрелости SaaS-бизнеса [24:16].