Одна гипотеза — один тест: правило, о котором забывают в панике
Формировать и тестировать гипотезы — одна из основных задач специалиста на проекте. Именно так находятся точки роста: новая стратегия, другая структура, новая аудитория. Но у гипотез есть простое условие. Они работают, только когда их тестируют осознанно: не распыляясь на десятки сразу и правильно снимая результат.
Особенно это важно, когда проект проседает. В такие моменты сильнее всего хочется проверить всё и сразу. Но как раз тогда это самое опасное решение: можно сделать ещё хуже.
Как это обычно происходит
Сценарий знаком почти любому агентству. Лидов стало меньше, клиент недоволен. Аккаунт-менеджер вполне понятно хочет показать, что команда не сидит сложа руки, и просит специалиста срочно предложить гипотезы. Ждать результата теста не хочет никто. Правки начинают вноситься одна за другой, и через пару недель уже невозможно понять, что из них помогло, а что навредило.
Виноватых тут нет. Каждый действует из лучших побуждений: клиент хочет результат, менеджер хочет сохранить клиента, специалист хочет исправить ситуацию. Но вместе это даёт панику, а паника — худший режим для работы с рекламой.
Что бывает, если проверять всё сразу
Был у нас проект, который просел осенью. Лидов стало меньше, заявка подорожала. Причина была понятна: низкий сезон. Это подтверждали и графики спроса в Вордстате, и то, что обращений стало меньше из других каналов тоже, не только из рекламы. Но объяснить это клиенту не получилось, и он заговорил о расторжении договора.
Дальше всё пошло по сценарию выше. Срочные обсуждения, сбор статистики, и в итоге большой план: за две недели внести в действующие кампании пару десятков изменений. Одновременно.
Помогло ли это? Нет, стало только хуже. При том же бюджете лидов стало в разы меньше, а стоимость заявки выросла в несколько раз. Просели все кампании, в которые вносили правки. А клиент всё равно ушёл.
Почему так вышло
Если разобрать эту ситуацию спокойно, причин находится несколько.
Правки лечили то, что не было сломано. Причина спада была внешней: сезон. Настройками кампаний спрос не вернёшь. А вот сломать то, что работало, оказалось вполне возможно.
Одна «гипотеза» состояла из нескольких изменений. Например, в одной кампании за раз сузили семантику, поменяли тип соответствия, стратегию и отключили автотаргетинг. И всё это одновременно с правками в других кампаниях. Даже если бы что-то сработало, понять, что именно, было бы невозможно.
Кампаниям не дали времени. Автостратегии нужно около двух недель на обучение, а серьёзные изменения запускают обучение заново. Когда правки идут одна за другой, кампания просто не успевает выйти из этого режима.
Кампании сузили до потери данных. Почти все правки сводились к одному: оставить только лучшее. Только группы, запросы и аудитории, которые уже приносили заявки. Логика понятна, но у неё есть обратная сторона. Меньше трафика — меньше конверсий. А когда конверсий становится меньше десяти в неделю, стратегии не хватает данных, и она начинает работать хуже. В итоге заявок становится ещё меньше.
Как тестировать гипотезы правильно
Начинать стоит с причины. Сначала проверяем внешние факторы: не упал ли спрос в Вордстате, не просели ли обращения из других каналов, не изменилось ли что-то на рынке. Если причина снаружи, правки в кампаниях её не исправят. Если снаружи всё стабильно, ищем проблему внутри: в кампаниях, на сайте, в аналитике.
Дальше формулируем гипотезу. У неё есть простая формула: «если сделать X, то изменится Y, потому что Z». Самое важное здесь «потому что». Если причину назвать не получается, это ещё не гипотеза, а надежда. И тестировать её пока рано.
Главное правило тут одно: одна гипотеза — один тест. Одно изменение, одна метрика, на которую оно должно повлиять, и заранее понятный срок. До старта фиксируем текущие показатели и договариваемся, какой результат считаем подтверждением. Иначе потом легко увидеть в цифрах то, что хочется увидеть.
Гипотез при этом нужно немного. Две-три, которые отвечают на настоящую причину спада и сильнее всего могут повлиять на результат. Остальные идеи никуда не денутся, их можно проверить потом.
Дальше всё зависит от бюджета. Если он позволяет, лучше тестировать параллельно. Идеальный вариант — A/B-тест: аудитория делится на части, которые не пересекаются, и каждая видит свой вариант. В Директе для этого есть A/B-эксперименты, они работают в Единой перфоманс-кампании и медийных кампаниях. Две одинаковые кампании отличаются одной настройкой, аудитория делится поровну, бюджеты пропорциональны выборкам. Выводы Яндекс советует делать не раньше, чем через 7–14 дней обучения и при 10 конверсиях в неделю на каждый вариант. На худой конец можно запустить новую кампанию рядом со старой. Действующая кампания при этом продолжает приносить заявки, а риск ограничен отдельным бюджетом.
Если бюджета не хватает, тестируем по очереди. Сначала одна гипотеза, минимум две недели, потом следующая. За это время стратегия успевает переобучиться, а мы видим результат без случайных колебаний одной недели. Да, это дольше. Зато в конце есть понятный ответ, что сработало.
Как это выглядит на практике? Возьмём условный пример. На проекте подорожала заявка в поиске, и специалист видит, что заметная часть бюджета уходит на широкие запросы автотаргетинга. Гипотеза: если отключить широкие и сопутствующие запросы, заявка подешевеет, а их количество сильно не упадёт. Фиксируем показатели, меняем только эту настройку и две недели больше ничего в кампании не трогаем. Потом сравниваем. Если заявка подешевела, а заявок не стало меньше, изменение остаётся. Если заявок стало заметно меньше, возвращаем как было и берём следующую гипотезу. В обоих случаях у нас есть ответ, а не догадка.
И ещё один вариант, который почему-то редко воспринимают всерьёз: «нужно подождать». Если причина спада внешняя, сезон или рынок, честный ответ специалиста может быть именно таким. Это тоже решение, если за ним стоят данные, которые можно показать клиенту.
Отдельно про клиента. Пока идёт тест, ему нужно понимать, что происходит, иначе ожидание быстро превращается в новую волну недовольства. Просьба «подождите» работает плохо. Гораздо лучше работает план: какие гипотезы проверяем, в каком порядке, когда будут первые выводы и какого эффекта ждём. Когда у клиента есть даты и понятные шаги, ему проще дать команде время.
Как мы работаем с проектами в красной зоне
Паника появляется там, где нет понятного порядка действий. Поэтому у нас в отделе есть регламент для проектов в красной зоне. Так мы называем проект, на котором согласованные с клиентом KPI не выполняются месяц-два подряд, отклонение от плана больше 20–30% или клиент прямо сказал, что недоволен.
Смысл регламента простой: сначала разобраться, потом менять.
Первым делом аккаунт-менеджер фиксирует проблему и ставит в известность руководителя. Дальше идут два процесса одновременно. Специалист проекта разбирает причины: динамику метрик, внешние факторы вроде сезона и конкурентов, внутренние вроде сайта и аналитики, и то, что менялось в кампаниях. А другой специалист отдела проводит независимый аудит: структура, семантика, стратегии, аналитика, объявления и посадочные. Второй взгляд здесь очень важен: тот, кто ведёт проект каждый день, легко может чего-то не замечать.
По итогам обоих разборов специалист проекта собирает план: что меняем, в какие сроки и какого эффекта ждём. План согласуют руководитель и менеджер, а потом клиент. Крупные изменения обсуждаем на встрече, точечные в переписке, и согласие клиента фиксируем письменно. И только после этого вносим правки, по плану, с еженедельным контролем показателей.
От фиксации проблемы до готового плана обычно проходит около двух рабочих недель. На стрессе это кажется долгим сроком. Но эти две недели дают то, чего не хватило в примере с осенним проектом: понимание причины, несколько обоснованных гипотез и согласованные с клиентом ожидания. Из красной зоны проект выходит, когда KPI выполняются два месяца подряд. Если нет, процесс запускается снова, уже с участием руководителя отдела.
Что в итоге
Конечно, спокойный подход не гарантирует, что клиент останется. Иногда решение уйти принято раньше, чем появились первые результаты. Но хаотичные правки его точно не удержат. Они только ухудшают цифры и дают ещё один повод для недовольства.
Поэтому мой вывод простой. Когда проект проседает, сначала нужно понять причину. Потом выбрать две-три гипотезы, которые на неё отвечают, и тестировать их по одной, давая каждой время. Так дольше, чем исправить всё за две недели. Зато в конце вы точно знаете, что сработало, и можете показать это клиенту.

Комментарии
Написать комментарийВойти