Урок 7 из 8 · 20 мин · обновлено

Запуск и A/B-тесты: как понять, что изменение помогло

Как продакт-менеджер выпускает изменения: постепенный запуск, A/B-тест с контрольной группой, частые ошибки при чтении результатов и разбор итогов.

Постепенный запуск

Даже проверенную функцию не выпускают сразу на всех. В «Рядом» напоминания сначала включили для 5% клиенток. Если что-то сломается — например, сообщения уйдут в три часа ночи, — пострадают немногие, и ошибку успеют исправить.

Технически это делают с помощью флагов функций (feature flags): разработчики встраивают переключатель, а продакт или инженер включают функцию для нужной доли пользователей без нового выпуска приложения. Если за пару дней всё спокойно — долю увеличивают до 25%, 50%, 100%.

A/B-тест

Как понять, что изменение действительно помогло? Самый честный способ — A/B-тест:

  1. Пользователей случайно делят на две группы.
  2. Группа A (контрольная) видит продукт как раньше.
  3. Группа B видит изменение.
  4. Через заданное время сравнивают метрику в двух группах.

Так как обе группы живут в одно и то же время, на них одинаково влияют сезон, погода и реклама. Разница между группами — эффект именно изменения.

Продакт «Рядом» проверяет новый текст кнопки на странице мастера:

Группа A Группа B
Текст кнопки «Выбрать время» «Свободные окна сегодня и завтра»
Открыли страницу мастера 3 000 3 000
Выбрали время 1 200 (40%) 1 410 (47%)

Конверсия выросла с 40% до 47%. Аналитик проверил, что разница не случайна при таком количестве людей, — значит, вариант B можно включать всем.

Частые ошибки

  • Менять несколько вещей сразу. Поменяли текст, цвет и место кнопки — конверсия выросла, но что сработало? Неизвестно.
  • Подглядывать и останавливать раньше времени. В первые дни цифры прыгают. Если остановить тест, как только B вырвался вперёд, легко принять случайность за успех. Срок и размер выборки задают заранее.
  • Слишком маленькие группы. На 50 пользователях разница в 5% почти всегда случайна. Сколько людей нужно, считают аналитики до запуска.
  • Сравнивать «до и после». Записей в декабре больше, чем в ноябре, и без всяких изменений — перед праздниками все идут к мастерам.

После запуска

Когда функция выпущена, работа продакта не заканчивается. Через пару недель он смотрит, изменилась ли главная метрика и нет ли побочных эффектов: например, не стало ли больше отмен после напоминаний. Итоги записывают — что проверяли, что получилось, что делаем дальше. Такие записи — память команды: через год никто не вспомнит, почему кнопка называется именно так.

Попробуйте сами. Продакт хочет проверить, поможет ли показ рейтинга мастера на странице поиска. Опишите A/B-тест: что видят группы A и B, какую метрику сравниваем и какую ошибку важно не допустить.

Пример ответа
  • Группа A: поиск без рейтинга, как сейчас.
  • Группа B: у каждого мастера в поиске видны звёзды и число отзывов.
  • Метрика: доля людей, которые от поиска дошли до записи. Дополнительно смотрим, не упало ли число записей к новым мастерам без отзывов.
  • Не допустить: одновременно с рейтингом менять порядок сортировки — иначе не поймём, что повлияло. Срок теста — не меньше двух полных недель, чтобы учесть разницу между буднями и выходными.

Мини-тест · 4 вопроса

Проверьте себя

Выберите вариант, который кажется вам правильным. В конце вы увидите свой результат и объяснение к каждому вопросу.

  1. Зачем выпускать функцию сначала на 5% пользователей?

  2. Что такое контрольная группа в A/B-тесте?

  3. Почему в одном A/B-тесте меняют только одну вещь?

  4. После запуска функции в декабре записей стало больше, чем в ноябре. Какой вывод правильный?