← Назад к базе знаний

A/B-тест и значимость

A/B-тест и значимость — фреймворк

Суть. A/B-тест отвечает на вопрос, стал ли вариант B лучше A, или разница — случайность. Он работает только при достаточном объёме данных. У раннего B2B-стартапа трафика почти всегда мало, и тогда честнее проводить качественные проверки, чем делать выводы из десятка конверсий.

Порядок проведения

  1. Одна гипотеза и одна основная метрика.
  2. Минимальный эффект, который важен для бизнеса: например, рост конверсии с 3 до 4 %.
  3. Расчёт размера выборки до запуска — калькулятором по базовой конверсии и минимальному эффекту.
  4. Случайное разделение аудитории, одновременный показ.
  5. Остановка только по достижении выборки, а не при первом хорошем результате.

Ключевые понятия

Понятие Смысл
Уровень значимости Вероятность увидеть разницу там, где её нет. Обычно 5 %
Мощность Вероятность заметить реальный эффект. Обычно 80 %
Минимальный эффект Самая маленькая разница, ради которой стоит что-то менять
Подглядывание Досрочная остановка теста — главный источник ложных побед

Когда тест не нужен

Если для значимого результата нужны десятки тысяч посетителей, а у вас сотни в месяц, тест растянется на год. В B2B с малым потоком лучше работают интервью, тест Шона Эллиса и прямое сравнение на встречах с клиентами.

Где ломается

  • Тест останавливают, когда график «уже видно».
  • Меряют десять метрик и радуются той, что выросла.

Частые вопросы

Сколько длится тест
Не меньше полного недельного цикла, даже если выборка набралась раньше: поведение в понедельник и пятницу разное.
Можно ли тестировать больше двух вариантов
Можно, но выборка растёт пропорционально. Для маленького трафика — только два.
Что делать с незначимым результатом
Считать, что разницы не обнаружено, и выбрать вариант по другим соображениям — простоте, стоимости.

Связанное

Материал оказался полезным?

Отпечаток текста b3cdb53c0fc7… · проверить подлинность