Суть. A/B-тест отвечает на вопрос, стал ли вариант B лучше A, или разница — случайность. Он работает только при достаточном объёме данных. У раннего B2B-стартапа трафика почти всегда мало, и тогда честнее проводить качественные проверки, чем делать выводы из десятка конверсий.
Порядок проведения
- Одна гипотеза и одна основная метрика.
- Минимальный эффект, который важен для бизнеса: например, рост конверсии с 3 до 4 %.
- Расчёт размера выборки до запуска — калькулятором по базовой конверсии и минимальному эффекту.
- Случайное разделение аудитории, одновременный показ.
- Остановка только по достижении выборки, а не при первом хорошем результате.
Ключевые понятия
| Понятие | Смысл |
|---|---|
| Уровень значимости | Вероятность увидеть разницу там, где её нет. Обычно 5 % |
| Мощность | Вероятность заметить реальный эффект. Обычно 80 % |
| Минимальный эффект | Самая маленькая разница, ради которой стоит что-то менять |
| Подглядывание | Досрочная остановка теста — главный источник ложных побед |
Когда тест не нужен
Если для значимого результата нужны десятки тысяч посетителей, а у вас сотни в месяц, тест растянется на год. В B2B с малым потоком лучше работают интервью, тест Шона Эллиса и прямое сравнение на встречах с клиентами.
Где ломается
- Тест останавливают, когда график «уже видно».
- Меряют десять метрик и радуются той, что выросла.
Частые вопросы
Сколько длится тест
Не меньше полного недельного цикла, даже если выборка набралась раньше: поведение в понедельник и пятницу разное.
Можно ли тестировать больше двух вариантов
Можно, но выборка растёт пропорционально. Для маленького трафика — только два.
Что делать с незначимым результатом
Считать, что разницы не обнаружено, и выбрать вариант по другим соображениям — простоте, стоимости.
Связанное
- HADI-цикл — запись гипотезы теста
- AARRR — какие метрики вообще стоит тестировать
- Когортный анализ — долгосрочный эффект изменений
Материал оказался полезным?
Спасибо. Это влияет на то, что мы разберём дальше.
Отпечаток текста b3cdb53c0fc7… · проверить подлинность
