Так когда же считать тест оконченным?
Увы, нет универсального критерия, достижение которого
позволяет утверждать, что тест окончен, но существует несколько базовых правил,
которых стоит придерживаться:

Продолжительность
испытания: не менее 3 недель (лучше 4); 
Был
достигнут минимально необходимый уровень посещаемости и произведено
достаточное количество операций (не менее 400 актов конверсии);
Статистическая
значимость не менее 95%.

Конкретные цифры могут меняться от проекта к проекту, но
суть остается неизменной: вы должны потратить достаточное количество времени и
получить достаточное количество информации.
Вы должны проводить
тест достаточно долго. Чем больше данных вы соберете, тем выше статистическая
мощь вашего теста. Соответственно, шанс выбрать действительно работающий
вариант, растет пропорционально количеству полученных данных. Дело в том, что
изменения редко приводят к действительно значительным сдвигам в объемах продаж.
В большинстве случаев, новый вариант лишь немного лучше, чем предыдущий,
поэтому эффект от нововведений проявится лишь спустя определенное время. В тоже время, если вы
затянете тестирование, вы рискуете получить смазанные результаты. Многие
пользователи периодически очищают куки и могут побывать как на одной, так и на
другой версии страницы, в случае если они решили вернуться на сайт после
первого посещения. В результате, конверсия одного варианта будет засчитана
второму, и в конце концов, результаты выровняются.

Тон Весселинг

Что делать, если после 3 или 4 недель размер выборки
составляет менее 400 переходов?
Добавьте еще неделю.
Всегда проверяйте результаты, полученные за неделю. Если вы
начали тест в понедельник, дождитесь воскресенья. Если вы анализируете только
отрезок в несколько дней, вы оперируете искаженными данными.
Выделите «правило
остановки» для каждого сегмента
Сегментация – один из базовых элементов A / B. Не редки
случаи, когда вариант, который продемонстрировал худшие результаты в общем,
имеет самые высокие показатели по конкретному сегменту. Перед тем, как
анализировать любые сегментированные данные, вы должны убедиться в том, что у
вас есть достаточно для анализа. Так из 250-400 операций произошедших во
время теста, только некоторая часть относится к данному сегменту.
Рекомендуется даже создать целевые тесты для каждой группы
целевой аудитории вместо анализа результатов по сегментам после испытания. Это
поможет вам убедиться, что тесты не заканчиваются рано, и каждый сегмент имеет
достаточный размер выборки.
Прежде всего, вам необходимо собирать данные во все дни
недели и в выходные дни. Вам нужно изменение погоды, потому что это влияет
на поведение покупателя. Но самое главное: Ваш сайт должен использовать все
источники трафика, рекламу, продвижение, телевизор, … все! Чем дольше
тестовых запусков, тем больше информации вы получите.


Наше правило состоит в следующем: 3000-4000 конверсий и
продолжительность испытания 3-4 недели. Это даст достаточно трафика, чтобы
мы могли говорить о достоверных данных, если мы собираемся углубиться в сегменты.

 Андре Морис

(Visited 41 times, 1 visits today)