10 ошибок сплит-тестирования, которые дорого вам обойдутся
Сплит-тестирование — простая и эффективная практика, которую без проблем сможет освоить даже начинающий интернет-маркетолог. Но несмотря на это, многие специалисты допускают грубые ошибки при проведении А/Б-тестов, что стоит бизнесу времени и денег.
Как вы уже, наверное, догадались, сегодня мы поговорим о 12 самых распространенных ошибках этого метода оптимизации конверсии.
1. Преждевременная оценка
Определить превосходство одного из вариантов можно только по достижению определенного уровня статистической значимости, причем показателя ни в 50%, ни в 75%, ни даже в 90% недостаточно для рациональной оценки.
Безусловно, когда результаты свидетельствуют о том, что 9 из 10 посетителей, грубо говоря, оценили версию А положительно, вывод напрашивается сам собой, однако именно 1 потенциальный клиент может оказаться представителем наибольшего сегмента вашей целевой аудитории. Согласие значимого количества людей вовсе не подтверждает правильность идеи — на ее эффективность может указать исключительно статистика.
Следуйте простому правилу: выводы по тесту следует выносить только по достижению статистической значимости в 95% — это означает, что вероятность неточности результатов составляет всего 1 к 20.
Численность выборки всегда связана со статистической значимостью, которая, к слову, не имеет никакого значения, если каждый из тестируемых вариантов посадочной страницы не получил минимум 100 конверсий (при больших объемах трафика минимальное требуемое значение преобразований следует увеличивать до 250).
Резюмируя сказанное: делать вывод следует по достижению 100 (250) конверсий на каждый вариант и статистической значимости в 95%. Если эти показатели не были получены, гипотезы тестирования нужно либо дорабатывать, либо формировать новые.
2. Преждевременная оценка, ошибка вторая
Если на каждом тестируемом варианте лендинга было совершено 250 конверсий и была получена статистическая значимость в 98%, но сплит-тест проводился на протяжении 3 дней, его результаты нельзя считать достоверными.
Допустим, вы проводите А/Б-тест в течение пятницы, субботы и воскресенья — как правило, в эти дни люди имеют больше свободного времени, посему более активны в интернете. Следовательно, можно смело утверждать, что тест показал бы кардинально отличающиеся результаты в рабочие дни недели.
Тест должен проводиться минимум 7 дней. Если в этом промежутке времени не будет достигнута требуемая статистическая значимость, сплит-тест следует продлить еще на неделю. Кроме того, если статистическая значимость в 95% была достигнута за 10 дней, эксперимент все равно следует проводить до достижения двухнедельной отметки, то есть еще 4 дня — несоблюдение этого условия приводит к получению неправильных результатов.
Немаловажную роль также играют внешние факторы: например, тестирование в период праздников, отпусков и проведения интенсивной рекламной кампании покажет искаженные результаты по очевидным причинам. Если вы не уверены в достоверности полученных данных, проводите тест повторно — изменения на основе А/Б-тестов следует внедрять исключительно после валидации их целесообразности.
3. Низкий трафик
Допустим, ваш бизнес совершает 3-4 сделки в месяц. Маркетолог решает увеличить продажи за счет оптимизации конверсии — проводит сплит-тест, результаты которого свидетельствуют о 20% превосходстве варианта А над вариантом Б, и вносит соответствующие изменения. Однако в конечном итоге показатель заключенных сделок не увеличился. В чем суть проблемы?
Все просто: проведение сплит-тестирования не всегда нецелесообразно при низком трафике. Говоря непосредственно о тестировании — небольшого количества посетителей недостаточно для достоверного определения эффективности того или иного варианта. Следовательно, тестирование становится пустой тратой денег, которые следовало бы инвестировать в маркетинг и источники входящего трафика.
4. Отсутствие гипотез тестирования
Судя по всему, многие маркетологи предполагают, что сплит-тестирование случайных идей является эффективным подходом к оптимизации конверсии, однако это далеко не так.
Тесты предназначаются для валидации не догадок (например, что изменение цвета CTA-кнопки с синего на красный увеличит количество лидов), а гипотез — предположений об эффективности тех или иных изменений, которые основаны на фактах/наблюдениях и служат отправной точкой для дальнейших исследований.
Безусловно, тестирование необоснованных идей может принести результат, но лишь тестирование гипотез позволяет получить ценные данные, которые используются для дальнейшей оптимизации конверсии и формирования более качественных предположений.
5. Тестирование неэффективных гипотез
Маркетологи довольно часто сплит-тестируют незначимые аспекты веб-ресурса (например, цвет фона), теряя время и деньги. Проверять следует исключительно те варианты, которые основаны на подтвержденных статистикой гипотезах, и, следовательно, с большой вероятностью положительно повлияют на эффективность сайта.
Говоря о фоне: универсального высококонверсионного цвета не существует — важна лишь привлекательность всей цветовой схемы и контрастность элемента призыва к действию.
6. Раннее прекращение тестирования
Не увидев ожидаемых результатов, маркетологи довольно часто останавливают сплит-тест и переходят к тестированию других элементов/гипотез.
На самом деле, большинство первых тестов проваливаются, но отрицательные результаты ценны в такой же степени, как и положительные. Тест можно считать неудачным только в том случае, если полученные результаты не являются информативными.
В некоторых случаях для минимального увеличения конверсии требуется 5, 6, а то и больше тестов, поэтому не стоит предполагать, что одного эксперимента будет достаточно. Лишь серия тестов, гипотезы каждого из которых оптимизируются на основе предыдущих, позволяет прийти к положительному результату.
7. Тестирование большого количества вариаций
Учитывайте возможность ошибок первого рода, то есть получения ложных результатов, которые указывают на эффективность варианта, провального в реальности.
Описанная выше проблема чаще всего возникает при тестировании множества версий посадочных страниц (А/b/c/d/e), поскольку существует вероятность того, что ни один из вариантов не покажет значительного отличия по эффективности. В результате может быть выбран совершенно недейственный вариант.
Лучше всего начинать с А/Б-тестирования, так как эта практика позволяет получить наиболее понятные результаты и точно оценить эффективность одной версии по отношению к другой. При необходимости после тестирования двух вариантов можно добавить еще несколько.
8. Стремление к значительным улучшениям
Маркетологи, как правило, заинтересованны исключительно в кардинальном увеличении конверсии, однако даже изменения, увеличивающие показатели преобразования на 2-3%, следует непременно внедрять.
Критичное повышение преобразования свойственно неэффективным сайтам, поэтому если ресурс показывает удовлетворительные результаты, улучшить его конверсию в разы будет сложно и затратно в плане времени и финансов.
Вывод довольно простой: целью тестирования должно быть определение множества вариантов, которые влияют на конверсию минимально, но положительно.
Представьте: вы проводите 20 тестов в течение года, каждый из которых позволяет оптимизировать конверсию на 3%. По отдельности небольшие улучшения кажутся незначительными, однако, если учесть, что за год вы увеличите коэффициент преобразования на 60%, общая картина кардинально меняется.
9. Отсутствие регулярного тестирования
Тесты должны проводится ежедневно — большое количество экспериментов позволяет получить большой объем ценных данных, используемых для оптимизации конверсии и изучения целевой аудитории. Однако это не значит, что в целях регулярного тестирования позволяется допускать ошибки 4 и 6.
Если провести сплит-тест не представляется возможным, работайте над формированием и оптимизацией гипотез тестирования.
10. Игнорирование неверных результатов
Избегание всех вышеперечисленных ошибок не гарантирует получение достоверных результатов, так как существует ряд фактов, вредящих валидности тестов:
Инструменты тестирования
Проблемы со сплит-тестами чаще всего возникают из-за неполадок решения для тестирования, в частности по причине неверных настроек.
Правильность работы решения и корректность получаемых данных следует проверять постоянно — как было сказано ранее, никогда не внедряйте изменения на основе неподтвержденных данных.
Внешние факторы
На результаты эксперимента может повлиять множество внешних факторов: например, интенсивная промо-кампания конкурентов или скандал, связанный с сектором вашего бизнеса. Следите не только за статистикой А/Б-тестирования, но и за тем, что происходит за ее пределами.
Источники трафика
Нельзя быть до конца уверенными в том, что трафик, привлеченный для сплит-тестов, представляет целевую аудиторию (именно поэтому важно иметь большой объем выборки). Никогда не выбирайте источник трафика, не убедившись в его соответствии аудитории потенциальных покупателей, и оптимизируйте сайт/лендинг под максимально широкий сегмент типичных посетителей.
Баги
Нахождение и устранение багов является критично важным аспектом сплит-тестов, поскольку незамеченная ошибка, действующая на протяжение всего теста, приведет к получению неверных результатов, использование которых не только не увеличит конверсию, но и с большой вероятностью ей навредит.
Заключение
Представленная в данной статье информация может оказаться полезной и поможет вам в проведении сплит-тестов и оптимизации конверсии.
И помните: тестируйте, тестируйте, и еще раз тестируйте!
Высоких вам конверсий!
По материалам infiniteconversions.com, original image source Jerry Nihen