A/B исследование может помочь найти корень проблемы. Это не кажется очевидным, но количество полей в форме заказа или цвет кнопки “подписаться” часто существенно влияет на конверсию. Тест Стьюдента помогает оценить значимость данных при измерении конверсии, среднего чека, средней глубины просмотра и подобных численных метрик. Чтобы принимать решения об эффективности теста, выбирают уровень значимости 90, 95 или 99%.
- Таким образом в ходе теста сравнивается вариант «A» и вариант «B», и целью является определение лучшего из двух протестированных вариантов.
- Стоимость рассчитывается индивидуально после консультации с отделом продаж.
- В поиске наиболее перспективных ступеней воронки продаж продукта имеет смысл использовать методы юнит-экономики.
- Еще один англоязычный ресурс с простым и понятным интерфейсом, широким набором функций, гибкой настройкой и персонализацией.
- Чтобы сплит-тест показал достоверные, а не случайные результаты, его нужно проводить определенное время.
Сплит-тест — экспериментально-статистический метод исследования, поэтому его эффективность напрямую зависит от соблюдения ряда строгих правил. Перед началом проведения сплит-теста a/b testing это стоит проверить, подходит ли он вам. Чтобы получить достоверные результаты, сайт должен иметь стабильный поток посетителей, регулярные конверсии, настроенные системы аналитики.
Как провести тест на Google Optimize
Только в этом случае получится оценить, положительный или отрицательный результат дает конкретное изменение. Метод подходит, когда продукт локальный и требуется протестировать большие изменения бизнес-модели, или попробовать совершенно новый продукт. Например, беспилотное такси, которое тестирует Яндекс в одном из районов Москвы.
A/B-тестирование распознает действия пользователей на вашем сайте. Оно помогает определить комбинацию элементов, которая заставляет пользователей дольше оставаться на вашем сайте, что в конечном итоге приводит к повышению конверсии. Причин высокого показателя отказов на вашем сайте может быть несколько, например, слишком много текста, сложная навигация, трудно найти CTA и так далее.
Кто проводит тесты
На это может потребоваться от нескольких дней до нескольких месяцев. На этом этапе определяют показатели, по которым будут сравнивать эффективность вариантов. Для аналитиков A/B-тестирование — один из множества инструментов оценки эффективности сайтов, приложений, рекламы. Аналитики проводят A/B-тесты, чтобы помочь маркетологам подтвердить или опровергнуть их предположения. А/В-тестирование дает хорошие результаты в течение нескольких недель при условии наличия стабильного трафика. Допустим, вы запустили А/В-тестирование заголовка (темы) письма, которое продлился 20 дней.
Так, например, российская компания «Эркафарм» увеличила конверсию на 1%, или 2,4 млн рублей, немного изменив форму заказа на сайте. A/B тесты — отличный инструмент для проверки новых идей и гипотез. Он подразумевает под собой «выкат» обновлений на определенную часть аудитории и отслеживание изменений ключевых метрик. На основе тестирования и анализа изменения метрик принимается объективное решение о дальнейших действия по изменению продукта.
Сбор результатов и формирование выводов
Гипотеза — это предположение о том, как может измениться состояние продукта, если изменить один из его элементов. В гипотезе обозначают решение, при котором ситуация изменится, а также показатели, которые улучшатся в результате изменения. Хороший сайт или приложение устроены так, чтобы клиенту было удобно — играть, оформлять заказы, учиться и много чего ещё. Все эти характеристики влияют на популярность компании и вывести их можно только опытным путем. Так А/В-тестирование помогает делать более дружественные интерфейсы, интуитивно понятные формы обратной связи, интересный читателю контент.
Затем нужно разработать гипотезу о том, что именно поменяется, и, соответственно, что вы хотите проверить. Нужно понять, каких результатов вы ожидаете и какие у них могут быть обоснования. В процессе исследования воронки вы замечаете, что 60% пользователей уходят до завершения регистрации. Это означает, что можно повысить количество регистраций, изменив страницу регистрации, что, в свою очередь, должно помочь увеличить количество активных пользователей. Тестировать можно дополнительные блоки, обращения, цвета, размеры текста, формы и дизайны.
Как проанализировать метрики А/В-тестирования и что делать дальше
С помощью этой маркетинговой тактики можно легко определить, что работает на вашу аудиторию, а что нет. Вот пример того, как бренд Groove использовал A/B-тестирование по максимуму. Калькуляторы есть здесь и здесь, они рассчитывают размер выборки, необходимый для каждой версии. На размер выборки влияют разные параметры и ваши предпочтения. Наличие достаточно большого размера выборки важно для обеспечения статистически значимых результатов.
Если ваша цель – найти объявление с наилучшим показателем CTR, то алгоритмы Директа и Ads сделают это за вас. У них работает встроенный механизм перераспределения трафика на наиболее кликабельные объявления в группе. В данном случае мы видим, что одна публикация за время ее работы принесла 24 лида из 31.
Шаг 3. Определиться с гипотезами
Если же взгляд направлен в другую от СТА-кнопки сторону, внимание пользователей может также пройти мимо. А/В-тестирование – это сравнение двух версий с одним измененным элементом. Например, две одинаковые посадочные страницы, с разными призывами к действию или заглавными изображениями. Я часто сталкиваюсь с взаимозаменяемостью терминов «сплит-тест» и «А/В-тестирование». Ведь не исключен вариант, что, например, ваш сайт мешает продажам, а не стимулирует их, потому что, например, вводит людей в заблуждение и нивелирует их интерес к вашему продукту.
Директ делит аудиторию на случайные непересекающиеся сегменты, так что каждый пользователь попадет в тестовую или контрольную группу. Размер сегмента в виде доли от аудитории вы определяете самостоятельно – от 1 до 99%. Сегментов может быть два или больше, причем выборки не обязательно должны быть одинаковыми. Но не стоит ориентироваться только на показатель CTR. В примере ниже мы можем заметить, что все объявления приносят клики и являются рентабельными.