Сергей Гудков , специалист по разработке и продвижению сайтов (более 160 сайтов и 250 сплит-тестов), руководитель Сonversion42

Андрей Осипов , сертифицированный тренер Google, практикующий веб-аналитик, автор блога «Веб-аналитика и результат»

Мы часто получаем запросы на тексты для А/В-тестирования. Для каких целей есть смысл его проводить?

А/В-тест можно проводить практически для любых изменений на сайте. Ведь тест – это возможность достоверно узнать, насколько они эффективны.

Если у вас страница с описанием услуги, то основной продающий контент – это именно текст. Посетители на основании текста принимают решение оставить заявку или нет. В данном случае текст является основным объектом тестирования:

• какие характеристики указывать в тексте, а какие нет;
• какие призывы использовать в тексте;
• в каком стиле должен быть написан текст и т.д.

Запрос «текст для А/В-тестирования» звучит не очень. Лучше заказывать просто новый, более продающий текст. А измерять продающие характеристики текста можно с помощью тестирования.

A/B-тестирование для сайтов: нужно тестировать текст, дизайн, страницу в целом, «продающесть» текста или страницы?

Тестировать можно что угодно.

Если вы думаете, что кнопка «Купить» незаметна, тестируйте только изменение кнопки. Если вы сделали новый дизайн страницы, можно протестировать разницу между двумя дизайнами.

Иногда в тесте сравнивают два сайта. Это очень спорное занятие – если вам интересно, предлагаем обсудить этот вопрос на вебинаре более конкретно.

Можно тестировать и по одному элементу за раз, и сразу целые страницы. От чего это зависит? Всё очень просто. Если у вас есть 10/30/100 мелких изменений, и вы уверены, что каждое из них увеличит конверсию, совмещайте это всё в один тест. Если запускать их по отдельности, то делать даже 30 тестов – это может быть очень долго и не слишком эффективно. И наоборот. Если есть одно важное изменение, и вы сомневаетесь насчет реакции посетителей сайта на него, запускайте один тест на одно изменение.

Какие данные (максимум) можно получить при А/В-тестировании?

Смысл А/В-тестов крайне прост: делим посетителей на две группы – одной из них показываем вариант А, другой – вариант В.

Основным результатом теста считается разница между поведением пользователей. Например, мы хотим узнать, как изменится конверсия интернет-магазина.

Также при интеграции А/В-теста с системами веб-аналитики, в частности с Google Analytics, можно увидеть разницу в поведении по всем параметрам: глубина и время посещения, посещение конкретных страниц, показатели отказов, достижение всех целей и т.д.

Какие сервисы могут помочь правильно провести A/B-тест?

Правильность запуска всегда зависит от вас. Сервисы – это инструмент. Как молоток. Если вы умеете им пользоваться, то у вас всё получится. ☺

Самые распространённые сервисы для запуска А/В-тестов:

• Google Analytics (бесплатный);
• VWO (платный, https://vwo.com/ );
• Optimizely (платный, https://www.optimizely.com/ ).

Для большинства потребностей хватает Google Analytics. Мы сами его часто используем и вам рекомендуем.

Сколько элементов можно тестировать за один раз? Правильно ли сравнивать 2 текста, в которых отличается более 1–2 элементов?

Да, можно. Самое главное, нужно понимать, как эти элементы повлияют на конверсию и почему. У вас должна быть рабочая гипотеза.

Когда вы проводите очень-очень много тестов, бывают моменты, когда идей и гипотез нет. Такой себе провал. В такие моменты можно тестировать по принципу «А давайте сделаем и поглядим… Интересно же». ☺

В А/В-тестировании самое ценное – это время и объем трафика. Иными словами, вы можете провести ограниченное количество тестов в ограниченное время. Поэтому простой сайта без теста – это растрата бесценного ресурса.

Какие условия должны соблюдаться для правильного А/В-тестирования? Какой минимум просмотров/визитов/уников?

Чтобы тест получился хорошим, должно соблюдаться достаточно много условий. Назовем основные из них:

1. Должен быть целевой показатель, например, общая конверсия интернет-магазина или лендинга, показатель отказов какой-то группы страниц, кликабельность кнопки «Купить» и т.д.
2. Тест должен завершиться победой одного из вариантов со статистической достоверностью. Это означает, что данный вариант с очень большой вероятностью действительно лучше.
3. Тест должен продолжаться ~2 цикла принятия решения о покупке. Например, известно, что девушки выбирают украшения около недели. Значит, минимальный срок теста составит 2 недели. В целом мы рекомендуем держать тесты от 1 до 3 недель.

Вопрос «А сколько надо трафика?» не совсем корректный. Длительность теста зависит от количества трафика и дельты целевого показателя. Например, тест с увеличением конверсии с 1% до 2% завершится быстрее, чем тест, где рост будет с 1% до 1,2%. Также тест на сайте с посещаемостью 1000 человек в сутки будет идти дольше, чем на сайте с 5000 посетителей.

Как интерпретировать полученные результаты для дальнейшей проверки гипотез?

Интерпретация результатов довольно проста. Выигравший вариант надо внедрить. ☺

В любом случае, независимо от результатов теста, вы обязаны оценить поведение людей на новом варианте. Это даст вам новые идеи для новых гипотез.

Какие главные ошибки допускаются при А/В-тестировании?

Ошибок много. ТОП-3 из них:

1. Тесты заканчивают раньше достижения статистической достоверности. Это может очень дорого стоить бизнесу. Внедряя изменения после таких тестов, вы не знаете, сделали вы лучше или хуже.
2. Тестируются необоснованные идеи, подсказанные уборщицей из соседнего офиса. По сути, впустую тратятся бесценное время сайта и ресурсы компании на подготовку и реализацию теста.
3. Не отслеживаются показатели во время теста. Часто бывает, что при запуске программисты ошиблись, и одна вариация работает с ошибкой. Если не контролировать тест, то узнать об этом можно через недели 2–3. Это пустая трата времени и ресурсов.

A/B тестирование

A/B тестирование как способ управления конверсией

Для чего нужны А/В тесты

А/В тестирование - один из лучших способов для увеличения конверсии страниц и интернет-магазина. Главная цель А/В тестирования – выяснить, какие именно составляющие сайта нравятся посетителям больше, работают лучше, а, значит, и повышают конверсию. Особенно эффективны А/В тесты для сайтов с большим трафиком.

Хотите что-то изменить на сайте для улучшения конверсионных показателей? Проведите А/В тестирование, выясните, как изменения отразятся на этих показателях.

Даже небольшие эксперименты с контентом сайта могут изменить конверсию. В большую или меньшую сторону? Пройдите испытания, перед тем как радикально изменить, например, свои рекламные предложения.

Сделать А/В тест вручную очень сложно для обычного пользователя. Собирать данные, проводить анализ и вычислять наиболее удачные варианты страниц - все это связано с большими трудозатратами. Обращаться к услугам специальных сервисов - долго и дорого.

В продукте - готовые А/В тесты - абсолютно бесплатно!

Протестируйте новый шаблон сайта

Готовые А/В тесты

Готовые А/В тесты

Провести A/B тестирование самостоятельно очень сложно. Несмотря на то, что это один из самых эффективных инструментов, делают это крайне редко. «1С-Битрикс» представляет уникальный инструмент, позволяющий каждому клиенту за 5 минут провести A/B тестирование своими силами.

Шаблоны готовых тестов

В вашем распоряжении - встроенные инструменты А/В тестирования. Теперь вы легко можете проверить, какой вариант страницы работает эффективнее. С продуктом «1С-Битрикс: Управление сайтом» вы получаете комплект готовых тестов. Все тесты встроены в продукт и не требуют дополнительных технических настроек.

Тестируйте, вносите изменения на сайт и получайте прибыль.

6 сценариев A/B тестирования:

• Новый дизайн
• Главная страница
• Детальная карточка товара
• Страницы корзины
• Страница оформления заказа
• Произвольная выбранная страница

Список предустановленных тестов будет пополняться!

Не нужно программировать!

Пройдите тест перед сменой дизайна

Воспользоваться инструментом может обычный пользователь, поскольку система все делает сама и не требует ничего программировать. Достаточно выбрать один из предустановленных тестов, запустить его и получить на руки подробные отчеты по эффективности. Система сама скопирует нужную вам страницу!

Отчеты и аналитика

Подробные отчеты по эффективности

Узнайте с помощью нового инструмента, как скажется на конверсии магазина смена дизайна сайта, перестройка главной страницы, новое представление карточки товара, иная сортировка товара в каталоге и другие изменения. Достаточно выбрать и запустить нужный тест.

• Графики
• Сводные данные
• Воронка

Следует учитывать, что конверсия будет высчитываться по тем счетчикам, которые были выбраны в настройках модуля .

Отчеты по тестам В любой момент после запуска теста, даже не дожидаясь его окончания, можно посмотреть отчет о проводимом тестировании.

Сделайте свой интернет-магазин самым продающим!

Любой маркетолог может сам запустить тестирование за 5 минут!

Как известно, в бизнесе не бывает статичных состояний. Предприятие должно постоянно развиваться, чтобы соответствовать текущей рыночной ситуации, потребностям клиентов и собственников. Остановив развитие, проект в ту же секунду начинает деградировать. Например, нельзя создать интернет-магазин, добавить на сайт 200 товаров и ежемесячно получать прибыль в сумме 100 тыс. рублей. Чтобы прибыльность проекта хотя бы не падала, предпринимателю необходимо постоянно расширять ассортимент, увеличивать охват аудитории с помощью рекламы и публикации полезного контента, улучшать поведенческие метрики сайта и коэффициент конверсии.

Одним из инструментов развития веб-проектов является A/B-тестирование. Этот метод позволяет измерять предпочтения аудитории и влиять на ключевые показатели эффективности сайта, включая конверсии, время пребывания пользователей на странице, среднюю сумму заказа, показатель отказов и другие метрики. Из этой статьи вы узнаете, как правильно проводить A/B-тестирование.

Что такое A/B-тестирование

A/B-тестирование — это маркетинговый метод, использующийся для оценки и управления эффективностью веб-страницы. Этот метод также называется сплит-тестированием (от англ. split testing - раздельное тестирование).

A/B-тестирование позволяет оценивать количественные показатели работы двух вариантов веб-страницы, а также сравнивать их между собой. Также сплит-тестирование помогает оценивать эффективность изменений страницы, например, добавления новых элементов дизайна или призывов к действию . Практический смысл использования этого метода заключается в поиске и внедрении компонентов страницы, увеличивающих ее результативность. Обратите внимание еще раз, A/B-тестирование - это прикладной маркетинговый метод, с помощью которого можно влиять на конверсию, стимулировать сбыт и повышать прибыльность веб-проекта.

Сплит-тестирование начинается с оценки метрик существующей веб-страницы (A, контрольная страница) и поиска способов ее улучшения. Например, вы создали интернет-магазин . Представьте себе посадочную страницу этого магазина с коэффициентом конверсии 2%. Маркетолог желает увеличить этот показатель до 4%, поэтому планирует изменения, которые помогут решить эту задачу.

Допустим, специалист предполагает, что изменив цвет конверсионной кнопки с нейтрального голубого на агрессивный красный, он сделает ее более заметной. Чтобы проверить, приведет ли это к увеличению продаж и росту конверсии, маркетолог создает усовершенствованный вариант веб-страницы (B, новая страница).

С помощью инструментов для проведения сплит-тестирования эксперт в случайном порядке разделяет трафик между страницами A и B на две приблизительно равные части. Условно говоря, половина посетителей попадает на страницу A, а вторая половина на страницу B. При этом маркетолог держит в уме источники трафика. Чтобы обеспечить валидность и объективность тестирования, необходимо направить на страницы A и B по 50% посетителей, пришедших на сайт из социальных сетей, естественного поиска, контекстной рекламы и т.п.

Собрав достаточно информации, маркетолог оценивает результаты тестирования. Как сказано выше, коэффициент конверсии страницы A составляет 2%. Если на странице B этот показатель составил 2,5%, значит изменение конверсионной кнопки с голубого на красный цвет действительно увеличило эффективность лэндинга. Однако показатель конверсии не достиг желаемых 4%. Поэтому маркетолог дальше ищет способы совершенствования страницы с помощью A/B-тестирования. При этом в качестве контрольной выступит уже страница с красной конверсионной кнопкой.

Что тестировать

Как отмечалось выше, сплит-тестирование - это прикладной метод, позволяющий влиять на различные метрики сайта. Поэтому выбор объекта тестирования зависит от цели и задач, которые ставит перед собой маркетолог.

Например, если показатель отказов посадочной страницы составляет 99%, при этом большинство посетителей покидает лэндинг в течение 2-3 секунд после «приземления», стоит задуматься об изменении визуальных компонентов страницы. С помощью A/B-теста маркетолог может найти оптимальный вариант макета страницы, выбрать привлекательную цветовую гамму и изображения, использовать читабельный шрифт. А если перед маркетологом стоит задача увеличить количество подписок, он может попробовать изменить соответствующую конверсионную форму. Сплит-тест поможет специалисту выбрать оптимальный цвет кнопки, лучший вариант текста, количество полей в форме подписки или ее расположение.

Чаще всего маркетологи тестируют следующие элементы веб-страниц:

• Текст и внешний вид конверсионных кнопок, а также их расположение.
• Заголовок и описание продукта.
• Размеры, внешний вид и расположение конверсионных форм.
• Макет и дизайн страницы.
• Цену товара и другие элементы бизнес-предложения.
• Изображения товаров и другие иллюстрации.
• Количество текста на странице.

Какие инструменты сплит-тестирования использовать

Чтобы выполнить A/B-тестирование, маркетологу необходимо воспользоваться одним из специализированных сервисов. Наиболее востребованным из них является Content Experiments компании Google, доступный пользователям системы Analytics. До середины 2012 года этот инструмент назывался Google Website Optimizer. С его помощью можно протестировать различные элементы страницы, включая заголовки, шрифты, конверсионные кнопки и формы, изображения и т.п. Сервис Content Experiments остается бесплатным, что относится к его основным преимуществам. К его недостаткам относится необходимость работы с HTML-кодом.

Также вы можете использовать для проведения сплит-тестирования следующие российские и иностранные инструменты:

• Optimizely - наиболее популярный в буржунете платный сервис A/B-тестирования. Стоимость его использования составляет от 19 до 399 долларов США в зависимости от типа подписки. К преимуществам данного сервиса относится возможность создания экспериментов в визуальном интерфейсе, что избавляет маркетолога от необходимости работать с HTML-кодом тестируемых страниц.
• RealRoi.ru - еще один отечественный сервис, который позволяет проводить А/Б-тестирование. Среди главных плюсов можно выделить то, что он бесплатен и очень прост в использовании. О том, как он работает, можно подробно посмотреть на следующем видео:
• Visual Website Optimizer - платный сервис, позволяющий тестировать различные элементы страницы. Чтобы использовать этот инструмент, маркетологу необходимо иметь навыки работы с HTML-кодом. Стоимость подписки составляет от 49 до 249 долларов.
• Unbounce - сервис, предназначенный для создания и оптимизации лэндингов. В том числе, он позволяет выполнять A/B-тестирование. Стоимость использования составляет от 50 до 500 долларов в месяц. Отечественный аналог - LPGenerator. Этот сервис позволяет тестировать только созданные с его помощью страницы.

Как провести A/B-тестирование с помощью Content Experiments

Сервис «Эксперименты» Google Analytics позволяет одновременно проверить эффективность пяти вариантов страницы. Используя его, маркетологи могут выполнять A/B/N-тестирования, отличающиеся от стандартных A/B-экспериментов возможностью следить за эффективностью нескольких новых страниц, каждая из которых может иметь несколько новых элементов.

Маркетолог имеет возможность самостоятельно определять долю трафика, участвующего в тестировании. Минимальная продолжительность теста составляет две недели, максимальная ограничена тремя месяцами. Специалист может получать данные о результатах тестирования на электронную почту.

Чтобы провести сплит-тестирование с помощью Content Experiments, выполняйте следующие действия:

1. Войдите в аккаунт Google Analytics, выберите сайт, эффективность которого необходимо проверить. После этого выберите меню «Поведение - эксперименты».

1. Введите в соответствующую форму URL страницы, которую вы будете тестировать, и нажмите кнопку «Начать эксперимент».

1. Выберите название и цель тестирования. Определите процент трафика, участвующий в эксперименте. Решите, хотите ли вы получать оповещения о ходе тестирования на электронную почту. Нажмите кнопку «Далее» после выбора необходимых параметров.

1. Выберите варианты страницы, участвующие в тестировании. Добавьте их в соответствующие формы и нажмите «Далее».

1. Создайте код эксперимента. Если вы не знаете, как вставить его на страницу, выберите вариант «Отправить код веб-мастеру». Если вас не бросает в пот при упоминании HTML-кода, выберите вариант «Вставить код вручную».

Выбирайте «Вставить код вручную», если умеете обращаться с HTML-кодом

1. Скопируйте отмеченный на предыдущей иллюстрации код и вставьте его в исходный код контрольной страницы. Код должен быть вставлен непосредственно после тега . После выполнения этого действия нажмите кнопку «Сохранить изменения».

1. Проверьте наличие кода тестирования на контрольной странице и нажмите кнопку «Начать эксперимент». Обратите внимание, код необходимо добавить только на контрольную страницу.

Вы сможете оценить первые результаты тестирования через несколько суток после начала эксперимента. Чтобы следить за результатами тестирования, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов.

Идеи, эффективность которых стоит обязательно проверить с помощью сплит-тестирования

Выше неоднократно отмечалось, что A/B-тестирование помогает увеличить эффективность веб-страниц. Чтобы этот маркетинговый метод принес результат, маркетолог должен генерировать идеи, способные позитивно влиять на те или иные метрики сайта. Нельзя просто брать какие-либо изменения с потолка, внедрять их и тестировать эффективность. Например, вряд ли метрики сайта изменятся, если вы просто решите изменить фон страницы с голубого на салатовый.

Маркетолог должен видеть способы улучшения страниц и понимать, почему они должны сработать. Cплит-тестирование просто помогает проверить предположения специалиста. Однако каждый маркетолог иногда оказывается в ситуации, когда все идеи проверены, а необходимого результата достичь не удалось. Если вы попали в такую ситуацию, попробуйте внедрить следующие изменения и проверить их эффективность:

• Удалите лишние поля из конверсионной формы. Возможно, ваши потенциальные подписчики не хотят раскрывать свои паспортные данные.
• Добавьте на конверсионную страницу слова «бесплатно» или free. Конечно, аудитория знает, что подписка на рассылку является бесплатной. Но иногда слово free творит настоящие чудеса, ведь дармовой уксус сладок.
• Опубликуйте на посадочной странице видео. Обычно это позитивно влияет на ряд метрик, включая показатель отказов, коэффициент конверсии и время пребывания на странице.
• Увеличьте срок, в течение которого пользователи могут бесплатно тестировать ваш продукт. Это простой и эффективный способ увеличения конверсий для компаний, продающих ПО и веб-сервисы.
• Экспериментируйте с цветом конверсионных кнопок. В некоторых случаях хорошо работают кнопки агрессивного красного цвета. Однако иногда они раздражают пользователей. Используйте A/B-тест, чтобы найти наиболее эффективный цвет кнопки для вашего сайта.
• Пообещайте бонусы первым 10 или 100 покупателям (подписчикам). Не спешите удалять это обещание даже после завершения акции. Многие пользователи не рассчитывают войти в число счастливчиков, однако все равно подсознательно реагируют на выгодное предложение.

Как и зачем тестировать разные варианты страниц

Сплит-тестирование позволяет оценить эффективность изменений веб-страниц. Этот маркетинговый метод имеет прикладное значение. Он позволяет практически постоянно совершенствовать страницы, улучшая различные метрики.

Чтобы протестировать то или иное изменение, необходимо создать новый вариант страницы и сохранить старый. Оба варианта должны иметь разные URL. После этого следует воспользоваться одним из сервисов для проведения сплит-тестов, например, Content Experiments. Оценку результатов тестирования можно проводить как минимум через две недели после запуска эксперимента.

Как вы считаете, стоит ли проводить A/B-тесты? В каких случаях этот маркетинговый метод остается бесполезной тратой времени?

(сплит-тестирование, A/B testing, Split testing) на сайте - это маркетинговый метод, который заключается в наблюдении за контрольной (А) и тестовыми (В) группами элементов - страницами сайта, отличающимися лишь некоторыми показателями, с целью увеличения конверсии сайта. Страницы показываются посетителям поочередно в равных долях, и после достижения нужного числа показов по полученным данным определяется наиболее конверсионный вариант.

Этапы A/B-тестирования

В целом весь процесс A/B-тестирования можно представить в виде 5 шагов:

Шаг 1. Постановка цели (бизнес-цели, конверсия, цели на сайте)

Шаг 2. Фиксирование исходных статистических данных

Шаг 3. Настройка тестирования и сам процесс

Шаг 4. Оценка результатов и внедрение наилучшего варианта

Шаг 5. Повторение эксперимента на других страницах или с другими элементами при необходимости

Продолжительность тестирования

Длительность проведения эксперимента зависит от имеющегося трафика на сайте. Показателя конверсии, а также различий в тестируемых вариантах. Многие сервисы автоматически определяют продолжительность. В среднем, достаточно 100 конверсионных действий на сайте и занимает порядка 2-4 недель.

Страницы для тестирования

Для тестирования можно выбрать любую страницу сайта, важную с точки зрения конверсии. Чаще всего это главная, страницы регистрации/авторизации, страницы воронки продаж. При этом лучше обратить внимание на следующие моменты:

1. Самые посещаемые страницы сайта
2. Страницы с дорогими визитами
3. Страницы с отказами

Первое необходимо для чистоты эксперимента, второе и третье для выявления слабых мест на сайте.

Чаще всего для тестирования выбирают кнопки, текст, слоган-призыв к действию и layout страницы в целом. Для выбора элемента можно воспользоваться следующим алгоритмом действий:

• Выдвигается гипотеза о поведении посетителя
• Предлагается решение по изменению элементов (лучше брать 1-2, не более)

1. Добавить слово «Бесплатно»
2. Разместить объясняющее видео
3. Приклеить кнопку регистрации к верху страницы
4. Сократить количество полей в заявке
5. Добавить счетчик специального предложения
6. Добавить бесплатную пробную версию
7. Изменить цвета кнопок или текст на них

Автоматизация тестирования

Существует несколько платных и бесплатных инструментов для автоматизации процесса тестирования с различным набором функций. Большой список можно посмотреть . Наиболее популярным можно назвать эксперименты в Google Analytics . Он является бесплатным, русифицирован, легок в освоении, и если на сайте установлен счетчик, то не потребуется ждать сбора начальных данных и запустить эксперимент можно всего в пару кликов.

A/B-тестирование средствами Google Analytics

Рассмотрим процесс создания теста в Google Analytics. Для этого необходимо зайти на вкладку Отчеты->Поведение->Эксперименты. Введите урл тестируемой страницы и нажмите «Начать эксперимент».

Следующим шагом потребуется заполнить поля: название эксперимента, цель (можно выбрать из настроенных целей для сайта), охват посетителей сайта для эксперимента (лучше ставить 100%).

На втором шаге потребуется указать адреса основной (контрольной) страницы и ее вариантов.

Если все выполнено корректно, то система даст зеленый свет на запуск тестирования.

Результат эксперимента очень наглядный и может выглядеть так:

Вопреки общепринятому мнению (ведь создаются дубли страниц), негативного влияние на позиции сайта такое тестирование не оказывает. Достаточно на альтернативных страницах прописать rel=”canonical”.

Важное об A/B-тестировании

1. Тестовые варианты страниц не должны отличаться более, чем 2-мя элементами
2. Трафик между страницами должен распределяться равновероятно
3. Делая настройки, выберите новых посетителей сайта
4. О результатах можно судить лишь по широкой выборке, желательно не меньше 1000 человек
5. Делайте оценку результатов в одно время
6. Не стоит доверять себе, не все пользователи думают так, как вы, поэтому ваш предпочтительный вариант может оказаться далеко не выигрышным.
7. Результаты A/B-тестирования не всегда могут приносить желаемых результатов по увеличению конверсии. Значит надо экспериментировать с другими элементами.