Провести a b тестирование. Как и когда я могу интерпретировать результаты сплит-тестирования? Сколько элементов мне стоит тестировать

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Подписаться

Если в детстве вы любили разбирать на части машинки с моторчиком или смешивать все жидкости, которые были в доме, то эта статья для вас. Сегодня разбираемся с A/B тестированием сайта и выясняем, почему в умелых руках оно превращается в мощное оружие. Откапываем в глубинах сознания дух экспериментатора, стряхиваем с него пыль и читаем.

Что это такое – А/Б тестирование сайта?

Если вкратце, то это метод оценки эффективности двух вариантов одной и той же страницы. Например, есть два дизайна карточки товара и оба они настолько круты, что вы даже спать и есть не можете. Логичный выход – проверить, какой вариант работает лучше. Для этого половине посетителей показывается вариант №1, а половине – вариант №2. Побеждает тот, кто лучше справляется с поставленными задачами.

Это не единственный способ применения А/Б (или сплит) тестирования сайта. С его помощью можно проверять сумасшедшие гипотезы, удобство новой структуры страницы или разных вариантов текста.

Как проводится A/B тестирование сайта

Постановка задачи

Сначала нужно определиться с целью. Поймите, чего вы хотите добиться: увеличения конверсии, времени пребывания на сайте или снизить процент отказов. Если с целями и задачами все ОК, меняйте контент или дизайн, опираясь на них. Например, можно пойти по пути всех growth-хакеров и изменить расположение и дизайн кнопки «Купить». Сейчас она висит слева внизу и вы хотите посмотреть, что будет, если поменять ее внешний вид и передвинуть кнопку выше и правее.

Техническая реализация

Здесь все просто – либо создается отдельная страница, на которой меняется только объект тестирования, либо программист применяет магию и реализует все в рамках одного документа.

Подготовка контрольных данных

Страница переделана и все готово к запуску теста. Но сперва нужно измерить исходные показатели конверсии и всех остальных параметров, которые мы будем учитывать. Исходному варианту страницы присваиваем имя «A», а новому – «B».

Тест

Теперь нужно случайным образом разделить трафик пополам. Половине пользователей показывается страница A, а остальным – B. Для этого можно воспользоваться специальными сервисами (их очень много) или сделать все руками программиста.

При этом важно, чтобы «состав» трафика был одинаковым. Эксперимент не будет объективным, если всем пользователям, пришедшим по клику на контекст будет доступен только первый вариант, а всем посетителям из социальных сетей – только второй.

Анализ

Теперь нужно ждать, пока наберется достаточно статистики и сравнить результаты А/Б тестирования. Сколько именно придется ждать, зависит от популярности сайта и некоторых других параметров. Выборка должна представлять статистическую значимость. Это значит, что вероятность случайности результата должна быть не выше 5%. Пример: Допустим, на обеих страницах одинаковое количество визитов – по тысяче. При этом у страницы A 5 целевых действий, а у страницы B – 6. Результат отличается слишком незначительно, чтобы говорить о закономерности, поэтому он не годится.

Большинство специальных сервисов сами рассчитывают, порог статистической значимости. Если делаете все руками, можете воспользоваться калькулятором .

Выработка решения

Как поступить с результатами теста – решать вам. Если новый подход сработал, можно оставить его на сайте новый вариант страницы. При этом не обязательно останавливаться на достигнутом, особенно если вы видите, что потенциал для роста показателей еще остался. В этом случае оставляйте на сайте вариант B и готовьте новое тестирование.

Как сделать A/B и сплит-тестирование объективным

Снизить влияние внешних факторов. Мы уже немного затронули эту тему – нужно проводить тест в один и тот же период времени, а источники трафика должны быть одинаковыми для обеих страниц. Если не позаботиться о равных условиях, то получите нерепрезентативную выборку. Люди из поиска ведут себя на странице не так, как посетители из группы в «Фейсбуке» или «Вконтакте». То же самое с объемом трафика – он должен быть примерно одинаковым.

Минимизировать влияние внутренних факторов. Это актуально для сайтов крупных компаний – на статистику могут сильно влиять сами сотрудники фирмы. Они заходят на сайт, но не совершают никаких целевых действий. Поэтому их нужно исключить из статистики. Для этого нужно установить фильтр в системах веб-аналитики.

Плюс, есть довольно очевидная вещь, про которую иногда забывают. Тестировать нужно один элемент. Если вы поменяли сразу пол-страницы, но при этом полного редизайна сайта не было, результаты эксперимента не будут валидными.

Влияет ли A/B тестирование сайта на SEO?

Есть популярный миф, что А/Б тестирование может выйти боком, потому что из-за дублирования страниц можно попасть под фильтры поисковиков. Это неправда. Google даже рассказывает , как сделать все правильно и дает для этого специальные инструменты.

Что и как можно улучшить с помощью A/B тестирования

• Конверсию. Самый популярный вариант. Даже незначительное изменение страницы может повлиять на показатель конверсии. При этом целевым действием может считаться и покупка, и регистрация, и просмотр какой-либо страницы, и подписка на рассылку, и переход по ссылке.
• Средний чек. В этом случае часто тестируют новые блоки дополнительных продаж: «похожие товары» и «с этим товаром часто покупают».

• Поведенческие факторы. К ним относят глубину просмотра, среднее время на сайте и отказы.

Обычно пробуют менять:

• Дизайн кнопок «Купить», «Оставить заявку».
• Контент страницы: заголовки, описание продукта, изображения, призывы к действию и все остальное.
• Расположение и внешний вид блока с ценами.
• Структуру страницы.
• Расположение, структуру и дизайн формы заявки.

В принципе, сработать может что угодно, точно сказать, как повысить конверсию или средний чек не сможет ни одна Ванга. Рекомендаций куча, но учесть их все просто нереально, да и сработать они могут с противоположным эффектом. А иногда к улучшению показателей приводят совсем нелогичные вещи, например, отказ от развернутого описания товаров. Пробуйте разные подходы и варианты, это же тест.

Инструменты для A/B тестирования сайта

Их просто куча, поэтому мы выбрали самые лучшие. Все они англоязычные и поэтому дорогие, но у каждого есть бесплатный пробный период. В России что-то подобное делает только lpgenerator.ru, но тестировать там можно только лендинги, созданные в конструкторе сервиса. Свою страничку загрузить не получится.

Optimizely.com

Один из самых популярных сервисов. Умеет тестировать все и в любых комбинациях. Из других плюсов: возможность мультиканального тестирования, эесперименты с мобильными приложениями, удобные фильтры результатов, таргетинг, визуальный редактор и немножко веб-аналитики.

Changeagain.me

Достаточно удобный сервис, главное преимущество – простая и полная интеграция с Google Analytics: цели можно создавать прямо в сервисе, а они потом автоматически подгружаются в систему. Остальные функции более-менее стандарны: простой визуальный редактор, таргетинг по устройствам и странам. конкретный набор зависит от тарифного плана..

ABtasty.com

Этот сервис отличается большим пробным периодом – он длиться аж 30 дней, вместо стандартных 14-15-ти. Плюс, инструмент интегрируется в WordPress, Google Analytics и несколько других сервисов, которыми пользуются забугорные маркетологи и веб-мастера. Из дополнительных плюсов: удобный интерфейс и детальный таргетинг.

Как провести A/B тестирование через Google Analytics

Для этого нужно зайти в свой аккаунт, открыть меню отчета, досскроллить до вкладки «Поведение» и в ней нажать «Эксперименты». Там все предельно просто.

Даем эксперименту имя, распределяем трафик по страницам в нужной пропорции, выбираем цели и переходим к следующему этапу – детальной настройке.

Там задаются адреса страниц A и B. Если поставить галочку «Унификация вариантов для других отчетов по содержанию», то в остальных отчетах показатели всех вариантов будут учитываться как показатели исходной страницы.

После этого Analytics выдаст код, который нужно разместить на странице A и запустить эксперимент. Отчеты по эффективности можно будет увидеть в том же меню «Эксперименты».

Как настроить «Яндекс Метрику» для A/B тестирования

Работа делится на две части. Сначала нужно либо создать две страницы, либо настроить одну на показ пользователю двух разных типов элементов. Как это сделать – тема для отдельной большой статьи, поэтому ее, пока что, обойдем

После этого нужно передать в метрику информацию о том, какой вариант сайта увидел пользователь. Небольшую инструкуцию дает сам «Яндекс» . Для нам нужно создать параметр А/Б тестирования и присвоить ему нужное значение. В случае с кнопкой мы определяем параметр как:

var yaParams = {ab_test: "Кнопка1" };

или

var yaParams = {ab_test: "Кнопка2" };

После этого параметр передается в «Метрику» и его можно использовать для формирования отчета по «параметрам визитов».

Итоги

А/Б (или сплит) тестирование сайта – это важный, нужный и почти обязательный инструмент. Если регулярно проверять новые гипотезы, эффективность страницы можно вывести на новый уровень. Но нельзя сказать, что усилий для этого нужно минимум. Чтобы просто поменять расположение или цвет кнопки придется подключить к делу программиста или дизайнера, пусть это и не займет много времени. Плюс, любое предположение может оказаться ошибочным. Но кто не рискует, тот не получает возросший поток заявок и не бегает по офису счастливым.

Когда нужно увеличить конверсию сайта, маркетологи используют A/B тестирование. A/B тест - это очень точный и простой способ исследования ваших landing page (целевых страниц). Полученные после теста статистические данные можно использовать для повышения коэффициента конверсии ваших страниц.

К сожалению в рунете тестирование сайтов не так популярно как «за бугром». Возможно низкая популярность данного инструмента связанна с заблуждениями что всё это очень сложно реализовать, или просто с незнанием.

Что такое A/B тестирование

Допустим у вас есть две версии страницы с одним разным элементом, пусть это будет цвет кнопки отправки формы. Чтобы понять какая кнопка будет эффективней мы равномерно распределяем всех посетителей приходящих на сайт. Когда количество посетителей достигнет определённой отметки, например 1000, мы сравниваем конверсию страниц и оставляем более эффективную страницу.

Как вы можете видеть всё очень просто и в тоже время очень эффективно. Подобные тесты можно проводить постоянно, с каждым разом всё больше увеличивая показатель конверсии.

Что проверить в первую очередь?

В первую очередь стоит протестировать следующие элементы вашего лэндинга:

• Дескриптор
• Кнопки отправки формы
• Уникальное торговое предложение (УТП)
• Призывы к действию
• Стоимость товаров или услуг
• Копирайтинг или контент
• Макет страницы
• Шрифты и стиль текста
• Изображения

Важно: тестируемые страницы должны различаться только одним элементом, например текстом кнопки отправки формы.

Факты об A/B тестировании

1) Не ждите мгновенных результатов

Делая свой первый a/b тест вы скорее всего будете думать, что все сделанные изменения будут приносить увеличение конверсии. К сожалению такое случается не всегда, возможно вам придётся провести более десяти тестов для получения хотя бы небольших положительных результатов. Очень важно правильно донести ваше предложение потенциальным клиентом, для этого при создании своей страницы, старайтесь смотреть на неё не как вебмастер, а как посетитель. Самостоятельно это сделать достаточно сложно, поэтому можно попросить у знакомых чтобы они взглянули на страницу.

2) Не бойтесь больших перемен

Часто большие перемены в дизайне, структуре страниц или тексте приводят к максимальным результатам. Более того именно с больших изменений в структуре сайта нужно начинать, если вас сильно не устраивает конверсия нашего лендинга.

Скрипт для проведения A/B теста сайта

1) Распределяем входящий трафик

У Вас уже должны быть созданы как минимум две версии сайта, одна из них должна остаться без изменений, это нужно для отслеживание результата.

Первый способ:

Распределяем трафик строго 50/50 с помощью простого php скрипта. Чтобы разобраться как пользоваться скриптом Вам нужно хоть немного знать язык программирования PHP. Если вы с ним не знакомы лучше обратитесь к профессионалу или пользуйтесь вторым способом.

=$count) $splitpage=0; $f=fopen($counterfilename,"w+"); fputs($f,strval($splitpage)); fclose($f); setcookie($cookiename, $splitpage, time()+2592000); } else $splitpage=$_COOKIE[$cookiename]; if ($_SERVER["QUERY_STRING"] != "") $my_url[$splitpage].= "?".$_SERVER["QUERY_STRING"]; Header("Location:".$my_url[$splitpage]); exit; ?>

$id_test = "1" ; //id теста (при запуске нового теста смените цифру на любую другую) $count = 0 ; $my_url [ $count ++ ] = "http://сайт/marketing/ab-test/" ; $my_url [ $count ++ ] = "http://сайт/tag/ab-test/" ; // код ниже лучше не трогать $counterfilename = "counter" . md5 ($SCRIPT_NAME ) . ".txt" ; $cookiename = "splitpage" . $id_test . md5 ($SCRIPT_NAME ) ; if (! isset ($_COOKIE [ $cookiename ] ) ) @ $splitpage = file_get_contents ($counterfilename ) ; $splitpage = intval ($splitpage ) + 1 ; if ($splitpage >= $count ) $splitpage = 0 ; $f = fopen ($counterfilename , "w+" ) ; fputs ($f , strval ($splitpage ) ) ; fclose ($f ) ; setcookie ($cookiename , $splitpage , time () + 2592000 ) ; else $my_url [ $splitpage ] ) ; exit ;

Измените адрес страниц в строчках $my_url[$count++]="http://сайт/marketing/ab-test/"; и $my_url[$count++]="http://сайт/tag/ab-test/"; , закачайте файл на хостинг и можете пускать на него посетителей. Скрипт равномерно распределит весь входящий трафик.

При тестировании этого скрипта имейте в виду что когда вас переадресовывает на одну из страниц, скрипт запишет на какую страницу вы были отправлены в куки вашего браузера. Это нужно для того чтобы не возникла ситуации когда пользователь повторно переходит по вашей ссылке и видит совсем другую версию сайта. Это кстати ещё одна полезная фишка этого скрипта.

Второй способ:

Воспользуйтесь моей разработки для генерации кода.

2) Завершение а/б теста

Пропустив через тестируемые страницы достаточное количество трафика, приходит время для изучения статистики. Стоит обратить внимание на конверсию не только в заявку, но также в продажу.

Оставляем страницу которая по итогам тестов лучше конвертирует посетителей в покупателей.

 Если вы не смогли разобраться как пользоваться этим скриптом а/б теста - оставляйте свои вопросы в комментариях и я обязательно на них отвечу.

О том, как с помощью A/B-тестирования выясняем, какая реклама работает лучше всего. В процессе выбора лучшей площадки для проведения экспериментов, мы протестировали и составили подборку сервисов для проведения тестирования. С полезными комментариями. И делимся с вами!

Какой функционал был для нас важен?

• Возможность бесплатно потестить сервис в полную силу. То есть на реальной рекламной кампании с большими потоками посетителей.
• Возможность подгрузки своего варианта страницы. Это означает, что мы хотим создать свою красивую страничку и загрузить ее в сервис, там же сделать изменения в онлайн-редакторе и запустить тест.
• Удобный и неглючный онлайн-редактор страниц.
• Правильное подцепление целей тестирования. Несложные цели можно настраивать прямо в сервисах. Собственно, по ним и по промежуточным целям можно сравнивать конверсии вариантов и выбирать выигрышный.

Как разобраться в подборке?

• Сервис — адрес сервиса, тут все просто.
• A/ B или MVT — какой из вариантов тестирования поддерживает сервис.

1. A/ B-тестирование — это когда варианты тестируемой страницы отличаются одной переменной(разная кнопка, разный заголовок и т.д.). . Например, в одном варианте кнопка «Заказать» красная, в другом — зеленая. А в целом страницы идентичны.
2. MVT — это многовариантное тестирование. Когда варианты тестируемой страницы отличаются в множестве разных вещей. Первый вариант синего цвета, с красной кнопкой «Заказать» и рисунком из бабочек в шапке страницы. Второй вариант — фиолетовый, с зеленой кнопкой «Заказать» и рисунком из единорогов. Третий вариант — вообще черно-белый, с мигающей кнопкой «Заказать» и фотографией заказчика на заднем фоне.

Некоторые сервисы лэндингов поддерживают функцию только A/ B-тестирования, некоторые и A/ B, и MVT.

• Тарифные планы — сколько денег хочет сервис за свои услуги. По каким параметрам определяется крутость тарифного плана?

1. Количество посетителей, которое может перейти на страницу (если посетителей больше, чем разрешает тарифный план, эксперимент отключается).
2. Количество доменов, на которых размещаются лэндинги.
3. Количество самих экспериментов, которые можно запустить в сервисе.
4. Количество аккаунтов, которое можно создать на сервисе.

В разные тарифы входят разные параметры, тут уж какой сервис на что горазд.

• Шаблоны\онлайн-редактор - Где-то есть готовые шаблоны, где-то есть редактор, с помощью которого можно изменять переменные.
• Демоверсия — сколько дней можно пользоваться этим сервисом бесплатно.
• Комментарии — наши личные замечания о работе каждого сервиса.

Подборка сервисов для A/B-тестирования

Русскоязычные сервисы

Сервис #1

• Сервис: http://abtest.ru/
• Поддержка тестирования: А/B
• Тарифные планы: тестирование бесплатно, сервис умирает и находится в бета-версии.
• Шаблоны\ редактор: онлайн-редактор.
• Комментарии: Разрешает подгружать свои лэндинги. Ужасно глючный редактор.

Сервис #2

• Сервис: http://lpgenerator.ru/
• Поддержка тестирования: A/B.
• Тарифные планы:

1. $37 , 3500 посетителей, 2 домена, 25 страниц.
2. $58 , 9000 посетителей, 5 доменов, 50 страниц.
3. $119 , трафик, кол-во доменов и кол-во страниц не ограничено, подключение собственных доменов.
4. $440 , трафик, количество доменов и страниц не ограничено, подключение собственных доменов, 15 клиентских аккаунтов, персональный брендинг.

• Шаблоны\редактор: шаблоны и онлайн-редактор.
• Демоверсия: 14 дней.
• Комментарии: Есть свой набор шаблонов и платных и бесплатных. Не нашлось инструмента загрузки собственных сайтов для изменения в редакторе. Редактор простой, но требует время для изучения.

Англоязычные сервисы

Сервис #3

• Сервис: http://unbounce.com/
• Поддержка тестирования: A/B.
• Тарифные планы:

1. $49 — 5 000 посетителей.
2. $99 — 25 000 посетителей.
3. $199 — 200 000 посетителей

На всех планах: неограниченное количество тестов и страниц во всех планах, статистика, онлайн-конструктор страниц.

• Шаблоны\редактор: шаблоны и онлайн-конструктор(!).
• Демоверсия: 30 дней.
• Комментарии: Редактор довольно удобный и приятный в использовании. Не нашли, как загрузить свою страницу для изменения. Шаблоны страниц тусклые и неинтересные. В сервисе есть не просто онлайн-редактор блоков, а полноценный онлайн-конструктр, с помощью которого можно создать простой сайт с нуля.

Сервис #4

• Сервис: https://vwo.com/
• Поддержка тестирован ия: A/B, MVT и тестирование мобильных приложений.
• Тарифные планы:

1. $49 , 10 000 посетителей.
2. $129 , 30 000 посетителей.
3. Индивидуальный тарифный план — около миллиона посетителей в месяц, тестирование на мобильных, связанные аккаунты, личный консультант.

• Шаблоны\ редактор: онлайн-редактор.
• Демоверсия: 14 дней.
• Комментарии: у сервиса красивый интерфейс, но при подгрузке своей страницы возникают проблемы.

Сервис #5

• Сервис: http://www.convert.com/ .
• Поддержка тестирования: A/B & MVT
• Тарифные планы:

1. $9 , 2000 посетителей.
2. $29 , 10 000 посетителей, MVT.
3. $59 , 30 000 посетителей, MVT.
4. $99 , 50 000 посетителей, MVT + тестирование мобильных сайтов.
5. $139-$1499 , тарифные планы для агентств. Безлимитное количество проектов и тестов, онлайн-поддержка, интеграция с Google-Analytics.

• Шаблоны\ редактор: онлайн-редактор.
• Демоверсия: 15 дней.
• Комментарии: Удобный редактор своих страниц. Шаблонов нет. Все красиво, сочно и удобно, но периодически перестает считать цели, выявлялись ошибки/косяки сервиса, исправлялись техподдержкой, но на следующий день подцепление целей опять слетало по неизвестной причине.

Сервис #6

• Сервис: http://www.clickthroo.com/
• Поддержка тестирования: A/B.
• Тарифные планы:

1. $195 , 50 000 посетителей, 5 проектов.
2. $395 , 100 000 посетителей, 10 проектов.
3. $695 , 100 000 посетителей, безлимитное количество проектов.
4. $1195 , 250 000 посетителей, безлимитное количество проектов.

• Шаблоны\ редактор: шаблоны и онлайн-редактор.
• Демо-версия: 14 дней демодоступа.
• Комментарии: Делаешь запрос на демодоступ, заполняя огромную форму и не получаешь его. Ок, получаешь, но через пару рабочих дней.

Сервис #7

$1295 — до 10 000 посетителей в месяц. Неограниченное количество проектов, страниц, тестов, доменов, техподдержка.

Шаблоны\ редактор: шаблоны и онлайн-редактор.

Демоверсия: бесплатный демодоступ.

AB test, полезная штука, которая просто должна быть по-умолчанию в интернет проектах. Как проводить и что для этого нужно?

Сегодня тестирование гипотез и проверка идей, обязательная программа. Под эту задачу отлично подходит AB test. Давайте разберём подробнее, что это вообще такое, в чём польза и какие есть инструменты.

AB test: что это и зачем

AB test или Split test - метод маркетингового исследования, суть которого заключается в том, что вы берёте и сравниваете несколько вариантов элемента продукта с одним определенным изменением. А после смотрите какой из вариантов показал себя лучше.

К примеру, у нас родилась идея, поменять цвет кнопки на некой странице. Мы думаем, что это изменение принесёт нам больше кликов. Запускаем оба варианта, половине наших пользователей показываем вариант A, а другой половине вариант B.

По прошествии какого-то времени (продолжительность определяется перед запуском теста) замеряем результат. Смотрим какой из вариантов лучше отработал и используем его в работе. Таким образом вы можете проверять практически любые гипотезы и смотреть, что лучше работает, а что нет.

Что можно анализировать с помощью AB test?

• Конверсии. Кол-во успешных целевых действий на вашем сайте. Это может быть нажатие на кнопку “Купить”, посещение какой-то страницы или что-то ещё.
• Экономика. Средний чек или объём выручки.
• Поведенческие факторы. Глубина просмотра, длительность сеанса.

Нюансы и тонкости

• Очень важно при тестировании менять только один фактор. Если это цвет кнопки на лендинге, то мы тестируем только разные цвета кнопок и не меняем больше ничего на страницах.
• Также и с внешними факторами. Тест запускается в одно и то же время при одних и тех же условиях. В противном случае вы можете получить данные, которые будут необъективными.

Простите, что прерываю чтение. Присоединяйтесь к моему telegram канал . Свежие анонсы статей, развитие digital продуктов и growth hack, там все. Жду вас! Продолжаем…

Важно про данные

Всё было бы очень просто, если бы не одно “Но”. Можно провести AB test, получить результаты, где откровенно видно, что один из вариантов сильно лучше другого.

Например, мы показали 2 варианта страниц с разным цветом кнопок по 1000 раз каждый. Проводили тест одну неделю. И получили следующие результаты:

При одинаковых показах баннера (это важно), кол-во кликов у варианта B больше в три раза. Делаем вывод, что этот вариант более эффективный и берём его в рабочую версию, а старый удаляем.

А если, к примеру, так?

Стоит ли брать вариант B? Или может быть это просто погрешность? Да и достаточно ли показать 1000 раз каждый из вариантов, чтобы принять решение? Может к нам на сайт в день заходит 10 000 пользователей и выборка очень мала, чтобы сделать вывод? А если, данные которые мы анализируем, не просто кол-во кликов, а средний чек с транзакций?

Статистика нам в помощь

Чтобы понять, как устроен мир цифр и экспериментов, давайте немного разберём мат.часть. Если нет времени и сил, то советую пропустить этот раздел. Дальше, я дам более простые решения задачи.

Большой соблазн, когда получили результаты эксперимента, принять решение и всё, вот оно, “светлое будущее”. Но, ведь, если копнуть немножечко глубже, то за неделю распределение кликов по дням было неравномерным. Давайте распишем.

В таблице видно, что клики по дням распределены по-разному. А значит, наши значения варианта A и варианта B могут меняться каждый день. То есть, мы имеем дело со случайными величинами. Для таких случаев применяют средние значения. Но ведь, если мы проведем эксперимент ещё раз, то какова вероятность, что результат повториться?

Изобразим на графике распределение всех данных за неделю по варианту A и B.

Если мы возьмём средние величины по каждому из вариантов (это вертикальные полоски посередине двух волн), то увидим, что разница совсем невелика. Но существуют определенные отклонения, в большую и меньшую сторону от среднего. Поэтому, мы получаем пересечение двух волн. Чем оно больше, тем меньше значимость эксперимента и, соответственно, чем меньше пересечение, тем выше статистическая значимость.

Статистическая значимость, это то, насколько верны полученные результаты. То есть в нашем примере, ответ на вопрос “нужно ли брать вариант B?”.

Обычно, по-умолчанию принимают уровень значимости равный 95%. Это означает, что мы с 95% вероятностью хотим знать, стоит ли выбирать другой вариант (B) при сравнении. Оставшиеся 5%, это вероятность ошибки, которую мы допускаем или p-value в терминологии статистики.

Интересно, что многие забывают проверять уровень значимости в своих экспериментах и тем самым могут получать ошибочные данные. 8 из 10 AB тестов проходят мимо этой оценки. ( )

Не буду вдаваться долго в подробности, как рассчитывается показатель значимости, просто дам инструмент, который посчитает все за вас.

Инструменты для расчета значимости

Для оценки значимости данных советую использовать этот инструмент .

Здесь у нас A и B соответственно наши варианты. А по цифрам:

1. Число посетителей/можно кол-во показов вставлять.
2. Кол-во конверсий. Нажали на кнопку, зарегистрировались. В общем выполнили целевое действие.
3. P-value. Вероятность ошибки, которую мы опускаем при заданных данных.
4. Ответ на вопрос существенны ли, полученные изменения в нашем эксперименте.

Пример: берём данные по показам и кликам из таблицы, которую показывал выше.

Забиваем их в сервис, нажимаем на кнопку “Calculate Significance” и…

Получаем ответ “No” или “Нет” (по-русски) в нижней строке, а чуть выше p-value 0,283. Что это означает? А то, что с вероятностью 28,3% (0,283*100), если мы выберем вариант “B”, то он не принесёт никаких существенных результатов.

Чтобы эксперимент считался успешным, p-value должен быть меньше 5%

Есть ещё один сервис, в который также вбиваете данные и смотрите результат, доступен по ссылке .

На этом строится базовый принцип измерения случайных величин. Просто в тот момент, когда получите результаты AB test, прогоните их через инструмент и посмотрите, а на столько лишь значимо улучшение от другого варианта, чтобы брать его в работу?

Как понять сколько нужно данных?

Бывает так, что для получения выводов недостаточно полученных данных.Для того, чтобы понять, сколько раз нужно показать страницу A и B, а затем получить нужное кол-во данных, используйте этот инструмент .

Очень важно, повторюсь, запускать эксперимент при одних и тех же условиях. В идеале мы берём неделю, на которой нет ни праздников, ничего остального и параллельно тестируем варианты. Вернёмся к сервису.

Благодаря этому сервису вы поймете размер выборки для каждого из вариантов.

Подробнее по пунктам:

1. Существующий уровень конверсии. Или, например, сколько процентов из всех пользователей сейчас нажимают кнопку.
2. Минимально значимое изменение, которое нас интересует. На сколько мы хотели бы изменить базовый показатель конверсии.
3. Значимое отклонение, которое мы ввели на предыдущем шаге показывает, что конверсия может увеличится, так и уменьшиться.
4. Вы выбираете значение: absolute (абсолютный) или relative (относительный). Выбирайте то значение, которое хотите получить. Если у вас baseline уровень конверсий равен 30% (как в примере с картинки) и вы хотите повысить его на 5% с помощью ab тестов, то выбирайте “relative”. То есть, финальный результат изменения в случае успешности эксперимента будет 5% от 30%, то есть 31,5%.
5. Размер выборки для каждого варианта. Сколько мы должны раз показать страницу отдельно A и страницу B, чтобы сделать выводы по эксперименту. Очень важно! Чтобы сделать выводы по эксперименту, мы показываем 24 409 раз A и 24 409 раз B!
6. Статистическая значимость. На сколько точный эксперимент мы хотим провести.
7. Погрешность p-value. Какую вероятность ошибки допускаем.

Можно ли останавливать эксперимент раньше?

Можно. Существует вариант, когда мы можем не дожидаться окончания эксперимента, а на определенном этапе уже сделать выводы. Для этого используйте уже известный инструмент, вкладка “ Sequental Sampling “.

По шагам:

1. Вбиваете свой уровень конверсии сейчас. К примеру 30%, именно столько из 100% заходящих к нам на страницу нажимает кнопку.
2. Набираете, на сколько вы хотели бы повысить ранее введенный показатель. Поставил на 10%. Было 30, хочу до 33 поднять.
3. Кол-во конверсий одного из экспериментов, после которого останавливаем эксперимент и принимаем решение.
4. Разница в конверсиях между вариантом A и B, после которой останавливаем эксперимент и берем, тот, что больше набрал.
5. Выставляем уровень значимости 95% (как положено, см.выше материал).
6. Устанавливаем погрешность p-value (опять же, см.выше материал).

Здесь нет никакой хитрости, просто статистика. Используйте этот инструмент, когда эксперименты занимают много ресурсов (время на разработку, бюджеты на рекламу для проверки гипотез и т.д.). Теперь у вас есть два правила, при которых вы можете останавливать эксперимент и делать выводы.

Чем проводить AB test?

Готовые решения:

• Optimizely, vwo.com, zarget.com
• http://alternativeto.net/software/optimizely
• Google Analytics (ссылка как проводить)

Собственное решение:

• Пишем админку.
• Пишем и настраиваем каждый эксперимент.

Вот про 10 сервисов для AB test. Есть из чего выбрать.

Всё

Теперь у вас есть общее представление, что такое AB test, какие существуют нюансы и какими инструментами его проводить. В заключение добавлю что данное исследование гипотез является одним из самых полезных в развитии digital проекта. Разве не прекрасно, что можно проверить практически любую идею? Главное правильно, теперь вы знаете как.

(сплит-тестирование, A/B testing, Split testing) на сайте - это маркетинговый метод, который заключается в наблюдении за контрольной (А) и тестовыми (В) группами элементов - страницами сайта, отличающимися лишь некоторыми показателями, с целью увеличения конверсии сайта. Страницы показываются посетителям поочередно в равных долях, и после достижения нужного числа показов по полученным данным определяется наиболее конверсионный вариант.

Этапы A/B-тестирования

В целом весь процесс A/B-тестирования можно представить в виде 5 шагов:

Шаг 1. Постановка цели (бизнес-цели, конверсия, цели на сайте)

Шаг 2. Фиксирование исходных статистических данных

Шаг 3. Настройка тестирования и сам процесс

Шаг 4. Оценка результатов и внедрение наилучшего варианта

Шаг 5. Повторение эксперимента на других страницах или с другими элементами при необходимости

Продолжительность тестирования

Длительность проведения эксперимента зависит от имеющегося трафика на сайте. Показателя конверсии, а также различий в тестируемых вариантах. Многие сервисы автоматически определяют продолжительность. В среднем, достаточно 100 конверсионных действий на сайте и занимает порядка 2-4 недель.

Страницы для тестирования

Для тестирования можно выбрать любую страницу сайта, важную с точки зрения конверсии. Чаще всего это главная, страницы регистрации/авторизации, страницы воронки продаж. При этом лучше обратить внимание на следующие моменты:

1. Самые посещаемые страницы сайта
2. Страницы с дорогими визитами
3. Страницы с отказами

Первое необходимо для чистоты эксперимента, второе и третье для выявления слабых мест на сайте.

Чаще всего для тестирования выбирают кнопки, текст, слоган-призыв к действию и layout страницы в целом. Для выбора элемента можно воспользоваться следующим алгоритмом действий:

• Выдвигается гипотеза о поведении посетителя
• Предлагается решение по изменению элементов (лучше брать 1-2, не более)

1. Добавить слово «Бесплатно»
2. Разместить объясняющее видео
3. Приклеить кнопку регистрации к верху страницы
4. Сократить количество полей в заявке
5. Добавить счетчик специального предложения
6. Добавить бесплатную пробную версию
7. Изменить цвета кнопок или текст на них

Автоматизация тестирования

Существует несколько платных и бесплатных инструментов для автоматизации процесса тестирования с различным набором функций. Большой список можно посмотреть . Наиболее популярным можно назвать эксперименты в Google Analytics . Он является бесплатным, русифицирован, легок в освоении, и если на сайте установлен счетчик, то не потребуется ждать сбора начальных данных и запустить эксперимент можно всего в пару кликов.

A/B-тестирование средствами Google Analytics

Рассмотрим процесс создания теста в Google Analytics. Для этого необходимо зайти на вкладку Отчеты->Поведение->Эксперименты. Введите урл тестируемой страницы и нажмите «Начать эксперимент».

Следующим шагом потребуется заполнить поля: название эксперимента, цель (можно выбрать из настроенных целей для сайта), охват посетителей сайта для эксперимента (лучше ставить 100%).

На втором шаге потребуется указать адреса основной (контрольной) страницы и ее вариантов.

Если все выполнено корректно, то система даст зеленый свет на запуск тестирования.

Результат эксперимента очень наглядный и может выглядеть так:

Вопреки общепринятому мнению (ведь создаются дубли страниц), негативного влияние на позиции сайта такое тестирование не оказывает. Достаточно на альтернативных страницах прописать rel=”canonical”.

Важное об A/B-тестировании

1. Тестовые варианты страниц не должны отличаться более, чем 2-мя элементами
2. Трафик между страницами должен распределяться равновероятно
3. Делая настройки, выберите новых посетителей сайта
4. О результатах можно судить лишь по широкой выборке, желательно не меньше 1000 человек
5. Делайте оценку результатов в одно время
6. Не стоит доверять себе, не все пользователи думают так, как вы, поэтому ваш предпочтительный вариант может оказаться далеко не выигрышным.
7. Результаты A/B-тестирования не всегда могут приносить желаемых результатов по увеличению конверсии. Значит надо экспериментировать с другими элементами.