А/Б тест
А/Б тест (Сплит-тест) — метод маркетингового исследования, при котором выясняется, при каких условиях конверсия лендинга/объявления/прокладки будет больше. Суть теста заключается в том, что одной и той же аудитории показываются различные рекламные материалы, а затем по статистике выясняется, какие из них оказались наиболее эффективными. Самым простым способом протестировать лендинг является использование CPAtracker. Качественно протестировать объявления можно, если пролить на каждое из них сумму, не меньше стоимости 1 лида.
А/B-тестирования (также известного как ведро тестирования или сплит-тестирование)- это пользовательский опыт исследований методология. А/Б тесты состоят из рандомизированного эксперимента с двумя вариантами, а и В. Она включает в себя применение статистических гипотез или "два-образец проверки гипотез", как используется в области статистики. A/B-тестирование-это способ сравнения двух версий одной переменной, обычно путем тестирования реакции субъекта на вариант A против варианта B и определения того, какой из двух вариантов более эффективен
Обзор[править]
A/B-тестирование-это сокращение для простого рандомизированного контролируемого эксперимента, в котором сравниваются две выборки (A и B) одной векторной переменной.[1] Эти значения аналогичны, за исключением одного изменения, которое может повлиять на поведение пользователя. A/B тесты широко считаются простейшей формой контролируемого эксперимента. Однако, добавляя в тест больше вариантов, его сложность возрастает.
A/B-тесты полезны для понимания вовлеченности пользователей и удовлетворенности онлайн-функциями, такими как новая функция или продукт. Крупные сайты социальных сетей, такие как LinkedIn, Facebook и Instagram, используют A/B-тестирование для повышения эффективности работы пользователей и оптимизации своих услуг.
Сегодня A/B-тесты используются также для проведения сложных экспериментов по таким темам, как сетевые эффекты, когда пользователи находятся в автономном режиме, как онлайн-сервисы влияют на действия пользователей и как пользователи влияют друг на друга. Многие профессии используют данные A/B-тестов. Сюда входят инженеры по обработке данных, маркетологи, дизайнеры, разработчики программного обеспечения и предприниматели. Многие должности полагаются на данные A/B-тестов, поскольку они позволяют компаниям понимать рост, увеличивать доходы и оптимизировать удовлетворенность клиентов.
Версия A может быть версией, используемой в настоящее время (таким образом, образуя контрольную группу), в то время как версия B модифицирована в некотором отношении по сравнению с A (таким образом, образуется группа лечения). Например, на веб-сайте электронной коммерции воронка покупок, как правило, является хорошим кандидатом для тестирования A/B, поскольку даже незначительное снижение ставок отсева может привести к значительному увеличению продаж. Значительные улучшения иногда можно увидеть при тестировании таких элементов, как копирование текста, макетов, изображений и цветов, но не всегда. В этих тестах пользователи видят только одну из двух версий, поскольку цель состоит в том, чтобы определить, какая из двух версий предпочтительнее.
Многомерное тестирование или многомерное тестирование аналогично A/B-тестированию, но может тестировать более двух версий одновременно или использовать больше элементов управления. Простые A/B-тесты недопустимы для наблюдательных, квазиэкспериментальных или других неэкспериментальных ситуаций-обычное дело с данными опроса, автономными данными и другими, более сложными явлениями.
Некоторые утверждают, что тестирование A/B является изменением философии и бизнес-стратегии в определенных нишах, хотя подход идентичен межпредметному дизайну, который обычно используется в различных исследовательских традициях. A/B тестирование как философия веб-разработки приводит эту область в соответствие с более широким движением к практике, основанной на фактических данных. Считается, что преимущества A/B-тестирования заключаются в том, что его можно выполнять непрерывно практически на чем угодно, особенно с учетом того, что большинство программ автоматизации маркетинга в настоящее время, как правило, поставляется с возможностью выполнения A/B-тестов на постоянной основе.
Общая статистика тестов[править]
"Тесты гипотезы с двумя выборками" подходят для сравнения двух выборок, где выборки разделены на два контрольных случая в эксперименте. Z-тесты подходят для сравнения средних в строгих условиях относительно нормальности и известного стандартного отклонения. T-тесты Стьюдента подходят для сравнения средних в расслабленных условиях, когда предполагается меньшее. t - критерий Уэлча предполагает наименьшее и, следовательно, является наиболее часто используемым тестом в тесте гипотезы с двумя выборками, в котором необходимо оптимизировать среднее значение показателя. В то время каксреднее значение переменной, подлежащей оптимизации, является наиболее распространенным выбором оценки, другие регулярно используются.
Для сравнения двух биномиальных распределений, таких как скорость перехода по клику, можно было бы использовать точный критерий Фишера
| Предполагаемое распределение | Примерный случай | Стандартный тест | Альтернативный тест |
|---|---|---|---|
| Гауссовский | Средний доход на одного пользователя | T-тест Уэлча (Непарный t-тест) | t-тест студента |
| Биномиальный | Коэффициент кликабельности | Точный тест Фишера | Тест Барнарда |
| Poisson | Транзакции на одного платящего пользователя | Электронный тест | C-тест |
| Многомерный | Количество каждого приобретенного товара | Тест Хи-квадрат | * |
| Неизвестный | * | U-тест Манна–Уитни | Отбор проб Гиббса
|
Проблемы[править]
В декабре 2018 года, представители с опытом работы в крупных А/B тестирование из тринадцати различных организаций (как Airbnb, Amazon, в Booking.com, Facebook, Google, в социальной сети LinkedIn, Lyft, в корпорации Microsoft и Netflix, Твиттер, Убер, Яндекс, и Стэнфордского университета) принял участие в саммите и сводятся важнейших проблем в симпозиуме исследований бумаге. проблемы можно сгруппировать в четыре направления: анализ, проектирование и культуры, отклонений от традиционного А/Б тесты, и качество данных.
История[править]
Как и в большинстве полей, установить дату появления нового метода сложно. Первое рандомизированное двойное слепое исследование для оценки эффективности гомеопатического препарата было проведено в 1835 году. Эксперименты с рекламными кампаниями, которые сравнивались с современным A/B-тестированием, начались в начале двадцатого века. Пионер рекламы Клод Хопкинс использовал рекламные купоны для проверки эффективности своих кампаний. Однако этот процесс, который Хопкинс описал в своей научной рекламе, не включал такие понятия, как статистическая значимость инулевая гипотеза, которые используются при проверке статистических гипотез. Современные статистические методы оценки значимости выборочных данных были разработаны отдельно в тот же период. Эта работа была проделана в 1908 году Уильямом Сили Госсетом, когда он изменил Z-тест, чтобы создать t-тест Студента.
С развитием Интернета стали доступны новые способы выборки населения. Инженеры Google провели свой первый A/B-тест в 2000 году, пытаясь определить оптимальное количество результатов для отображения на странице результатов поисковой системы. Первый тест не удался из-за сбоев, вызванных медленным временем загрузки. Позже исследования по тестированию A/B будут более продвинутыми, но основа и основополагающие принципы в целом останутся прежними, и в 2011 году, через 11 лет после первого теста Google, Google провела более 7000 различных тестов A/B.
В 2012 году сотрудник Microsoft, работающий в поисковой системе Microsoft Bing, создал эксперимент для тестирования различных способов отображения рекламных заголовков. В течение нескольких часов альтернативный формат привел к увеличению выручки на 12% без какого-либо влияния на показатели пользовательского опыта. Сегодня такие компании, как Microsoft и Google, ежегодно проводят более 10 000 A/B-тестов.
Многие компании в настоящее время используют подход "продуманного эксперимента" для принятия маркетинговых решений в расчете на то, что соответствующие результаты выборки могут улучшить положительные результаты конверсии. Это становится все более распространенной практикой по мере роста инструментов и опыта в этой области.
Примеры[править]
Маркетинг по электронной почте[править]
Компания с базой данных клиентов в 2000 человек решает создать кампанию по электронной почте с кодом скидки, чтобы генерировать продажи через свой веб-сайт. Он создает две версии электронного письма с различным призывом к действию (та часть копии, которая побуждает клиентов что — то делать-в случае рекламной кампании совершить покупку) и идентифицирующим промокодом.
- 1000 человек он отправляет электронное письмо с призывом к действию, в котором говорится: "Предложение заканчивается в эту субботу! Используйте код A1",
- и еще 1000 людям он отправляет электронное письмо с призывом к действию, в котором говорится: "Предложение скоро закончится! Используйте код B1".
Все остальные элементы копии и макета электронных писем идентичны. Затем компания отслеживает, какая кампания имеет более высокий показатель успеха, анализируя использование промокодов. На электронное письмо с кодом A1 откликается 5% (50 из 1000 отправленных по электронной почте людей использовали код для покупки продукта), а на электронное письмо с кодом B1-3% (30 получателей использовали код для покупки продукта). Поэтому компания определяет, что в данном случае первый Призыв к действию более эффективен, и будет использовать его в будущих продажах. Более тонкий подход включал бы применение статистического тестирования, чтобы определить, были ли различия в частоте ответов между A1 и B1 статистически значимыми (то есть, весьма вероятно, что различия реальны, повторяемы, а не обусловлены случайной случайностью).[21]
В приведенном выше примере цель теста состоит в том, чтобы определить, какой способ является более эффективным для поощрения клиентов к совершению покупки. Однако если бы цель теста состояла в том, чтобы увидеть, какое электронное письмо вызовет более высокую частоту кликов-то есть количество людей, которые на самом деле заходят на веб – сайт после получения электронного письма, – то результаты могли бы быть другими.
Например, несмотря на то, что большинство клиентов, получивших код B1, зашли на веб-сайт, поскольку в Призыве к действию не была указана дата окончания акции, многие из них могут не чувствовать необходимости совершать немедленную покупку. Следовательно, если бы целью теста было просто посмотреть, какое электронное письмо принесет больше трафика на веб-сайт, то электронное письмо, содержащее код B1, вполне могло бы быть более успешным. A/B-тест должен иметь определенный результат, который поддается измерению, например, количество совершенных продаж, конверсия по клику или количество людей, регистрирующихся/регистрирующихся.[22]
A/B тестирование цен на продукцию[править]
A/B-тестирование может быть использовано для определения правильной цены на продукт, так как это, пожалуй, одна из самых сложных задач при запуске нового продукта или услуги.
A/B тестирование (особенно для цифровых товаров)-отличный способ выяснить, какая цена и предложение максимизируют общий доход.
Политическое A/B тестирование[править]
Тесты A/B используются не только для корпораций, но и для проведения политических кампаний. В 2007 году президентская кампания Барака Обамы использовала A/B-тестирование как способ привлечь внимание в Интернете и понять, что избиратели хотели видеть от кандидата в президенты. Например, команда Обамы протестировала четыре отдельные кнопки на своем веб-сайте, которые побуждали пользователей подписываться на информационные бюллетени. Кроме того, команда использовала шесть различных сопутствующих изображений для привлечения пользователей. С помощью A/B-тестирования сотрудники смогли определить, как эффективно привлечь избирателей и заинтересовать их.
HTTP-маршрутизация и тестирование функций API[править]
А/B тестирование является очень распространенным явлением при развертывании новой версии API-интерфейса.[24] в реальном времени, пользовательский опыт тестирования по протоколу HTTP слоя-7 обратный прокси-сервер настроен таким образом, что, Н% веб - трафика переходит в новую версию серверной экземпляр, а остальные 100-п% от трафика http идеально (стабильной) версии в серверной части в HTTP-приложения-службы. Обычно это делается для ограничения доступа клиентов к более новому серверному экземпляру, так что, если в более новой версии есть ошибка, только N% от общего числаагенты пользователей или клиенты получают доступ, в то время как другие перенаправляются на стабильный сервер, что является общим механизмом контроля входа.
Сегментация и таргетинг[править]
Тесты A/B чаще всего применяют один и тот же вариант (например, элемент пользовательского интерфейса) с одинаковой вероятностью для всех пользователей. Однако в некоторых обстоятельствах ответы на варианты могут быть неоднородными. То есть, в то время как вариант А может иметь более высокую частоту откликов в целом, вариант В может иметь еще более высокую частоту откликов в определенном сегменте клиентской базы.
Например, в приведенном выше примере разбивка показателей ответов по полу могла бы быть:
| Пол | В целом | Мужчины | Женщины |
|---|---|---|---|
| Всего отправлено | 2,000 | 1,000 | 1,000 |
| Общее количество ответов | 80 | 35 | 45 |
| Вариант А | 50/ 1,000 (5%) | 10/ 500 (2%) | 40/ 500 (8%) |
| Вариант В | 30/ 1,000 (3%) | 25/ 500 (5%) | 5/ 500 (1%) |
В этом случае мы видим, что в то время как вариант А имел более высокую частоту ответов в целом, вариант В на самом деле имел более высокую частоту ответов у мужчин.
В результате компания может выбрать сегментированную стратегию в результате теста A/B, отправив вариант B мужчинам и вариант A женщинам в будущем. В этом примере сегментированная стратегия приведет к увеличению ожидаемых показателей отклика от 5 % = 40 + 10 500 + 500 до 6.5 % = 40 + 25 500 + 500 , что составит увеличение на 30%.
Если от A/B-теста ожидаются сегментированные результаты, то с самого начала тест должен быть правильно разработан, чтобы равномерно распределяться по ключевым атрибутам клиента, таким как пол. То есть тест должен (а) содержать репрезентативную выборку мужчин и женщин и (б) случайным образом назначать мужчин и женщин каждому “варианту” (вариант А против варианта В). Невыполнение этого требования может привести к предвзятости эксперимента и неточным выводам, которые будут сделаны из теста.
Этот подход к сегментации и таргетингу может быть дополнительно обобщен для включения нескольких атрибутов клиента, а не одного атрибута клиента – например, возраста и пола клиентов – для выявления более тонких закономерностей, которые могут существовать в результатах тестирования.
См.также[править]
- Адаптивное управление
- Моделирование выбора
- Многорукий бандит
- Многомерное тестирование
- Рандомизированное контролируемое исследование
- Научный контроль
- Статистика тестов