Иллюстрированная инструкция по сплит-тестированию веб-сайта

15.05.2012

О том, как грамотно проводить сплит-тестирование ресурса с целью повышения конверсии сайта.

Иллюстрированная инструкция по сплит-тестированию веб-сайта

Автор: Томас Ходженхавен (Thomas Høgenhaven), аспирант в Бизнес школе Копенгагена

Перевод: Александр Никитин

Сплит-тестирование является прекрасным инструментом, позволяющим повысить конверсию сайта и приносимую им прибыль. Первоочередной задачей в организации экспериментов подобного рода является выявление значимых факторов (например, подзаголовка, изображения и т.п.), и оценка их влияния на конверсию.

Томас Ходженхавен попытался создать более доступное иллюстрированное руководство, описывающее, как правильно организовать сплит-тестирование и оценить полученные результаты.

A/B или MVT

Прежде всего, необходимо определиться с общей схемой тестирования. Для оценки влияния одного или двух факторов обычно используют A/B тесты, если же количество факторов составляет два и более, то лучше использовать многомерную схему (MVT). Следует отметить, что с помощью серии A/B тестов можно также протестировать два и более факторов, но в таком случае будет упущена информация о взаимодействии между ними.

Варианты MVT: полноразмерный и частичный

Если вы остановили свой выбор на многомерном тестировании, то теперь надо определить его конкретный вариант. Наиболее распространенными вариантами являются: полноразмерный и частичный. Прежде чем разобраться в этих терминах, давайте разберем какой-нибудь абстрактный пример. Например, мы хотим испытать влияние трех различных факторов, каждый из которых имеет два варианта:

Три фактора в двух различных вариантах в итоге дают (23) 8 групп. В полноразмерном многомерном тестировании будут использованы все 8 комбинаций. Это означает, что необходимо будет создать 8 вариантов страницы и равномерно распределить между ними посетителей. В приведенной ниже таблице +1 означает первый вариант, а -1 – второй вариант каждого фактора.

Полноразмерное тестирование можно относительно легко реализовать, если у нас три фактора, каждый из которых имеет два варианта. Но если, скажем, будет 4 фактора и каждый из них в 4 вариантах, то получится (44) 256 групп. А если 10 факторов, имеющих два варианта – (210) 1024 группы. Для того чтобы получить достоверные результаты, нам потребуется огромный трафик. Для Google или Twitter это не является проблемой, но если мы хотим продавать пиццу в небольшом городке? Продолжительность подобного тестирования можно посчитать с помощью Google Calculator или VisualWebsiteOptimizers Calculator. Эти калькуляторы дают приближенную оценку, так как информации о разнице в конверсии между вариантами у нас пока нет. Именно ее мы и хотим определить в готовящемся эксперименте.

Частичная многомерная схема получила распространение благодаря работам Геничи Тагучи, поэтому ее иногда так и называют – метод Тагучи. Как это и понятно из названия, в частичной многомерной схеме для анализа отбирается только часть от общего количества всевозможных комбинаций. Сокращая количество вариантов, мы можем получить более достоверные результаты для оставшихся.

В приведенном выше примере достаточно протестировать четыре комбинации. Информация о взаимодействии между факторами, включенными в экспериментальные группы, позволит оценить эффективность тех комбинаций, которые были исключены из тестирования.

Частичная многомерная схема предполагает, что каждый фактор, попавший в испытание, не зависит от других. Если же существует взаимодействие между факторами (например, изображение и подпись под ним), то это скажется на достоверности полученного результата. В случае частичного взаимодействия между факторами мы не сможем с уверенностью сказать о роли каждого из них в изменении конверсии. Например, если существует взаимодействие между B и C, то мы не можем быть уверены, получен ли результат от изменения фактора A или взаимодействия между B и C. В связи с этим, если имеется возможность организации полного многомерного тестирования, лучше остановить свой выбор на нем, чтобы избежать ошибок, вызванных взаимодействием между факторами.

Подробнее читайте на searchengines.ru


Текст сообщения*
:) ;) :D 8) :( :| :cry: :evil: :o :oops: :{} :?: :!: :idea:
Защита от автоматических сообщений
 


Что такое интернет сообщество?
Интернет сообщество - это группа людей, которые имеют общие интересы и общаются по этому поводу в интернете.






Последние комментарии