Управление конверсий сайта с помощью ABN и MTV тестирования. Николай Хлебинский

Доклад был представлен Николаем Хлебинским, сотрудником компании Fast Lane Ventures, на шестнадцатом российском интернет форуме  «РИФ+КИБ 2012».

Один из основных источников дохода компании Google - это контекстная реклама (небольшие текстовые сообщения, появляющиеся справа от результатов поиска). Каждый раз, когда пользователь кликает по одному из объявлений, Google списывает с рекламодателя небольшую сумму денег.

От того, насколько удачен интерфейс сайта, зависит количество денег, которые можно на нем заработать. К примеру, в 2009 году все тот же Google внес на свой сайт небольшое изменение, принесшее ему дополнительную прибыль в размере четверти миллиарда долларов, несмотря на кризис. Блок с контекстной рекламой был немного сдвинут к результатам поиска, что повысило его «кликабельность». Таким образом Google значительно увеличил свой доход. Естественно, в связи с этим событием, у всех владельцев интернет-сайтов появилось желание также оптимизировать свои ресурсы, с целью получить от них максимальную прибыль.

К кому же следует обратиться за консультацией, принимая решение видоизменить интерфейс сайта? Обычно, в первую очередь, интересуются мнением так называемых “hippo" (аббривиатура от «high-paid personal openion»), то есть cамых авторитетных специалистов в компании. Люди, которые зарабатывают в вашей организации больше всего денег, скажут примерно следующее: «Я продаю вот эту штуку уже много лет. Я лучше всех знаю клиентов, рынок. Поэтому возьмите немедленно череп, пририсуйте к нему анимированный огонь, рядом поставьте ссылку на Excel и «рыбу» договора. Все это, поместите в бегущую строку и положите в шапку сайта». Естественно, владельцу сайта, такого мнения будет недостаточно. Обратившись за комментариями к дизайнерам, обычно получают совсем другой совет: «Ваша товарная матрица – это прошлый век. Давайте нарисуем кучу карамельных картинок за два миллиона долларов, а текста на сайте вообще не будет. Все это запихнем во флеш, и все конкуренты будут завидовать, и весь интернет будет говорить о том, какой получился клевый сайт». И наконец, за советом обращаются к интернет-аналитикам, которые видят ситуацию в совершенно ином ключе: «Давайте мы разработаем для вас свою модель позиционирования, наложим ее на модель принятия решения и обернем все это в психотипы вашей аудитории, чтобы ваш сайт лучше работал». Чьему же совету последовать? Ответ прост: не надо слушать никого, кроме вашей целевой аудитории.

Но тут возникает еще одна проблема: как же получить абсолютно объективные данные, отражающие мнение максимального количества потенциальных покупателей? Традиционные маркетинговые исследования, проводящиеся методом опроса, не отвечают этому требованию. А теперь представьте, что вы можете узнать мнения всех людей, которые посещают ваш сайт, а они об этом никогда не догадаются! Именно так и происходит тестирование сайта, в процессе которого анализируется не субъективное мнение отдельно взятых респондентов, а поведение реальных посетителей данного интернет-ресурса, которые об этом даже не подозревают. Результаты такого исследования будут максимально достоверны.

Чтобы понять, для чего именно нужно тестирование, ознакомьтесь со следующим примером. Представим, что на сайте есть конверсия в 1 процент, при этом известно, что этот 1 процент – это 100 лидов в месяц. Таким образом, это 1200 лидов в год. Если взять объем годовой выручки, поделить его на количество лидов, то можно вычислить, каков доход от одного лида, в среднем – это тысяча долларов. Проанализировав эти данные, можно построить простейшую линейную модель в зависимости от количества лидов, полученного при условии относительного увеличения конверсии. 

Можно проиллюстрировать данные расчеты более наглядными примерами. Представьте, что вы решили что-нибудь на сайте улучшить: контекстный блок с рекламой подвинуть ближе к результатам поиска. Пока еще ничего не сделано, вы находитесь в точке ноль. Внесли на сайт какое-то изменение, протестировали его – и увидели, что конверсия возрастает на 10% по горизонтальной оси. Анализируя эту простую модель, можно сделать вывод, что за год вы получите 120 дополнительных лидов или 120 тысяч долларов оборота. Хотя это еще не является свидетельством того, что конверсия увеличена на 10% в масштабах года.

Вот еще один пример. Допустим, на сайте есть форма, на которую зашло 1000 человек, и 60 из них ее заполнили. Система веб-аналитики показывает конверсию в 6%. Эта цифра статичная, в то время как, с точки зрения математической статистики, нужно было бы ввести понятие «стандартное отклонение». Если принять этот фактор во внимание, то, посчитав плотность распределения, можно прийти к выводу, что для данного примера с вероятностью 95% конверсия распределяется в интервале от 4,7 до 7,2% и с вероятностью 99% - от 4,5 до 7,5%. Тем не менее, эти данные не могут применяться в работе до тех пор, пока не будет проведено тестирование.

Тестирование проходит следующим образом: случайная аудитория сайта делится на две равные группы; первой группе демонстрируется исходная страница, а второй группе – такая же страница, но с небольшими изменениями, которые, с нашей точки зрения, на конверсии скажутся положительно. Обе страницы ведут на одно и то же конверсионное действие. Таким образом, с первым набором данных у нас есть такой же набор для второй страницы. Имея эти данные, мы можем сравнить плотность распределения страницы и сказать, что один вариант статистически достоверно превосходит другой. В данном случае 15 лишних конверсий дали статистически достоверные увеличения эффективности более чем на 40%. Проведение подобных расчетов легко и быстро производится при помощи широкодоступных автоматизированных программ либо различных «калькуляторов».

Более сложной формой исследования является мультивариантное тестирование. Для лучшей наглядности можно привести следующий пример. Предположим, владелец сайта желает узнать, что работает эффективнее – синий фон или зеленый. Программисты выясняют при помощи тестирования, что синий фон работает хуже. Таким образом, конверсия увеличивается, когда мы оставляем на сайте зеленый фон. Следующий вопрос, интересующий заказчика – не повысится ли эффективность его странички, если добавить сертификат пожарной безопасности розового цвета, так как он является конкурентным преимуществом фирмы? В ходе второго этапа тестирования выясняется, что на эффективности сайта данное изменение никак не отразилось. Казалось бы, интерпретация результатов тестирования очевидна. Однако на самом деле никто не проверил, насколько эффективно работает синий фон в сочетании с розовым сертификатом. То есть существует вероятность того, что розовый сертификат на синем фоне мог бы отработать лучше, чем зеленый фон без сертификата вообще. Это называется «эффектом взаимодействия»: когда мы вносим только одно изменение, то его воздействие на эффективность сайта очевидно, если мы вносим на страничку множество изменений, то одни комбинации могут быть более эффективными, чем другие. Для того чтобы не упустить из виду максимально эффективную комбинацию изменений, существует мультивариантное тестирование, при проведении которого все изменения на страничке регистрируются как переменные, и инструмент для тестирования проверяет эффективность всех комбинаций этих элементов. 

Можно привести несколько примеров. В целях повышения эффективности формы заказов пробной версии одного из продуктов компании Abbyy, были внесены некоторые изменения: убрали со страницы отвлекающие эксперименты, сфокусировали большее внимание на форме, добавили эмоциональный заголовок, иконки на главной странице, улучшили валидацию ошибок при заполнении – в итоге новый вариант страницы получился гораздо лучше прежнего. А в результате тестирования выяснилось, что он на 30% эффективнее! Однако не стоит полагать, что А/В тестирование – это только способ проверки эффективности отдельных элементов разных страничек. На самом деле, такое тестирование – инструмент гораздо более серьезный, что можно наблюдать в следующем примере.

В США выборы президента финансируются за счет добровольных пожертвований граждан. Кандидаты, естественно, стремятся привлечь как можно больше денег на свою сторону. Не был исключением и Барак Обама, который в 2008 году собирал деньги посредством своего сайта. И в одном из тестов, которые непрерывно велись на его сайте, проверялась эффективность работы пяти кнопок, призывающих внести пожертвования. На первой кнопке был размещен стандартный призыв к действию: «Сделайте это сейчас!» На второй – использована более вежливая фраза: «Пожалуйста, сделайте пожертвования!» На третьей – вопросительная форма, сформулированная так, чтобы сначала захватить внимание пользователя, а уже потом, на следующей страничке, объяснить, почему он должен расстаться с деньгами. На четвертной кнопке было написано: «Сделайте пожертвование и получите сувенир». Наконец, на пятой кнопке был размещен призыв: «Прими участие». В данном тесте инструмент для тестирования был интегрирован системой веб-аналитики, и это позволило с максимальной эффективностью изучить поведение посетителей данной страницы. Оказалось, что на людей, которые никогда не регистрировались на сайте, лучше всего воздействовала «взятка» в виде обещанного сувенира. Для людей, которые регистрировались на сайте, но денег на момент исследования еще не отправляли, хорошим стимулом внести пожертвования стала вежливая просьба. А для тех, кто тратил ранее деньги на этом сайте, самой эффективной оказалась кнопка с призывом «Прими участие». В ходе своей избирательной кампании Обама собрал денег в 2,5 раза больше, чем его главный конкурент.

Ни для кого не секрет, что все посетители наших сайтов стоят денег и времени, и поэтому наша задача, как владельцев сайтов, максимизировать доход, который мы от этих посетителей получаем. Именно поэтому очень важно строить эксперименты, которые будут давать максимальный эффект. Каждый тест, который мы запускаем, имеет определенную стоимость: мы жертвуем возможностью проверить какую-то другую гипотезу вместо той, которую мы проверяем сейчас. Существует несколько способов выявить с помощью веб-аналитики те страницы, у которых есть максимальный потенциал для тестирования. 

Первое, на что стоит обратить внимание, это страницы-лузеры. Согласитесь, что, если коэффициент конверсии 99%, максимальное улучшение, которое можно получить – 1%. Однако если тестировать страничку с конверсией в 1%, то потенциал улучшения становится просто гигантским. Для этого существует множество отчетов «Analytics». Первый отчет – это показатели отказов. Он создан для того, чтобы найти страницу для теста по показателям отказов. Этот отчет находится в разделе «Содержание сайта», в странице входа. Его нужно отсортировать по убыванию отказов и добавить фильтр, который отсекает малую посещаемость страницы. 

Следующее, на что можно посмотреть, это показатель выхода (так называемый «exit rate»). Такой отчет можно посмотреть в разделе «Содержание сайта». Его нужно тоже отсортировать по убыванию показателя выходов и добавить фильтр, который отсекает малопосещаемые страницы. В «Analytics» есть еще много отчетов, которые нам помогут найти недостаточно эффективные страницы. Следующий полезный отчет – это результат последовательности funnel visualization, который находится в разделе конверсии и соответствует ситуации, когда цели сайта требуют от посетителя совершить действие в несколько шагов. Например, оформляя заказ, посетителю надо пройти несколько страниц, чтобы, в конце концов, получить долгожданное «спасибо». В этом случае при помощи специальной настройки «Analytics» можно отслеживать все шаги, сделанные посетителями. Проанализировав подобную ситуацию, можно, например, прийти к выводу, что 10% людей выходит из интернет-магазина, не завершив процесс оформления заказа. Однако это является нормальным явлением. Удивительно другое: большой отток людей происходит на этапе завершения процесса. Этот этап подразумевает повторное введение пользователем тех данных, которые он указал уже ранее. Понять мотивацию такого решения непросто: человек потратил уйму времени, уже все поля заполнены, осталось только подтвердить заказ, - почему он уходит? В процессе тестирования выяснилось, что пользователь, попадая на «проблемную» страницу, был в полной уверенности, что заказ уже отправлен. Это удалось выявить только с помощью тестирования нескольких страниц.

Еще одним кандидатом на тестирование являются популярные страницы. Ведь если конверсия увеличивается хотя бы на 1%, то при условии трафика в миллион человек наблюдается достаточно ощутимый экономический эффект. Можно, например, найти это в отчете источника трафика «Весь трафик», если применить сортировку по убыванию количества визитов и добавить дополнительным параметром страницу входа. В результате будут видны страницы, которые собирают очень много трафика. Здесь необходимо обратить внимание на максимальный уровень «balance rate». 

При выборе страниц для тестирования так же стоит обратить на страницы с дорогими конверсиями. К примеру, если на сайте демонстрируется многочисленный и разнообразный ассортимент, начиная от итальянских спорткаров и заканчивая цепочками для ключей, очевидно, что дополнительные продажи «Ламборджини» вам принесут больше денег, чем продажа брелоков. Поэтому, если у владельца интернет-магазина еще не настроили e-commerce отчеты, эти данные можно брать, исходя из цены товара. Всем остальным «Аnalytics» предоставляет возможность установки ценности каждой конверсии в большом списке валют и, соответственно, такой же сортировки, которая приносит больше денег.

Кроме всего вышесказанного, хочется отметить, что с помощью A/B тестирования и мультивариантного тестирования можно проверять эффективность не только работы различных элементов интерфейса, но и общего позиционирования ваших продуктов и вашей компании в целом. В качестве примера хочется описать работу с одним интернет-магазином кондитерских изделий ручной работы.

Владельцы решили проверить, какое именно торговое предложение наиболее ценно для их аудитории. Проверялись следующие варианты:

• сделай заказ сегодня и получи его завтра,
• если вы хотите сэкономить пять долларов на следующей покупке, зарегистрируйтесь сейчас,
• 6,99 за доставку независимо от объема заказа,
• бесплатная доставка на любой заказ на сумму от 40 долларов,
• свежие кондитерские изделия, сделанные для вас вручную.

Это уникальные торговые предложения, которые ориентированы на различные ценности целевой аудитории. Задача состояла в проверке того, какое предложение было бы наиболее интересным для потенциальных покупателей. Выяснилось, что первая строка, предлагающая доставку на следующий день, увеличила конверсию интернет-магазина более чем на 40%. Можно предположить, что это произошло по следующей причине: подарки часто покупаются если не в последний день, то есть в спешке, поэтому уверенность в том, что заказ будет доставлен на следующий день, гораздо ценнее, чем возможность сэкономить пару долларов на доставке.

До тех пор пока конверсия на наших сайтах далека от 100%, существует потенциал для их улучшения. Еще больше информации обо всех возможностях A/B тестирования можно узнать в сообществе в соцсети Facebook

Вопрос из зала: Говоря об A/B тестировании в случае, если идет замена не только графической части, но и допустим текстовых блоков, не возникает ли проблем в плане SEO?

Николай Хлебинский: Нет, не возникает, если делать все хорошо. Само сплит-тестирование не противоречит идеологии поисковых систем. Смысл в том, что вы оптимизируете свой сайт, когда его тестируете. Поисковики заинтересованы в том, чтобы постоянно улучшать результаты поиска. Если вы оптимизируете сайт для посетителей, вы улучшаете его и для поисковиков.