Сплит-тестирование и его проблемы

Время прочтения: 4 мин
Сложность: норм Просмотров:
Денис Сапожников 29.05.2019

Слит-тестирование (А/В — тестирование) — метод маркетингового исследования.

Зачастую он заключается в сравнении двух вариантов одной веб-страницы для определения наиболее эффективной версии. Это делается для того, чтобы выяснить, какие изменения улучшают измеряемые показатели (конверсию, вовлеченность и пр).

Картинки по запросу Сплит-тестирование

Объекты тестирования

Тестировать можно все, что угодно, но обычно тестируют следующие гипотезы:

  1. Расположение элементов
  2. Заголовки
  3. Подзаголовки
  4. Основной текст
  5. Отзывы клиентов
  6. Текст, призывающий к действию
  7. Кнопка, призывающая к действию
  8. Графику (изображения и иллюстрации)

 

Системы для организации тестов

Лет 10 назад проведение сплит-тестов было рутинной работой для отдела маркетинга и разработчиков, но время идет и сейчас проводить сплит-тесты можно практически самостоятельно. Приведу лишь несколько инструментов для решения этой задачи:

  1. Roistat.com — пожалуй один из самых популярных в России сервисов сквозной бизнес-аналитики, в частности позволяющий проводить сплит-тесты.
  2. Vwo.com — международный проект для проведения сплит-тестов
  3. Встроенные в вашу CMS инструменты (в частности у 1C Bitrix)
  4. Google Analytics и Яндекс.Метрика (при желании) тоже позволяют проводить сплит-тесты

Приводить список большего размера не вижу смысла, эти системы появляются и исчезают каждый месяц по 5-10 штук.

 

Проблемы при проведении сплит-тестов

  1. Малое количества трафика.
    Нет трафика — результаты проведения сплит тестов не набирают необходимую статистическую информацию. Оптимизация эффективности при помощи этого инструмента теряет всяческий смысл.
  2. Малый доверительный интервал.
    Доверительный интервал — условный показатель точности измерений. Он позволяет понять, насколько стабильна будет полученная статистика при повторении тестирования. В основу доверительного интервала входит количество посетителей, конверсий, время проведения тестирования и еще несколько параметров. Проще говоря, речь идет о преждевременном принятии решений по изменению без набора необходимой статистической информации.
  3. Ожидание резкого увеличения эффективности ресурса.
    Словоблуды обещают увеличить конверсию сайта в 2 раза просто проведя оптимизацию через сплит-тесты. Так вот, чудес не бывает и такие показатели достижимы, только если первичная версия ресурса была крайне плохо сделана. Нормальным увеличение показателей в большинстве случаев является 2-3% в измеряемый показатель.
  4. Сплит-тесты  — это процесс, а не разовая процедура.
    Недостаточно провести тестирование один раз, требуется регулярное и многократное тестирование различных гипотез, чтобы этот инструмент приносил результаты.
  5. Легко «заиграться», если нет опыта в управлении/продвижении веб-проектов. Многие начинающие маркетологи и владельцы настолько увлекаются процессом проведения сплит-тестирования, что забывают о всех других очевидных проблемах. Простой пример — люди бьются за показатели веб-аналитики и прирост показателей конверсии в 2-4%, в то время, как менеджер обрабатывающий заявки смело посылает лесом каждого второго клиента из-за своего плохого настроения (Классическая ситуация, когда используется тьма инновационных решений для бизнеса, но «тетя Зина» все портит).
    Веб-аналитика в принципе, крайне мифический инструмент, подробности о нем можете почитать в статье «ЛОЖЬ, НАГЛАЯ ЛОЖЬ, ВЕБ-АНАЛИТИКА»
  6. Сплит-тестирование «не дружит» с SEO.
    При корректном проведении сплит тестов проблем с SEO быть не должно. Хотя SEO — весьма мифическая вещь, но об этом можно почитать в статье SEO — «здравая логика и мифы».
    Правила, при нарушении которых можно навредить SEO:
    а) Использование клоакинга.
    Клоакинг – техника , при которой одна и та же страница показывается пользователям и поисковому роботу в разном виде в зависимости от значения строки user-agent. Этот прием противоречит правилам Яндекса и Гугла, даже если он применяется в рамках тестирования.
    б) Использование 301 редиректа, вместо 302.
    В ходе сплит-тестирований, при которых происходит переадресация пользователей с оригинального URL на альтернативный адрес, используйте редирект временный (302) редирект, а не постоянный (301). Это поможет поисковым системам, понять что переадресация временная и продлится только до окончания теста, и что нужно сохранить в индексе оригинальный адрес.

Подводя итоги

Сплит тестирование — всего лишь еще один инструмент для оптимизации юзабили, который в опытных руках может помочь ресурсу развиваться и быть более эффективным. Не нужно использовать этот инструмент везде и всегда. Так же не нужно ожидать, что это волшебная пилюля, которая спасет от любых проблем.

Успехов вашим проектам.

Рано или поздно исчезнут простые работяги, их профессии падут под гнетом автоматизации и нейронных сетей. Следом падут и рядовые разработчики, их заменят SAAS-сервисы. Проект-менеджеры наконец-то окажутся никому ненужными. Останется лишь чернь, бездумно потребляющая контент и безумные изобретатели‑первопроходцы, меняющие мир.

А пока этого не произошло, я буду писать этот блог и стараться давать Вам самую суть разработки, продвижения и управления в IT‑проектах.


P.s. нравится проект?
Ну так помоги развить его - репосты, донат и интересная работа приветствуются

Рекомендую посмотреть

Случайный вопрос

Подрядчик сорвал сроки разработки. Что делать, как найти нового?

Для начала стоит определить истинную причину срыва сроков проекта, самые популярные — некорректная оценка объема работ, отсутствие у текущего подрядчика необходимых знаний и ресурсов для реализации проекта, ошибки проект-менеджеров с обеих сторон. По возможности — простимулировать доработку текущей проектной командой.

Если смена подрядчика неизбежна, общая схема выглядит так:
1)  Уведомить текущего подрядчика о прекращении сотрудничества и необходимости подготовки проектной документации
2) Произвести независимую оценку текущего положения — что уже сделано, что осталось сделать. Для этого потребуется привлечение стороннего специалиста.
3) Решить юридические и финансовый вопрос с текущим подрядчиком
4) Сформировать техническое задание на доработку проекта и разработать методику миграции проекта от одного разработчика к другому
5) Начать поиски нового подрядчика (hh, тендер, биржи фриланса — в зависимости от размера проекта)

Показать больше ответов

Привет, дружок‑пирожок