Что такое A/A-тестирование в маркетинге?

1 апреля 2021 г.

Изменение дизайна и макета веб-сайта или приложения вашей компании может оказать существенное влияние на взаимодействие с пользователем и, в конечном итоге, на цели вашей компании. Выборочное тестирование может помочь определить, какие дополнительные функции следует включить в обновление. Выбор точной программы и метода тестирования может помочь гарантировать, что ваши изменения будут подтверждены достоверными данными. В этой статье мы обсудим, что такое A/A-тестирование, почему оно важно и как проводить его для ваших веб-страниц и приложений.

Что такое А/А-тестирование?

А/А-тестирование — это метод статистического тестирования, используемый в веб-дизайне и дизайне приложений. Он использует инструмент алгоритма для сравнения двух идентичных версий приложения или веб-страницы. А/А-тест может быть предшественником А/В-теста или сплит-теста. A/B-тест сравнивает две разные версии веб-страницы или приложения, чтобы определить, какая из них лучше работает с пользователями.

Почему А/А-тестирование важно?

Одной из основных целей A/A-тестирования является помощь в выборе точного и хорошо откалиброванного инструмента для A/B-тестирования. При проведении теста A/A надежная программа сообщает о статистически незначимом сходном коэффициенте конверсии между обеими страницами. Также полезно показать вам потенциальную погрешность преобразования для конкретного инструмента тестирования.

Когда следует проводить A/A-тестирование?

В процессе веб-дизайна и разработки есть определенные этапы, на которых проведение A/A-тестирования может быть наиболее полезным. К таким ситуациям относятся:

• Когда вы установили новый инструмент тестирования в своей системе

• Когда вы обновили или изменили настройки вашего текущего инструмента тестирования

• Когда вы начинаете новый веб-проект или проект приложения

• Когда вы обнаружите различия в отчетах о данных вашего инструмента тестирования и других аналитических отчетах

Как проводить А/А-тестирование

Используйте эти шаги, чтобы узнать, как проводить A/A-тест:

1. Выберите свой инструмент

Выберите инструмент тестирования, чтобы начать процесс A/A-тестирования. Эти типы программ доступны от нескольких различных аналитических компаний. Вы можете выбрать инструмент, который вы использовали в прошлом, или новую программу, которую вы хотите опробовать и, возможно, переключиться на A/B-тестирование. Ознакомьтесь с учебными документами для любых новых инструментов, чтобы убедиться, что вы правильно их калибруете и вводите параметры теста. Это поможет вам определить, дает ли программа точный результат.

2. Выберите тип тестирования

В зависимости от выбранного вами инструмента, решите, какой метод применить для вашего A/A-теста. Варианты включают:

Гипотеза

Для проверки гипотез требуется заранее определенный размер выборки. Программа работает до тех пор, пока не будет достаточно образцов для каждого варианта. Как только будет достигнуто желаемое количество образцов, вы можете определить, есть ли разница в ваших ключевых показателях производительности, и остановить тест.

байесовский

Байесовские тесты не требуют заранее определенного размера выборки, который вы можете предпочесть для A/B-теста. Вместо этого этот тип показывает из двух вариантов, какой вариант лучше всего основан на даже незначительных долях разницы в основной метрике. Чем больше данных собрано для байесовского теста, тем более он чувствителен к различиям в ключевых показателях эффективности. Это означает, что с большей вероятностью будет выбрана «лучшая» версия в тесте A/A, даже если образцы абсолютно одинаковы.

3. Настройте взаимодействие с пользователем

Пользователи не будут знать, что вы собираете данные об их привычках просмотра вашего сайта во время проведения A/A-тестирования. Одна из причин этого заключается в том, что пользовательский интерфейс для тех, кто посещает страницу управления и страницу переменных, может быть идентичным. Убедитесь, что между ними нет изменений, а затем установите ключевые показатели эффективности для обеих групп, чтобы проверить коэффициент конверсии. Ключевые показатели эффективности могут включать в себя такие действия, как нажатие кнопки, увеличение изображения, переход на определенную другую страницу или совершение покупки.

4. Интерпретируйте результаты

Посмотрите на собранные вами данные, чтобы понять, имеют ли они смысл в контексте программы и более крупного проекта. Имейте в виду, что в A/A-тестировании всегда присутствует элемент случайности. Ваши идентичные страницы могут иметь несколько разные коэффициенты конверсии в зависимости от выбранной вами программы и метода тестирования. Коэффициент конверсии — это процент пользователей, которые совершают желаемые действия, указанные в ваших ключевых показателях эффективности.

Любой коэффициент конверсии меньше 0,05 или 5% является статистически незначимым, и вы можете рассматривать его как случайное генерирование в рамках теста. Байесовские тесты с большей вероятностью выберут статистически незначимый, но более высокий результат в качестве более эффективной версии, но вы можете не учитывать их во время проверки данных человеком. Вы можете определить, что идентичные и статистически незначимые результаты A/A-тестирования показывают, что программа тестирования работает правильно.

5. Установите базовый коэффициент конверсии

После завершения A/A-теста вы можете определить предел погрешности коэффициента конверсии для вашего конкретного инструмента тестирования. Знание этого числа может помочь вам установить базовый коэффициент конверсии для вашего A/B-теста, чтобы определить наиболее значительные области изменений от вашей контрольной страницы до вашего варианта.

6. Определите размер выборки

Проведение A/A-тестирования может помочь вам определить, сколько пользовательских взаимодействий следует ожидать в ходе вашего A/B-тестирования. Для проверки гипотез это может помочь вам выбрать разумное число для заранее определенного размера выборки. Для байесовских тестов это может помочь вам понять, в какой момент закончить тестирование и проанализировать результаты.

Лучшие практики A/A-тестирования

Воспользуйтесь этими советами, чтобы провести тщательный и точный А/А-тест:

Используйте большой размер выборки

Независимо от того, какой метод тестирования вы выберете, выберите минимальный размер выборки, достаточный для получения реальных результатов. Это число может быть статистически пропорционально вашему целевому коэффициенту конверсии. Используйте свои текущие аналитические данные и статистику, чтобы выбрать число, которое соответствует вашему ежедневному охвату или доступу. Помните, что А/А-тест следует научному методу и может повторяться несколько раз, прежде чем он даст ощутимые результаты.

Следите за своим временем

Тесты A/A могут занять больше времени, чем тесты A/B, чтобы сделать вывод о точности производительности. С надежными программами это полезно, потому что трудно найти расхождения между двумя образцами, потому что они не существуют. Увеличение продолжительности теста помогает повысить точность и собрать широкий спектр данных. Это также позволяет получать более последовательные и точные результаты.