A/B-тестирование: что это такое, зачем оно нужно и как правильно проводить?

A/B-тестирование — что это: проверка идеи на реальной аудитории вместо спора о вкусах. Посетителей случайно делят на группы: одни видят текущую страницу или письмо, другие — изменённую версию, а цифры называют победителя. Без проверки решение о новом заголовке или кнопке принимают на глаз, и выигрывает самый уверенный голос в команде.

По данным обзора в рецензируемом журнале Data Mining and Knowledge Discovery (2009), контролируемые эксперименты (A/B-тесты, сплит-тесты и многовариантные схемы) считаются лучшим научным дизайном для установления причинно-следственной связи. Авторы советуют ориентироваться на реакцию клиентов, а не на мнение руководителя (Kohavi R. и соавторы).

Материал пригодится маркетологам, владельцам сайтов и интернет-магазинов, начинающим аналитикам и продактам. Ниже — принцип метода, границы применения, порядок проведения теста и оценка итогов.

A/B-тестирование: что это такое и как оно работает

A/B-тестирование, или сплит-тестирование, сравнивает две версии одной страницы, письма или объявления. Посетителей случайно делят на две группы: первая видит текущую версию (A), вторая — изменённую (B). Победителя называет метрика, которую выбирают до старта.

📌Запомните: любой A/B-тест проходит пять шагов

1. Выберите цель и метрику.
2. Сформулируйте гипотезу.
3. Рассчитайте выборку и срок.
4. Запустите оба варианта и не меняйте условия.
5. Оцените результат и примите решение.

Метод входит в набор инструментов оптимизации конверсии: он проверяет, какая правка повышает долю посетителей, которые доходят до заявки или покупки. Опросы и наблюдения подсказывают идеи, а A/B-тест проверяет их цифрами.

Из каких частей состоит эксперимент

Базовый эксперимент собирают из четырёх частей: контрольной и изменённой версий, случайного деления аудитории и метрики для сравнения. Контроль (A) — текущая страница, письмо или объявление. Вариант B повторяет контроль с одной правкой, например с новым заголовком первого экрана.

Случайное деление делает группы похожими по составу, поэтому разницу в итогах объясняет само изменение. Показ обеих версий идёт параллельно. Сравнение «до и после» ненадёжно: на неделю с новым заголовком влияют сезон, акции и всплески рекламы, и вы не отделите их от эффекта правки. По той же причине меняют один фактор: если поменять сразу первый экран и цену, непонятно, что сработало.

Пример: онлайн-школа хочет узнать, какой заголовок на странице курса приведёт больше заявок. Половина посетителей видит старый текст, другая половина — новый, остальное на странице совпадает. Когда срок теста закончится, школа сравнит долю заявок в двух группах.

Чем сплит-тест отличается от опроса и UX-теста

Опрос и UX-тест показывают, что люди говорят и как реагируют под наблюдением. A/B-тест фиксирует, как большая группа ведёт себя на деле. Методы дополняют друг друга:

• Опрос собирает мнения и намерения, но люди часто делают не то, что обещают.
• UX-тест выявляет, где человек путается и почему, но проверяет небольшую группу.
• A/B-тест измеряет поведение тысяч посетителей и отвечает на вопрос «что лучше».

Объяснить, почему победила одна из версий, A/B-тест не может. Эту часть берёт на себя качественное исследование: в ходе пользовательского тестирования видно, на каком шаге человек сомневается. Поэтому проблему удобно искать в живых сессиях, а решение проверять тестом.

Типичная связка выглядит так: сессия показывает, что покупатели не находят кнопку заказа. Команда меняет её положение и запускает тест, а цифры подтверждают или опровергают пользу правки.

Зачем нужно A/B-тестирование и когда оно не подходит

A/B-тестирование переводит решения о сайте, рассылке и рекламе с мнений на данные и измеряет эффект до массового внедрения. Метод не подойдёт, если трафика мало, гипотезы нет или итог нельзя измерить.

Что даёт метод бизнесу

Тест заменяет споры измерением, снижает риск неудачного изменения и накапливает знания об аудитории. Вместо дискуссии о том, какая кнопка лучше, команда запускает оба варианта и смотрит на цифры.

Новую страницу оплаты можно показать, например, половине посетителей. Если конверсия просела, новую страницу отключают, а остальная аудитория не пострадала. Проигравший вариант тоже полезен: он показывает, что люди не реагируют на такую правку, и избавляет от повторной попытки. При большом потоке небольшой прирост конверсии превращается в заметную выручку, поэтому проверка мелкого улучшения окупается.

Итоги тестов копятся и превращаются в базу знаний. Через год команда знает, какие заголовки, предложения и порядок шагов работают для её аудитории, и новые гипотезы опираются на этот опыт, а не на догадки.

Когда метод не подходит

Тест не подходит при малом числе целевых действий, без чёткой гипотезы и когда меняется сразу много элементов. Откладывайте его, если вы узнаёте свою ситуацию в одном из пунктов:

• За срок теста набирается мало покупок или заявок, и разница тонет в случайных колебаниях.
• Гипотезы нет: по принципу «поменяем и посмотрим» вывода не получить, даже когда один из вариантов выиграл.
• В изменённую версию вошло несколько правок, и невозможно понять, какая из них сработала.
• Изменение обязательно: требование закона, исправление ошибки или починку сломанной формы вносят без теста.
• Цикл сделки длинный, и нужный итог наступает позже окончания теста.

Для долгих сделок, например в B2B, тестируют промежуточные шаги: заявку или запись на демонстрацию. Заранее проверьте, что шаг связан с продажей.

Что делать при малом трафике

При малом трафике используют качественные методы, крупные изменения и более частые метрики. Сначала найдите слабые места без теста: карты кликов и пользовательское тестирование показывают, где посетители теряются, и дают вывод на небольшой выборке.

• Крупные изменения. Чем сильнее эффект, тем меньше людей нужно для надёжного вывода. Проверяйте новое предложение или переработанный первый экран, а не оттенок кнопки.
• Более частое событие. Клик или переход в корзину случаются чаще оплаты, поэтому данные копятся быстрее. Убедитесь, что событие связано с целью: рост кликов не всегда даёт рост заказов.
• Расчёт заранее. Если выходит слишком долгий срок, выберите более крупное изменение или другую метрику.

Если и крупное изменение не помогает набрать данные, опирайтесь на качественные методы и сравнивайте показатели до и после правки. Учитывайте ограничение: сезон и рекламные всплески влияют на цифры, поэтому считайте вывод рабочей гипотезой.

Какие бывают виды A/B-тестов и что тестировать

Различают пять видов: классический A/B-тест с двумя вариантами, A/B/n с несколькими, многовариантный (MVT), тест с разными адресами страниц и A/A-тест для проверки системы. Проверять можно заголовки, кнопки, формы, цены, темы писем и объявления.

Чем схемы тестов отличаются друг от друга

Схемы различаются числом версий и изменяемых факторов и требуют разного трафика.

• A/B-тест: две версии, один изменённый фактор. Данные для вывода копятся быстрее всего.
• A/B/n-тест: один фактор, но версий больше двух, например три заголовка. Трафик делится между всеми, поэтому тест идёт дольше.
• Многовариантный тест (MVT): проверяет сочетания нескольких элементов сразу, например заголовка, картинки и кнопки. Он показывает, как элементы действуют вместе.
• Тест с разными адресами страниц: сравнивает две заметно разные страницы с разными URL. Пользователей перенаправляют на нужный адрес в зависимости от группы.
• A/A-тест: обе группы видят одну и ту же страницу. Так проверяют, что система делит трафик ровно и не находит разницу там, где её нет.

Вид выбирают по трафику и задаче: при небольшом потоке подходит простой A/B-тест, а многовариантные схемы оставляют сайтам с большой аудиторией.

💡 Это интересно

Условный пример: три элемента по два варианта дают 2 × 2 × 2 = 8 комбинаций, и трафик делится на 8 частей. Поэтому многовариантному тесту нужно заметно больше посетителей, чем A/B-тесту.

Что менять на сайте, в рассылке и рекламе

Начинайте с изменений, которые сильнее влияют на показатели и стоят ближе к деньгам, а не с цвета кнопки. Оцените идею по трём признакам: размеру эффекта, уверенности в успехе и стоимости внедрения. Идея с большим эффектом и низкой стоимостью идёт первой, а дорогая идея с неясной отдачей уходит в конец очереди.

Проверяйте смысл предложения: оффер, структуру страницы, цену, порядок шагов. Мелкие правки дают слабый эффект, и для его обнаружения требуется намного больше посетителей.

Например, интернет-магазин хочет, чтобы больше покупателей доводили оформление до конца. В варианте B он убирает обязательную регистрацию. Итог оценивают по доле завершённых заказов и по выручке на посетителя: рост заказов не должен скрыть падение выручки.

Таблица показывает, что чаще всего меняют в каждом канале и чем измеряют итог.

Канал	Что меняем	Основная метрика	Защитная метрика
Страница сайта	заголовок и первый экран	доля заявок	доля отказов
Форма	число полей	доля отправленных форм	качество заявок
Карточка товара	фото, цена, кнопка	доля добавлений в корзину	средний чек
Оформление заказа	шаги, способы оплаты	доля завершённых заказов	выручка на посетителя
Рассылка	тема и время отправки	доля кликов	отписки
Реклама	текст и изображение	CTR	стоимость целевого действия

В рассылке лучше сравнивать клики, а не открытия: некоторые почтовые программы заранее загружают содержимое письма, и открытие засчитывается без участия человека. Защитная метрика здесь — отписки: рост переходов за счёт назойливых писем быстро сокращает базу подписчиков. В рекламе объявления сравнивают по CTR — отношению числа кликов к числу показов. Одного CTR мало: объявление с высоким CTR способно приводить людей, которые ничего не покупают, поэтому смотрите и на стоимость целевого действия.

Как провести A/B-тест: пошаговый алгоритм

Чтобы провести A/B-тест, выберите цель и метрику, сформулируйте гипотезу, рассчитайте выборку и срок, запустите оба варианта одновременно и не меняйте условия до конца. Решение принимают по правилу остановки, которое вы выбрали до старта.

Все шаги фиксируют до запуска, и порядок здесь важен: так правку нельзя подогнать под желаемое.

Как выбрать цель и метрику

Цель — бизнес-результат, а метрика — число, которое его отражает. Выберите одну основную метрику и одну-две защитные, которые не должны ухудшиться. Основная отвечает на вопрос теста, вторичные объясняют разницу, а защитные страхуют от побочного вреда: рост заявок не радует, если падает их качество.

Чаще всего в этой роли выступает коэффициент конверсии, или CR, — доля посетителей, которые совершили целевое действие:

CR = (число пользователей с целевым действием ÷ число посетителей) × 100%

CR выражают в процентах. Берите показатель, который ближе к деньгам и успевает накопиться за срок теста: клик по баннеру удобен, но связан с покупкой косвенно, а оплата через два месяца после визита для двухнедельного теста не подходит. Сегмент аудитории, например новых посетителей с мобильных устройств, выберите заранее: иначе легко найти группу, где версия «выиграла».

Как сформулировать гипотезу

Гипотеза связывает изменение, ожидаемый эффект и причину. Удобный шаблон: «Если [изменение], то [метрика] изменится на [X], потому что [причина]». Запись заставляет обосновать ожидание, и после теста вы проверяете цифру вместе с объяснением.

Источники маркетинговой гипотезы — данные аналитики, карты кликов, обращения клиентов и ответы в опросах. Одна гипотеза проверяет один фактор. Условный пример: «Если сократить форму с шести полей до трёх, доля отправленных форм вырастет с 4% до 5%, потому что снизятся усилия на заполнение».

Как рассчитать выборку и срок

Размер выборки зависит от текущей конверсии, минимального эффекта, уровня значимости и мощности. Чтобы получить срок, размер делят на дневной трафик и округляют до полных недель: поведение аудитории зависит от дня недели, и неполная неделя перекашивает данные.

Для сравнения двух долей используют формулу:

n ≈ 2 · (Z(α/2) + Z(β))² · p̄ · (1 − p̄) ÷ (p₂ − p₁)², где p̄ = (p₁ + p₂) ÷ 2

Здесь n — число посетителей в одном варианте, p₁ — текущая конверсия, p₂ — целевая, которую нужно заметить. При уровне значимости 0,05 значение Z(α/2) равно 1,96: вы принимаете риск в 5% увидеть разницу там, где её нет. При мощности 80% Z(β) равно 0,84: тест заметит настоящий эффект заданного размера в 80% случаев.

Условный пример. Сайт получает 500 посетителей в день и делит трафик 50/50. Конверсия формы сейчас 4%, нужно заметить рост до 5%.

1) p̄ = (0,04 + 0,05) ÷ 2 = 0,045

2) n ≈ 2 · (1,96 + 0,84)² · 0,045 · 0,955 ÷ (0,05 − 0,04)² = 2 · 7,84 · 0,042975 ÷ 0,0001 ≈ 6 740 посетителей на вариант

3) 500 ÷ 2 = 250 на вариант в день; 6 740 ÷ 250 ≈ 27 дней

4) округляем до 4 полных недель = 28 дней

Проверка: 28 × 250 = 7 000 на вариант, а это больше расчётных 6 740

Чем меньше ожидаемый эффект, тем больше выборка. Если искать рост на 0,5 процентного пункта (п.п.), а не на 1 п.п., людей понадобится примерно в четыре раза больше. Онлайн-калькуляторы считают то же самое.

Как запустить тест без искажений

Запускайте оба варианта одновременно, делите аудиторию случайно и не меняйте условия до конца. Проверьте, что цель фиксируется в обоих и что пользователь всегда видит одну и ту же версию.

Перед стартом сделайте пробные заходы в оба варианта и убедитесь, что события доходят до аналитики. Если сомневаетесь в самой системе, проведите A/A-тест: он покажет, делит ли она трафик ровно. Не запускайте эксперимент в пики акций, потому что аномальный спрос исказит данные. Правило остановки запишите до старта: срок из расчёта и условие решения, например «через 28 дней сравниваем CR и защитные показатели».

Если тестовые страницы доступны поисковым роботам, учитывайте рекомендации Google для владельцев сайтов:

• Показывайте роботу те же страницы, что и людям: Google расценивает подмену как нарушение правил поиска.
• На тестовых адресах поставьте rel=“canonical” на исходную страницу.
• Для перенаправления используйте код 302, а не 301: он сообщает, что перенаправление временное.
• Не затягивайте тест: слишком долгий эксперимент Google может принять за манипуляцию.
• После теста внедрите победителя и удалите код эксперимента, тестовые страницы и разметку.

Перед запуском проверьте:

• Гипотеза и основная метрика записаны.
• Выборка и срок рассчитаны, срок округлён до полных недель.
• Правило остановки зафиксировано.
• Цель фиксируется в обоих вариантах.
• Посетитель всегда видит одну и ту же версию.
• Трафик делится случайно, в заданной пропорции.
• В период теста нет крупных акций и других тестов на тех же страницах.

Как оценить результаты A/B-теста и не ошибиться

Оценку начинают, когда истёк запланированный срок. Метрику сравнивают в обеих группах, затем проверяют статистическую значимость и измеряют размер эффекта. Если остановить тест при первом «зелёном» p-value, вывод окажется искажённым.

Как разобрать итоги эксперимента

Разницу считают значимой при двух условиях: p-value ниже порога (обычно 0,05), а доверительный интервал не содержит ноль. Этого мало: нужна ещё практическая значимость, то есть эффект, который окупает внедрение.

Могла ли разница возникнуть случайно, показывает проверка статистической значимости. Её главный показатель, p-value, отвечает на вопрос: насколько вероятно получить такое же или более сильное расхождение, если настоящего эффекта нет? Чем меньше значение, тем реже случайность объясняет итог.

Доверительный интервал очерчивает диапазон правдоподобных значений реальной разницы. Ноль внутри диапазона означает, что эффекта может не быть вовсе.

Статистическая победа бывает бесполезной. Допустим, версия B даёт рост на 0,1 п.п., а внедрение стоит дороже прироста: тест выиграл статистически и проиграл экономически. Поэтому смотрите на оба края интервала — нижний показывает минимальный выигрыш, на который можно рассчитывать.

Решений три: внедрить версию, отказаться от неё или повторить эксперимент с другими условиями. К повтору прибегают, если выборка оказалась мала или в ходе теста случился сбой. Перед выбором посмотрите на защитные метрики: если заявок стало больше, а средний чек упал, внедрять рано.

Если срок вышел, а интервал по-прежнему включает ноль, эффект меньше, чем вы искали, либо его нет. Не продлевайте тест ради «зелёного» p-value: запишите итог как «разницы не обнаружено» и пересмотрите гипотезу.

Условный пример: сайт проверяет новую форму заявки. Данные теста — в таблице.

Вариант	Посетители	Заявки	Конверсия
A	6 750	270	4,00%
B	6 750	345	5,11%
Разница	—	+75	+1,11 п.п.

1) Конверсии: A = 270 ÷ 6 750 = 4,00%; B = 345 ÷ 6 750 ≈ 5,11%

2) Разница: 5,11% − 4,00% = +1,11 п.п. (относительно +28%)

3) Общая доля: p̂ = (270 + 345) ÷ 13 500 ≈ 4,56%

4) z = (p_B − p_A) ÷ √(p̂ · (1 − p̂) · (1/n_A + 1/n_B)) ≈ 3,1

5) Двусторонний p-value ≈ 0,002, это меньше 0,05

6) 95% доверительный интервал разницы: от 0,41 до 1,81 п.п.

Здесь n_A и n_B — размеры групп, p_A и p_B — их конверсии, p̂ — общая доля заявок, z — разница в единицах стандартной ошибки. Эффект значим: p-value меньше 0,05, а интервал не включает ноль. Решение о внедрении зависит от расчёта окупаемости: даже нижняя граница в 0,41 п.п. может оказаться выгодной при большом трафике.

Какие ошибки искажают итог

Чаще всего вывод портят ранняя остановка, неполные недели, неверный сплит и множество сравнений без поправки. Основные ошибки:

• Подглядывание: вы смотрите на цифры каждый день и останавливаете тест, когда они нравятся.
• Сезонность и неполные недели: в понедельник и в воскресенье посетители ведут себя по-разному, а праздники и акции сдвигают спрос.
• SRM (Sample Ratio Mismatch): фактическое деление групп не совпадает с плановым, например 52/48 при плане 50/50 на большом трафике. Это сигнал сбоя в распределении: причину ищут в ошибках кода, перенаправлениях и фильтрации роботов, а пока она не найдена, результату не доверяют.
• Эффект новизны: новый дизайн привлекает внимание в первые дни, потом интерес гаснет. Проверьте, не слабеет ли эффект к концу срока.
• Множественные сравнения: чем больше показателей, сегментов и вариантов вы проверяете, тем выше шанс случайной «победы». Помогает заранее выбранная основная метрика или поправка, например деление порога 0,05 на число сравнений (поправка Бонферрони).
• Пересечение тестов: два теста на одной странице влияют друг на друга, и вклад каждого не разделить.
• Смешение факторов: в варианте B изменили сразу заголовок, цену и фото, поэтому неясно, что сработало.

⚠️ Это важно

Если проверять p-value ежедневно и остановить тест, как только оно стало меньше 0,05, вероятность ложного вывода выше заявленных 5%. Срок и правило остановки фиксируют до запуска, а для промежуточных проверок нужны специальные методы.

Чем проводить A/B-тесты и как выбрать сервис

Эксперименты запускают в специальных сервисах (например, Varioqub, Optimizely, VWO), во встроенных инструментах рекламных кабинетов и рассылочных платформ или силами разработчиков. Выбирать стоит по трафику, задачам, качеству статистики и требованиям к данным.

Какие сервисы подходят для экспериментов

Сервисы делятся на платформы экспериментов, встроенные инструменты каналов и собственную реализацию. Платформа делит трафик, фиксирует события и считает статистику. Varioqub — сервис Яндекса, его эксперименты в рекламной сети идут от 14 до 90 дней и поддерживают несколько версий.

Рекламные кабинеты и рассылочные платформы позволяют сравнить объявления или письма внутри канала. Разработчики могут настроить деление в коде сами: гибкость выше, но статистику придётся считать вручную. Google Optimize прекратил работу 30 сентября 2023 года, поэтому обзоры с ним в списке лидеров устарели.

При выборе сверяйте сервис по критериям:

• случайное деление и закрепление пользователя за версией;
• понятные статистические методы и доверительные интервалы;
• защитные метрики;
• предупреждение о SRM;
• интеграция с вашей аналитикой;
• стоимость при вашем трафике.

⚠️ Это важно

Если сервис собирает данные пользователей из России, проверьте требования Федерального закона от 27.07.2006 № 152-ФЗ «О персональных данных», в частности статей 12 (трансграничная передача) и 18 (обязанности оператора). Условия зависят от типа данных и сервиса. Сверяйтесь с актуальной редакцией закона и политикой сервиса, при сомнениях — к юристу.

Почему вариант проиграл, показывают инструменты UX-тестирования: записи сессий, тепловые карты и пользовательские сценарии. Цифры теста называют победителя, а наблюдение за людьми объясняет причину.

Как проверить отчёт подрядчика

В отчёте должны быть гипотеза, метрики, размер выборки, срок, число посетителей по группам, p-value или доверительный интервал и итоговое решение. Если какого-то пункта нет, результат нельзя проверить, и вывод подрядчика остаётся его мнением.

• Сверьте плановое и фактическое деление групп: расхождение может указывать на SRM.
• Убедитесь, что тест шёл полные недели и совпал с расчётным сроком.
• Смотрите на значимость и размер эффекта вместе: одного p-value мало.
• Проверьте влияние на защитные метрики.
• Сопоставьте цифры отчёта с вашей аналитикой: визиты и цели должны сходиться.

Заключение

A/B-тест проверяет изменение на реальной аудитории и даёт доказательство вместо мнения. Команда видит, какая правка повышает нужную метрику, и перестаёт спорить о вкусах. Каждый завершённый тест, даже неудачный, добавляет знание о поведении посетителей.

Ценность метода в дисциплине. Гипотезу, метрику, выборку и правило остановки фиксируют до запуска, поэтому итог нельзя подогнать под ожидания. Тест без этих условий даёт цифры, но не вывод: непонятно, что именно они подтверждают.

У метода есть границы. Он работает при достаточном трафике, понятной гипотезе и одном изменяемом факторе. Когда посетителей мало, помогают крупные изменения и наблюдение за пользователями.

В паре с качественными исследованиями метод даёт больше: тест называет победителя, а наблюдения и опросы раскрывают причину. Следующая гипотеза тогда опирается на факты о поведении людей, а не на догадки.