A/B тестирование — это контролируемый эксперимент, в котором две версии одной страницы (или элемента) показываются разным сегментам посетителей одновременно. Версия A — оригинал (контрольная), версия B — вариант с одним изменённым элементом.
Ключевое слово здесь — «одним». Когда вы меняете сразу три вещи и смотрите на результат, вы не знаете, что именно сработало. Это уже не A/B тест, а хаос с иллюзией системы.
Логика простая: одинаковый трафик, одно изменение, достаточная выборка — вы получаете статистически значимый ответ на конкретный вопрос. Не «лучше или хуже», а «на сколько процентов лучше и с какой вероятностью это не случайность».
Среди инструментов, которые используют для этого — Google Optimize (в своё время), Optimizely, VWO, Omniconvert. Выбор инструмента важен, но куда важнее — правильно сформулированная гипотеза перед запуском.