Тест без гіпотези. «Спробуймо інший заголовок» — не гіпотеза. Без розуміння, чому зміна має спрацювати, ви не зможете ні пояснити результат, ні повторити успіх.
Зупинка на першому гарному результаті. Варіант B веде на 30% після першого тижня? Чекайте до запланованої дати. На малій вибірці статистика нестабільна, а ефект новизни згасає.
Тест на нецільовому трафіку. Якщо 60% відвідувачів — боти або люди з випадкових запитів, результат спотворений. Спочатку почистьте трафік, потім тестуйте.
Ігнорування сегментів — або полювання на них. Середній результат може ховати різницю між новими і постійними відвідувачами, мобільними і десктопом. Але не шукайте сегмент-переможця після тесту: заплануйте один-два сегменти заздалегідь, інакше рано чи пізно «знайдете» випадковий.
Немає зв’язки з CRM. Більше заявок не дорівнює більше грошей. Без мітки варіанта в CRM ви не дізнаєтеся, що сталося з лідами після форми.
Тест, що триває місяцями. Сезон, ціни і ринок змінюються, і результат втрачає сенс. Google також радить не тримати тест довше, ніж потрібно, і для безпеки в пошуку використовувати rel="canonical" на варіантах, тимчасову 302-переадресацію та не показувати пошуковим роботам іншу версію сторінки (
рекомендації Google Search Central).