Z pierwszej wersji strony kupiło 80 osób, z drugiej 100. Już masz ochotę napisać do zespołu, że nowa strona zwiększyła sprzedaż o 25%, i pogratulować osobie, która ją zaprojektowała. Tylko czy przy kolejnej grupie klientów wynik wyglądałby podobnie?
Test A/B — co to jest?
Test A/B to eksperyment, w którym sprawdzasz, która z dwóch wersji komunikatu, strony lub reklamy działa lepiej. Odbiorców dzielisz losowo na dwie grupy i w tym samym czasie każdej pokazujesz inną wersję.
W praktyce część osób widzi obecną wersję strony, czyli A, a część zmienioną, czyli B — potem porównujesz, jaki odsetek osób z każdej grupy zrobił zakupy. W podobny sposób sprawdzisz tekst reklamy, zdjęcie produktu czy tytuł newslettera (co sam często robię).
Losowanie jest tu ważne, bo pomaga rozdzielić między grupy ludzi o różnych potrzebach i różnej chęci do zakupu. Gdyby nową wersję dostawali sami stali klienci, jej lepszy wynik mógłby wynikać z tego, że już znają sklep. Testy A/B należą do badań marketingowych, które pozwalają sprawdzać pomysły na prawdziwych zachowaniach odbiorców.
Zacznij od pomysłu, który da się sprawdzić
Wybierasz produkt, przechodzisz przez koszyk i dopiero przy płatności dowiadujesz się, ile kosztuje przesyłka. Wyobraź sobie, że prowadzisz ten sklep i podejrzewasz, że właśnie w tym momencie część klientów rezygnuje.
Twoja hipoteza mogłaby brzmieć: „Jeśli pokażemy koszt dostawy już przy produkcie, więcej osób dokończy zakup, bo wcześniej pozna pełną cenę”. W teście sprawdzisz to przypuszczenie, dodając informację o przesyłce do wersji B. Cena, zdjęcia, opis produktu i pozostałe kroki zakupu zostają takie same, więc porównanie dotyczy jednej zmiany.
Możesz też zestawić dwa zupełnie różne projekty strony, jeśli chcesz wybrać lepszy z nich. Wtedy oceniasz cały projekt, a ustalenie, ile dało nowe zdjęcie czy sam nagłówek, wymaga osobnych porównań.
A co z testowaniem reklam?
W kampanii mojego kursu miałem ponad 70 wariantów reklam, o czym opowiadałem w wywiadzie. Jedne miały przyciągnąć uwagę, inne przekonać do zakupu, a kolejne trafiały do osób, które już odwiedziły stronę.
Z takiej kampanii można wyciągnąć mnóstwo obserwacji. Przypomnienie o kursie osobie, która już go oglądała, ma inne zadanie niż pierwsza reklama wyświetlona komuś, kto dopiero mnie poznaje. Do testu A/B wybierz więc odbiorców na tym samym etapie i losowo pokaż im jedną z dwóch wersji.
Jak przygotować pierwszy test A/B?
1. Ustal, po czym poznasz poprawę
W naszym sklepie chcemy zwiększyć odsetek kupujących, czyli współczynnik konwersji. Jeśli zakupy zrobiło 80 z 1000 osób, wynosi on 8% — dzielisz 80 przez 1000 i mnożysz wynik przez 100%.
To będzie główna metryka testu — liczba, według której ocenimy pomysł. Kliknięcia w przycisk mogą pomóc zrozumieć zachowanie klientów, ale przy tym celu o wyborze strony decydują zakupy.
Daj każdej osobie tyle samo czasu na decyzję: jeśli przyjmiesz tydzień od pierwszej wizyty, uczestnik dołączający ostatniego dnia testu też dostaje pełne siedem dni na zakup. W tym przykładzie liczymy kupującego raz, nawet gdy złoży kilka zamówień.
Sprawdzaj przy okazji, ile zostaje z zamówień i jak często klienci je anulują. Takie dodatkowe wskaźniki, nazywane metrykami ochronnymi, pozwalają zauważyć wzrost sprzedaży, na którym firma zaczyna zarabiać mniej.
2. Policz, ilu osób potrzebujesz
Jeśli nowa strona sprzedaje dwa razy lepiej, łatwiej dostrzec różnicę niż przy drobnej poprawie z 8% do 8,1%. Dlatego liczba uczestników potrzebnych do testu zależy między innymi od tego, jak małej zmiany szukasz.
Liczbę uczestników wyliczysz w kalkulatorze Evana Millera, podając obecną konwersję i najmniejszą poprawę, którą chcesz wykryć. Zwróć uwagę na jednostki: wzrost z 8% do 10% to 2 punkty procentowe, ale też 25% względem wyniku początkowego.
Poziom istotności (Significance level) określa dopuszczalne ryzyko fałszywego alarmu: test wskazuje różnicę, choć obie wersje są równie skuteczne. Drugie ustawienie, moc testu (Statistical power), mówi, jaką szansę chcesz mieć na wykrycie wpisanej wcześniej poprawy, jeśli ona rzeczywiście istnieje.
Wynik kalkulatora to liczba uczestników na każdy wariant. Jeśli potrzebujesz na przykład po 1000 osób w A i B, a do testu dołącza łącznie 200 nowych osób dziennie, zebranie próby zajmie około 10 dni. Do tego dochodzi czas na zakup przez ostatnich uczestników, zgodnie z przyjętym wcześniej tygodniowym oknem.
3. Zaplanuj czas i losowanie
Obie wersje powinny działać równocześnie, a każdy uczestnik trafiać do jednej z nich losowo. Możesz ustawić podział pół na pół i przypisać wariant do konkretnej osoby, żeby wracający klient nadal widział tę samą stronę.
Termin zakończenia wynika z potrzebnej próby, liczby odwiedzających i czasu na zakup. Uwzględnij też rytm sklepu: jeśli weekendowi klienci kupują inaczej niż ci z poniedziałku, w teście powinny znaleźć się oba okresy. Pierwsze dni mogą przynieść dodatkowe zainteresowanie samą nowością, które z czasem osłabnie.
W klasycznym teście czekasz z decyzją do zaplanowanego końca. Część narzędzi stosuje analizę sekwencyjną, która pozwala oceniać wyniki podczas zbierania danych — wtedy obowiązują reguły zakończenia przewidziane przez tę metodę.
4. Sprawdź pomiar, zanim zaczniesz
Zrób próbny zakup w obu wersjach na telefonie i komputerze, po czym zajrzyj do danych. Zakup powinien zapisać się raz, przy właściwej osobie i właściwym wariancie, a informacje z obu stron trafiać do tego samego raportu.
Narzędzie testowe powinno też kontrolować, czy liczebność grup zgadza się z ustawionym podziałem ruchu. Podejrzana rozbieżność może oznaczać na przykład, że części użytkowników brakuje w danych; taki błąd trzeba wyjaśnić przed oceną skuteczności strony.
Do testowania stron służy choćby Optimizely, które można połączyć z Google Analytics 4. Jeśli trafisz na poradnik o Google Optimize, sprawdź jego datę: to narzędzie zostało wycofane 30 września 2023 roku (jak wiele usług Google, choć niektórych byłem fanem 😭).
Przed uruchomieniem zbierz ustalenia w jednej notatce: hipotezę, wersje A i B, sposób podziału odbiorców, główną metrykę, próbę i termin zakończenia. Dopisz, jak duża poprawa uzasadni wdrożenie i jaki spadek zarobku lub wzrost anulacji byłby dla firmy zbyt kosztowny.
Wersja B sprzedaje lepiej. Czy mamy zwycięzcę?
Wróćmy do sklepu, w którym pokazujemy koszt dostawy wcześniej, żeby więcej osób dokończyło zakup. Załóżmy, że test zakończył się zgodnie z planem i mamy takie wyniki:
| Wynik | A: dostawa widoczna przy płatności | B: dostawa widoczna już przy produkcie |
|---|---|---|
| Uczestnicy | 1000 | 1000 |
| Osoby, które kupiły | 80 | 100 |
| Współczynnik konwersji | 8% | 10% |
Przy tej samej liczbie odwiedzających B zebrało o 20 kupujących więcej, a konwersja wzrosła o 2 punkty procentowe. Z tego bierze się też 25% z początku artykułu: dodatkowych 20 kupujących dzielimy przez początkowe 80.
Losowanie mogło jednak skierować do B trochę więcej osób gotowych na zakup. Takie różnice zdarzają się nawet wtedy, gdy obie grupy oglądają identyczną stronę, więc przed decyzją potrzebujemy oceny, jak duży jest margines błędu naszego wyniku.
Jak odczytać przedział ufności?
Przedział ufności to zakres pokazujący, jak dokładnie oszacowaliśmy wpływ zmiany. W naszym przykładzie mamy przewagę 2 punktów procentowych i chcemy ustalić, czy jest ona wystarczająco wyraźna na tle przypadkowych wahań.
Możesz to sprawdzić w kalkulatorze testów A/B firmy Pearson, wpisując po 1000 uczestników, 80 kupujących w A i 100 w B. Narzędzie pokaże wynik razem z kolejnymi krokami obliczeń, więc da się prześledzić, skąd pochodzą liczby.
W tym przykładzie używamy testu dwustronnego, czyli oceniamy zarówno poprawę, jak i pogorszenie, przy poziomie ufności 95%. Ten poziom ustala się przed startem; jego podwyższenie poszerza przedział, przez co trudniej uznać niewielką różnicę za przekonującą.
Dla danych z tabeli otrzymujemy zakres od około −0,5 do +4,5 punktu procentowego. Przy 1000 odwiedzających odpowiada to różnicy od około 5 kupujących mniej do 45 więcej po wprowadzeniu zmiany.
Zakres obejmuje też zero, czyli sytuację, w której zmiana strony niczego nie poprawia. Dlatego mimo dodatkowych 20 kupujących w grupie B uznajemy wynik za nierozstrzygnięty — pomiar jest zbyt mało dokładny, żeby ogłosić, że wcześniejsze pokazanie dostawy zwiększa sprzedaż.
Co oznacza „istotny statystycznie”?
Wynik istotny statystycznie to różnica na tyle duża, że przy dwóch równie skutecznych stronach trudno byłoby ją wyjaśnić samym przypadkiem. W naszym teście rozpoznasz ją po przedziale leżącym w całości po jednej stronie zera: dodatni przemawia za B, ujemny za A.
Czy poprawa będzie warta pieniędzy?
Załóżmy, że wdrożenie kosztuje 2000 zł, a na zakupach jednego klienta zostaje Ci średnio 40 zł po kosztach i zwrotach. Do odzyskania wydatku potrzebujesz wtedy 50 dodatkowych kupujących, bo 2000 ÷ 40 = 50.
Jeżeli chcesz zwrotu w miesiąc, a sklep odwiedza w tym czasie 5000 osób, konwersja musi wzrosnąć o 1 punkt procentowy. Przy 8% masz 400 kupujących, przy 9% — 450, więc te dodatkowe zakupy pokryją koszt zmiany.
Przy niewielkiej poprawie rachunek wygląda inaczej, nawet gdy jest ona istotna statystycznie. Wzrost o 0,1 punktu procentowego przy tym samym ruchu oznacza 5 dodatkowych kupujących i 200 zł miesięcznie — na zwrot wydanych 2000 zł czekalibyśmy dziesięć miesięcy.
Jakie błędy najłatwiej popełnić?
- Kończenie w dogodnym momencie. Zaplanowałeś ocenę po zebraniu całej próby, ale B wychodzi na prowadzenie już po kilku dniach i wyłączasz test. Takie czekanie na korzystny wynik zwiększa ryzyko ogłoszenia poprawy, której naprawdę nie ma, dlatego trzymaj się ustalonych warunków zakończenia. W krótkim okresie wpływ może mieć nawet pogoda.
- Wybieranie wygodnej metryki. Miałeś sprawdzać zakupy, a gdy sprzedaż stoi w miejscu, ogłaszasz sukces na podstawie kliknięć. Główny wskaźnik powinien pozostać ten sam przez cały test; przy wielu porównaniach potrzebna jest analiza, która uwzględnia ich liczbę.
- Test przed zmianą i po niej. Gdy A działa przed wypłatami, a B po wypłatach, wzrost sprzedaży łatwo przypisać projektantowi. Równoczesne pokazywanie obu wersji pozwala porównać je w podobnych warunkach.
- Sukces całej strony przypisany zdjęciu. Jeśli w B zmienisz zdjęcie, nagłówek i cenę, wynik dotyczy całego pakietu. Ocenę samego zdjęcia zostaw na porównanie, w którym reszta strony pozostanie bez zmian.
Co zrobić z wynikiem naszego testu?
W grupie B kupiło 100 osób, a w A — 80, czyli o 25% więcej przy tej samej liczbie odwiedzających. To przemawia za B, choć nadal możliwe, że przewaga wynika z przypadkowego podziału klientów między grupy.
Przy taniej poprawce, którą łatwo cofnąć, możesz wybrać B i obserwować sprzedaż, zwroty i zarobek. Jeśli jednak zmiana wymaga kosztownej przebudowy sklepu, kolejny test z większą liczbą uczestników pomoże sprawdzić, czy warto wydawać na nią pieniądze.
Zachowaj wersje strony razem z datami, wynikiem i decyzją. Kiedy za kilka miesięcy ktoś znów zaproponuje „może pokażmy dostawę wcześniej?”, będziecie mieli do czego wrócić.
Kilka źródeł
- Konstrukcja testu: Microsoft Research — pułapki interpretacji metryk.
- Próba i niepewność: Optimizely o planowaniu próby, NIST o wyliczaniu przedziału dla różnicy konwersji.
- Istotność statystyczna: stanowisko American Statistical Association o znaczeniu i ograniczeniach wartości p.
- Kończenie eksperymentu: Always Valid Inference — analiza przy ciągłym monitorowaniu wyników.
- Metryki i narzędzia: dokumentacja Optimizely.
