Kontrolowane eksperymenty online. Praktyczny przewodnik po testach A/B - ebook

Trudno od razu ocenić wartość pomysłu. Tymczasem nawet małe zmiany mogą mieć olbrzymi wpływ na dochody organizacji. Aby się przekonać, jak zmiana sposobu prezentowania treści użytkownikowi wpłynie na jego wrażenia, najlepiej przeprowadzić eksperyment kontrolowany online. Tego rodzaju badania, zwane również testami A/B, są regularnie prowadzone przez największe firmy. Przed wykorzystaniem otrzymanych wyników w działalności biznesowej trzeba jednak poddać je walidacji.

Ta książka zawiera szereg praktycznych wskazówek dotyczących przygotowania, przeprowadzania i oceniania wyników kontrolowanych eksperymentów online. Dzięki niej nauczysz się stosować naukowe podejście do formułowania założeń i oceny hipotez w testach A/B, dowiesz się także, jak sprawdzać wiarygodność wyników i interpretować je do celów dalszej pracy. Omówiono tu takie pułapki jak efekt przeniesienia, prawo Twymana, paradoks Simpsona i interakcji sieciowych, zaprezentowano również informacje ułatwiające zrozumienie praktycznych konsekwencji statystyki. Interesującą częścią książki jest opis skalowalnej platformy, która radykalnie zmniejsza całościowy koszt eksperymentu. Publikację docenią zarówno początkujący, jak i zaawansowani eksperymentatorzy, którzy wymagają wysokiej pewności uzyskanych wyników.

Pozyskuj dane, którym zaufasz!

Przedmowa

Podziękowania

CZĘŚĆ I . Zagadnienia wstępne dla wszystkich

Rozdział 1. Wstęp i motywacja

• Żargon kontrolowanych eksperymentów online
• Po co eksperymentować? Korelacja, sprawstwo i wiarygodność
• Niezbędne elementy przeprowadzania użytecznych eksperymentów kontrolowanych
• Zasady
• Poprawa z czasem
• Przykłady ciekawych kontrolowanych eksperymentów online
• Strategia, taktyka i ich związek z eksperymentami
• Dodatkowe źródła

Rozdział 2. Przeprowadzanie i analizowanie eksperymentów - kompleksowy przykład

• Kontekst przykładu
• Testowanie hipotezy - zdobycie wagi statystycznej
• Projektowanie eksperymentu
• Przeprowadzanie eksperymentu i pozyskanie danych
• Interpretowanie rezultatów
• Od rezultatów do decyzji

Rozdział 3. Prawo Twymana i wiarygodność eksperymentów

• Błędna interpretacja rezultatów statystycznych
• Przedziały ufności
• Zagrożenia dla wewnętrznej trafności
• Problemy z zewnętrzną trafnością
• Różnice segmentów
• Paradoks Simpsona
• Zachęcaj do zdrowego sceptycyzmu

Rozdział 4. Platforma i kultura eksperymentowania

• Modele dojrzałości eksperymentów
• Infrastruktura i narzędzia

CZĘŚĆ II . Wybrane zagadnienia dla wszystkich

Rozdział 5. Szybkość ma znaczenie. Całościowe studium przypadku

• Kluczowe założenie: lokalna aproksymacja liniowa
• Jak mierzyć wydajność strony?
• Projekt eksperymentu spowalniającego
• Różne elementy strony mają różny wpływ
• Ekstremalne wyniki

Rozdział 6. Wskaźniki organizacyjne

• Taksonomia wskaźników
• Formułowanie wskaźników - zasady i techniki
• Ocena wskaźników
• Ewolucja wskaźników
• Dodatkowe źródła

Rozdział 7. Wskaźniki dla eksperymentów i ogólne kryterium ewaluacji

• Od wskaźników biznesowych do wskaźników właściwych dla eksperymentów
• Łączenie kluczowych wskaźników w OKE
• Przykład: OKE dla wiadomości e-mail w Amazonie
• Przykład: OKE dla silnika wyszukiwarki Bing
• Prawo Goodharta, prawo Campbella i krytyka Lucasa

Rozdział 8. Pamięć instytucjonalna i metaanaliza

• Czym jest pamięć instytucjonalna?
• Dlaczego pamięć instytucjonalna jest pożyteczna?

Rozdział 9. Etyka w eksperymentach kontrolowanych

• Tło
• Zbieranie danych
• Kultura i procesy

CZĘŚĆ III . Techniki uzupełniające i alternatywne w stosunku do eksperymentów kontrolowanych

Rozdział 10. Techniki uzupełniające

• Przestrzeń technik uzupełniających
• Analiza oparta na logach
• Ludzka ocena
• Badania wrażeń użytkownika
• Grupy fokusowe
• Ankiety
• Zewnętrzne dane
• Wszystko razem

Rozdział 11. Obserwacyjne badania przyczynowe

• Gdy kontrolowane eksperymenty są niemożliwe
• Projekty w przyczynowych badaniach obserwacyjnych
• Pułapki

CZĘŚĆ IV. Zaawansowane zagadnienia związane z budowaniem platformy do eksperymentowania

Rozdział 12. Eksperymenty po stronie klienta

• Różnice między serwerem a klientem
• Implikacje w zakresie eksperymentów
• Podsumowanie

Rozdział 13. Instrumentacja

• Instrumentacja po stronie klienta a instrumentacja po stronie serwera
• Przetwarzanie logów z różnych źródeł
• Kultura instrumentacji

Rozdział 14. Wybór jednostki randomizacji

• Jednostka randomizacji i jednostka analizy
• Randomizacja na poziomie użytkownika

Rozdział 15. Zwiększanie ekspozycji eksperymentu - kompromis między szybkością, jakością i ryzykiem

• Czym jest faza rozbiegowa?
• Model rozbiegowy SQR
• Cztery etapy rozbiegu
• Faza porozbiegowa

Rozdział 16. Skalowanie analizy eksperymentów

• Przetwarzanie danych
• Obliczenia na danych
• Podsumowanie rezultatów i wizualizacje

CZĘŚĆ V. Zaawansowane zagadnienia dotyczące analizy eksperymentów

Rozdział 17. Statystyka kontrolowanych eksperymentów online

• Test t Studenta
• Wartość p i przedział ufności
• Założenie normalności rozkładu
• Błędy typu I i II oraz moc
• Tendencyjność
• Wielokrotne testowanie
• Metaanaliza Fishera

Rozdział 18. Szacowanie wariancji i poprawa czułości - problemy i rozwiązania

• Częste problemy
• Zwiększanie czułości
• Wariancja innych statystyk

Rozdział 19. Testy A/A

• Po co robić testy A/A?
• Jak przeprowadzać testy A/A?
• Gdy test A/A daje negatywny wynik

Rozdział 20. Objęcie eksperymentem i poprawa czułości

• Przykłady objęcia eksperymentem
• Przykład liczbowy (Kohavi, Longbotham i inni, 2009)
• Optymalne i konserwatywne objęcie eksperymentem
• Ogólny efekt eksperymentalny
• Wiarygodne objęcie eksperymentem
• Częste problemy
• Otwarte kwestie

Rozdział 21. Błąd niedopasowania proporcji próby oraz inne wskaźniki ochronne

• Błąd niedopasowania proporcji próbki
• Analizowanie problemów SRM

Rozdział 22. Wyciek informacji i zakłócenia między wariantami

• Przykłady
• Propozycje praktycznych rozwiązań
• Wykrywanie i monitorowanie zakłóceń

Rozdział 23. Mierzenie długofalowego efektu eksperymentalnego

• Czym są efekty długofalowe?
• Powody, dla których efekt eksperymentalny może się różnić krótko- i długofalowo
• Po co mierzyć efekt długofalowy?
• Długotrwałe eksperymenty
• Alternatywne metody długoterminowych eksperymentów