Kontrolowane eksperymenty online. Praktyczny przewodnik po testach A/B - ebook
Kontrolowane eksperymenty online. Praktyczny przewodnik po testach A/B - ebook
Trudno od razu ocenić wartość pomysłu. Tymczasem nawet małe zmiany mogą mieć olbrzymi wpływ na dochody organizacji. Aby się przekonać, jak zmiana sposobu prezentowania treści użytkownikowi wpłynie na jego wrażenia, najlepiej przeprowadzić eksperyment kontrolowany online. Tego rodzaju badania, zwane również testami A/B, są regularnie prowadzone przez największe firmy. Przed wykorzystaniem otrzymanych wyników w działalności biznesowej trzeba jednak poddać je walidacji.
Ta książka zawiera szereg praktycznych wskazówek dotyczących przygotowania, przeprowadzania i oceniania wyników kontrolowanych eksperymentów online. Dzięki niej nauczysz się stosować naukowe podejście do formułowania założeń i oceny hipotez w testach A/B, dowiesz się także, jak sprawdzać wiarygodność wyników i interpretować je do celów dalszej pracy. Omówiono tu takie pułapki jak efekt przeniesienia, prawo Twymana, paradoks Simpsona i interakcji sieciowych, zaprezentowano również informacje ułatwiające zrozumienie praktycznych konsekwencji statystyki. Interesującą częścią książki jest opis skalowalnej platformy, która radykalnie zmniejsza całościowy koszt eksperymentu. Publikację docenią zarówno początkujący, jak i zaawansowani eksperymentatorzy, którzy wymagają wysokiej pewności uzyskanych wyników.
Pozyskuj dane, którym zaufasz!
Spis treści
Przedmowa
Podziękowania
CZĘŚĆ I . Zagadnienia wstępne dla wszystkich
Rozdział 1. Wstęp i motywacja
- Żargon kontrolowanych eksperymentów online
- Po co eksperymentować? Korelacja, sprawstwo i wiarygodność
- Niezbędne elementy przeprowadzania użytecznych eksperymentów kontrolowanych
- Zasady
- Poprawa z czasem
- Przykłady ciekawych kontrolowanych eksperymentów online
- Strategia, taktyka i ich związek z eksperymentami
- Dodatkowe źródła
Rozdział 2. Przeprowadzanie i analizowanie eksperymentów - kompleksowy przykład
- Kontekst przykładu
- Testowanie hipotezy - zdobycie wagi statystycznej
- Projektowanie eksperymentu
- Przeprowadzanie eksperymentu i pozyskanie danych
- Interpretowanie rezultatów
- Od rezultatów do decyzji
Rozdział 3. Prawo Twymana i wiarygodność eksperymentów
- Błędna interpretacja rezultatów statystycznych
- Przedziały ufności
- Zagrożenia dla wewnętrznej trafności
- Problemy z zewnętrzną trafnością
- Różnice segmentów
- Paradoks Simpsona
- Zachęcaj do zdrowego sceptycyzmu
Rozdział 4. Platforma i kultura eksperymentowania
- Modele dojrzałości eksperymentów
- Infrastruktura i narzędzia
CZĘŚĆ II . Wybrane zagadnienia dla wszystkich
Rozdział 5. Szybkość ma znaczenie. Całościowe studium przypadku
- Kluczowe założenie: lokalna aproksymacja liniowa
- Jak mierzyć wydajność strony?
- Projekt eksperymentu spowalniającego
- Różne elementy strony mają różny wpływ
- Ekstremalne wyniki
Rozdział 6. Wskaźniki organizacyjne
- Taksonomia wskaźników
- Formułowanie wskaźników - zasady i techniki
- Ocena wskaźników
- Ewolucja wskaźników
- Dodatkowe źródła
Rozdział 7. Wskaźniki dla eksperymentów i ogólne kryterium ewaluacji
- Od wskaźników biznesowych do wskaźników właściwych dla eksperymentów
- Łączenie kluczowych wskaźników w OKE
- Przykład: OKE dla wiadomości e-mail w Amazonie
- Przykład: OKE dla silnika wyszukiwarki Bing
- Prawo Goodharta, prawo Campbella i krytyka Lucasa
Rozdział 8. Pamięć instytucjonalna i metaanaliza
- Czym jest pamięć instytucjonalna?
- Dlaczego pamięć instytucjonalna jest pożyteczna?
Rozdział 9. Etyka w eksperymentach kontrolowanych
- Tło
- Zbieranie danych
- Kultura i procesy
CZĘŚĆ III . Techniki uzupełniające i alternatywne w stosunku do eksperymentów kontrolowanych
Rozdział 10. Techniki uzupełniające
- Przestrzeń technik uzupełniających
- Analiza oparta na logach
- Ludzka ocena
- Badania wrażeń użytkownika
- Grupy fokusowe
- Ankiety
- Zewnętrzne dane
- Wszystko razem
Rozdział 11. Obserwacyjne badania przyczynowe
- Gdy kontrolowane eksperymenty są niemożliwe
- Projekty w przyczynowych badaniach obserwacyjnych
- Pułapki
CZĘŚĆ IV. Zaawansowane zagadnienia związane z budowaniem platformy do eksperymentowania
Rozdział 12. Eksperymenty po stronie klienta
- Różnice między serwerem a klientem
- Implikacje w zakresie eksperymentów
- Podsumowanie
Rozdział 13. Instrumentacja
- Instrumentacja po stronie klienta a instrumentacja po stronie serwera
- Przetwarzanie logów z różnych źródeł
- Kultura instrumentacji
Rozdział 14. Wybór jednostki randomizacji
- Jednostka randomizacji i jednostka analizy
- Randomizacja na poziomie użytkownika
Rozdział 15. Zwiększanie ekspozycji eksperymentu - kompromis między szybkością, jakością i ryzykiem
- Czym jest faza rozbiegowa?
- Model rozbiegowy SQR
- Cztery etapy rozbiegu
- Faza porozbiegowa
Rozdział 16. Skalowanie analizy eksperymentów
- Przetwarzanie danych
- Obliczenia na danych
- Podsumowanie rezultatów i wizualizacje
CZĘŚĆ V. Zaawansowane zagadnienia dotyczące analizy eksperymentów
Rozdział 17. Statystyka kontrolowanych eksperymentów online
- Test t Studenta
- Wartość p i przedział ufności
- Założenie normalności rozkładu
- Błędy typu I i II oraz moc
- Tendencyjność
- Wielokrotne testowanie
- Metaanaliza Fishera
Rozdział 18. Szacowanie wariancji i poprawa czułości - problemy i rozwiązania
- Częste problemy
- Zwiększanie czułości
- Wariancja innych statystyk
Rozdział 19. Testy A/A
- Po co robić testy A/A?
- Jak przeprowadzać testy A/A?
- Gdy test A/A daje negatywny wynik
Rozdział 20. Objęcie eksperymentem i poprawa czułości
- Przykłady objęcia eksperymentem
- Przykład liczbowy (Kohavi, Longbotham i inni, 2009)
- Optymalne i konserwatywne objęcie eksperymentem
- Ogólny efekt eksperymentalny
- Wiarygodne objęcie eksperymentem
- Częste problemy
- Otwarte kwestie
Rozdział 21. Błąd niedopasowania proporcji próby oraz inne wskaźniki ochronne
- Błąd niedopasowania proporcji próbki
- Analizowanie problemów SRM
Rozdział 22. Wyciek informacji i zakłócenia między wariantami
- Przykłady
- Propozycje praktycznych rozwiązań
- Wykrywanie i monitorowanie zakłóceń
Rozdział 23. Mierzenie długofalowego efektu eksperymentalnego
- Czym są efekty długofalowe?
- Powody, dla których efekt eksperymentalny może się różnić krótko- i długofalowo
- Po co mierzyć efekt długofalowy?
- Długotrwałe eksperymenty
- Alternatywne metody długoterminowych eksperymentów
| Kategoria: | Programowanie |
| Zabezpieczenie: |
Watermark
|
| ISBN: | 978-83-289-0764-5 |
| Rozmiar pliku: | 6,4 MB |
