Dlaczego statystyki kłamią - ebook

Są trzy rodzaje kłamstw: kłamstwa, okropne kłamstwa i statystyki.

— Disraeli

Myślenie statystyczne pewnego dnia będzie tak samo potrzebne do bycia skutecznym obywatelem, jak umiejętność czytania i pisania.

— H.G. Wells

W kłopoty wpędzają nas raczej rzeczy, które są po prawdzie inne, niż nam się zdaje, niż rzeczy, o których w ogóle nic nie wiemy.

— Artemus Ward

Zaokrąglone liczby są zawsze fałszywe.

— Samuel Johnson

Przyszło mi pisać na świetny temat , ale boleśnie wręcz odczuwam moją literacką niezdolność do uczynienia go zrozumiałym bez złożenia ofiary z dokładności i precyzji.

— Sir Francis GaltonPODZIĘKOWANIA

Drobne, małe przypadki nieudolności i szykan, którymi ta książka jest usiana, zostały zebrane szeroko i nie bez pomocy. Po moim apelu wystosowanym przez Amerykańskie Stowarzyszenie Statystyczne wielu zawodowych statystyków — którzy, wierzcie mi, ubolewają nad zjawiskiem nadużywania statystyk równie szczerze jak wszyscy inni — podzieliło się ze mną swoimi zbiorami przypadków. Jak sądzę, będą zadowoleni, jeśli pozostawię ich tu bezimiennymi. Znalazłem też cenne okazy w wielu książkach, przede wszystkim: Business Statistics Martina A. Brumbaugha i Lestera S. Kellogga; Gauging Public Opinion Hadleya Cantrila; Graphic Presentation Willarda Cope’a Brintona; Practical Business Statistics autorstwa Fredericka E. Croxtona i Dudleya J. Cowdena; Basic Statistics George’a Simpsona i Fritza Kafki oraz Elementary Statistical Methods Helen M. Walker.

Zapraszamy do zakupu pełnej wersji książkiWSTĘP

„Strasznie duża tu przestępczość”, powiedział mój teść chwilę po przeprowadzce z Iowa do Kalifornii. I w istocie tak było — w gazecie, którą czytał. Akurat takiej, która nie przeoczy żadnego wykroczenia na swoim terenie i znana jest też z tego, że poświęca więcej uwagi morderstwu w Iowa niż tamtejszy główny dziennik.

Wniosek mojego teścia miał charakter statystyczny, choć nieformalny. Oparł go na próbie wyjątkowo tendencyjnej. Podobnie jak wiele innych, bardziej wyrafinowanych statystycznie konkluzji wysnuto go, korzystając z nierelewantnych danych: skutkiem założenia, że ilość miejsca w gazecie poświęconego na opisywanie przestępstw stanowi miarę wskaźnika przestępczości.

Kilka lat temu kilkunastu badaczy niezależnie przedstawiło dane dotyczące pigułek antyhistaminowych. Każdy z nich wykazał, że leczenie nimi skutkowało znaczną liczbą wyleczonych przeziębień. Zaczął się wielki ruch, przynajmniej w reklamach, i nastał boom na produkty farmaceutyczne. Opierał się on na wiecznie żywej nadziei, a także na osobliwej niechęci do tego, by dostrzec, pod warstwą statystyk, znany od dawna fakt. Jak już jakiś czas temu zauważył Henry G. Felsen, humorysta i w żadnym razie autorytet medyczny, katar leczony trwa siedem dni, a nieleczony — tydzień.

Tak jest z wieloma rzeczami, które czytamy i słyszymy. Średnie i zależności, trendy i wykresy nie zawsze są tym, czym się wydają. Może być w nich coś więcej, niż widać na pierwszy rzut oka, ale może też być o wiele mniej.

Sekretny język statystyki, tak pociągający w kulturze hołdującej faktom, używany jest do wywoływania sensacji, podkręcania, dezorientowania czy nadmiernego upraszczania. Metody i terminy statystyczne są niezbędne w raportowaniu masowych danych dotyczących trendów społecznych i gospodarczych, koniunktur, sondaży „opinii”, spisów powszechnych. Ale bez ludzi pióra, którzy posługują się słowem w sposób rzetelny i świadomy, oraz bez czytelników, którzy wiedzą, co słowa te oznaczają, wynik może być jedynie taką czy inną formą semantycznego nonsensu.

W literaturze popularnonaukowej zjawisko nadużywania statystyk niemalże wypiera obraz bohatera w białym kitlu, który siedzi po godzinach w słabo oświetlonym laboratorium, i to bez dodatkowego wynagrodzenia. Podobnie jak „trochę pucu, który nie zaszkodzi”, statystyki sprawiają, że wiele ważnych faktów „wygląda na to, czym nie są”. Dobrze „opakowana” statystyka jest nawet lepsza niż „wielkie kłamstwo” Hitlera: wprowadza w błąd, ale nie można jej do nikogo konkretnego przypisać.

Niniejsza książka stanowi rodzaj elementarza, podstawowego przewodnika po sposobach stosowania statystyki jako narzędzia fałszowania obrazu rzeczywistości. Niewykluczone, że przypomina nawet zbyt dosłownie podręcznik dla oszustów. Na swoje usprawiedliwienie pragnę odwołać się do opublikowanych wspomnień pewnego emerytowanego włamywacza, którego dzienniki mogłyby się przydać na seminarium magisterskim z rozpracowywania zamków i tłumienia kroków: prawdziwym oszustom sztuczki te i tak są już znane, a uczciwemu człowiekowi podobna wiedza może się przydać w celu obrony.

Zapraszamy do zakupu pełnej wersji książki„Przeciętny absolwent Yale rocznik ’24 — zauważył kiedyś magazyn «Time», komentując coś w nowojorskim «Sun» — zarabia 25 111 dolarów rocznie”.

Cóż, na zdrowie!

Ale, moment. Co oznacza ta imponująca liczba? Czy stanowi, jak by się mogło wydawać, dowód na to, że jeśli wyślesz swojego chłopca do Yale, nie będziesz musiał na starość pracować, zresztą on też nie? Dwie rzeczy w tej liczbie wydają się już na pierwszy rzut oka dość dziwne. Jest zaskakująco precyzyjna. Jest też dość nieprawdopodobnie „rzetelna i zdrowa”.

Niezwykle mało prawdopodobne jest, że średni dochód jakiejkolwiek rozproszonej grupy będzie kiedykolwiek znany z dokładnością do dolara. Równie mało prawdopodobne jest to, że znamy aż tak dokładnie swój dochód za ostatni rok, chyba że ten w całości pochodzący z pensji. A dochody w wysokości 25 000 dolarów często nie oznaczają wyłącznie pensji: osoby z tego przedziału posiadają również przemyślnie zdywersyfikowane inwestycje.

Co więcej, ta cudowna średnia jest niewątpliwie obliczona na podstawie kwot, co do których absolwenci Yale przyznali się, że zarobili. Nawet jeśli w New Haven (siedziba uniwersytetu) w 1924 roku obowiązywał jakiś kodeks honorowy, to nie możemy być pewni, że po upływie ćwierć wieku sprawdza się on równie dobrze i że wszystkie te deklaracje są szczere. Niektórzy ludzie pytani o dochody zawyżają je — powodowani próżnością lub swoistym optymizmem. Inni je pomniejszają, zwłaszcza, jak można przypuszczać, w zeznaniach podatkowych. A jak się to już stanie, mogą się wahać, czy przeczyć samemu sobie w kolejnym oświadczeniu. Ostatecznie, kto może wiedzieć, co biorą pod lupę urzędnicy? Możliwe też, że te dwie tendencje — przechwalania się i skromności — wzajemnie się znoszą, ale to mało prawdopodobne. Jedna tendencja może być znacznie silniejsza od drugiej, choć nie wiemy która.

Przyjęliśmy więc do wiadomości liczbę, co do której zdrowy rozsądek podpowiada nam, że raczej nie jest prawdziwa. Przyjrzyjmy się teraz prawdopodobnemu źródłu największego błędu, źródłu, które może wygenerować 25 111 dolarów jako „średni dochód” tych z kolei mężczyzn, których rzeczywisty średni roczny zarobek może być bliższy raczej połowie tej kwoty.

Staje się oczywiste, że próba pominęła dwie grupy, które najprawdopodobniej zaniżają średnią. Powoli zaczyna być jasne, skąd się wzięła kwota 25 111 dolarów. Jeśli jest rzeczywista, to tylko dla tego konkretnego rocznika ’24 i tych spośród grupy, których adresy są znane i którzy są gotowi otwarcie przyznać, ile zarabiają. Nawet to wymaga założenia, że panowie mówią prawdę.

Oto procedura próbkowania dotycząca większości statystyk, na które natykamy się, badając przeróżne tematy. Zasada bazowa jest dość prosta, chociaż jej udoskonalenia w praktyce doprowadziły do różnego rodzaju błędów i wypaczeń, niektórych mniej niż przyzwoitych. Jeśli mamy beczkę fasoli, trochę czerwonej, a trochę białej, jest tylko jeden sposób, aby dokładnie dowiedzieć się, ile jest ziaren w każdym kolorze: trzeba policzyć. Można jednak dowiedzieć się w przybliżeniu, ile jest czerwonych, w znacznie łatwiejszy sposób: wyciągając garść ziaren i przeliczyć tylko te, zakładając, że proporcje będą takie same w całej beczce. Jeśli twoja próbka jest wystarczająco duża i odpowiednio dobrana, będzie dość dobrze reprezentować proporcję ziaren w całej beczce — dla większości potrzeb. Jeśli jednak nie jest, to może być znacznie mniej dokładna niż inteligentne domysły i nie ma nic do zaoferowania poza fałszywą aurą naukowej precyzji. Smutna prawda jest taka, że wnioski z takich prób, czasem stronniczych, czasem zbyt małych — lub jedno i drugie — kryją się za większością tego, co czytamy lub myślimy, że wiemy.

Raport o absolwentach Yale pochodzi z próbki. Możemy być tego prawie pewni, ponieważ rozum podpowiada nam, że nikt nie zdołałby dotrzeć do absolutnie wszystkich żyjących członków rocznika ’24. Na pewno będzie wielu, których adresy są nieznane dwadzieścia pięć lat później.

Dodatkowo, spośród tych, których adresy są znane, wielu w ogóle nie odpowie na ankietę, szczególnie tego typu, czyli dość osobistą. W przypadku niektórych rodzajów kwestionariuszy pocztowych współczynnik odpowiedzi od pięciu do dziesięciu procent uznaje się za dość wysoki. Wprawdzie tutaj wynik powinien być lepszy, ale z pewnością nie będzie to sto procent.

Wiemy już zatem, że wielkość dochodu obliczono, odwołując się do próby złożonej z tych wszystkich członków danej grupy, których adresy są znane i którzy odpowiedzieli na ankietę. Czy jest to próba reprezentatywna? To znaczy, czy można założyć, że grupa ta osiąga dochody porównywalne z grupą niereprezentowaną, czyli zarobkami osób, do których nie udało się dotrzeć lub które nie odpowiedziały na postawione pytania?

Kim są małe zagubione owieczki z listy Yale mieszkające pod „nieznanym adresem”? Czy są to osoby o dużych dochodach — ludzie z Wall Street, dyrektorzy korporacji, szefowie produkcji i kierownicy organów użyteczności publicznej? Nie, jako że zdobycie adresów ludzi bogatych nie jest trudne. Wielu z najlepiej prosperujących członków danej grupy można znaleźć w „Who’s Who in America” i innych wykazach, nawet jeśli nie utrzymują kontaktu z biurem ds. absolwentów. Można się domyślać, że zagubione nazwiska należą do mężczyzn, którzy po około dwudziestu pięciu latach od uzyskania tytułu licencjata w Yale nie realizują jakiejś specjalnie świetlanej kariery. To urzędnicy, mechanicy, włóczędzy, bezrobotni alkoholicy, żyjący z dnia na dzień pisarze i artyści... Ludzie, którzy musieliby w sześciu i więcej składać się na dochód w wysokości 25 111 dolarów. A tacy nie meldują się zbyt często na klasowych zjazdach, choćby dlatego, że nie stać ich na przejazd.

Zatem kim są ci, którzy wrzucili kwestionariusz do najbliższego kosza na śmieci? Nie możemy być tego całkowicie pewni, ale przynajmniej można się domyślać, że wielu z nich po prostu nie zarabia wystarczająco dużo, by było się czym pochwalić. Przypominają trochę faceta, który znalazł notatkę przypiętą do pierwszego czeku z wypłatą, sugerującą, że kwota jego pensji uznawana jest za poufną i nie stanowi przedmiotu wymiany informacji. „Spokojna głowa” — powiedział szefowi. „Wstydzę się tak samo jak ty”.

Staje się jasne, że próba pominęła już dwie grupy, które najprawdopodobniej zaniżają średnią. Liczba 25 111 dolarów jest bardziej zrozumiała. Jeśli jest prawdziwa, to tylko dla tych konkretnych przedstawicieli rocznika ’24, których adresy są znane i którzy są gotowi wyznać, ile zarabiają. Jednak nawet i to wymaga założenia, że pytani mówią prawdę.

Takiego założenia nie należy lekceważyć. Doświadczenie z jednego rodzaju badań wyrywkowych — zwanych badaniami rynkowymi — sugeruje, że właściwie nigdy nie należy go w ogóle robić. Kiedyś przeprowadzono ankietę „od domu do domu”, której celem było zbadanie czytelnictwa czasopism. Kluczowe pytanie brzmiało: Jakie czasopisma czytacie w swoim gospodarstwie domowym? Po zestawieniu i przeanalizowaniu wyników okazało się, że bardzo wielu ludzi kocha „Harper’s”, a niewielu czyta „True Story”. Teraz po świecie krążyły dane wydawców, z których wyraźnie wynikało, że „True Story” ma miliony nakładu, podczas gdy „Harper’s” zaledwie setki tysięcy. Być może postawiliśmy pytania niewłaściwym ludziom, stwierdzili autorzy ankiety. Ale nie, pytania zadawano w różnych regionach, w całym kraju. Jedyny sensowny wniosek, jaki się nasuwał, to taki, że spora część respondentów, jak nazywa się osoby odpowiadające na takie pytania, nie powiedziała prawdy. Kwestionariusz wykazał jedynie poziom snobizmu.

W końcu okazało się, że jeśli chcesz wiedzieć, co czytają pewne osoby, nie ma sensu ich pytać. Można się dowiedzieć znacznie więcej, wchodząc do ich domów i mówiąc, że skupuje się stare czasopisma. Czy mają coś na zbyciu? Potem wystarczy policzyć egzemplarze starych „Yale Reviews” i „Love Romances”. Ale nawet i ten wątpliwy zabieg nie wyjaśni w sposób oczywisty, co ludzie czytają. Wskaże tylko, co trafiło do ich domu.

Podobnie, gdy następnym razem przeczytasz gdzieś, że przeciętny Amerykanin (w dzisiejszych czasach wiele się o nim słyszy na ogół mało prawdopodobnych informacji) myje zęby 1,02 razy dziennie — liczba, którą właśnie wymyśliłem, ale może równie właściwa jak podana przez kogoś innego — zadaj sobie kilka pytań. Jak ktoś mógł się o tym dowiedzieć? Czy kobieta, która naczytała się w niezliczonych reklamach, że osoby, które nie szczotkują zębów, są społecznymi szkodnikami, wyzna komuś nieznajomemu, że nie myje regularnie zębów? Ta statystyka może mieć znaczenie dla kogoś, kto chce tylko wiedzieć, co ludzie mówią o szczotkowaniu zębów, ale nie mówi wiele o częstotliwości przykładania włosia do siekaczy.

Mówi się, że rzeka nie może wznieść się ponad swoje źródło. Cóż, może się jednak wydawać, że tak jest, jeśli gdzieś w pobliżu znajduje się ukryta przepompownia. Równie prawdziwe jest to, że wynik próbkowania nie jest lepszy niż sama próba, na której się opiera. Zanim dane zostaną przefiltrowane przez warstwy manipulacji statystycznych i zredukowane do średniej z jednym miejscem po przecinku, wynik zaczyna otaczać aura zwątpienia — przeczucie, że bliższe spojrzenie sporo zaneguje.

Czy wczesne wykrycie raka ratuje życie? Prawdopodobnie. Ale z liczb powszechnie używanych do udowodnienia tej tezy trudno wyciągnąć podobny wniosek. Chodzi o zapisy z Connecticut Tumor Registry, sięgające roku 1935, które wydają się wykazywać znaczny wzrost pięcioletniego wskaźnika przeżycia w latach od 1935 do 1941 roku. Jednak gwoli ścisłości, zapisy zaczęto sporządzać w 1941 roku, a wszystkie wcześniejsze dane uzyskano przez sięganie od tego punktu wstecz. W tym czasie wielu pacjentów opuściło stan Connecticut i nie można było dowiedzieć się, czy wciąż żyją, czy też zmarli. Według badacza danych medycznych Leonarda Engela badanie przy wyjściu z takiej pozycji „wystarczy, aby uwzględnić niemal wszystkie przypadki wskazujące na powszechnie uznaną poprawę wskaźnika przeżycia”.

Raport mający rzeczywistą wartość — oparty na próbkowaniu — musi korzystać z próby reprezentatywnej, czyli pozbawionej wszelkiej nieobiektywności czy tendencyjności. Pod tym względem nasze dane z Yale okazują się kompletnie bezwartościowe. Podobnie jak wiele informacji, które można wyczytać w gazetach i czasopismach, są inherentnie pozbawione rzeczywistego znaczenia.

Pewien psychiatra doniósł kiedyś, że prawie wszyscy są neurotyczni. Pomijając fakt, że takie zastosowanie określenia „neurotyczny” kompletnie dewaluuje jego znaczenie, przyjrzyjmy się „próbce” człowieka. Czyli, kogo obserwował psychiatra? Okazuje się, że doszedł do tego budującego wniosku, badając własnych pacjentów, którym bardzo daleko do bycia próbą uśrednionej populacji. Gdyby owi ludzie byli zwyczajnymi osobami, nasz psychiatra nigdy by ich nie spotkał.

Wystarczy, że spojrzysz drugi raz na to, co czytasz, a może uda ci się uniknąć przyswojenia wielu rzeczy takich, jakie w gruncie rzeczy nie są.

Warto również pamiętać, że niezawodność próbki może zostać równie łatwo zniszczona przez niewidoczne źródła błędu, jak i przez te widoczne. Oznacza to, że nawet jeśli nie możesz znaleźć źródła „skrzywienia”, pozwól sobie na pewien stopień sceptycyzmu co do wyników, jeśli w ogóle istnieje możliwość wystąpienia stronniczości. Zawsze istnieje. Wystarczyłoby przyjrzeć się wyborom prezydenckim z 1948 i 1952 roku, by to udowodnić, jeśli ktoś miałby jeszcze jakieś wątpliwości.

Dalsze dowody sięgają roku 1936 i słynnego fiaska „Literary Digest”. Dziesięć milionów abonentów telefonicznych i subskrybentów „Digest”, którzy zapewniali redaktorów skazanego na zagładę magazynu, że będzie to odpowiednio: Landon 370, Roosevelt 161, pochodziło z listy, która dokładnie przewidziała wyniki wyborów w 1932 roku. Jak może być „spaczona” próba, która tak doskonale się już sprawdziła? Oczywiście, że może, i to poważnie — jak wykazały post factum teorie uniwersyteckie i inne sekcje zwłok: ludzie, których było stać na abonamet telefoniczny i prenumeratę czasopism w 1936 roku, nie stanowili przekroju wyborców. Z ekonomicznego punktu widzenia byli to ludzie szczególnego rodzaju, próba stronnicza, a mianowicie naszpikowana elektoratem republikańskim. Próba wybrała Landona, ale ogół wyborców myślał inaczej.

Podstawowa próba to próba „losowa”. Jest ona wybierana na zasadzie czystego przypadku z „uniwersum”, przez które statystyka rozumie całość, której częścią jest próba. Co dziesiąte nazwisko jest wyciągane z różnych kartotek. Pięćdziesiąt kartek wyjęto „z kapelusza”. Zagadywana jest co dwudziesta osoba spotkana na głównej ulicy. (Ale należy pamiętać, że ta ostatnia nie jest próbą populacji świata, Stanów Zjednoczonych czy San Francisco, lecz tylko ludzi z głównej ulicy znajdujących się na niej w danym czasie. Jedna z ankieterek w sondażu powiedziała, że swoich respondentów szukała na stacji kolejowej, ponieważ „na stacji można znaleźć wszelkiego rodzaju ludzi”. Trzeba jej było uświadomić, że na przykład matki małych dzieci mogą być tam niedoreprezentowane).

Zapraszamy do zakupu pełnej wersji książki