Liczby które kłamią - ebook

PRZEDMOWA DO POLSKIEGO WYDANIA

Kto nigdy nie pomylił się w liczeniu procentów przy półce z promocjami w Tesco, niech pierwszy rzuci kalkulatorem. Moim ulubionym człowiekiem na całym świecie jest dziewczyna, która mnożyła pewną wartość przez 1. Pisemnie. I w słupku. Opowiadała mi o tym ze śmiechem i bardzo dobrze – to normalne, że czasem popełniamy błędy. Już i tak zdecydowanie zbyt wiele ludzi boi się liczb, choć wciąż jest to mniejsza grupa niż ta, która drży na widok clownów – do tego strachu przyznaje się 42 procent Amerykanów i ta statystyka nie jest zmyślona, odwrotnie niż wiele danych, gazetowych nagłówków i odkryć amerykańskich naukowych przytoczonych w tej książce. Przytoczonych po to, by nas uczulić na manipulację i nauczyć, w jaki sposób radzić sobie z przebiegłymi rodzynkami powtykanymi w ten sernik doniesień naukowych. Jest bowiem tak: gdybym dostawała jedną kromkę suchego chleba za każdym razem, gdy ktoś prowadzi politykę nienawiści względem matematyki poprzez przytoczenie tego przezabawnego cytatu o tym, że „istnieją trzy rodzaje kłamstw na tym świecie: kłamstwa, cholerne kłamstwa i statystyki”, to już dawno mogłabym owymi kromkami obdzielić wszystkie konie w Europie, wliczając w to te, które stoją pod moimi drzwiami, zachęcone powszechnością rzucanych przeze mnie sucharów. Musicie mi wybaczyć – muszę sobie jakoś radzić z tym dojmującym uczuciem rozpaczy, które sprawia, że serce mam dziurawe niczym gouda, a które pojawia się za każdym razem, gdy słyszę powyższy cytat lub podobne mu zwiędłe bratki w ogrodzie logiki. Albowiem statystyki nie kłamią – to ludzie kłamią na temat statystyk. Często celowo.

A wiecie, kto nie jest liczbowym kłamczuszkiem? Mątwy. A także psy, niedźwiedzie, muszki owocówki, kaczuszki i inne zwierzęta, które – jak udowodniono w licznych badaniach naukowych – potrafią liczyć. Ewolucyjnie to ma bardzo wiele sensu – to ważne, by taka mątwa wiedziała, gdzie bardziej opłaca jej się podpłynąć i czy do grupy dwóch krewetek, czy czterech. Wiemy też co nieco o zmyśle matematycznym (ang. Numer sense) u dzieci – okazuje się, że już sześciomiesięczne niemowlaki nie dadzą się oszukać na liczbie pokazywanych im zabawek. Inne badania na dzieciach w różnym wieku również udowadniają, że zmysł matematyczny jest w nas obecny od urodzenia i niezależny od rozwoju języka. To oznacza, że wbrew powszechnej opinii nie ma ludzi, którzy stają się przekłutym balonikiem, gdy tylko zetną się ze statystycznym jeżozwierzem. Osobiście uważam, że nie ma głąbów matematycznych – są tylko źli nauczyciele.

Na szczęście Hugh Barker do tych złych nauczycieli nie należy. Wyczerpująco przeprowadza nas przez sposoby, w jakie media, politycy i wiele innych osób nadużywają statystyk i oszukują za ich pomocą, jak również uczy, jak nie dać się nabrać nierzetelnym doniesieniom opartym na danych. To gotowa instrukcja krytycznego myślenia, które w erze fake newsów i postprawdy jest jeszcze ważniejsze niż kiedykolwiek wcześniej. Fałszywe statystyki i zmanipulowane liczby czają się na nas jak wąż w pomidorach i atakują znienacka – to zła wiadomość. Dobra: po lekturze tej książki będziecie wiedzieć, jak się przed nimi bronić. Książka Hugh Bakera jest gorzką pigułką wiedzy ukrytą w smacznym pasztecie literatury – doceniłyby to wszystkie labradory tego świata i jestem przekonana, że Wy, Czytelnicy tej książki, też.

Janina BąkROZDZIAŁ 1
KŁAMCZUCHY (I POLITYCY)

PAMIĘTAJ, ŻE 73,6 PROCENT STATYSTYK JEST ZMYŚLONE

Najprostszym sposobem kłamania z wykorzystaniem liczb jest po prostu zmyślanie. Politycy robią to na okrągło, zwłaszcza gdy akurat nie wiedzą, co powiedzieć. Żyjemy w epoce postprawdy, w której kłamstwo tak bezczelne, że wszyscy o tym wiedzą, stało się celem samym w sobie. W wielu krajach podziały polityczne pogłębiły się do tego stopnia, że polityk będzie zbierał pochwały od swoich zwolenników bez względu na to, czy mówi prawdę, czy nie. Nie będzie miało znaczenia, jak skutecznie „druga strona” wytyka mu oczywiste kłamstwa. Zwolennicy tego pierwszego będą go wręcz dopingować, by kłamał dalej.

Co oczywiste, niektóre kłamstwa i przeinaczenia polityków łatwiej jest dostrzec, inne są lepiej zawoalowane. Reputacja polityków jako ludzi prawdomównych jest obecnie rekordowo niska, warto więc zapewne zacząć od przyjrzenia się sposobom służącym im do niewłaściwego wykorzystywania liczb i statystyk.

NA PIERWSZE STRONY GAZET

Przedsiębiorca Mark Suster opowiada o tym, jak otrzymał zestawy prognoz dotyczących rozmiarów rynków telefonii komórkowej w różnych krajach świata. Wszystkie prognozy przewidywały stabilny wzrost w kolejnych latach, ale poszczególne zestawy tak bardzo różniły się między sobą, że Suster zaczął zachodzić w głowę, skąd firmy badawcze wzięły te dane. Postanowił zapytać je o zastosowaną metodologię.

Pierwszym analitykiem danych, z którym się skontaktował, okazał się być 24-latek, który otwarcie przyznał, że gonił go termin. „Szef powiedział, że mam wziąć średnią stopę wzrostu z trzech ostatnich lat i podbić ją o 2 punkty procentowe, ponieważ penetracja rynku telefonii komórkowej rośnie”.

Suster otrzymał podobne odpowiedzi od innych konsultantów. Od wszystkich uzyskał potwierdzenie, że prognozowali stabilny wzrost, ponieważ „nikt nie kupuje raportów, z których wynika, że w przyszłym roku wydarzy się to samo, co wydarzyło się przed rokiem”.

Gdy badacze przekazują swoje ustalenia dziennikarzom, ten sam efekt ulega dodatkowemu wzmocnieniu – najbardziej atrakcyjne są te artykuły, które zawierają najbardziej porywające doniesienia. „Rynek telefonii komórkowej w ciągu pięciu lat urośnie dwukrotnie” to znacznie bardziej atrakcyjny nagłówek niż „W najbliższym roku na rynku telefonii komórkowej nic się nie zmieni”.

Zanim zaczniesz się zastanawiać, jak ktoś posługuje się danymi i w jaki sposób je przedstawia, powinieneś się zastanowić, kto te dane stworzył, czym się kierował, na jak dużej próbie pracował i na ile rzetelnych użył metod. Statystyki mają to do siebie, że zaczynają żyć własnym życiem, zwłaszcza w dzisiejszych czasach, w których tak dużą rolę odgrywają media społecznościowe. Dzisiaj wygląda to tak, że melodramatyczna zgadywanka skacowanego 24-letniego konsultanta może już za tydzień trafić na pierwsze strony tabloidów. Mam tu na myśli te same tabloidy, które donoszą: „Czerwone wino o 80% groźniejsze niż kokaina”, by dwa tygodnie później informować: „Czerwone wino może pomagać w walce z demencją”.

Dla mediów jeszcze atrakcyjniejsze mogą okazać się doniesienia, które są całkowicie zmyślone. W listopadzie 2013 roku w wiadomościach wielu stacji telewizyjnych informowano, że Samsung wypłacił firmie Apple 1 miliard dolarów zasądzonej kary w postaci 20 miliardów pięciocentówek. Gdyby ktoś z reporterów zadał sobie trud sprawdzenia tych liczb, doszedłby do wniosku, że wymagałoby to użycia wszystkich monet o tym nominale, jakie znajdują się w obiegu. Wtedy może sprawdziłby źródło informacji i stwierdził, że była to celowa podpucha wrzucona do sieci.

Zapamiętaj: Nie wszystkie statystyki są zmyślone, ale często to właśnie te zmyślone najlepiej nadają się na newsa.

LICZBY POTIOMKINOWSKIE

Bez względu na to, czy sztukę manipulacji poznaje się w salach dyskusyjnych w Eton, w agencji reklamowej, czy przyglądając się, jak wujek oszust próbuje oskubać staruszki z ich oszczędności, prędzej czy później człowiek przekonuje się, jak potężnym narzędziem może być liczba wzięta z kapelusza.

Charles Seife w swojej znakomitej książce Proofiness nazywa tego rodzaju lewe dane liczbami potiomkinowskimi, od rosyjskiego szlachcica Grigorija Potiomkina, który nad brzegami Dniepru budował fałszywe wioski, by przekonać carycę Katarzynę II, że jego projekt zagospodarowania tych obszarów jest bardziej zaawansowany, niż był w rzeczywistości. Dwuwymiarowe makiety były z dnia na dzień pakowane i transportowane w dół rzeki, by cesarzowa znów mogła dać się na nie nabrać.

Seife podaje przykład senatora Joe McCarthy’ego, który chciał zwrócić uwagę mediów i Kongresu na swoją histeryczną krucjatę antykomunistyczną. Stanął zatem przed kamerami i pomachał plikiem kartek, informując wszem i wobec, że zawierają one nazwiska 205 znanych mu komunistów. Tydzień później posłużył się tą samą sztuczką, tym razem twierdząc, że ma na swojej liście 207 nazwisk, w piśmie skierowanym do prezydenta Trumana utrzymywał, że ma nazwiska 57 „komuchów”. Wszystkie te zapewnienia nie miały nic wspólnego z prawdą. McCarthy chciał po prostu zastraszyć swoich wrogów i zyskać poparcie dla rozpętanego polowania na czarownice, co zresztą całkiem mu się udało (przynajmniej na jakiś czas).

Po atakach na WTC z 11 września 2001 roku przez lata krążyła w sieci historia Daisy, suczki rasy golden retriever, która uratowała z płonącego budynku swojego niewidomego właściciela. Potem miała wracać do biurowca jeszcze kilkukrotnie, by wyprowadzić kolejne grupy ludzi. Daisy miała rzekomo uratować 300 osób za pierwszy razem, w drugiej turze miała wyprowadzić 392 osoby, a w trzeciej kolejne 273 osoby. Na koniec miała cudownie uciec z walącego się budynku. Była wymęczona, nawdychała się dymu, ale poza tym nic się jej nie stało.

Historia ta jest niezwykle wzruszająca, ale kompletnie nieprawdziwa. Tego dnia w budynku pracowało dwóch mężczyzn, którzy zostali wyprowadzeni przez swoich psich przewodników. Michael Hingson wydostał się z 78 piętra dzięki pomocy swego psa Roselle, a Omar Rivera uciekł z 71 piętra, a jego przewodnikiem był pies Salty. Żaden z tych dwóch psów nie wracał do budynku, by ratować kolejne osoby.

Sceptycznie nastawiony czytelnik powinien zwrócić uwagę na kilka rzeczy mogących sugerować, że historia ta jest nieprawdziwa. Pierwszą z nich są podejrzanie precyzyjne liczby. Nikt nie ma chyba wątpliwości, że w tym jakże chaotycznym dniu nie było nikogo, kto stałby u podnóża budynku z kartką na podkładce i liczył, że bohaterski pies wyprowadził 273 albo 392 osoby. To są po prostu liczby potiomkinowskie, które podano tylko po to, by nadać tej historii aurę prawdziwości i uczynić ją jeszcze bardziej sentymentalną.

Zapamiętaj: Gdy znów będziesz czytał o bohaterskim psie dysponującym supermocą, zastanów się, czy aby podane dane nie wydają się zmyślone.

LICZBY MASKOWE

Okazuje się, że liczby z kapelusza często nie wystarczają do przekonania odbiorców. Jeżeli komuś zależy na nieco większej wiarygodności, może sięgnąć po liczby maskowe. Określenia tego po raz pierwszy użył słynny matematyk Carl Friedrich Gauss, gdy jego nowy lokator poinformował go, że czynsz za wynajmowane mieszkanie będzie wynosił 20 florenów tygodniowo. Nie wspomniał jednak, że jest to kwota podstawowa, do której zamierza doliczyć 5 florenów tygodniowo z tytułu konserwacji, 5 florenów tygodniowo z tytułu kosztów obsługi oraz 5 florenów tygodniowo na ewentualne „awarie”. Łącznie dawało to 35 florenów tygodniowo…

No dobra, znowu kłamię. Nie mam pojęcia, ile mógł wynosić czynsz płacony przez Gaussa ani w jakiej walucie mógł być pobierany. Po prostu wymyśliłem właśnie przykład, bardzo luźno nawiązujący do tego, jak kształtują się moje roczne koszty wynajmu nieruchomości. „Liczba maskowa” to termin, który też właśnie wymyśliłem. Chciałem nazwać jakoś liczbę, która jest prawdziwa, ale która zostaje celowo ukryta pod czymś zupełnie innym – trochę jak ktoś, kto idzie na bal maskowy, kryjąc się właśnie pod maską i przebraniem.

Znakomity, dość aktualny przykład pochodzi z referendum w sprawie brexitu z 2016 roku. Jeżdżący po Wielkiej Brytanii autokar promujący głosowanie za wyjściem z Unii Europejskiej miał na boku wielki napis: „Wysyłamy UE 350 milionów funtów tygodniowo. Lepiej dofinansujmy NHS”. Brytyjczycy są niezwykle dumni ze swojej służby zdrowia (NHS), jednocześnie mają jednak świadomość, jak istotnie jest ona niedofinansowana, dlatego to przesłanie okazało się bardzo skuteczne. Dominic Cummings, szef kampanii na rzecz wyjścia z UE, właśnie temu sloganowi przypisywał fakt przeciągnięcia brytyjskiej opinii publicznej na stronę brexitowców (za wyjściem z Unii zagłosowało 52 procent uczestników referendum). Hasło to było wielokrotnie powtarzane przez aktywistów tego ruchu, w tym przez samego Borisa Johnsona, zarówno przed referendum, jak i już po jego przeprowadzeniu.

W porządku, tylko czy ma ono cokolwiek wspólnego z prawdą?

Cóż, jakieś drobne ziarno prawdy w nim jest. Owszem, prawdą jest, że Wielka Brytania powinna wpłacać do unijnej kasy 17 miliardów funtów rocznie, co daje około 350 milionów funtów tygodniowo. To jest ta prawdziwa kwota kryjąca się za maską.

W rzeczywistości jednak Wielka Brytania nigdy faktycznie nie oddawała Unii takich kwot. Po pierwsze, należy uwzględnić wynegocjowany brytyjski rabat w wysokości 4 miliardów funtów rocznie. Obniża on całkowitą kwotę do 13 miliardów funtów rocznie, czyli około 250 milionów funtów tygodniowo. Na początek wyobraź sobie zatem, że idziesz na zakupy do supermarketu i wybierasz wyłącznie produkty z promocji „3 w cenie 2”. Przy teoretycznej wartości produktów wynoszącej 150 funtów po zastosowaniu rabatów zapłaciłbyś w kasie 100 funtów. Autobus jeżdżący po Wielkiej Brytanii twierdził, że płacisz za zakupy 150 funtów, gdy ewidentnie tak nie jest.

Oprócz tego Wielka Brytania otrzymywała środki unijne na pomoc dla terenów dotkniętych ubóstwem, wsparcie dla rolnictwa itd. na łączną kwotę kolejnych 4 miliardów funtów, co powodowało, że brytyjski wkład netto na rzecz UE wynosił około 9 miliardów funtów rocznie, czyli około 175 milionów funtów tygodniowo.

Oczywiście w chwili pisania tego tekstu (od referendum minęły już trzy lata, a cały proces nie został jeszcze doprowadzony do końca) obie strony sporu politycznego mogą formułować najróżniejszej maści dodatkowe argumenty. Brexitowcy mogą twierdzić, że po wyjściu z UE Wielka Brytania uzyska korzyści finansowe w innych obszarach. Zwolennicy pozostania w Unii mogą twierdzić, że obecnie nasze członkostwo we wspólnocie przynosi nam korzyści gospodarcze, których eliminacja spowoduje wzrost kosztów tej decyzji. Mogą również twierdzić, że oryginalne hasło z autokaru zawierało jeszcze jedno nieuprawnione założenie, że każdy funt, który nie trafi do UE, zostanie przeznaczony na NHS.

Dyskusję tę można ciągnąć do momentu, w którym wszyscy będziemy mieć nadzieję, że już nigdy więcej nie usłyszymy słowa „brexit”.

Te wszystkie argumenty nie dotyczą jednak podstawowej kwestii, czyli podanej kwoty, którą przed referendum Wielka Brytania co tydzień przekazywała rzekomo Unii Europejskiej. Jeżeli o to chodzi, mieliśmy do czynienia z prawdziwą wartością, ale bardzo intensywnie zamaskowaną, by była bardziej przekonująca. To istotna kwestia. Co prawda brytyjski urząd statystyczny, UK Statistics Authority, wielokrotnie nazywał je „mylącym”, to jednak hasło to było wielokrotnie przytaczane. W 2018 roku, dwa lata po referendum, przeprowadzono badania, z których wynikało, że 42 procent ankietowanych znających to hasło uważa je za prawdziwe, 36 procent uważa je za nieprawdziwe, a 22 procent nie wie, co ma o tym myśleć.

Innymi słowy, dwie trzecie osób, które zetknęły się z tym hasłem, uznało je za prawdziwe lub potencjalnie prawdziwe, pomimo że wielokrotnie wykazywano jego nieprawdziwość.

Właśnie dlatego wielkie i proste kłamstwa są bardzo niebezpieczne.

Zapamiętaj: Kłamstwo rozchodzi się znacznie szybciej i dalej niż prawda.

CZY MY W OGÓLE CHCEMY ZNAĆ PRAWDĘ?

To pytanie na pierwszy rzut oka wydaje się dziwne, powinieneś się jednak zastanowić, czego oczekujesz od konkretnych danych – prawdy czy potwierdzenia. Pamiętaj, że przyszło nam żyć w świecie fake newsów i serwisów społecznościowych, co oznacza, że to, jakie otrzymasz informacje, częstokroć zależy od tego, jakie źródło informacji wybierzesz.

Dan Kahan, profesor kognitywistyki z Yale, omawia zagadnienie motywowanego posługiwania się liczbami. Zaprojektował eksperyment, który zaczynał się od poddania uczestników testowi kompetencji matematycznych. Do tego testu, mającego określić poziom umiejętności matematycznych, dołączył ankietę badającą podstawowe przekonania polityczne. Następnie dał im do rozwiązania problem logiczny – mieli zapoznać się ze zbiorem danych i zadecydować, czy pewien fikcyjny krem do pielęgnacji skóry jest skuteczny.

Problem był umiarkowanie trudny i należał do kategorii tych, które mają właściwe rozwiązanie. Wyniki były zgodne z oczekiwaniami. Uczestnicy o najwyższym poziomie kompetencji matematycznych najczęściej udzielali prawidłowej odpowiedzi, uczestnicy o niższym poziomie tych kompetencji robili to rzadziej.

Następnie profesor Kahan dał uczestnikom drugi problem, sprytnie sformułowany w dokładnie taki sam sposób jak ten pierwszy, tym razem jednak pytanie dotyczyło tego, czy zdaniem uczestników prawo zakazujące noszenia ukrytej broni palnej w miejscach publicznych poskutkuje wzrostem, czy spadkiem przestępczości. Tym razem rezultaty były istotnie inne. Nie zaobserwowano większej częstotliwości występowania prawidłowych odpowiedzi w grupie o najwyższym poziomie kompetencji matematycznych – udzielane odpowiedzi rozkładały się zgodnie z poglądami politycznymi uczestników eksperymentu. Osoby skłaniające się ku poglądowi, że ograniczanie dostępu do broni palnej jest słuszne, uważały, że przestępczość spadnie, natomiast uczestnicy z grupy o odwrotnym poglądzie na tę sprawę interpretowali dane odwrotnie.

Naprawdę ciekawe jest natomiast to, że poziom kompetencji matematycznych nie miał niemal żadnego wpływu na udzielanie poprawnych odpowiedzi. Uczestnicy o najwyższym poziomie tych kompetencji podawali błędną odpowiedź tak samo często jak uczestnicy o najniższym poziomie tych umiejętności.

Eksperyment powtórzyli następnie naukowcy z Australii, którzy nie posłużyli się jednak problemem ograniczania dostępu do broni palnej, zapytali natomiast, czy zamknięcie lokalnej elektrowni opalanej węglem przyczyni się do zmniejszenia emisji dwutlenku węgla w regionie. W tym przypadku okazało się, że wyborcy Green Party częściej skłaniali się ku przewidywaniu faktycznego spadku emisji niż wyborcy One Nation (podkreślam, że w Australii jest to kwestia szczególnie kontrowersyjna, ponieważ cały czas zwiększa się tam wydobycie węgla, choć emisja dwutlenku węgla jest uważana za bezpośredni czynnik szkodzący Wielkiej Rafie Koralowej, a ponadto wiele osób uważa, że globalne ocieplenie przyczynia się do częstszych pożarów buszu). Także w tym przypadku okazało się, że poziom kompetencji matematycznych nie ma większego znaczenia dla udzielania prawidłowej odpowiedzi.

Postanowiłem trochę się rozerwać i samemu też przeprowadzić niewielki eksperyment. Należę do dużej amerykańskiej rodziny, w której część głosuje na Trumpa, a część nie może na niego patrzeć. Zastanawiałem się, czy jeśli uprzedzę ludzi o celach prowadzonego eksperymentu, osiągnę inne wyniki. Poinformowałem ich zatem z wyprzedzeniem, że piszę książkę o niewłaściwym posługiwaniu się statystykami i interesuje mnie to, czy rozwiązania przykładowego problemu będą zależeć od poglądów politycznych. Podałem uczestnikom mojego eksperymentu fikcyjne dane na temat produktu krajowego brutto Stanów Zjednoczonych w latach 2017, 2018 i 2019 na poziomie 100 bilionów, 101 bilionów i 102 biliony dolarów. Potem poprosiłem, żeby sporządzili prognozę PKB na 2020 rok.

Oczywiście w tym przypadku nie ma mowy o „prawidłowej” odpowiedzi. Zwykła ekstrapolacja trendu prowadzi do wniosku, że w 2022 roku PKB USA wyniesie 103 biliony dolarów. Gospodarka jednak to niezwykle skomplikowany obszar i to po prostu nie są wystarczające dane, aby formułować sensowne prognozy. Mimo to przyjąłem, że 103 biliony dolarów będą odpowiedzią neutralną.

Okazało się, że każdy zwolennik Trumpa podał kwotę wyższą niż 103 biliony dolarów, a każdy przeciwnik prezydenta podał wartość niższą. Jedynym wyjątkiem był mój kuzyn, niegdysiejszy republikanin, który do tego stopnia rozczarował się Trumpem, że przestał interesować się polityką. Być może właśnie dlatego on po prostu spojrzał na dane i powiedział, że logicznym byłoby założyć ten sam wzrost na kolejny rok.

Mam świadomość, że była to niewielka grupa, a ja nie sprawdziłem kompetencji matematycznych mojej rodziny, ale i tak eksperyment ten pokazuje, z jakimi uprzedzeniami podchodzimy do interpretacji danych liczbowych. Okazuje się, że bardzo trudno jest nam obiektywnie podchodzić do spraw, w których mamy zdecydowane zdanie.

Moim zdaniem wynika to z dysonansu poznawczego. Chodzi o pewien psychiczny dyskomfort w kontakcie z dwoma rzeczami, które wydają się logicznie nie do pogodzenia. W takiej sytuacji często odrzucamy to z dwóch przekonań, do którego jesteśmy mniej przywiązani. Gdy chodzi o kwestie neutralne, jak skuteczność kremu do pielęgnacji skóry, kierujemy się zdrowym rozsądkiem i potrafimy wskazać poprawną odpowiedź. Kiedy jednak chodzi o dane, które kłócą się z naszymi głębokimi przekonaniami politycznymi, często odrzucamy zdrowy rozsądek i sięgamy po te odpowiedzi, które potwierdzają nasze przekonania. Z tą psychologiczną skłonnością trudno jest wygrać, możemy jednak przynajmniej przyznać się sami przed sobą, że nie zawsze postępujemy tak racjonalnie, jak się nam wydaje – zwłaszcza w kontekście zagadnień, które są dla nas ważne.

Trzeba chyba jednak podkreślić, że właśnie dzięki takim cechom jesteśmy ludźmi: mamy zdecydowane zdanie w różnych kwestiach, odczuwamy emocje i mamy przekonania. Niestety powoduje to również, że gdy trzeba interpretować dane, zachowujemy się czasami nad wyraz nieracjonalnie.

Zapamiętaj: Jak śpiewał Dean Friedman, możemy podziękować swym szczęśliwym gwiazdom, że nie jesteśmy tak mądrzy, jak nam się wydaje.

NIEŁATWA SZTUKA DYSESTYMACJI

Kolejnym przydatnym terminem wprowadzonym przez Charlesa Seife’a jest dysestymacja, co oznacza wnioskowanie na podstawie zbioru danych, które w najlepszym razie dają nam mętny obraz rzeczywistości. Seife posłużył się tym terminem w odniesieniu do badania ankietowego przeprowadzonego w 2010 roku przez Pew Forum on Religion and Public Life. Na podstawie wyników tego badania napisano artykuły, z których tytułów dowiadywaliśmy się, że „ateiści wiedzą o religii więcej niż wierzący”. Okazało się, że w ankiecie ateiści i agnostycy (w ujęciu średnim) poprawnie odpowiedzieli na więcej pytań niż osoby wierzące.

Opinię Seife’a na temat błędów tego wnioskowania przedstawię za chwilę. Wydaje mi się, że warto zacząć od przyjrzenia się odpowiedzi na te doniesienia, jaką zaraz po ich publikacji na stronie internetowej serwisu Fox News zamieścił Bret Feiler. Wydaje mi się, że wszyscy zgadzamy się, iż Fox News stoi na straży wartości konserwatywnych, tradycyjnych i religijnych, więc przyjmę tutaj założenie, że celem dziennikarza tej stacji było zdyskredytowanie przeprowadzonego badania.

Artykuł Feilera nosi tytuł We Didn’t Flunk the Religion Test – 4 Important Truths About Americans and God (Nie oblaliśmy sprawdzianu z religii – cztery istotne fakty o Amerykanach i Bogu). Autor analizuje tam dane liczbowe i stara się w ten sposób wykazać, że wnioski przypisujące ateistom większą wiedzę na temat religii są błędne.

Na początek Feiler stwierdził, że ogólny poziom wiedzy uczestników badania jest dość niski, bo tylko 59 procent badanych umiało podać nazwisko aktualnego wiceprezydenta Stanów Zjednoczonych, tyle samo badanych umiało powiedzieć, co to jest antybiotyk. 63 procent potrafiło podać tytuł pierwszej księgi z Biblii, a 68 procent wiedziało, że Konstytucja Stanów Zjednoczonych zabrania instytucjonalizacji religii przez państwo. Tylko 59 procent ankietowanych wiedziało, że ich wiceprezydentem był wówczas Joe Biden, tyle samo umiało wskazać Koran jako świętą księgę islamu.

Feiler wyciągnął z tego dość wątpliwy wniosek (w końcu wszystkie podane wyżej odsetki znajdują się na podobnym poziomie), że badana grupa nie miała zbyt dużej wiedzy ogólnej, za to o religii wiedziała więcej. Zdaniem autora oznacza to wręcz, że „Amerykanie są religijnymi mędrcami”.

Nazwijmy takie podejście argumentem typu: „zwróć uwagę na coś innego i mów tylko o tym”.

Drugim argumentem Feilera było stwierdzenie, że najbardziej popularną postacią religijną w Ameryce jest Mojżesz. Autor podaje dowody statystyczne na zasadność tego stwierdzenia, to znaczy nawiązuje do faktu, że więcej badanych poprawnie udzieliło odpowiedzi na pytania o Mojżesza i dziesięć przykazań niż na pytania o inne postaci biblijne. (Zaryzykuję stwierdzenie, że odpowiedzialny za ten dziwaczny fakt może być Charlton Heston, niewykluczone jednak, że książka Feilera zatytułowana America’s Prophet: How the Story of Moses Shaped America okazała się większym bestsellerem, niż mi się wydawało). Tak czy owak nie widzę związku z deklarowanym celem tego artykułu.

Nazwijmy takie podejście argumentem typu: „zwróć uwagę na coś kompletnie nieistotnego i mów tylko o tym”.

Trzecim argumentem Feilera jest to, że w Ameryce nie ma wielu ateistów. Wśród uczestników badania 6 procent zadeklarowało, że nie wierzy w Boga, 1 procent stwierdził, że nie wie, 69 procent wyraziło niezachwiane przekonanie, że Bóg istnieje, a 17 procent uważało tak z dość dużą pewnością (zob. poniższą ramkę). Co więcej, zdaniem Feilera – wbrew stereotypowi – tych 69 procent nie należy traktować jako wierzących szczególnie dogmatycznych, ponieważ tyko jedna trzecia z nich opowiada się za dosłowną interpretacją Biblii.

Na marginesie dodam: większość znanych mi ateistów uznałaby, że 23 procent ankietowanych opowiadających się za dosłowną interpretacją Biblii to jednak dowód na to, że chrześcijanie w Ameryce są dość dogmatyczni, ale to tylko taka luźna uwaga.

Ta linia argumentacji Feilera sprowadza się do przekonania, że w Ameryce nadal dominują wierzący, a ateistów nie ma zbyt wielu. Nazwijmy to zatem argumentem typu: „I tak wygrywamy, więc się wypchajcie!”.

Czwarty i ostatni argument Feilera jest dość pokrętny. Na początek autor zdaje się próbować celowo odwrócić naszą uwagę, podkreślając, że w niektórych artykułach poświęconych tym badaniom sugeruje się, iż Amerykanie mało wiedzą o innych religiach. Tylko 25−40 procent ankietowanych poprawnie odpowiedziało na pytania o systemy wierzeń obecne w Indonezji, tożsamość Śiwy czy definicję nirwany.

Usiłując obalić tę tezę, Feiler wskazuje na odpowiedzi na inne pytania. Dwie trzecie ankietowanych poprawnie wskazało dominującą religię w Indiach, 70 procent poprawnie odpowiedziało na pytanie o dominującą religię w Pakistanie, a 82 procent umiało powiedzieć, jakiego wyznania była Matka Teresa. Na koniec dodajmy, że – co „zadziwiające” (to też cytat z Feilera) – więcej ludzi wiedziało, że ramadan to święty miesiąc w islamie, niż umiało podać nazwisko autora Moby Dicka.

Pozwolę sobie na małą dygresję. Zwróćmy uwagę na porządek powyższej listy. Zaczęliśmy od 66 procent w kontekście Indii, potem mieliśmy 70 procent i 82 procent ankietowanych, a na koniec otrzymaliśmy bonus w postaci porównania ramadanu z Hermanem Melville’em. Ludzie wykazują naturalną zdolność do rozpoznawania prawidłowości i ich ekstrapolowania, a ten rosnący szereg budzi w nas oczekiwania, że kolejne wartości będą coraz wyższe. Zwłaszcza to „zadziwiające” powoduje, że będziemy instynktownie oczekiwać, że poprawnej odpowiedzi na pytanie o ramadan udzieliło więcej niż 82 procent ankietowanych.

Wystarczy jednak zerknąć do wyników ankiety dostępnych w sieci, by stwierdzić, że na pytanie o ramadan poprawnie odpowiedziało 52 procent uczestników, a na pytanie o Moby Dicka – 42 procent. Ktoś o bardziej cynicznym podejściu mógłby zarzucić Feilerowi, że pytanie o Moby Dicka zostało wybrane celowo jako to, w przypadku którego większość jednak nie znała poprawnej odpowiedzi, a wartości procentowe nie zostały podane w tekście artykułu, ponieważ nie pasowały do tezy autora.

Tak czy owak Feiler konkluduje, że Amerykanie wiedzą o innych religiach dość dużo i że z uwagi na zbrojne zaangażowanie Amerykanów w dwa (w tamtym okresie) konflikty zbrojne w krajach muzułmańskich może to być w najbliższych latach duży atut z punktu widzenia bezpieczeństwa narodowego.

Nie wiem, czy uda mi się podsumować tę pokrętną argumentację w jednym zdaniu. To chyba jakieś połączenia zasłony dymnej (przez to pojęcie rozumiem każdą próbę posługiwania się mylącym zbiorem niepowiązanych faktów, których celem jest ukrycie prawdy) oraz argumentu typu „pomachać flagą do dźwięków hymnu narodowego”.

Oczywiście to wszystko w żaden sposób nie sugeruje, że Feiler kłamie. Niemal z całą pewnością jest to natomiast przykład myślenia motywowanego (zob. s. 88), w ramach którego wcześniejsze zdecydowane przekonania utrudniają spokojną, bardziej racjonalną analizę danych. Co więcej, odwołanie do patriotyzmu w czwartym argumencie ma u podatnego czytelnika wywołać podobny stan umysłu: skoro odrzucanie danych świadczących o tym, że ateiści wiedzą o religii więcej niż wierzący, jest dowodem postawy patriotycznej, to ludzie uważający się za patriotów zostaną przekonani.

Paradoks polega na tym, że Feiler nie musiał zadawać sobie całego tego trudu. Jego trzeci argument zawierał wskazówkę wystarczającą do tego, by dostrzec, co jest tak naprawdę nie tak z artykułami dotyczącymi tego badania. Chodziło o względnie niedużą liczbę ateistów biorących udział w badaniu. Charles Seife przeanalizował ten problem w znacznie bardziej eleganckim stylu. Po pierwsze, tylko 212 na 3412 uczestników zadeklarowało się jako ateiści, więc próba ateistów była bardzo mała i obarczona dużym marginesem błędu (zob. s. 13–14). Po drugie, analitycy Pew wykluczyli ze swoich wniosków wszystkich ankietowanych, którzy zadeklarowali, że „nie wierzą w nic konkretnego”, a zadeklarowali jednocześnie, że nie wierzą w Boga. Powinni oni zostać zaklasyfikowani jako ateiści, nawet jeśli sami nie zaliczyli się do tej kategorii. Dodanie tych ludzi (2 procent ankietowanych) do grupy ateistów (6 procent ankietowanych) spowodowałoby istotne wyrównanie wyników, ponieważ osoby z tej pierwszej grupy wypadły w teście poniżej średniej. Po trzecie, poziom wiedzy ogólnej jest raczej na pewno skorelowany z wykształceniem i poziomem dochodów, a ateizm jest zapewne skorelowany z wykształceniem.

Gdyby uwzględnić te czynniki, wnioski płynące z ankiety byłyby znacznie bardziej precyzyjne i jednocześnie znacznie mniej interesujące. „Ateiści i wierzący wiedzą o religii mniej więcej tyle samo, ale zapytaliśmy za mało osób, byśmy mogli stwierdzić to na pewno”. Raczej nie nadaje się na tytuł artykułu, prawda?

Zapamiętaj: Przyjrzyj się faktycznym danym i zwróć uwagę na to, co nie znalazło się w tytule czy streszczeniu.

MARGINES BŁĘDU

Gdy przyglądasz się wynikom ankiety lub sondażu, warto pochylić się na chwilę nad marginesem błędu i poziomem pewności.

Weźmy na przykład próbę z populacji podlegającej rozkładowi normalnemu (innymi słowy, wartości układają się na wykresie w typową krzywą dzwonową, czyli większość wyników będzie się znajdować w środkowej części wykresu, a wartości spoza głównego zakresu będą po obu stronach stopniowo dążyć do zera). Na początek warto zapamiętać, że im większa jest próba, na której się pracuje, tym bardziej wartości będą skoncentrowane wokół faktycznej średniej dla danej populacji, a to oznacza malejący margines błędu.

Jeden z praktycznych sposobów rozumienia tego zagadnienia opiera się na odchyleniu standardowym. Mierzy ono stopień dyspersji w ujęciu średnim indywidualnych wartości z próby.

Żeby obliczyć odchylenie standardowe, zaczynamy od ustalenia średniej wszystkich wartości z naszej próby. Podnosimy je do kwadratu (czyli uzyskujemy wartość dodatnią wszystkich danych bez względu na to, czy znajdują się one powyżej, czy poniżej średniej), a następnie obliczamy średnią z ich odchyleń, czyli wariancję. Następnie wyciągamy pierwiastek kwadratowy z wariancji, uzyskując odchylenie standardowe.

W przypadku dużej próby podlegającej rozkładowi normalnemu możemy posłużyć się regułą 68/95/99,7. Mówi nam ona, że 68 procent danych ze zbioru zmieści się w odległości jednego odchylenia standardowego od zmiennej, 95 procent danych zmieści się w odstępie dwóch odchyleń standardowych, a 99,7 procent danych zmieści się w odstępie trzech odchyleń standardowych.

Jeżeli autor sondażu albo reporter mówią nam, że przedział ufności wynosi 95 procent, a margines błędu 3 procent, oznacza to, że możemy oczekiwać, iż faktyczny wynik zmieści się w odstępie 3 procent od prognozy w 95 procentach przypadków.

Prawdziwe obliczenia marginesu błędu są dość skomplikowane, wymagają bowiem obliczenia wartości krytycznej (na podstawie wartości z, a często wartości t), a następnie posłużenia się odchyleniem standardowym lub blisko z nim związanym błędem standardowym (w zależności od tego, czy znamy odchylenie standardowe dla całej populacji). Nie chcę zagłębiać się tutaj w szczegóły. Zainteresowanych opanowaniem tych obliczeń zapraszam do obejrzenia znakomitych filmików instruktażowych dostępnych w internecie.

Gdzie się podziała reszta ze 100 procent?

Mam nadzieję, że zwróciłeś uwagę na pewien niepokojący szczegół w powyższym przykładzie. Wiemy, że 6 procent ankietowanych powiedziało, że nie wierzy w Boga, a 1 procent, że nie wie. Do tego 69 procent było absolutnie przekonanych, że Bóg istnieje, a 17 procent było tego dość pewne.

6 + 1 + 69 + 17 = 93

Dlaczego zatem wartości te nie sumują się do 100 procent? Czy oznaczają one, że czegoś tu brakuje? Cóż, w niektórych sytuacjach takie przypadki są uzasadnione, ponieważ wynikają na przykład z zaokrąglania liczb w górę lub w dół. Wyobraź sobie ankietę dla 30 osób, które mają stwierdzić, czy wolą groszek, fasolę czy brokuły. Gdyby każdą opcję wybrało dziesięć osób, mielibyśmy trzy grupy po 33,33… procent. Gdybyśmy zaokrąglali te wartości do najbliższej liczby całkowitej, otrzymalibyśmy po 33 procent w każdej grupie, a to dałoby łącznie 99 procent.

Chcę przez to powiedzieć, że gdy suma wartości procentowych nie sumuje się do 100 procent, może istnieć po temu dobry powód. Istnieje jednak limit wprowadzanego w ten sposób błędu, a my możemy napisać wzór pozwalający tę granicę obliczyć.

Zdefiniujmy n jako liczbę zaokrąglanych wartości, które sumuje się w celu wyznaczenia całości (która, jak wiemy, w przypadku wartości niezaokrąglonych powinna wynosić 100 procent). Ile może wynieść maksymalny wpływ zaokrąglania? Powiedzmy, że mamy do czynienia z takimi wartościami jak 25,4 czy 37,8. 0,4 i 0,8 możemy nazwać niepełnymi jednościami w obrębie całości.

Konwencja zakłada, że wszystko poniżej 0,5 zaokrąglamy w dół, do zera, a wszystko powyżej 0,5 lub równe tej wartości zaokrąglamy do 1. Oczywiście to tylko konwencja, więc lepiej nie zakładać w ciemno, że dana firma z jakiegoś powodu nie zaokrągla do 0 również wartości 0,5. Jednego możemy być natomiast pewni: maksymalny błąd wprowadzany do sumy przez jedną zaokrąglaną wartość wynosi 0,5.

Maksymalny błąd, jaki można wprowadzić do sumy n zaokrąglanych wartości, wynosi zatem 0,5n. Oczywiście zwykle jest on istotnie mniejszy, ponieważ najczęściej występują równocześnie zaokrąglenia w górę i w dół, które się wzajemnie bilansują. W najbardziej skrajnym przypadku każda zaokrąglana wartość miałaby niepełną jedność równą 0,5, więc 0,5n to największa możliwa wartość wprowadzonego błędu.

W naszym przykładzie dotyczącym ankiety Pew mieliśmy cztery zaokrąglane wartości, więc maksymalny błąd spowodowany zaokrąglaniem mógł sięgnąć 2 procent, tymczasem faktyczny błąd wynosi 7 procent. Gdzie zatem zniknęło te 7 procent?

Żeby się tego dowiedzieć, trzeba zagłębić się w oryginalne dane.

Na szczęście pełen raport z badania jest nadal dostępny. Dowiadujemy się z niego, że oprócz kategorii podanych w artykule występują również trzy inne kategorie: oprócz ludzi dość przekonanych o istnieniu Boga występuje tam również kategoria ludzi „niezbyt przekonanych”, których było 4 procent, oraz kategoria ludzi „zdecydowanie nieprzekonanych”, których było 1 procent. Jak już wiemy, 2 procent osób zadeklarowało, że nie wierzy w Boga, ale nie powiedziało, w co wierzy, a przy tym nie zadeklarowało się jako ateiści.

Mamy tu zatem dodatkowe 1 + 2 + 4 = 7 procent. Tym samym otrzymujemy sumę równą 100 procent. Oznacza to, że rozbieżność już nie występuje, choć potencjalnie błąd wprowadzony przez zaokrąglenia mógłby sięgać 0,5 × 7 = 3,5 procent.

Powyższy wzór nie pozwala z całą pewnością stwierdzić, że jakieś dane zostały pominięte, ponieważ teoretycznie możliwe jest usunięcie niewielkiej wartości i zmieszczenie się w obliczanych w ten sposób granicach. Warto jednak używać tego wzoru, ponieważ błąd większy od wartości granicznej wyliczonej ze wzoru zawsze oznacza, że coś jest nie tak, nawet jeśli okaże się to tylko literówką autorstwa dziennikarza.

Najważniejsze jest tu to, że z deklarowanymi przedziałami ufności i marginesem błędu wiąże się pewne zagrożenie. W przypadku pytania binarnego, dla którego odpowiedzi rozkładają się w przybliżeniu 50/50 (gdy na przykład zapytasz kogoś, czy woli kolor niebieski, czy zielony, odpowiedzi rozłożą się mniej więcej po równo), poziom pewności zbliży się do maksimum, a margines błędu do minimum.

Problemy pojawiają się na przykład w przypadku sondaży wyborczych, gdy różne partie cieszą się różnym poparciem. Im większy jest prognozowany wynik danej partii w wyborach, tym wyższy będzie faktyczny przedział pewności. Wynik mniejszych partii będzie oparty na mniejszej próbie, więc choć wyborcy tej partii stanowią element dużej próby ogólnej, prognozowane wyniki takich ugrupowań należy traktować z większym sceptycyzmem. (Analitycy Pew powinni być bardziej sceptyczni względem wyników uzyskanych przez 6 procent ateistów).

Jeśli chodzi o margines błędu, to w przypadku mniejszych partii politycznych może on stanowić mniejszą wartość liczbową. Brzmi nielogicznie? Weźmy partię, której prognozowany wynik wynosił 10 procent, a rzeczywisty wynik wyborczy wyniósł 11 procent. Prognoza została tu przekroczona o 10 procent. Większa partia, której prognoza wynosiła 50 procent, uzyskała wynik wyborczy na poziomie 52 procent. Tutaj różnica między tymi dwiema wartościami wynosi 4 procent, choć pracownia sondażowa pomyliła się w tym przypadku o większą liczbę głosów niż w przypadku mniejszej partii.

Wniosek z tego taki, że warto przyjrzeć się deklarowanemu przedziałowi ufności oraz marginesowi błędu, ale w praktyce to tylko jeden z ogólnych sposobów dopasowywania wyników badań pod nagłówki prasowe. Okazuje się, że diabeł tkwi w szczegółach.

Zapamiętaj: Zwracaj uwagę na przedział ufności i margines błędu, ale nie zapominaj, że one same też mogą być pod pewnym względem mylące.