Od dwóch dni dużo się mówi o najnowszym sondażu Centrum Badań nad Uprzedzeniami. W badaniu tym respondenci popierający opozycję deklarowali silniejsze negatywne uczucia do wyborców PiS niż odwrotnie. A jednocześnie mieli poczucie, że sami są mocniej dehumanizowani.
Wokół sondażu stoczono już wiele dyskusji. Część z nich dotyczyła nie tyle samych wyników, ile metodologii badania, czyli sposobu jego przeprowadzenia i wyciągania wniosków. Wyrażano np. wątpliwości co do tego, czy próba licząca tysiąc osób jest dostatecznie duża, by uogólniać wyniki na całe 38 milionów Polek i Polaków.
W tym wpisie postaram się pokazać, że jak najbardziej – jest dostatecznie duża. Dlaczego? Zobaczmy, jak to wygląda z perspektywy statystyki i matematyki.
---
Czasami można spotkać się z przekonaniem, że sondaż – na przykład wyborczy – tym trafniej przewiduje rzeczywistość, im więcej obejmuje osób. Tak jednak nie jest. Liczy się przede wszystkim sposób doboru próby, czyli grupy traktowanej jako miniatura populacji (np. ogółu mieszkańców Polski).
Aby to sobie wyobrazić, pomyślmy, że z sondażem jest tak, jak ze sprawdzaniem, czy ktoś posłodził naszą herbatę. Jeżeli dobrze jej nie wymieszamy, możemy wypić prawie całą szklankę i nadal nie wiedzieć, czy cukier akurat nie został na dole. Ale jeśli pomieszamy jak trzeba, to wystarczy jeden łyk, by się przekonać.
---
W historii badań statystycznych znany jest spektakularny przykład zlekceważenia powyższej zasady. Mianowicie w 1936 roku w USA odbył się sondaż prezydencki, w którym próba badawcza liczyła aż 2,4 mln osób. Magazyn „Literary Digest” przewidywał wówczas, że Franklin Delano Roosevelt otrzyma 43% głosów, Alfred Landon zaś – 57%. W istocie jednak Roosevelt odniósł zdecydowane zwycięstwo, uzyskując poparcie 61% głosujących.
Czemu tak się stało? Między innymi dlatego, że w sondażu skorzystano z niereprezentatywnej próby, której nie mogły ocalić astronomiczne rozmiary. Magazyn posłużył się głównie wykazem własnych prenumeratorów i prenumeratorek, listami właścicieli samochodów oraz spisami osób posiadających telefony. Każda z tych grup była stosunkowo zamożna na tle całego amerykańskiego społeczeństwa, co doprowadziło do przeszacowania poparcia dla Landona, kandydata republikanów.
Istotnym źródłem błędu był również niski poziom realizacji próby, tzn. mała liczba osób, które odpowiedziały na otrzymaną ankietę. „Literary Digest” zwrócił się aż do 10 mln ludzi, a dane uzyskał jedynie od 1/4 z nich. A przecież interesują nas opinie całej populacji, nie zaś wyłącznie osób chętnie wypełniających ankiety*.
Co istotne, w tym samym czasie instytut badawczy George’a Gallupa zdołał przewidzieć wygraną Roosevelta, opierając się na wielokrotnie mniejszej próbie (choć w porównaniu z dzisiejszymi standardami nadal była ona potężna – liczyła około 50 tys. osób).
---
Poszerzenie próby w badaniu sondażowym może być niekiedy zasadne, choć wiąże się ze znacznymi kosztami. Pozwala bowiem zwiększyć nieco dokładność wyników, a także zmniejszyć zawodność wnioskowania na temat badanych podgrup (złożonych z niewielkiej części całego grona respondentów i respondentek). Swego czasu pisałem o tym ostatnim problemie, komentując sondaż, który sugerował bardzo duże poparcie najmłodszych wyborców dla Adriana Zandberga jako potencjalnego kandydata na prezydenta Warszawy.
Są to jednak przypadki szczególne. Generalnie liczebność próby po przekroczeniu około tysiąca osób staje się mało istotna, a o wiele ważniejszy jest sposób dotarcia do ankietowanych, czyli metoda doboru. Jak ujął to kiedyś Bartłomiej Schweiger w gościnnym wpisie na innym moim blogu: „dla nieskończonej (sic!) populacji, gdy chcemy uzyskać 95% przedział ufności oraz maksymalny błąd oszacowania na poziomie 3%, wystarczy nam 1067 osób. […] Dlatego socjologowie zazwyczaj używają próby około 1100 osób”. O podobnych sprawach można też poczytać np. tutaj.
A jak było z doborem w badaniu CBU, od którego zacząłem wpis? Najwyraźniej dobrze, skoro – jak mówi raport – przeprowadzono sondaż na „reprezentatywnej próbie 1000 dorosłych Polaków”, wyłonionej „poprzez losowanie z operatu PESEL”.
---
No dobrze – ktoś spyta – ale czy naprawdę sondaże mogą być wiarygodne, skoro nietrudno wskazać przykłady widowiskowych pomyłek? Otóż mogą. Rzecz jednak w tym, aby brać pod uwagę wiele badań i koncentrować się na trendach, a nie pojedynczych wynikach.
Tak zrobił np. Adam Gendźwiłł, geograf i socjolog z Uniwersytetu Warszawskiego, przy okazji ostatnich wyborów parlamentarnych. Na jego facebookowej ścianie można znaleźć prognozę z 23 października 2015 roku, uśredniającą rezultaty pięciu sondaży wyborczych, a także porównanie tej prognozy z rzeczywistymi wynikami.
Efekt? Uśrednione dane z sondaży okazały się bardzo trafne. Na przykład dla PiS prognoza wynosiła 37,60%, a faktyczny rezultat wyborczy – 37,58%. Z kolei dla PO przewidywany był wynik 25,12%, a ostatecznie partia uzyskała poparcie na poziomie 24,09%. Największy błąd dla pojedynczego stronnictwa dotyczył Razem i wyniósł całe 2,2 punktu procentowego.
Oczywiście czasami nawet jeden punkt procentowy może mieć kluczowe znaczenie. Tak było w przypadku Zjednoczonej Lewicy, dla której prognozowany wynik wynosił 8,44%, realny natomiast – 7,55%. Ale to już nie wina sondaży, tylko kwestia progu wyborczego oraz zasad podziału mandatów w parlamencie. To, co badania miały zmierzyć (czyli odsetek uzyskanych głosów), zmierzyły całkiem dobrze.
A zatem warto zbierać wyniki paru sondaży, nie opierać się tylko na jednym. I to jest także wskazówka dla interpretowania ostatnich badań CBU: będą one tym bardziej przekonujące, im więcej podobnych rezultatów (i mniej odwrotnych) uda się zgromadzić. Wskazywała na to zresztą autorka raportu, Paulina Górska, mówiąc np. w Radiu TOK FM: „Podobną postawę zaobserwowaliśmy w roku 2013. Osoby, które nie podzielały przekonania, że w Smoleńsku był zamach, miały bardziej negatywne postawy wobec osób przekonanych o zamachu”. Dwa wyniki to wciąż jeszcze nie bardzo dużo, ale na pewno więcej niż jeden. A jak ująłby to zapewne Esterad Thyssen, mieć dwa wyniki i nie mieć dwóch wyników to razem cztery wyniki.
Na koniec podkreślę: nie wypowiadam się o całej metodologii badania. To musiałaby być osobna dyskusja, a jak widać, nawet nad jedną kwestią można się rozwodzić przez wiele tysięcy znaków. Ale przynajmniej pod względem wielkości próby sondaż CBU – tak jak i inne zbliżone badania, choćby sondaże wyborcze – zdecydowanie ma sens.
---
* Podobny odsetek – a nawet niższy – niestety zdarza się czasem i w dzisiejszych sondażach, ale najlepiej byłoby, żeby był zdecydowanie wyższy. Na szczęście ośrodki sondażowe zdają sobie z tego sprawę i stosują pewne rozwiązania zaradcze.
---
[Wpis równolegle ukazuje się na moim fanpage’u].
[EDYCJA: Venivici słusznie zwraca uwagę, że w przypadku badania CBU trzeba odnotować, iż operuje ono na podgrupach. Podgrupa zwolenników PiS liczy 261 osób, podgrupa zwolenników opozycji – 373 osoby. Nadal można na tej podstawie stawiać pewne wnioski lub przypuszczenia, nie unieważnia to też powyższych spostrzeżeń dotyczących sondaży ogółem, ale dobrze jest pamiętać o tym, jak w tym akurat przypadku ten tysiąc osób się rozkłada].
