pwilkin pwilkin
264
BLOG

Te wstrętne sondaże

pwilkin pwilkin Polityka Obserwuj notkę 47

Mamy okres przedwyborczy, więc siłą rzeczy wraca zainteresowanie sondażami. Głównie krytyczne zainteresowanie. Podejrzewam, że gdyby zrobić sondaż na S24, to jakieś 80% stwierdziłoby, że nie ufa wynikom sondaży (i stwierdziłoby, że ów sondaż jest sfałszowany, bo niemożliwe jest, żeby aż 20% Salonu24 wierzyło sondażom). Chciałem dłuższy czas skrobnąć coś na ten temat, bo momentami zęby mnie bolą, jak widzę, jakie bzdury wygaduje się na temat badań statystycznych. Nie skrobałem nic, bo, po pierwsze, nie jestem z wykształcenia socjologiem, więc liczyłem na to, że może ktoś lepiej obeznany w temacie zrobi to za mnie, po drugie, bo teoretyczna krytyka bez powołania się na jakieś spektakularne przykłady jakoś nie odbija się na Salonie24 większym echem.

Nadarzyła się jednak wyjątkowa okazja, bo oto w przeciągu niedługiego czasu pojawiły się w sieci dwa sondaże pretendujące do miana niezależnych, czylirobionych niejako wbrew monopolowi dominujących ośrodków badawczych. Mowa tutaj o Społecznych Badaniach Opinii Publicznej prof. Rafała Brody oraz o badaniach przeprowadzonych przez Marcina Palade. Obaj twórcy sondaży znani są ze swoich zdecydowanych prawicowych poglądów, nadarza się więc okazja, aby porównać dwie formy czynnej krytyki istniejących badań sondażowych bez narażania się na zarzut kierowania się sympatiami politycznymi.

Zanim jednak przejdziemy do analizy ww. sondaży, krótkie wprowadzenie nt. tego, jak wygląda metodologia prowadzenia badań sondażowych.

1. Najpierw określamy populację, czyli grupę ludzi, dla których rozkład pewnych cech (preferencje wyborcze, ulubione seriale telewizyjne etc.) chcemy badać.
2. Ponieważ z reguły niemożliwe jest uzyskanie dostępu do całej populacji (poprzez "dostęp" nie mamy tutaj na myśli możliwości przeprowadzenia wywiadu, a dużo słabsze wymaganie - możliwość uwzględnienia danej osoby w próbce. Na przykład ankieterzy nie posiadają pełnej listy meldunkowej wszystkich obywateli Polski, muszą więc zawęzić wybór próbki do grupy osób, których dane posiadają (bądź do których mogą w inny sposób dotrzeć). Ta grupa nazywa się operatem. Operatem dla badania telefonicznego będzie np. utrzymywana przez ośrodek badawczy baza posiadaczy telefonów, dla badania ulicznego - grupa osób znajdujących się w miejscach przeprowadzania ankiety itd. W tym miejscu warto pamiętać, że aby końcowa próbka była reprezentatywna, zawężenie operatu musi mieć charakter możliwie losowy. Nie możemy np. zawęzić operatu do mieszkańców akademików w Warszawie, gdyż ta grupa, nawet, jeśli w miarę duża, nie jest reprezentatywna dla populacji.
3. Następnie z operatu wybieramy próbkę, czyli te osoby, które będziemy chcieli przepytać. We wszelakich badaniach pożądaną cechą próbki jest jej reprezentatywność. Oznacza to tyle, że rozkład badanej cechy w próbce jest taki sam, jak w populacji. Reprezentatywność zapewnia się na różne sposoby - jednym z nich jest idealnie losowy wybór z dobrze dobranego operatu, innym - stosowanie specjalnych kryteriów nałożonych na próbkę (np. tego, żeby nasza próbka była reprezentatywna ze względu na cechy, które we wcześniejszych badaniach okazywały się mocno skorelowane z cechą badaną - w przypadku preferencji wyborczych są to np. miejsce zamieszkania, wykształcenie czy wiek).

Skoro już mamy za sobą wstęp, prześledźmy wspomniane wyżej sondaże. Na początek (uprzedzając nieco fakty: jako "czarny charakter") weźmy na warsztat sondaż prof. Brody, który buńczucznie stwierdza: 

Cała strona techniczna i zastosowanie praw statystyki nie przedstawiają żadnych trudności dla przeciętnego fizyka. Również nietrudne jest takie zdyscyplinowanie postępowania, by wykluczyć własny subiektywizm.

Niestety, opis przeprowadzonego badania każe poważnie wątpić w powyższe stwierdzenia. Mimo zapewnień prof. Brody, że starano się zapewnić reprezentatywność próby, brak gwarancji, że tak faktycznie się stało. Metodologia prowadzenia badań (sonda on-street, bez późniejszego przetworzenia wyników w celu zweryfikowania reprezentatywności, dokonywana wyłącznie przez osoby o wyraźnych sympatiach prawicowych, przy kryteriach wyszukiwania osób pozostawionych do dyspozycji ankieterów) absolutnie nie daje takiej pewności. Pomijam już np. taki fakt, że postulowany sposób zadawania pytań:

Reprezentuję oddolną inicjatywę społeczną, w której pragniemy zbadać rzeczywiste poglądy Polaków na różne tematy, niezależnie od zawodowych ośrodków sondażowych. To jest nowa inicjatywa, w której bierze już udział wiele osób, a próbujemy objąć nią całą Polskę i wszystkie środowiska. Mamy wątpliwości co do rzetelności profesjonalnych badań, których wynikami jesteśmy na co dzień bombardowani. Mówiąc wprost, pragniemy sprawdzić, jaka jest prawda.

zawiera niedopuszczalną sugestię, która może zachęcać do odpowiedzi osoby sceptyczne wobec wyników sondaży i zniechęcać osoby, którym taki sceptycyzm oraz sposób jego wyrażania jest obcy.

Jak na fizyka, który bez problemu opanował podstawowe prawa statystyki, odpowiedź prof. Brody na krytykę związaną z niereprezentatywnością próbki (56% kobiet, wobec 52% w społeczeństwie, pozostałe cechy zostały dyskretnie pominięte, więc trudno jest sprawdzić tezę o reprezentatywności) jest zadziwiająco mało ścisła:

Te proporcje są z pewnością zupełnie wystarczające dla reprezentatywności (...)

Być może jednak prof. Broda dysponuje odpowiednimi kompetencjami, aby zweryfikować reprezentatywność próbki i powyższe zarzuty są niesłuszne? Popatrzmy na poprzednie badania prof. Brody. Do zbadania reprezentatywności próbki (zwanej, nie wiadomo dlaczego, "statystyczną wiarygodnością") wykorzystany jest test polegający na skorelowaniu próbki z bazą nazwisk - to, że najczęstsze polskie nazwiska występują w próbce tak samo często, jak w populacji ma świadczyć o jej reprezentatywności. Prosty test dla czytelnika: 1) zaprojektować prosty scenariusz, który wykaże błędność takiej metody testowania. 2) Dla ambitnych: wyjaśnić przyczyny błędu.

Dla leniwych, poniżej odpowiedzi:

1. Jak wiadomo ze słynnego już przykładu preferencji wyborczych, PO w ostatnich wyborach parlamentarnych otrzymała blisko 90% głosów w zakładach karnych. Wyobraźmy sobie zatem, że dostajemy "losową" próbkę preferencji wyborczych Polaków i mamy zweryfikować jej reprezentatywność. W rzeczywistości jest to próbka złożona z samych więźniów. Test prof. Brody próbka oczywiście przejdzie pozytywnie - częstotliwość nazwisk wśród więźniów nie różni się od częstotliwości nazwisk w populacji.

2. Do testowania reprezentatywności potrzebna jest cecha bądź zbiór cech silnie skorelowana z cechą badaną. Takie cechy bądź zbiory cech z reguły znane są z wcześniejszych badań i używane właśnie do testowania reprezentatywności próbki. Nazwisko jest pod tym względem fatalną zmienną, gdyż dla większości cech jest de facto zmienną losową - ma bardzo niewielki stopień korelacji. Być może istnieje korelacja pomiędzy posiadanym nazwiskiem a, dajmy na to, sympatiami monarchistycznymi (podejrzewam, że jest tam statystycznie więcej Radziwiłłów, a mniej Kowalskich niż w populacji), ale dla większości cech takiej korelacji nie znajdziemy.

Z fatalną jakością metodologiczną sondaży prof. Brody związany jest ściśle charakter jego krytyki innych przedsięwzięć sondażowych. Otóż krytyka ta ma charakter głównie socjologiczny. Prof. Broda nie odnosi się do merytorycznych kwestii związanych z przeprowadzaniem sondaży, uznając arbitralnie, że sondażownie zafałszowywują wyniki w związku z domniemanymi sympatiami politycznymi ich właścicieli.

Zostawmy jednak na boku prof. Brodę i popatrzmy na drugą stronę medalu - sondaże i analizy wykonywane przez Marcina Palade. Jest on byłym kierownikiem Polskiej Grupy Badawczej, posiada zatem znaczące doświadczenie i wiedzę metodologiczną w zakresie wykonywania badań opinii społecznej. Mimo wyraźnych sympatii prawicowych i obecnej także w jego tekstach krytyki zjawisk socjologicznych obecnych na rynku badania opinii, główne ostrze jego krytyki to krytyka metodologiczna. Marcin Palade zwraca uwagę na to, że większość sondaży wykonywanych jest metodą telefoniczną, co może w nieznaczny, ale istotny statystycznie sposób zaburzać reprezentatywność operatu (w Polsce nadal pewne rejony są słabiej objęte siecią telefoniczną). Co więcej, zauważa on, że w przeszłości kompromitujących rozmiarów błędy w badaniach opinii były tłumaczone kombinacją błędu statystycznego i szybkich zmian trendów, mimo ewidentnych wskazówek, że rozbieżności sondażowych prognoz i rzeczywistych wyników wskazują raczej na błędy pomiaru.

Palade również dokonuje krytyki istniejących sondażowni z punktu widzenia socjologicznego, jednak krytyka ta nie dotyczy samych badań, a właśnie otaczających je zjawisk socjologicznych - niechęci do poprawiania błędów i przymykania oko na nieścisłości.

Jak wyglądają jego własne wyniki? W przeciwieństwie do wyników prof. Brody, nie można tutaj mówić o drastycznych różnicach w stosunku do sondaży głownego nurtu. Wyniki różnią się jednak w istotny statystycznie sposób, co można przypisać różnicom metodologicznym (sondaż telefoniczny vs. sondaż on-street z zapewnioną reprezentatywnością ze względu na wybraną grupę cech). Oczywiście, dopiero po wyborach będzie można stwierdzić, kto rzeczywiście miał rację, jednak dane historyczne pozwalają uznać prawomocność krytyki Marcina Paladego przynajmniej za mocno uzasadnioną.

Jaka jest konkluzja z tego przydługiego wywodu? Po pierwsze: zanim zacznie się krytykować sondaże, warto co nieco wiedzieć na temat sposóbu ich przeprowadzania. Po drugie: przeprowadzenie sondażu to nie taka prosta sprawa, dobre chęci i wolontariusze tutaj nie wystarczą. Po trzecie: można sensownie i treściwie krytykować dominujące na rynku sondażownie, tylko trzeba to robić rzetelnie, a nie w sposób ideologicznie zaślepiony. Po czwarte: sympatie polityczne owego ideologicznego zaślepienia bądź jego braku wcale nie przesądzają, jak pokazuje ww. przypadek prof. Brody i Marcina Palade.

pwilkin
O mnie pwilkin

W pewnym momencie człowiek już nie wytrzymuje i musi te parę słow napisać... Dlaczego nudny? Bo postaram się, aby nie było płomiennych mów, wielkich słów i rzucania gromami, tylko chłodne, rzeczowe analizy.

Nowości od blogera

Komentarze

Inne tematy w dziale Polityka