Paweł Bravo: Nie strzelajcie do ankietera

Zanim otworzyłem dziś Salon, nosiłem się z myślą napisania rozbudowanego tekstu o tym, jak niebanalnym problemem jest określenie zamiarów wyborczych narzędziami ilościowymi badań opinii (czyli takimi lub śmakimi sondażami, dla uproszczenia). Niebanalnym, bo cała przygoda to jak przykładanie linijki do meduzy i zaczyna się już od pozornie przezroczystego pytania "czy zamierza pan wziąć udział w wyborach".

Ale okazało się, że akurat dziś jest czarny dzień ośrodków badań w Salonie i najłagodniejsza kategoria opisu, jaką dziś chcecie słyszeć to "manipulacja" i słowa jej pokrewne. Zły dzień na pisanie o metodologii. Dla tych więc, którym jeszcze w ogóle chce się wierzyć, że badacze opinii nie są tylko producentami cyferek na zamówienie, krótko o jednym problemie . A potem dwie uwagi ogólniejsze, a może raczej nieśmiała prośba o opamiętanie.

Kiedy czasem słyszymy rytualne zapewnienia w komentarzach, że wyników różnych ośrodków nie można tak po prostu porównwywać, to powodem tego są "różne metody". Pod to nieskuteczne zaklęcie (bo i tak potem wszędzie się porównuje) podpada w potocznym rozumieniu różnica w rodzaju sondaż telefoniczny-twarzą w twarz, albo pytanie o preferencję spontaniczną albo wspomaganą (czyli ankieter czyta listę partii etc.). Tymczasem różnice, z powodu których każdemu kto beztrosko zestawia sondaż gieefki z pebeesem lub obopem powinna ręka uschnąć, sięgają nawet tego, jak pytamy o zamiar uczestnictwa i jak klasyfikujemy odpowiedź.

Jeden z ośrodków pyta "czy zamierza pan/pani itd." dając do wyboru 5 odpowiedzi: zdecydowanie tak, raczej tak, nie wiem, raczej nie, zdecydowanie nie. Po czym do dalszego maglowania przeznacza tych, którzy wybierają dwie pierwsze odpowiedzi. W dalszym przetwarzaniu wyników aż do postaci pasującej do ładnych kółeczek na ekranie telewizora nie czyni się różnicy między wyborami osób "zdecydowanych" i "raczej".

Inny ośrodek z kolei prosi o określenie szansy pójścia na wybory w procentach, potem dopytuje o preferencje partyjne - po czym zlicza poparcie dla partii wszystkich respondentów (nawet tych, którzy np. odpowiedzieli, że jest 50 proc. szans, że w ogóle pójdą) odpowiednio ważąc ich odpowiedzi. W uproszczeniu to wygląda tak, że im większa pewność uczestnictwa danego delikwenta, tym większą wagę w równaniu ma jego wybór. W praktyce są to dość subtelne operacje statystyczne. Na pierwszy rzut oka drugie podejście w porównaniu z pierwszym wygląda na dość magiczne, ale ma swoje porządne uzasadnienie w pewnego rodzaju badaniach konsumenckich (gdzie np. pytamy o prawdopodobieństwo zmiany ulubionej oranżady a następnie zestawiamy preferencje w parach cena-nazwa czy kolor czy cokolwiek sobie klient wymyśli). Piszę "porządne", a rozumiem przez to poparte skutecznością mierzoną pieniędzmi wydawanymi na taką metodę. Owszem, każdą hucpę można raz czy drugi sprzedać, na dłuższą metę jednak jeśli coś funkcjouje na rynku jako produkt badawczy, za który ktoś płaci, to znaczy że jest przydatne poznawczo.

To tylko dwa z kilku jeszcze możliwych sposobów odsiewania i uwzględniania respondentów pod względem ich pewności udziału w wyborach. Do tego dochodzą szalenie ważne zwłaszcza na finiszu kampanii sposoby zliczania i prezentacji ludzi deklarujących mocne postanowienie głosowania, ale niezdecydowanych w wyborze. Co z nimi zrobić? usunąć z podstawy procentowania (tak by głosy na partie sumowały się do 100)? To zafałszowuje obraz przyszłej niedzieli, bo przecież ci ludzie pójdą do urn i raczej oddadzą ważny głos na kogoś. Postawić w osobnym słupku obok partii? Ale to zaciera w dość nieprzewidywalny sposób różnice między partiami, bo trudno jest przewidzieć, ile komu z tego dodatkowego słupka przypadnie. Można probować go metod rozdziału tego bezpańskiego kawałka tortu, są na to niegłupie modele. Ale to już grząski grunt (z całym szacunkiem dla modelowania).

Decyzje, jak postępować w takich i wielu następnych pułapkach metodologicznych, mają za sobą solidnie przetrawione argumenty i wiele z różnych wariantów trzyma się logicznie kupy. Ale są do siebie naprawdę nieprzystawalne.

I to jest miejsce, by zamiast pisać o kolejnych detalach, zawołać o opamiętanie. Po pierwsze badania opinii stanowią tylko przybliżenie, pozwalające wnioskować o rzeczywistości w pewnych okolicznościach i pod pewnymi warunkami. Nawet te tak sponiewierane badania telefoniczne czasem są bardzo dobrym narzędziem (np. przy badaniu "gorących" emocjonalnych stanów tuż po debacie, w porze wieczornej, kiedy większość próby siedzi już w domu i właśnie obejrzała tv), tylko nie zawsze i wszędzie. Po drugie rzadko kiedy właściciele sondażowni usiłują się kreować na proroków - przeważnie ten status dostają mimochodem jako dostawcy liczb publikowanych jak objawienie w mediach. Nawet przysłowiowy 3-procentowy błąd statystyczny to tylko owoc totalnego skrótu myślowego, którego żaden badacz nie napisał (piszą co najwyżej o poziomie ufności przy danej probie).

Następna więc prośba o opamiętanie dotyczy nas jako widzów i czytelników. Owszem, pełna zgoda - media robią cholernie zły użytek z sondaży, podpuszczone przez PR-owców partii, robią z tego pusty infotainment. Wstydzę się korporacyjnie za niektórych kolegów. Ale u licha, od kiedy to droga Społeczność Salonowa składa się z owieczek, którym wystarcza, co napisane na pierwszej stronie gazety? Którym się nie chce sięgnąć do opisu metodologii badań, do paru informacji nie tak trudnych do zdobycia w samej prasie albo na stronach ośrodków? Które zapomniały, że zdały kiedyś maturę z matematyki (ok, ok, ten argument dotyczy połowy)? Skąd ta prędkość w zwalaniu winy?

W czasie wojny milkną muzy. Byle do niedzieli.