Część I. Wyniki konkursu na trafną prognozę wyników wyborów
A. prognozy w tygodniu przedwyborczym (kategoria II konkursu)
Średnie odchylenie uczestników II tury – 9,56– średni błąd prognozy od wyniku dla partii: 0,96.
Salon24 pomylił się w prognozach średnio o 0,96 punktu procentowego na listę.
Średnie odchylenie dla zwycięzcy konkursu (Pitagoras_44) – 6,37
Ranking – pierwsza „10”
1 miejsce pitagoras_44
odchylenie 6,37
2 miejsce zerro
odchylenie 9,23
3 miejsce Bartosz Radomski
odchylenie 10,09
4 miejsce Comisarex
odchylenie 10,31
5 miejsce partyzant
odchylenie 10,49
6 miejsce Milton Ha
odchylenie 12,55
7 miejsce Mania Prześladowcza 3
odchylenie 13,11
8 miejsce unukalhai
odchylenie 14,39
9 miejsce Andy 51
odchylenie 16,09
10 miejsce rewident
odchylenie 16,39
Zwycięzca konkursu - Pitagoras_44 pomylił się zaledwie o 0,64 punktu procentowego na listę.
Proszę przeanalizować kolejne typy Pitagoras_44: z każdym typowaniem zbliżał się coraz bardziej do rzeczywistego wyniku zaczynając od dość odległego typu.
Zwycięstwo z całą pewnością jest nieprzypadkowe i zasłużone, podparte analizą.
Analiza blogu Pitagoras_44 potwierdza tę tezę.
Również zerroprzybliżał swoje prognozy do rzeczywistego wyniku osiągając trafność prognostyczną poniżej 1 punktu procentowego na listę.
Gratulacje!
Na wniosek Krzysztofa Leskiego: prognoza pitagoras_44
OSTATNIA PROGNOZA WYBORCZA 2009
LISTA 1 UPR: 1,5%
LISTA 2 PSL: 7,5%
LISTA 3 SAM: 2,0%
LISTA 4 PPP: 1,0%
LISTA 5 LIB: 2,0%
LISTA 6 SLD: 12,0%
LISTA 7 PDP: 2,5%
LISTA 8 PRP: 2,5%
LISTA 9 POB: 43,0%
LISTA 10 PIS: 26,0%
FREKWENCJA: 18,0%
Wyniki zostały porównane z rzeczywistymi - o kolejności decydowała suma odchyleń od rzeczywistego wyniku podanego przez PKW.
B. prognozy od 14-18 maja 2009 (kategoria I konkursu)
Średnie odchylenie uczestników I tury – 18,13 – średni błąd prognozy od wyniku dla partii: 1,81
Średnie odchylenie dla zwycięzcy konkursu (krzyslp) – 14,25
Pamiętajmy, że nie było wówczas ostatnich sondaży, a więc przewidzenie wyników wyborów było nie lada sztuką. Wynik krzyslp musi budzić szacunek.
Pierwsza „10”:
1. krzyslp
2. Mania Prześladowcza 3
3. Nusmith
4. antinowhere
5. Page
6. Katrine
7. antoni
8. Jacek Jarecki
9. Krzesimir
10. Pyrrus
Gratulacje!
Część II. Porównanie wyników Salonu24 z trafnością prognostyczną sondaży
Proste porównanie próbujące skłonić agencje badań do zastosowania modeli predykcyjnych.
Porównanie dotyczy sumy odchyleń sondaży przedwyborczym w porównaniu z rzeczywistymi wynikami wyborów.
1. miejsce
najlepszy bloger Salonu24 (pitagoras_44)
odchylenie 6,37
2. miejsce
SMG/KRCdla TVN7.06
odchylenie 7,59
3. miejsce
Salon24 (II tura typowania - tydzień przedwyborczy)
odchylenie 9,56
4. miejsce
Salon24 (cały konkurs - od 14.05)
odchylenie 11,42
5. miejsce
PBS DGA dla „Gazety Wyborczej” z 29.05
odchylenie 17,49
6. miejsce
GfK Polonia dla Rzeczpospolitej z 5.06.
odchylenie 17,51
7. miejsce
Homo Homini dla Polsatu z 7.06
odchylenie 18,53
8. miejsce
CBOS 01.06
odchylenie 22,57
Badań OBOP nie porównuję, bo agencja postawiła się w bardzo dziwnej sytuacji.
Gwoli sprawiedliwości w stosunku do innych agencji dodam, że najbardziej rozpowszechniony jako ostatni sondaż przedwyborczy - sondaż SMG KRC z 5.06 pokazywał 54% poparcia dla PO (średnie odchylenie sondażu na listę – 3,83, a więc wynik bardzo słaby).
Porównanie prognozowanej frekwencji:
GfK Polonia próbowała zrobić model predykcyjny – oszacowano frekwencję na 20%.
Jak rozumiem – to początek polskiej drogi do trafności sondaży.
Analogiczny model można było zrobić do trafności deklaracji poparcia dla poszczególnych partii.
Ranking trafności predykcji frekwencji wyborczej (odchylenie):
1. miejsce
Salon24 odchylenie 0,31%
2. miejsce
najlepszy bloger Salonu24 (krzesimir)
odchylenie 0,47%
3. miejsce
Salon24 (II tura typowania - tydzień przedwyborczy)
odchylenie 1,82%
4. miejsce
Homo Homini dla Polsatu 7.06
odchylenie 2,47%
5. miejsce
SMG/KRCdla TVN -7.06
odchylenie 2,87%
6. miejsce
GfK Polonia dla Rzeczpospolitej 5.06.
odchylenie 4,53%
7. miejsce
CBOS 01.06
odchylenie 16,47%
8. miejsce
PBS DGA dla „Gazety Wyborczej” 29.05
odchylenie 29,47%
Część III. Publikacje sondaży i postawy naukowców - przykłady
Przedstawiciele niemal wszystkich agencji badawczych - są członkami ESOMAR (World Association of Opinion and Marketing Research Professionals).
Międzynarodowy Kodeks Badań Rynku i Badań
Społecznych ICC/ESOMAR
Artykuł 11 – Publikacja wyników
a) Raportując wyniki badania rynku badacze mają wyraźnie oddzielić wyniki, interpretacje tychwyników przez badacza oraz oparte na tym rekomendacje.
b) Gdy klient publikuje jakieś wyniki badania, należy go poprosić o konsultację z badaczem co do formy i zawartości publikacji wyników. Klient i badacz dzielą odpowiedzialność za zapewnienie, żeby opublikowane wyniki nie były mylące.
c) Badacze mają być zawsze przygotowani do udostępnienia informacji technicznej dla ocenyrzetelności opublikowanych wyników.
d) Badacze mają nie dopuszczać do łączenia ich imienia z rozpowszechnianiem wniosków z badaniarynku, o ile wnioski nie są dostatecznie poparte przez dane.
Dziennikarze mają możliwość skorzystania z artykułu 11, a my możemy zgłosić agencję, która tego artykułu nie przestrzega. A agencja oraz komentujący wyniki naukowcy muszą pilnować dziennikarzy. Każdy komentarz naukowca do wyników badań podlega weryfikacji zgodnie z art.11 d).
Przykład 1. Postawa naukowców typu A: „nie jest to artykuł naukowy”
„Rzeczpospolita” opublikowała wyniki sondaży, z których wynikało, że jedna z partii „odzyskuje mateczniki”. Tezę oparto na badaniach Gik Polonia, w których różnice nie były istotne statystycznie. Komentujący w „Rzeczpospolitej” te badania naukowiec ten fakt pominął.
Po zwróceniu uwagi, przyznał, że istotności statystycznej nie policzono. Argumentował, iż nie ma na to czasu w zamieszaniu przed wyborami oraz, iż nie jest to artykuł naukowy.
Na szczęście napisał również: „Sugestię biorę sobie do serca”, co – przyznam – stanowiło główny cel działania. Dziękuję serdecznie!
Wyeliminowanie postawy typu A może być możliwe w łatwy sposób – poprzez zwracanie uwagi – (w duchu św. Pawła) na art. 11 d) kodeksu Esomar zarówno dziennikarzom, jak i konkretnym naukowcom.
Przykład 2. Postawa naukowców typu B: „socjolog nic nie może na to, że ludzie w sondażach …”
W niedzielnym studiu wyborczym w TVP1 widzieliśmy grupę naukowców – członków PAN pod przewodem prof. Rycharda oraz prof. Domańskiego. W dyskusji padła teza
jednego z nich, że niesłusznie zarzuca się socjologom nietrafność sondaży, bowiem socjolog nic nie może na to, że ludzie w sondażach nie mówią całej prawdy. Teza nie wywołała żadnej dyskusji.
Taka świadomość hamuje prace nad budową modeli predykcyjnych przewidujących zachowania wyborców na podstawie wyników sondaży. Blogerzy salonu 24 nic innego nie zrobili, tylko korygowali wyniki sondaży w oparciu o wcześniejsze doświadczenia wyborcze.
Budowa modelu predykcji to standardowa wiedza, jaką powinien wynieść ze studiów każdy absolwent socjologii.
A więc nie mogę się zgodzić z Krzysztofem Leskim (którego cenię) w ocenie występu zacnego grona w TVP1.
Zresztą wyniki badań w USA są komentowane często przez tych samych naukowców, którzy w Polsce tak bronią prawa do prezentacji wyników sondaży bez stosowania modelu predykcyjnego.
Część IV. Projekt – SurveyWatch
Nie byłbym sobą, gdym nie przekuł sukcesu Blogerów salonu24 na działanieJ
Proponuję blogerom Salonu 24 udział w projekcie SurveyWatch.
Powstanie osobny blog o tej nazwie (mam nadzieję, że administratorzy zakończą trwające od tygodni prace na uruchomieniem bloga SurveyWatch), na którym będzie można zamieścić wszelkie naruszenia kodeksu Esomar.
Chciałbym, aby blog Krzesimir pozostał taki „przepraszający”, łączący – stąd pomysł odrębnego bloga.
Proszę o zgłoszenia osób chętnych do współredagowania SurveyWatcha.
To nasz wkład w poprawę racjonalności wyborów politycznych w Polsce oraz czystości życia publicznego (duże słowa – ale piszecie, że dziennikarze i sondażownie manipulują).
Pozdrawiam serdecznie
Krzesimir
Inne tematy w dziale Polityka
