Wybory '2007: czołówka na medal!

Oto (październikowe) daty realizacji oraz liczba ankietowanych w kolejnych badaniach przedstawionych w tabelce:

CBOS 10-14, N = 1385; Pentor 16-17, N = 800; PBS 16-18, N = 1043; ARC 17, N = 828; SMG/KRC 17-18, N = 1060; OBOP 18, N = 1000; PGB 17-19, N = 1207; Gfk Polonia 19, N = 1000.

Oznaczenia: PKW - wyniki wyborów; R - wyniki sondażu, ∆ - bezwzględna różnica między sondażowym pomiarem a rzeczywistym wynikiem wyborów, δ - błąd względny (wynik dzielenia ∆ przez PKW)

W publikowanych medialnie wynikach niektórych sondaży, do stu procent sumowały się nie same preferencje partyjne, lecz preferencje partyjne plus niezdecydowani (odpowiedzi "jeszcze nie wiem"). W takich przypadkach - dla ujednolicenia porównań - w poniższej tabelce preferencje partyjne unormowano do stu procent.

Oto pięć rankingów.

Kryterium pierwszego rankingu: od najmniejszej do największej sumy delt dla wszystkich ośmiu ugrupowań.

Kryterium drugiego rankingu: od najmniejszej do największej sumy błędów względnych dla wszystkich ośmiu ugrupowań

Kryterium trzeciego rankingu: od najmniejszej do największej sumy delt dla ugrupowań, które weszły do Sejmu

Kryterium czwartego rankingu: od najmniejszej do największej sumy błędów względnych dla ugrupowań, które weszły do Sejmu

Kryterium piątego rankingu (pomocniczego): od najmniejszej do największej sumy punktów karnych za kolejność w III i IV rankingu (jeden punkt karny za pierwsze miejsce, dwa punkty za drugie itd.).

Im wyższy numer porządkowy rankingu, tym większa jego merytoryczna ranga. Ze względu na rolę przypadku, pierwsze dwa rankingi mają charakter bardziej zabawy arytmetycznej niż rzeczowego wskaźnika. Prawdziwym (adekwatnym) wskaźnikiem "socjometrycznej dobroci" danej firmy jest dopiero ranking trzeci, a zwłaszcza ranking czwarty. To one zawierają bowiem bezcenną dla odbiorców syntetyczną prognozę NA NASTĘPNY RAZ: jaka jest pewność, że wyniki sondażu okażą się zgodne z wynikami wyborów. Ranking piąty (uzupełniający) ma znów w dużym stopniu charakter liczbowej igraszki.

Będę wdzięczny za wskazanie błędu (jeśli taki zostałby dostrzeżony)
Płacę 10 zł (przyrzeczenie publiczne) za każdą mylną liczbę
Stanisław Remuszko, 0-22 641 7190 lub 0-504 830 131,

Wybory '2007: trafność sondaży


PKW CBOS Pentor PBS ARC SMG/KRC OBOP PGB GFK
Rδ Rδ Rδ Rδ Rδ Rδ Rδ Rδ
PO42 3930.07 4310.02 4200.00 4200.00 4110.02 4420.05 3570.17 4200.00
PiS32 3420.06 2930.09 3200.00 3310.03 3020.06 3310.03 3110.03 3530.09
LiD13 1210.08 1630.23 1210.08 1410.08 1210.08 1210.08 1740.31 1210.08
PSL9 810.11 630.33 720.22 720.22 900.00 810.11 810.11 810.11
LPR1 322.00 211.00 322.00 100.00 322.00 211.00 544.00 011.00
Sam2 200.00 200.00 310.50 221.00 110.50 121.00 310.50 210.50
Inne1 322.00 211.00 100.00 011.00 211.00 011.00 100.00 100.00
Podsumowanie100 101114.32 100122.67 10062.80 9972.33 9883.66 10093.27 100185.12 10071.78


Ranking IRanking IIRanking IIIRanking IV
1. PBS61. GFK1.78 1. PBS31. SMG0.16
2-3. ARC72. ARC2.332-3. ARC42. OBOP0.27
2-3. GFK73. PENT2.672-3. SMG43. GFK0.28
4. SMG84. PBS2.804-5. OBOP54. PBS0.30
5. OBOP95. OBOP3.274-5. GFK55. CBOS0.32
6. CBOS116. SMG3.666. CBOS76. ARC0.33
7. PENT127. CBOS4.327. PENT107. PGB0.62
8. PGB188. PGB5.128. PGB138. PENT0.67


Ranking V
1. SMG3.5
2. PBS5
3. OBOP6.5
4. GFK7.5
5. ARC8.5
6. CBOS11
7-8. PENT15
7-8. PGB15

Wybory '2007: mój komentarz

Oto fragmenty "Komunikatu", który 25 września 2007 wręczyłem uczestnikom zorganizowanej przez OFBOR konferencji prasowej w siedzibie PAP:

...Korzystając z miłej okazji, uprzejmie informuję (jako dziennikarz i jako socjometra), że moje Biuro, które nie bierze udziału w tegorocznej kampanii wyborczej, zaraz po podaniu przez PKW oficjalnych wyników ogłosi na stronie www. remuszko. pl ranking ostatnich sondaży zrealizowanych przez wszystkie ośrodki badania opinii w sposób jawny (z publikacją rezultatów w mediach).

Uprzejmie przypominam, że pierwszy raz w sierpniu 1991 roku na łamach "Życia Warszawy", a potem w różnych miejscach przez kilkanaście lat postulowałem przeprowadzanie podobnego rankingu przy każdej parlamentarnej elekcji pod auspicjami niezależnego autorytetu (na przykład Polskiego Towarzystwa Socjologicznego). Po wyborach '2001 i '2005 taką komparatystykę opracowało i ogłosiło Centrum im. Adama Smitha. Teraz mógłby to zrobić sławny OFBOR. Na pewno zrobi to moja "Sonda".

Jako jeden z założycieli niszowego Klubu Socjometrycznego, wyrażam przekonanie, że wysoka i regularna trafność sondażowych rezultatów danej firmy powinna być najważniejszym kryterium jej jakości. Wyniki których zatem sondaży okażą się (który raz) najbliższe rzeczywistości?

Naszym zdaniem, od wskazania konkretnej firmy ważniejsze jest wskazanie jasnych i wymiernych kryteriów jej oceny. Sądzimy, że w tym celu nalezy porównać wyniki przedwyborczego badania (komunikat danego biura) z oficjalnymi wynikami wyborów (komunikat PKW), przyznając jeden "punkt karny" za każdy jeden procent odchyłki (w górę czy w dół - wszystko jedno). Suma tych punktów jest prostym, logicznym i bezdyskusyjnym wskaźnikiem trafności pomiarów danego ośrodka. "Dobroć" tego wskaźnika polega również na tym, iż w ogóle nie zależy on od ludzkich sympatii bądź antypatii, od konkurencyjnych albo politycznych uprzedzeń; nadto może go sam obliczyć każdy, kto umie czytać, rachować i korzystać z internetu.

Ponieważ wszakże jednoprocentowy błąd w przypadku partii, która zdobyła dwa procenty głosów zasadniczo różni się "jakością" od jednoprocentowego błędu w przypadku partii, która zdobyła dwadzieścia procent głosów - lepszym syntetycznym wskaźnikiem jest suma tzw. błędów względnych. Błąd względny, to - w uproszczeniu - sondażowa pomyłka podzielona przez wynik wyborczy (w powyższym przykładzie błąd względny wynosi 0,5 dla partii "jednoprocentowej" oraz 0,05 dla partii "dwudziestoprocentowej"). Ranking "Sondy" będzie ułożony podług rosnącej sumy błędów względnych. Powtórzę, że samodzielne obliczenie takiej sumy nie przekracza intelektualnych możliwości człowieka, który zdał obowiązkową maturę z matematyki...

Przypominam to wszystko nie bez kozery. Tydzień po wyborach okazało się bowiem, że opublikowane przez TVN 19 października 2007 wyniki sondażu SMG/KRC z 17-18 października różnią się od wyników mediom przekazanych. Jako obywatel, który umie czytać, rachować i korzystać z internetu oraz zdał obowiązkową maturę z matematyki, dysponuję tzw. zrzutem ekranu oraz zapisem portalu "Gazety Wyborczej", i na przedstawionych tam danych oparłem swoją tabelkę i swoje rankingi. Tymczasem wyszło na jaw, że niechlujni żurnnaliści zamienili sondażowy rezultat LPR z rezultatem Samoobrony oraz nie podali wszystkich liczb. Powyższa tabelka zawiera zatem - w odniesieniu do SMG/KRC - dane źródłowe, a nie (jak poprzednia) informacje przepisane z mediów. Co z tego wynika w sensie końcowej rankingowej konkluzji? Tylko to, że teraz raczej trudno mówić o aż "triumfie" SMG/KRC. Z przekonaniem powtórzę natomiast (nieco zmodyfikowaną) generalną pierwotną ocenę, iż różnice między pierwszymi sześcioma "zawodnikami" są doprawdy minimalne - a to oznacza, że praktycznie wszystkie czołowe ośrodki branży spisały się w tych wyborach na medal :-)

Stanisław Remuszko



*         *         *

Wybory '2011: złoto dla SMG/KRC !!!

Do porównań wzięto tylko sondaże wykonane/zakończone w tygodniu przedwyborczym. Oto terminy ich realizacji i liczebność prób: CBOS 29.09-05.10., N = 1099; Estymator 04-06.10., N = 1001; Homo Homini 06.10., N = 1500; OBOP 04.10., N = 1000; SMG/KRC 07.10., N = 1411.

Oznaczenia: PKW - wyniki wyborów; R - wyniki sondażu, ∆ - bezwzględna różnica między sondażowym pomiarem a rzeczywistym wynikiem wyborów, δ - błąd względny (wynik dzielenia ∆ przez PKW)

W publikowanych medialnie wynikach niektórych sondaży, do stu procent sumowały się nie same preferencje partyjne, lecz preferencje partyjne plus niezdecydowani (odpowiedzi "jeszcze nie wiem"). W takich przypadkach - dla ujednolicenia porównań - w poniższej tabelce preferencje partyjne unormowano do stu procent.

Oto cztery rankingi.

Kryterium pierwszego rankingu: od najmniejszej do największej sumy delt dla wszystkich sześciu ugrupowań/kategorii.

Kryterium drugiego rankingu: od najmniejszej do największej sumy błędów względnych dla wszystkich sześciu ugrupowań/kategorii.

Kryterium trzeciego rankingu: od najmniejszej do największej sumy delt dla ugrupowań, które weszły do Sejmu

Kryterium czwartego rankingu: od najmniejszej do największej sumy błędów względnych dla ugrupowań, które weszły do Sejmu

Im wyższy numer porządkowy rankingu, tym większa jego merytoryczna ranga. Ze względu na rolę przypadku, pierwsze dwa rankingi mają charakter bardziej zabawy arytmetycznej niż rzeczowego wskaźnika. Prawdziwym (adekwatnym) wskaźnikiem "socjometrycznej dobroci" danej firmy jest dopiero ranking trzeci, a zwłaszcza ranking czwarty. To one zawierają bowiem bezcenną dla odbiorców syntetyczną prognozę NA NASTĘPNY RAZ: jakie jest prawdopodobieństwo, że wyniki sondażu okażą się zgodne z wynikami wyborów.

Będę wdzięczny za wskazanie błędu (jeśli taki zostałby dostrzeżony)
Płacę 10 zł (przyrzeczenie publiczne) za każdą mylną liczbę
Stanisław Remuszko, 0-22 641 7190 lub 0-504 830 131,



Wybory '2011: trafność sondaży


PKW CBOS Estymator HH OBOP SMG/KRC
R δ Rδ Rδ Rδ Rδ
PO39 43+40.10 35-40.10 36-30.08 41+20.05 36-30.08
PiS30 25-50.17 27-30.10 33+30.10 24-60.20 31+10.03
Palikot10 9-10.11 12+20.20 8-20.20 13+30.30 1000.00
PSL8 800.00 10+20.30 910.13 800.00 800.00
SLD8 11+30.38 800.00 11+30.38 9+10.13 800.00
Inne4 400.00 8+41.00 3-10.25 400.00 7+30.75
Podsumowanie99 100130.76 99151.70 99131.14 99120.68 10070.86


Ranking IRanking IIRanking IIIRanking IV
1. SMG/KRC71. OBOP0.68 1. SMG/KRC41. SMG/KRC0.11
2. OBOP122. CBOS0.762. Estymator112. OBOP0.68
3-4. CBOS133. SMG/KRC0.863-4. HH123. Estymator0.70
3-4. HH134. HH1.143-4. OBOP124. CBOS0.76
5. Estymator155. Estymator1.705. CBOS135. HH0.89


Wybory '2011: mój komentarz

Po pierwsze, w całej rozciągłości podtrzymuję uwagi na temat ocen „sondażowni” zamieszczone pod wynikami wyborów sprzed czterech lat (patrz wyżej). Przypomnę:

... od wskazania konkretnej firmy ważniejsze jest wskazanie jasnych i wymiernych kryteriów jej oceny. W tym celu należy porównać wyniki przedwyborczego badania (komunikat danego biura) z oficjalnymi wynikami wyborów (komunikat PKW), przyznając jeden "punkt karny" za każdy jeden procent odchyłki (w górę czy w dół - wszystko jedno). Suma tych punktów jest prostym, logicznym i bezdyskusyjnym wskaźnikiem trafności pomiarów danego ośrodka. "Dobroć" tego wskaźnika polega również na tym, iż w ogóle nie zależy on od ludzkich sympatii bądź antypatii, od konkurencyjnych albo politycznych uprzedzeń; nadto może go sam obliczyć każdy, kto umie czytać, rachować i korzystać z internetu.

Ponieważ wszakże jednoprocentowy błąd w przypadku partii, która zdobyła dwa procenty głosów zasadniczo różni się "jakością" od jednoprocentowego błędu w przypadku partii, która zdobyła dwadzieścia procent głosów - lepszym syntetycznym wskaźnikiem jest suma tzw. błędów względnych. Błąd względny, to - w uproszczeniu - sondażowa pomyłka podzielona przez wynik wyborczy (w powyższym przykładzie błąd względny wynosi 0,5 dla partii "jednoprocentowej" oraz 0,05 dla partii "dwudziestoprocentowej"). Najważniejszy ranking "Sondy" będzie ułożony podług rosnącej sumy błędów względnych...

Po drugie: koń jaki jest – każdy widzi. Rankingi III i IV nie zostawiają cienia wątpliwości. Znów wszyscy zawodnicy przybiegli na metę w czasach dobrych, a nawet bardzo dobrych. Szczere gratulacje! Ale też znów – drugi raz z rzędu, więc trudniej wierzyć w przypadek - najlepszy okazał się Millward Brown SMG/KRC, i to z przewagą taką, jaką nad rywalami zdobywa sam Usain Bolt (patrz: http://www.remuszko.pl/blog.php/?p=800). Z arytmetyką dyskutować się nie da.

Składam niniejszym przyrzeczenie publiczne (art. 919 KC): jeśli stanie się tak trzeci raz – funduję wszystkim etatowym pracownikom warszawskiej centrali tej firmy po dwie śmietankowe babeczki od Gieryszewskiego (moim zdaniem najsmaczniejsze w Warszawie)!

Ludzi rozumnych i dobrych pozdrawiam serdecznie i z respektem :-)


Stanisław Remuszko



*         *         *

Wybory europejske '2014: trafność sondaży


PKW CBOS Estymator MB HH TNS
R δ Rδ Rδ Rδ Rδ
PO32 37+50.16 3200.00 3200.00 33+10.03 31-10.03
PiS32 30-20.06 31-10.03 31-10.03 34+20.06 34+20.06
SLD9 11+20.22 11+20.22 10+10.11 13+40.44 900.00
JKM7 6-10.14 5-20.29 8-10.14 700.00 5-20.29
PSL7 700.00 700.00 6-10.14 5-20.29 9+20.29
SP4 1-30.75 2-20.50 2-20.50 2-20.50 400.00
TR4 3-10.25 5+10.25 6+20.50 400.00 400.00
PR3 300.00 5+20.67 4+10.33 2-10.33 300.00
RN1 1-11.00 100.00 100.00 0-11.00 100.00
Podsumowanie99 98152.58 99101.96 10091.75 100131.65 10070.67


Ranking IRanking IIRanking IIIRanking IV
1. TNS71. TNS0.7 (0.67) 1. MB41. MB0.4 (0.42)
2. MB92. HH1.7 (1.65)2. Estymator52. Estymator0.5 (0.54)
3. Estymator103. MB1.7 (1.75)3. TNS73. CBOS0.6 (0.58)
4. HH134. Estymator2.0 (1.96)4. HH94. TNS0.7 (0.67)
5. CBOS155. CBOS2.6 (2.58)5. CBOS105. HH0.8 (0.82)


http://www.rp.pl/artykul/1113041.html

Wróć