Sondaż mierzy postawy i deklaracje wyborcze, a nie faktyczne zachowania głosujących. Mimo to oczekujemy, że będzie trafny. Za inny
nikt nie zapłaci.

Elektorat i sondażownie

Chętnym do uczestniczenia
w konferencji „Ewaluacja sondaży wyborczych”, zorganizowanej
przez Organizację Firm Badania Opinii i Rynku (OFBOR), bez trudu udało się zapełnić salę PAP. Czy to tylko wynik zręczności organizatorów przy redagowaniu zaproszeń? Chyba nie, bo sondaże wyborcze po roku 1989 budzą w Polsce niezmienne zainteresowanie i ciekawość. Budzą też spore emocje, nie zawsze korzystne dla sporządzających je firm – co przyznał sam Janusz Durlik, prezes zarządu OFBOR.

Dotąd wyniki sondaży kwestionowali głównie politycy,
po 20 czerwca 2010 przyłączyli się
do nich dziennikarze i publicyści. Firmom badawczym, potocznie zwanym sondażowniami, zarzucono nierzetelność. Co więcej, przed drugą turą zaczęto wręcz kojarzyć firmy z konkretnymi kandydatami oraz telewizjami.

– Wtedy podjęliśmy tę bezprecedensową decyzję o zewnętrznym audycie – mówił prezes OFBOR. – I z prośbą o sporządzenie niezależnego raportu zwróciliśmy się do prof. Henryka Domańskiego, dyrektora Instytutu Filozofii
i Socjologii PAN.

Bogacą? Nie, kreują prestiż

W ocenie Łukasza Mazurkiewicza, prezesa spółki ARC Rynek i Opinia, którego firma w ostatniej kampanii prezydenckiej badań nie robiła, znaczne rozchwianie się emocji wokół sondaży miało miejsce zwłaszcza podczas wyborów w roku 2005,
dwa lata później kampania wyborcza minęła raczej spokojnie, dopiero w zeszłym roku nastąpiła kulminacja społecznych emocji wywołanych przez prognozy wyborcze.

Być może decyduje o tym przeszacowanie roli sondaży politycznych jako przedsięwzięcia gospodarczego. Tymczasem, wyjąwszy lata, w których następuje jakaś kumulacja wyborów, udział wpływów z takich badań jest w obrotach branży niewielki. Łukasz Mazurkiewicz, przywołując w swoim wystąpieniu dane liczbowe za rok 2009, mówił o kwocie niespełna 3 milionów złotych. Według raportu komisji prof. Domańskiego, uwzględniającego zapewne i lata tłuste, „udział badań wyborczych
w budżetach tych firm nie przekracza 5 proc.”.

Ludzie z branży mają jednak świadomość, że to jakość sondaży politycznych
w lwiej części kształtuje wizerunek firm badawczych. Nic dziwnego, że zaniepokojeni sytuacją z minionego roku prezesi Durlik i Mazurkiewicz zamówili raport w środowisku akademickim, a kolegów z branży namówili do poddania się audytowi.

Akademicy z PAN

Komisja, w której skład weszli prof. prof. Henryk Domański, Radosław Markowski, Paweł B. Sztabiński oraz dr hab. Zbigniew Sawiński (wszyscy z PAN),
pracę wykonała, stawiając sobie za cel „ustalenie przyczyn rozbieżności pomiędzy wynikami podawanymi przez firmy a rzeczywistym wynikiem wyborów oraz wskazanie źródeł rozbieżności między firmami”. Analizie poddano wyniki badań pięciu firm: CBOS, Gfk Polonia, TNS OBOP, PBS DGA i Millward Brown SMG/KRC, które na ten audyt wyraziły zgodę.

– Prace zaczęliśmy dopiero po wyborach, więc bez możliwości przeprowadzenia np. badań porównawczych – mówił szef komisji, prezentując zasadnicze tezy raportu. – Nie otrzymaliśmy też wszystkich danych, o które zapytaliśmy, co firmy tłumaczyły względami korporacyjnymi, tajemnicą handlową albo zasadą konkurencyjności.

Prof. Domański zadeklarował zrozumienie dla swoistości reguł obowiązujących
w sferze biznesowej konkurencji, ale wyraził też nadzieję, że interes wspólny – jakim bez wątpienia są wyniki sondaży politycznych – będzie sprzyjał zbliżeniu orbit, na jakich działają firmy badawcze, do zasady metodologicznej przejrzystości właściwej nauce.

Było dobrze, chociaż tak źle

Tezy raportu uczonych z PAN nie wzbudziły sensacji. W ocenie audytorów, przebadanym sondażowniom nie sposób zarzucić ani tzw. błędów systematycznych, czyli błędów w sztuce, ani tym bardziej zamierzonej nierzetelności.

– Wyniki są takie, jak być powinny. Różnice wynikają z błędu trafności,
bo każde zjawisko może być mierzone gorzej lub lepiej – wyjaśniał prof. Domański.

Wniosek o poprawności metodologicznej został oparty na zbieżności wyników sondaży wykonanych przez analizowane w raporcie firmy. Wiadomo jednak,
że za najbardziej nawet poprawne pod względem metodyki, ale nietrafne prognozy wyborcze nikt nie zapłaci nawet tych wspomnianych wcześniej pięciu procent,
warto więc ustalić powody, dla których prognozy sondażowni nieraz wręcz drastycznie odbiegają od komunikatów PKW.

Ofiary politycznej wojny

Skoro użyte metody są w porządku, to pewnie zawinili tacy wyborcy, którzy odmawiają udziału sondażach albo dopiero nad urną podejmują jakieś chaotyczne decyzje. Albo krępowany polityczną poprawnością elektorat Kaczyńskiego, niechętnie przyznający się do głosowania na prezesa PiS. Nie to nie żarty, bo – jak mówił Łukasz Mazurkiewicz – związek miedzy klimatem debaty publicznej oraz wizerunkiem firm badawczych, a szczerością respondentów i liczbą odmów udziału w badaniach jest wyraźny. A stygmatyzacja wyborców „gorszego kandydata” może zmniejszać ich śmiałość w deklarowaniu poparcia.

– Od kiedy sondaże stały się narzędziem walki politycznej, ankieter może być postrzegany jako zwiadowca strony przeciwnej, a nie przedstawiciel niezależnej firmy badawczej, dlatego obrona statusu sondaży jako neutralnego źródła wiedzy o nastrojach społecznych jest ważna i dla firm, i dla mediów – przekonywał Mazurkiewicz. – Należy też zawsze sprecyzować, czy przedstawiany w mediach słupek to jeszcze surowe dane, czy może poddane już jakiejś korekcji? Albo wręcz sporządzona na ich podstawie prognoza?

Diabeł tkwi w szczegółach

Warto przypomnieć, że główną przyczyną krytyki zeszłorocznych chybionych prognoz wyborczych było trwałe przeszacowanie szans kandydata Komorowskiego
oraz analogiczne niedoszacowanie poparcia dla kandydata Kaczyńskiego. I to w obu turach. Zdaniem Zbigniewa Sawińskiego, jednego z audytorów, stało się tak, bo firmy nie skonfrontowały sondaży z wynikami pierwszej tury. Przykładowo: odejmując 3 proc. przeszacowanemu i dodając je drugiemu z kandydatów, można było skonstruować prognozę trafną.

– To prawda, że Kaczyński był w sondażach niedoszacowany, ale błąd mieści się w pięcioprocentowym przedziale ufności, co oznacza, że został spowodowany statystyką – mówił Henryk Domański.

– Gdyby te odchylenia wyników sondaży od realnego wyniku wyborów miały być skutkiem przypadkowych błędów statystycznych, to z grubsza połowa punktów powinna znaleźć się po jednej, a połowa po drugiej stronie wykresu, podczas gdy na rycinach, zamieszczonych w raporcie, właściwie wszystkie punkty znalazły się po jednej stronie – ripostował dr Jacek Chołoniewski, dyrektor firmy Estymator.

Z szefem komisji polemizował też Andrzej Olszewski, prezes zarządu firmy badawczej TSN OBOP: – Fakt, że przedstawione przez nas wyniki nie były zbieżne
z wynikami innych firm, lecz raczej z faktycznym rezultatem wyborów, chyba naszych badań nie dyskredytuje. Jednak czytając w raporcie zdanie, że prognozy OBOP „nie są zgodne z trendem wspólnym dla pozostałych badań”, można pomyśleć, że to my zrobiliśmy coś niewłaściwego.

9 lutego 2011, non printum