Poznámky k metodologii a výstupům předvolebních výzkumů zpracovaných pro ČT

Člen Rady České televize Michal Jankovec, který vystudoval Fakultu jadernou a fyzikálně inženýrskou a má dlouholeté zkušenosti s výzkumy veřejného mínění, přispěl k diskusi kolem předvolebních výzkumů, které zpracovává Česká televize a Český rozhlas. Zde přinášíme jeho text:

Již několik dní probíhají na internetu diskuse nad výstupy předvolebních výzkumů včetně použitých metodologií, jejichž zpracování si zadávala ČT a ČRo. Protože jsem s metodologií i výstupy výzkumných šetření zpracovaných pro ČT detailně seznámen, pokusím se je podrobněji popsat. Doufám a věřím, že pro odbornou veřejnost bude můj popis snadno srozumitelný. Moji snahou je ale přiblížit podstatu věci i laické veřejnosti, proto alespoň částečně vysvětluji některé pojmy, které jsou potřebné pro porozumění popisu, a to i přes to, že činí následující text příliš dlouhým, možná nudným a pro laiky i poněkud nepřehledným.  

Základní principy a pojmy

Výzkum stranických a volebních preferencí, respektive konstrukce vyplývajícího volebního modelu je obvykle realizován na principu výběrového šetření. Princip spočívá v tom, že pouze vybraní jedinci z populace (tzv. výběrový soubor) odpovídají na položené otázky a zjištěné výsledky se následně zobecňují pro celou populaci. Pro korektnost takového zobecnění je potřeba, aby se popisné charakteristiky výběrového souboru neboli vzorku respondentů shodovaly s charakteristikami zkoumané populace. Mezi ně nejčastěji patří socio-demografické charakteristiky jako je například pohlaví, věk, vzdělání - ty jsou (pro celostátní i krajské populace) dostupné z dat publikovaných ČSÚ. Jednotliví respondenti pro dotazování jsou vybíráni náhodně, ale tak, aby počty respondentů (kvóty) podle jednotlivých socio-demografických charakteristik ve výběrovém vzorku odpovídaly struktuře populace. Tímto způsobem zkonstruovaný vzorek respondentů se nazývá kvótní výběr. Data získaná na takovém vzorku jsou reprezentativní, tedy platná i pro celou populaci. 

Přesnost výběrových šetření – statistická chyba

I v případě, že jsou zjištěná data vzhledem k celé populaci reprezentativní, nese jejich zobecnění na celou populaci jistou míru nejistoty ohledně jeho správnosti - hovoříme o tom, že je měření zatíženo statistickou chybou. Tato chyba je náhodná a nepravidelná, nelze ji odstranit, ale její rozpětí lze za použití matematické statistiky odhadnout prostřednictvím výpočtu tzv. směrodatné odchylky.

Protože bez použití již relativně složitého matematického aparátu nelze přesně vysvětlovat pojmy jako například „stupeň významnosti“ nebo „kvantil normálního rozdělení“, omezím se na konstatování, že existuje jednoznačný matematický vztah mezi statistickou chybou na straně jedné a počtem respondentů v dotazovaném vzorku a odhadem procenta výskytu nějakého (měřeného) jevu v populaci na straně druhé. Zvyšování počtu dotazovaných respondentů snižuje statistickou chybu naměřených hodnot (je ale třeba upozornit, že také zvyšuje finanční náklady výzkumu). V předvolebním výzkumu ČT pro Zlínský kraj vstupuje do volebního modelu 523 respondentů. Naměřená hodnota 23 % pro ČSSD je zatížena statistickou chybou +- 3,62 %, zatímco hodnota 6 % naměřená pro Zemanovce je zatížena statistickou chybou +- 2,04 %. 

Systematické a hrubé chyby výběrových šetření

Výsledky každého výběrového šetření prováděného dotazováním mohou být vedle statistické chyby dále zatíženy systematickou chybou nebo i hrubou chybou.

Systematickou chybou rozumíme chybu nenáhodnou, která je během dotazování způsobena stále stejnou příčinou. Vzniká například při použití nesprávně formulovaného dotazu nebo při nevhodné konstrukci výběrového souboru.

Tyto typy chyb jsou v předvolebních výzkumech ČT eliminovány následně: Formulace otázek, které jsou použity ve výzkumech ČT, jsou zcela standardní a mnohokrát úspěšně ověřené u nás i v zahraničí, proto je možné vznik systematické chyby nesprávným dotazováním vyloučit. Systematická chyba, která může vznikat při nevhodné konstrukci výběrového vzorku, je v předvolebních výzkumech ČT eliminována použitím metodiky kvótního výběru a následným vážením dat, tedy přiřazení různé váhy jednotlivým respondentům tak, aby struktura vzorku respondentů z hlediska pohlaví, věku, vzdělání, velikosti místa bydliště a okresu přesně odpovídala struktuře populace kraje, kde probíhalo šetření.

Hrubé chyby jsou způsobeny výjimečnou příčinou – vznikají například nesprávným zapsáním odpovědi v rámci jednotlivých rozhovorů nebo selháním jednotlivého tazatele apod. Jen důsledná a vícestupňová kontrola umožňuje nalezení (případně existujících) dat zatížených hrubou chybou a jejich následné vyloučení z datového souboru, aby jimi nebylo výběrové šetření zkresleno. Samozřejmě vzrůstající nároky na úroveň kontrol zvyšují náklady na realizaci výzkumu. Konkrétněji popisuji kontroly používané v předvolebních výzkumech ČT v následující pasáži.

Zkušenost ukazuje, že při měření volebních preferencí metodou osobního dotazování, které bylo použito v případě předvolebního výzkumu ČT, častěji vzniká systematická či hrubá chyba při výzkumech realizovaných na územích menších než je celá ČR, tedy také při měření volebních preferencí v rámci krajů. Tento zdánlivý paradox má vysvětlitelné příčiny. Velikost statistické chyby naměřených hodnot je totiž u předvolebních výzkumů závislá především na počtu respondentů ve vzorku a jen okrajově na velikosti populace, pro kterou jsou výsledky zobecněny. Chce-li tedy výzkumná agentura dodržet stejný maximální limit statistické chyby pro jeden výzkum v rámci celé ČR a jiný výzkum v jednotlivém kraji, pak musí v obou případech dotazovat přibližně shodný počet respondentů. Je přitom logické, že pro výzkumnou agenturu je podstatně snazší sehnat dostatek tazatelů pro realizaci stejného počtu rozhovorů v rámci celé ČR než v jednom kraji. Podle mých zkušeností se všechny výzkumné agentury potýkají s problémem dostatečné hustoty své tazatelské sítě v jednotlivých krajích, zejména těch menších. Nízký počet tazatelů v rámci jednotlivých krajů pak bývá příčinou vzniku různých systematických a hrubých chyb, například:

-       Protože je počet tazatelů nízký, připadá na jednotlivé tazatele příliš mnoho rozhovorů. Aby tento počet rozhovorů tazatel zvládl, má tendenci pomáhat si tím, že v lepším případě začne dotazovat respondenty, se kterými se osobně stýká a ti jsou si často z hlediska socio-demografických charakteristik podobní, což vede ke zkreslení vzorku respondentů vůči populaci – vzniká systematická chyba. V horším případě tazatel zcela selže a začne si socio-demografické charakteristiky jednotlivých dotazovaných nebo dokonce celé rozhovory vymýšlet – vzniká hrubá chyba.

-       Protože je příliš malý počet tazatelů, resp. jejich síť je příliš řídká, je také počet výběrových bodů (například menších obcí), kde se dotazuje, příliš malý, a tak se může stát, že výběrové šetření nemusí dostatečně přesně odrážet diferenci politických preferencí v různých lokalitách - vzniká systematická chyba.

Uvedené chyby je možné účinně eliminovat jedině vybudováním dostatečně velké tazatelské sítě  a vyplývajícího dostatečného počtu výběrových bodů v každém z krajů, kde probíhá předvolební výzkum, v kombinaci s vysokou úrovní kontroly.  Právě na tomto poli udělala podle mého názoru jak ČT (resp. její oddělení VPA), tak i výzkumné agentury, které šetření realizovaly, maximum možného.

Metodika sběru, zpracování a kontroly dat použitá v předvolebních výzkumech ČT

ČT realizuje předvolební výzkumy se dvěma agenturami (tj. STEM/MARK a SC&C). Tak je možné do výzkumu zapojit mnohem více tazatelů, což má vždy pozitivní dopad na kvalitu sběru dat a také výrazně snižuje pravděpodobnost vzniku systematických a hrubých chyb výše popsaných. Ještě před zahájením výzkumu byly na půdě ČT proti sobě konfrontovány seznamy tazatelů obou agentur, aby nemohlo dojít k situaci, kdy obě agentury osloví stejného pracovníka. O tom, kdo využije tazatele, kteří pracují pro obě agentury (bylo jich méně než 10 % z celkového počtu tazatelů), se agentury následně domluvily. Dalším opatřením minimalizujícím možnost vzniku systematické nebo hrubé chyby je omezení počtu rozhovorů realizovaných jedním tazatelem na dvacet, které si ČT vymínila.

Každá z agentur má za úkol realizovat v daném kraji minimálně 500 rozhovorů podle předem stanovených kvót na pohlaví, věk, vzdělání, velikost místa bydliště a okres. Každá z agentur vybírá respondenty podle zavedených postupů, podstatné ale je, že obě agentury společně s ČT předem stanovují rozdělení výběrových bodů v příslušném kraji mezi obě agentury. Obě agentury přitom musí dodržet všechny předepsané kvóty, nemůže se tedy stát, že by některá z nich realizovala rozhovory pouze ve dvou ze čtyř okresů nebo pouze ve vybraných velikostních kategoriích sídel. Tím je eliminována možná systémová chyba výběru.

Následně jsou data získaná oběma agenturami zaslána do ČT, takže agentury si soubory nevyměňují mezi sebou. Odborní pracovníci ČT tato data detailně zkontrolují. Provádějí logickou kontrolu dat, zkoumají konzistenci odpovědí jednotlivých tazatelů a k dispozici mají od agentur také kontroly přibližně 90 % všech rozhovorů, a to buď ve formě  anonymizovaných audio zaznamů rozhovorů, nebo kontrolním telefonátem s dříve dotazovaným respondentem. Všechny případné nejasnosti se s agenturami vysvětlují. Pokud je nalezena významná diference mezi naměřenými výsledky obou agentur, zjišťuje se, proč k ní došlo. Byl tak například nalezen tazatel, který záměrně zkresloval odpovědi ve prospěch jedné kandidující strany – všechny jím odevzdané rozhovory byly po ověření z datového souboru vyloučeny.

Teprve po těchto kontrolách specialisté z VPA ČT spojí oba parciální datové soubory do jednoho a ten převáží tak, aby z hlediska kvótních proměnných odpovídal co nejpřesněji cílové populaci. Vznikne tak jeden finální soubor, který lze považovat za jeden koordinovaný výběr o velikosti větší než 1000 respondentů. Odborníci ČT z tohoto souboru vytvoří podle veřejně dostupného klíče volební model (viz dále), který spolu s finálním datovým souborem pošlou zpátky agenturám k odsouhlasení. Agentury tak zpět od ČT dostanou ve finálním souboru nejen svá data, ale i data druhé agentury. Data i výstupy jsou tedy kontrolována jak specialisty ČT, tak křížem oběma agenturami. Až po odsouhlasení všemi stranami a v případě, že nejsou proti datům či modelu vzneseny některou ze stran námitky, je volební model poskytnut k publikování. Přestože se zabývám výzkumy volebních preferencí dlouhodobě, musím říci, že jsem se v praxi ještě nesetkal s tak transparentní a velmi nadstandardní úrovní kontrol.

Konstrukce volebního modelu z předvolebních výzkumů ČT

Výzkumy volebních preferencí mohou mít různé výstupy. Často přitom nesměřují přímo k odhadům výsledků budoucích voleb, ale přinášejí širší přehled podobně důležitých informací o aktuálních postojích voličů. Zejména pro laickou veřejnost (včetně médií) ale není často jednoduché porozumět, jakou informaci nám různé výstupy dávají a jak je správně chápat. 

Sdružení agentur pro výzkum trhu (SIMAR) proto iniciovalo v roce 2001 dohodu tří českých producentů kontinuálních šetření preferencí do Poslanecké sněmovny Parlamentu ČR, která se pokusila stanovit jednotnou terminologii pro publikování různých výstupů z výzkumů pro stranické preference, voličské preference, stranické sympatie a volební prognózu.

Podle této terminologie má volební prognóza odhadovat výsledek budoucích voleb. Nutnou podmínkou konstrukce relevantní sofistikované volební prognózy je mimo jiné dlouhodobá stabilita v postojích voličů a ve vzorcích jejich volebního chování, která začala v ČR počínaje rokem 2003 spíše oslabovat (zejména co se týče deklarované a skutečné volební účasti různých voličských skupin). Domnívám se, že to je jedním z hlavních důvodů, proč výzkumné agentury postupně rezignovaly na konstrukci volební prognózy a médiím poskytovaly pouze výsledky stranických a voličských preferencí a později také tzv. volební modely. Je třeba zdůraznit, že stranické ani voličské preference nelze samostatně korektně použít pro konstrukci volební prognózy a ani volební model nemusí být a většinou také není ekvivalentem volební prognózy ve smyslu původní terminologie. Volební model na základě výsledků výzkumů volebních preferencí nejčastěji odhaduje aktuální „sílu“ politických stran, jíž lze interpretovat také jako výsledek hypotetických voleb, které by se konaly v období sběru dat - právě tímto způsobem funguje volební model ČT. Protože volební modely tohoto typu nemusí být na rozdíl od volební prognózy vytvářeny na základě žádného speciálního know-how, měly by podle mého názoru agentury vždy zveřejňovat detailní konstrukci svého modelu, tak jako to činí ČT a jí najaté agentury. Do jimi zvoleného volebního modelu vstupují pouze ti respondenti, kteří:

-       uvedou, že se určitě nebo spíše zúčastní krajských voleb

-      a současně uvedou konkrétní preferované politické uskupení pro krajské volby

-      a současně uvedou, že o volbě dané strany jsou určitě nebo spíše přesvědčeni

Poznámka: Součet 100 % ve volebním modelu ČT tedy tvoří aktuální příznivci jednotlivých politických stran a hnutí, kteří jsou o budoucí volbě preferované strany určitě nebo spíše přesvědčeni a určitě nebo spíše hodlají jít k volbám. Tabulka na konci tohoto textu názorně přibližuje takto definovaný volební model ČT.  

Srovnání naměřených výsledků takto konstruovaného volebního modelu se skutečnými výsledky voleb (které se budou konat 12. a 13. října) je možné jen s velkou rezervou, což platí zejména pro výzkumy, které byly realizovány s delším předstihem. Důvod je jednoduchý – dlouhodobě stoupá počet voličů, kteří své volební rozhodnutí činí až těsně před volbami. Například exit poll uskutečněný u příležitosti voleb do PSP ČR v roce 2010 zjistil, že celá třetina voličů se rozhodla dát hlas své straně až 14 dní před volbami a 15 % voličů dokonce až v den, kdy šli hlasovat.

Komplexnost informací podávaných předvolebními výzkumy ČT

Volební model je součástí souhrnné zprávy z předvolebních výzkumů ČT pro jednotlivé kraje, které jsou publikovány na webu ČT. Ve zprávách nejsou explicitně publikovány naměřené stranické preference, na což existují dva protichůdné názory. První preferuje samostatné publikování volebního modelu, když se odvolává na předchozí zkušenosti, kdy část laické veřejnosti bývala do značné míry zmatena současným zveřejňováním stranických preferencí a volebního modelu s navzájem různou úrovní procentuálních zisků pro jednotlivé strany (do jednoho základu jsou započítáni nerozhodnutí, do druhého nikoli). Druhý názor předpokládá vyšší „statistickou gramotnost“ laické veřejnosti a považuje samostatné zveřejnění volebního modelu za nedostatečné, neboť neobsahuje některé důležité informace, které lze vyčíst ze stranických preferencí - zejména množství dosud nerozhodnutých voličů.

Osobně jsem přesvědčen, že struktura výstupů publikovaná ve zprávách z předvolebních výstupů ČT je správným kompromisem mezi oběma krajními názory. Vedle volebního modelu (včetně uvedené statistické chyby pro volební zisk nejsilnější a nejslabší strany) je ve zprávách také zveřejněn podíl nerozhodnutých voličů mezi těmi, kteří se určitě nebo spíše zúčastní voleb a to jak v procentuálním vyjádření, tak v absolutním počtu respondentů. Zpráva tak obsahuje všechny potřebné údaje pro to, aby si mohla jak odborná veřejnost, tak i poučení laici z volebního modelu zpětně stranické preference spočítat, aniž by musely být explicitně zveřejněny - což by mohlo být pro část laické veřejnosti matoucí. Jako příklad uvádím tabulku výsledků předvolebního výzkumu pro Zlínský kraj, kde jsem údaje ve všech jejích polích buď přímo přepsal ze zprávy z uvedeného výzkumu nebo spočítal z úrovní veličin publikovaných ve zprávě:

Souhrn výsledků předvolebních průzkumů
Souhrn výsledků předvolebních průzkumů

Je na místě podotknout, že struktura stranických preferencí vypočitatelná ze zpráv z krajských předvolebních výzkumů ČT je téměř identická se strukturou podle terminologie dohodnuté v roce 2001 pro stranické preference do Poslanecké sněmovny Parlamentu ČR. Struktura vypočitatelná ze zpráv z výzkumů ČT se liší jen v jediném detailu, který nelze převést na „společného jmenovatele“ - jsou zde uvedeni jen ti nerozhodnutí voliči, kteří k volbám určitě nebo spíše půjdou, na rozdíl od terminologie dříve přijaté pro parlamentní volby, kde jsou uváděni všichni nerozhodnutí bez ohledu na jejich deklarovanou účast.

Konečně stojí za zaregistrování počet 523 respondentů (uvedený v horním poli posledního sloupce tabulky), který vstupuje do volebního modelu ČT pro Zlínský kraj. Aby tzv. centrální limitní věta „zajišťovala“ normalitu rozdělení statistické chyby při počtu cca 520 respondentů, nemůže být měřená hodnota nižší než 2 %. ČT tak ve volebním modelu podle mého názoru správně nezveřejňuje zisky stran nižší než 2 % (s udávanou statistickou chybou 1,2 %).

Závěrem mohu říci jediné: Přes rozsáhlé a hluboké diskuse s odborníky mimo okruh ČT a jí najatých agentur jsme nedokázali nalézt lepší koncepci a způsob realizace krajských předvolebních výzkumů, aniž by bylo nutné výrazně navýšit finanční náklady, jež ČT vynaložila.