Här är frågan som inget
undersökningsföretag ställer

Här är Turingtestet för undersökningsföretag. Ställ följande fråga till ett representativt urval av den svenska befolkningen: ”Tror du på opinionsundersökningar?”

När vi ändå håller på kan ni ställa frågan ”Brukar du svara på undersökningar”.
Den första frågan är knivigast: min gissning är att de flesta kommer att svara nej. Dels för att allmänheten kanske har ett vagt minne av att opinionsföretagen missade valet i Sverige, Storbritannien och nu senast Polen. Och kanske för att respondenterna vill vara klädsamt kritiska till saker som man att tror görs för att forma opinioner. Opinionsundersökningar, till exempel. Eller för all del, medier.
Svaret på den senare frågan är lättare att gissa. Statistiskt kommer drygt 50 procent att svara ja och den andra hälften svarar inte alls. SOM-undersökningen är en av de största och mest renommerade i landet har ändå sett svarsfrekvensen falla från omkring 70 procent till 50. Vilket i dag anses som en hög svarsfrekvens. SOM har föredömligt redovisat hur de som svarar speglar befolkningen. Kort sammanfattning: Unga män i storstad svarar mer sällan än äldre kvinnor i mindre tätort.

SCB har tidigare frågat varför folk inte svarar, vilket ju förefaller som en contradiction in terms, men resultatet är i alla fall att det finns tre skäl.

    1. De med låg tilltro och intresse till samhället avstår närmast som protest.
    2. Samhällsintresserade som avstår av principiella skäl. Överheten ska inte lägga sig i vad jag tycker och tror.
    3. Samhällsintresserade som inte hinner eller orkar just nu.

Därför är debatten om självrekryterade webbpaneler contra slumpvis utvalda en smula konstig. Om den senare konsekvent missar en viss typ av människor kommer slumpen vara okej men inte urvalet. Det kan bli ett systemfel på samma sätt som den förra anklagas för.
Richard Öhrvall påminner på sajten Politologerna om presidentkandidaten Alf Landons öde i 1936 års val. Han förlorade mot Franklin B. Roosevelt, vilket tidskriften Literary Digest jättelika undersökning skickad till 10 miljoner amerikaner, missade. De hade tidigare prickat rätt vinnare i fyra presidentval i rad.

Nu vann istället Roosevelt vilket den unge George Gallup förutspått genom ett mycket mindre men slumpvist urval. Anledningen till att Literary Digest missat anses vara att deras frågeformulär skickades till slumpvis utvalda amerikaner baserade på bilregister och telefonkataloger. USA led fortfarande av trettiotalsdepressionen vilket innebar att många inte hade råd med varken telefon eller bil. Utskicket gick därmed till fler välbeställda än genomsnittet i landet.

Det var ett systemfel.
Jag tycker nog att det finns skälig misstanke om att det finns systemfel både i självrekryterade paneler och de traditionella slumpvis utvalda.

För några år sedan köpte jag åt en kund en undersökning av TNS/SIFO där en av frågorna var vilken tidning respondenten läste. Svaren gick stick i stäv med Orvestomätningarna. Jag klagade och SIFO höll med och vi beslutade gemensamt att lägga ned undersökningen. Det får mig att tro att alla undersökningar ska ha något ankare förutom de självklara kön, ålder och geografi att testas mot. En kontrollfråga som i någon mån ska överensstämma med stora, tillförlitliga undersökningar som gjorts under långa tidsserier.

2004 snappade Mediearkivet upp 982 artiklar som nämnde ordet undersökning tillsammans med namnen på något av de vanligaste företagen i branschen, Sifo, SCB, Novus, Ipsos, Yougov och United Minds. Tio år senare var det 3 500. Undersökningar trendar fortfarande.

Undersökningar speglar inte bara opinioner, de driver dem också. Under senaste årtiondet har de dessutom direkta politiska och ekonomiska konsekvenser. Många landsting, kommuner och företag kravställs på vad kunderna tycker om dem i olika typer av undersökningar. Undersökningsmetodik är därför för viktigt för att bara diskuteras av politiska intresserade statistiknördar.
Ett anspråkslöst förslag från en amatör är att starta en webbplats där undersökningar kunde laddas upp med bortfallsanalyser, urval och annan data. Dels för att andra kunde verifiera undersökningen. Dels för att tidigare svarsresultat kunde utgöra ett slags trovärdighetstest för nya. I den bästa av databaser blir det ett Poll-of-Polls även för andra ämnen än politik.

Publicerad på Medievarlden.se 2015.
Andra artiklar om opinionsundersökningar här, här och här.

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *