Her kommer en liten rant om dårlig spørreundersøkelser som ikke fører til annet en dårlig grunnlag for beslutninger.
-Hva gjør du?
-Svarer på en undersøkelse, Dyrevernalliansen får noen kroner for hver jeg gjennomfører.
Kjæresten min meldte seg inn i “Dyrevern Panel” for en liten stund siden da hun synes det er en fin måte å støtte en organisasjon som gjør et viktig arbeid. Dyrevernalliansen har et samarbeid med CINT AB hvor de sender ut spørreundersøkelser til deltakerne i panelet. For hver spørreundersøkelse som besvres doneres det mellom 4-13 kroner til Dyrevernalliansen.
-Hva, jeg er bare på side 32 av 70!
Etter det tviler jeg på det var mange av svarene hennes som var spesielt brukbare. Det ble mye ”vet ikke” og sukking over spørsmål som var alt for like. Etter rundt 20 minutter var hun ferdig. Dyrevernalliansen noen kroner rikere – kunden til Cint litt fattigere, men kanskje ikke noe smartere?
Ingen data er bedre enn dårlig data. Shit in is shit out. Analysering av dårlig data vil ikke gjøre deg noe smartere og heller ikke i stand til å ta bedre beslutninger. Har man ikke mulighet til å skaffe god data kan man likeså godt heller handle på intuisjon og spare pengene.
Spørreundersøkelser på internett har blitt en populær måte å samle inn data på. Ikke spesielt overaskende, da dette både er rimeligere, lettere å administrere og lettere å få tak i flere personer til å delta. Ulempen med internett undersøkelser er at de fort kan mangle både validitet og relabilitet.
Hva var galt med spørreundersøkelsen Dyrevernalliansen sendte ut?
- Nå kjenner jeg ikke til Dyrevernalliansen sin medlemsdatabase, men vil tror at jeg ikke tar feil når jeg sier at de som er medlemmer av “Dyrevern panel” er neppe representative for befolkningen. Ergo, kan ikke generaliseres. Å kunne generalisere til befolkningen er stort sett det alle spørreundersøkelser vil. Det eneste denne spørreundersøkelsen sier noe om er meningene og holdningene til Dyrevernaliansens dyrevern panel.
- Man velger selv om man vil delta. For at en undersøkelse skal kunne generaliseres forutsetter det at man har gjort et tilfeldig utvalg. I dette tilfelle risikerer man at de som er interessert i spørreundersøkelsens tema velger å svare. Siden denne handlet om biler kan det godt hende at kun de som var interessert i bil har tatt seg tiden til å gå igjennom de 70 sidene med spørsmål, noe som fører til at svarene blir skjeve. At deltakerne også vet at Dyrevernalliansen mottar penger når de gjennomfører undersøkelsen kan også føre til at folk bare klikker seg igjennom uten å ta seg tid til å avgi ordentlig svar.
- Spørreundersøkelsen var ikke mobiltilpasset. Jeg er glad det ikke var jeg som skulle gjennomføre den, for det å sitte å zoome inn på 70 sider med spørsmål for å huke av på små bokser er mye å forlange. Mellom 50-60 prosent av alle e-poster åpnes på mobil. Ved å ikke tilpasse spørreundersøkelsene til mobil mister man mange respondenter.
- For mange spørsmål. En spørreundersøkelse burde ikke ha for mange spørsmål. Fra en forskers standpunkt er selvfølgelig ønskelig med mange spørsmål rundt begrepene slik at man får full begrepsvaliditet. Problemet oppstår når det blir så mange spørsmål at man heller bare svarer noe istedenfor å svare ordentlig. Da hjelper det ikke å ha kartlagt alle aspekter ved begrepet.
Representativt telefonintervju mot spørreundersøkelse på nett
En undersøkelse gjennomført i North Carolina rundt reglene om jakt på søndager illustrerer godt problemet med undersøkelser på nett. De samlet inn svar på to måter. De samlet inn et sett med data på telefon og et sett ved hjelp av en undersøkelse på sine nettsider. Spørreundersøkelsen på nett viste at 55% var for jakt på søndager, 43% mot og de resterende 2% hadde ingen formening. Spørreundersøkelsen på telefon hadde disse resultatene: 25% for, 65% mot og 10% som var usikre.
Telefon spørreundersøkelsen hadde et tilfeldig utvalg av beboere i området mens nett spørreundersøkelsen ble fylt ut av de som selv valgte å delta på nettsiden. Så kan vi jo stille oss spørsmålet om hvilke av disse dataene vi tror mest på.
Representativitet, representativitet, representativitet!
Så, med mindre man har et representativt utvalg eller tilgang på hele populasjonen og kan “tvinge” dem til å gjennomføre en undersøkelse (for eksempel en medarbeiderundersøkelse) vil undersøkelser på nett ha store svakheter.
Ønsker du å lære mer om problemene med spørreundersøkelser på nett? Da anbefaler jeg å lese denne rapporten.
Disclaimer: I denne bloggposten har jeg illustrert noen av utfordringene med spørreundersøkelser på nett ved å se på undersøkelsen Dyrevernalliansen sendte ut. Denne bloggposten er ikke ment som noen form for angrep på dem, men på konklusjoner basert på dårlig data grunnlag fra spørreundersøkelser på nett generelt.
