”Say you were standing with one foot in the oven and one foot in an ice bucket. According to the percentage people, you should be perfectly comfortable.” – Bobby Bragan

En del kompisar frågar mig varför jag ogillar statistik, och varje gång måste jag börja med förklara det som borde vara en grundkurs i skolan: Statistik är bara en ögonblicksbild baserat på ett särskilt utgångsläge. Det vanligaste felet som görs idag är att man glömmer vad statistiken representerar. Det snackas om att förbereda rådata som om informationen bakom är det viktiga, men det finns tolkningar både i själva frågeställningarna och svarshanteringen som inte alls är särskilt är särskilt objektivt. Att använda sig av kritisk granskning är lätt när det gäller enkla fakta, men det blir svårt om samma information förs fram som statistik.

”Do not put your faith in what statistics say until you have carefully considered what they do not say.” – William W. Watt

När jag ser statistik i tidningar eller artiklar letar jag efter hur stort underlag det var, om Obundet slumpmässigt urval (OSU) används samt hur underlaget var utformat (och då också hur svaren hanterats). Det vanligaste felet som görs numera är att man tar ett begränsat urval, exempelvis besökare på en viss hemsida, och beskriver resultatet som om det vore ett helt slumpmässigt urval. I sämsta fall uppskattar man bara en siffra och använder det som statistiskt säkerställt underlag.

”Figures often beguile me, particularly when I have the arranging of them myself; in which case the remark attributed to Disraeli would often apply with justice and force: ’There are three kinds of lies: lies, damned lies and statistics.’” – Mark Twain

Man måste ta i beaktande urvalet som görs. Om opinionsmätningarna görs genom att ringa upp hemnummer kommer man att missa de som saknar hemtelefon och då är urvalet inte längre OSU. Om man enbart frågar de som besöker en viss hemsida kommer urvalet naturligtvis vara de som besöker hemsidan samt är intresserad att svara på frågan. Om man ändrar urvalet under vägen, påverkar man också resultatet.

Man måste tänka sig för när man ställer frågor. Hur kommer den som svarar tolka frågan om maten är himmelsk god? Hur olika blir svaren om man formulerar sig lite annorlunda? Frågan bör vara så enkel som möjligt för att undvika tolkningar.

Man måste också tänka sig för när man samlar in resultatet. Med färre alternativ blir det enklare att tolka resultatet, men det blir också svårare att få någon exakthet i det. Om man kan svara en siffra från 1(äckligt) till 10(gott), när det gäller maten som serveras vid en restaurang, vad läggs för värde i de olika svarsalternativet? Om man förenklar det till att bara vara två siffror 1(äckligt) och 2(gott), kommer man få något annat än gott från de flesta? Påverkar det om man har personal som frågar, eller om kunden får lägga svaret helt anonymt?

Statistik är ett svårt område att få rätt, så länge som man har med individer att göra. Det blir nästan en filosofisk fråga kring hur många tolkningar som kan göras på olika sätt i hanteringen. Det är dock lätt att använda framtagen statistik på det sättet som man vill. Och det är väldigt lätt att (oavsiktligt) få fram statistik som visar på det man förutsatt redan tidigare.

Jag arbetar gärna med information i stora mängder, och tar gärna fram statistik baserad på det underlaget. Men statistik är inte samma sak som analys, och att göra en analys på statistik innebär att man tappar kvaliteten på undersökningen. Jag ogillar alltså inte statistik utan på hur man bildar sig en uppfattning baserat på statistik utan att först försöka förstå den information som statistiken baserar sig på.

Ett tips är att när någon använder statistik, be att få reda på hur stort underlag det är (hur många personer som är tillfrågade), hur urvalet gjordes (vilka som besvarade frågorna), hur frågeställningen var (vilka frågor ställdes), vad fanns det för svarsalternativ (hur detaljerat kunde man svara) och vem var beställaren (i vilket syfte gjordes undersökningen).