Måling med kvalitative metoder Fra et psykologisk perspektiv. Seminaret: Estimering av sikkerhetsnivå, 29. september, 2015 Asbjørn Følstad SINTEF Teknologi for et bedre samfunn 1
Innhold 1. Nytten av kvalitative data 2. Kvalitativ måling? 3. Utfordringer Vi vil ha løsninger! Teknologi for et bedre samfunn 2
1. Nytten av kvalitative data Teknologi for et bedre samfunn 3
90% of the data an average company has at its fingertips is "unstructured" or "qualitative" data [ ] from customer surveys, response forms, online forums, social media, documents, videos, news reports, phone calls to call centers and anecdotal evidence gathered by the sales team [ ] Teknologi for et bedre samfunn 4
Kvalitative data? Observasjon Intervjuer Fritekst Teknologi for et bedre samfunn 5
kvalitative data kvantitative data Teknologi for et bedre samfunn 6
Hypotesedannelse kvalitative data Hypotesetesting kvantitative data Teknologi for et bedre samfunn 7
Teknologi for et bedre samfunn 8
Verhoef, P. C., Lemon, K. N., Parasuraman, A., Roggeveen, A., Tsiros, M., & Schlesinger, L. A. (2009). Customer experience creation: Determinants, dynamics and management strategies. Journal of retailing, 85(1), 31-41. En parallell fra studier av kundeopplevelse Teknologi for et bedre samfunn 9
En parallell fra studier av kundeopplevelse Net Promoter Score enkle målinger, kvalitativ oppfølging Teknologi for et bedre samfunn 10
En parallell fra studier av kundeopplevelse I hvilken grad vil du anbefale oss til familie, venner og kolleger? (0=i svært liten grad; 10= i svært stor grad) Hvorfor ga du denne skåren? Teknologi for et bedre samfunn 11
Hypotesedannelse kvalitative data Hypotesetesting kvantitative data Teknologi for et bedre samfunn 12
Praktisk oppgave Teknologi for et bedre samfunn 13
Tenk på sist gang du betalte med kredittkort på nett. Del erfaringer med sidemannen iht. følgende prosedyre Teknologi for et bedre samfunn 14
1 Betalingsløsningen er ikke tillitvekkende 2 Det er ikke lett å forstå hvordan betalingsløsningen virker 3 Jeg stoler ikke på betalingsløsningens hensikt eller oppførsel 4 Jeg er vaktsom ovenfor betalingsløsningen 5 - Betalingsløsningens oppførsel vil ha skadelige konsekvenser 6 Jeg stoler på betalingsløsningen 7 Betalingsløsningen er sikkert 8 Betalingsløsningen er robust 9 Betalingsløsningen er til å stole på 10 Betalingsløsningen er stabilt 11 Jeg har tillit til betalingsløsningen 12 Jeg er kjent med betalingsløsningen 1: I liten grad 7: I høy grad Oversatt og tilpasset med utg.p. i Bisantz, A. M., & Seong, Y. (2001). Assessment of operator trust in and utilization of automated decisionaids under different framing conditions. International Journal of Industrial Ergonomics, 28(2), 85-97. Teknologi for et bedre samfunn 15
Fortell med egne ord hvordan du opplevde det sist gang du brukte en betalingsløsning for kredittkort på nett Hva (hvis noe) ved betalingsløsningen opplevde du som problematisk eller utrygt? Hvorfor? Hva ved betalingsløsningen opplevde du som tillitvekkende? Hvorfor? Teknologi for et bedre samfunn 16
Kvalitative data gir grunnlag for hypotesedannelse i en omskiftelig verden Løsning 1: Vær alltid på jakt etter kvalitative data. Spør hvordan og hvorfor. mulighet for å forstå hvordan og hvorfor? tilstrekkelig rik innsikt til å motivere endring Vi vil ha løsninger! Teknologi for et bedre samfunn 17
2. Kvalitativ måling? Teknologi for et bedre samfunn 18
Innholdsanalyse Identifisere tema og sammenhenger Datadrevne koder? Teoridrevne koder? Teknologi for et bedre samfunn 19
Text mining Identifisere mønstre og trender i tekst Mining-tjenester gode eksempler på enkel innholdsanalyse Stadig mer aktuelt pga. store mengder tilgjengelig innhold fra sosiale medier og tekstbaserte brukerundersøkelser Tolkningsutfordringer http://socialmention.com Teknologi for et bedre samfunn 20
Undersøkelse: Oppfatninger om faktasjekk-tjenester Mulighet: Rå og usensurerte meninger fra folkedypet Målsetning: Forstå hvordan faktasjekktjenester oppleves Teoretisk rammeverk - Opplevd nytte - Opplevd tillit Datainnsamling vha. Meltwater - Twitter - Facebook - Blogger / diskusjonsfora - Nettaviser Work in progress Teknologi for et bedre samfunn 21
Kvalitative data kan kvantifiseres gjennom tematisk analyse og innholdsanalyse Løsning 2: Let etter mønstre i kvalitative data. Kvantifiser gjennom koding. Få rikere innsikt på grunnlag av kvalitative data for hver kode / hvert tema. gir innsikt begrunnet i et rikt datagrunnlag Vi vil ha løsninger! Teknologi for et bedre samfunn 22
3. Utfordringer Teknologi for et bedre samfunn 23
Utfordring 1: Ressursbehov Kvalitativ datainnhenting ressurskrevende Individuelle notater Bruk av workshops og gruppeintervjuer fremfor intervjuer Problem: Gruppeeffekter Gjennomgang i plenum Vi vil ha løsninger! Teknologi for et bedre samfunn 24
Utfordring 2: Tolkningsrom Kvalitativ analyse innebærer tolkning Ulike analysanders koding gir ulikt resultat Datasett Problem: Kan vi stole på analysen? Analysand 1 Analysand 2 Vi vil ha løsninger! Teknologi for et bedre samfunn 25
Oppsummering Vær alltid på jakt etter kvalitative data. Spør hvordan og hvorfor. Let etter mønstre i kvalitative data. Kvantifiser gjennom koding. Få rikere innsikt på grunnlag av kvalitative data for hver kode / hvert tema. Kvalitativ datainnsamling og analyse innebærer vesentlige utfordringer men en del kan mestres med forholdsvis enkle midler Teknologi for et bedre samfunn 26