Utforming av spørreundersøkelser

Transkript

1 Veiledningshefte til QuickScan Utforming av spørreundersøkelser - Kompetansekartlegging - Klimaundersøkelser kartlegginger

2 Om QuickScan QuickScan er primært laget for å kunne håndtere 360 graders undersøkelser i forbindelse med personalutvikling og veiledning. Den kan imidlertid også brukes til kompetansekartlegginger, kursevalueringer og miljøundersøkelser. Det er enkelt å kombinere spørsmål om vurdering av en situasjon med spørsmål om hvor viktig respondenten mener dette er. Systemet består av en web-modul og en rapportmodul. I web-modulen lages spørreundersøkelsen og innhenting av data administreres. E-post til respondenter med brukernavn og passord genereres automatisk. E-post lister kan importeres. Ved en 360 graders undersøkelse får kandidaten en egen administrasjonsside for å invitere sine observatører. Administrator overvåker prosessen på sin admin-side. Rapportmodulen lastes ned og installeres på egen PC. Det gir frihet til å arbeide med rapporter uten god nettforbindelse, for eksempel på reise. Man definerer et antall bakgrunnsvariable (f.eks avdeling, utdanning, kjønn og alder) og kjøre ut rapporter filtrert på disse variablene. Man kan velge mellom et sett ledetekster til avkryssingskala med tilhørende skalverdier (Fra stor grad til liten grad, fra enig til uenig, fra viktig til uviktig osv). For å lage systemet enkelt å håndtere benytter systemet en fast skala. Bruker kan selv definere spørsmål eller hente og la seg inspirere fra et sett maler. 2 InMente Ressurs AS

3 Spørreundersøkelser Innhold Spørreundersøkelser og ulike typer kartlegginger kan være svært nyttige i en virksomhet. Det gir mulighet for å ta kloke beslutninger basert på at man vet og ikke bare tror. Målrettede tiltak kan iverksettes fordi man kjenner både problemet og årsaken. Det gir mulighet for å forebygge fordi man får informasjon fra de som ser utfordringen først, før problemet og kostnadene er åpenbare for enhver. Kartlegginger er en måte å kommunisere med og lytte til organisasjonen på, men som med all kommunikasjon gjelder det å være bevisst hvordan man gjør det for å slippe feiltolkninger og misforståelser. Dette heftet handler primært om virksomhetsinterne kartlegginger basert på papir eller i elektronisk form. Mange av rådene du finner gjelder for alle typer av undersøkelser, men vi tenker særlig på: Forarbeid og forankring... Design av skjema... Utforming av spørsmål... Bruk av skalaer og faste svaralternativer... Undersøkelsens kvalitet Organisasjonsundersøkelser som klima- og miljøkartlegginger eller ulike typer evalueringer Kompetansekartlegginger og holdningsundersøkelser 360 graders kartlegginger og tilbakemeldinger Særlig mellom de to første er det glidende overganger og mye er felles for alle tre. Likevel står nok 360 graders kartlegginger i en særstilling. Vi har derfor valgt å inkludere et eget kapittel om denne spesielle formen. Hva er spesielt med 360 kartlegginger?... Litteratur Oslo, juli 2008 InMente Ressurs AS InMente Ressurs AS

4 Forarbeid og forankring Utgangspunktet for en spørreundersøkelse er at man trenger informasjon eller vil teste ut noen antakelser. Det er mange måter å skaffe seg informasjon på og flere gode alternativer til de vi her skal konsentrere oss om. For eksempel: Personlige intervjuer, telefonintervjuer, fokusgrupper, arbeidsgrupper og søkekonferanser. Spørreskjema eller intervju? Vær tydelig på hensikten Som du spør så får du svar! Det er imidlertid noen klare fordeler ved å bruke en spørreundersøkelse sammenliknet med f. eks et intervju. Først og fremst er det vesentligere rimeligere, særlig hvis du ønsker å nå mange. Men det er også slik at spørreundersøkelser lett kan settes opp slik at dataanalysen blir enklere og gir bedre svar. Man får god kontroll på at alle møter eksakt det samme spørsmålet, brukes intervjuer vil det kunne svinge litt fra intervju til intervju. De fleste er vant med spørreundersøkelser og har tidligere i en eller annen sammenheng vært med på en undersøkelse. Det er også en fordel at folk kan besvare når de har tid og kan planlegge selv. Det bryter mindre inn i den enkeltes hverdag. Det er på den annen side ikke bare fordeler. Som vi senere skal komme tilbake til, også undersøkelser er en form for kommunikasjon. Et spørreskjema gir få muligheter til å følge opp spørsmål eller rette misforståelser under besvarelsen. Her har intervjuet sin styrke. Mye kommunikasjon er visuell, kroppsspråk og gester, disse nyansene mister du på godt og vondt. Den kanskje viktigste svakheten er svarprosenten og behov for oppfølging. Dette er imidlertid vesentlig lettere å kontrollere i virksomhetsinterne undersøkelser, enn ved f.eks. bredere bruker- eller markedsundersøkelser. Ofte vil valg av metode henge sammen med hvor presist du kan formulere hva du har behov for å vite. Hvis dette er noe uklart (du vet det er noe, men vet ikke helt hva det er), kan det være lurt å kombinere metodene. Innledende avklaring gjennom intervju eller fokusgrupper og deretter oppfølging og data for presis analyse gjennom spørreundersøkelser, kan være en god variant. Det heter seg at som man spør så får man svar. Forutsetningen for gode spørsmål henger sammen med klargjøring av formålet med hele undersøkelsen. Bruk god tid på denne fasen og sørg for at formålet er skriftlig formulert det er et viktig referansepunkt når arbeidet med det enkelte spørsmål starter. Upresist formål gjør det lett senere å falle for fristelsen til å beholde for mange Det hadde det vært artig å vite noe om spørsmål. Resultatet er gjerne at skjema blir for langt, kvaliteten for svak og svarprosenten for lav. Den som har ansvaret for å utforme undersøkelsen sitter ofte i en mellomstilling mellom bestiller (virksomhetsledelsen, personalavdelingen, fagforeningen etc.) og målgruppen (alle eller deler av de ansatte). Det er utformers ansvar å sørge for at bestiller klargjør og forstår sine egne intensjoner. Hold fokus på: Hvorfor skal dette gjennomføres og hva skal det brukes til? 4 InMente Ressurs AS

5 Spørreundersøkelser er bare en annen måte å kommunisere på. Kjenner du den du skal kommunisere med er sjansen for god kommunikasjon bedre. Når formålet er klart er det alltid ett godt råd å involvere de som skal delta. De vil gjerne kunne fortelle deg mye om hva du bør spørre om, hvordan du skal spørre og hvem du bør rette det til, for å få vite det du er interessert i. Involvering av målgruppen bør skje på to områder. For det første som en kvalitetssikring av formål og intensjon. Er det virkelig de interessante tingene som er identifisert, eller er det andre forhold eller nyanser som er viktigere? For det andre som en test av språk og formuleringer. Involver de som skal spørres i utformingen Involvering av målgruppen har imidlertid også en viktig funksjon som forankring. Som ansvarlig for utforming må du sørge for forankring to veier. Mot oppdragsgiver for å sikre at undersøkelsen blir sett på som viktig og at resultatene vil bli brukt. Mot målgruppen for å forberede og motivere til å besvare på en ærlig og helhjertet måte. Forankring og forhåndsinformasjon er avgjørende for et godt resultat. Virksomhetsinterne undersøkelser har her en styrke i forhold til åpne publikums-, bruker- eller markedsundersøkelser, fordi det normalt vil være enklere å få ut informasjon i flere omganger. Hensikten med dette arbeidet er å oppnå motivasjon for gjennomføring. De som skal svare må tro på at deres svar betyr noe og at svaret blir håndtert seriøst. Du bør tilstrebe å få til følgende seks punkter: Legg vekt på forankring og forhåndsinformasjon 1. Vis frem at toppledelse i virksomheten står bak hvis det er relevant. Gjør det tydelig gjennom forhåndsinformasjon eller ved leders signatur på informasjonsskriv som går ut i forbindelse med at skjema distribueres. 6 kjøreregler 2. Legg vekt på å forankre undersøkelsens formål, innhold og form med fagforening der dette er naturlig. Vis til inngått avtale eller felles intensjon. 3. Hvis virksomheten ikke har en etisk avtale eller policy når det gjelder hvordan kartlegginger som involverer sensitive data, (360 graders kartlegginger, personprofiler og tester) bør det tas et initiativ for å få det på plass. På brukersidene til InMente Ressurs vil du finne eksempler på slike avtaler. Det er viktig å få tommelen opp for at undersøkelsen gjennomføres Ta anonymitet på alvor 4. Vær tydelig når det gjelder anonymitet. Det kan være nyttig å presisere at selv om administrator kan se og følge opp hvem som har svart betyr InMente Ressurs AS

6 5. 6. ikke det at man kan se hva som er svart. I QuickScan finnes en egen funksjonalitet hvor det legges en ekstra sikkerhet på anonymitet. Vær nøye med å formidle hensikten med undersøkelsen og hvordan den skal brukes. Gi god veiledning og instruksjon. Respondentene har et krav på å få vite hva undersøkelsen resulterte i. Vær tydelig på hva de kan forvente å få tilbake og når. 6 InMente Ressurs AS

7 Design av skjema De fleste er oppmerksomme på at det kreves arbeid for å lage gode spørsmål (se neste kapittel) men selve oppbyggingen av skjemaet er også svært viktig. Det anbefales at man tenker gjennom følgende elementer: 1. Oversendelsesbrev. Hvis det er gitt god forhåndsinformasjon kan det vises til dette, hvis ikke skal oversendelsesbrevet gi den informasjon som gjør at respondent blir motivert til å svare og føler seg trygge på å svare. Jobber du elektronisk kan dette gjerne skje i en egne e-post som varsler om at link pluss brukernavn og passord kommer i egen sending. Det er ikke uvesentlig hvem som signerer oversendelsesbrevet 2. Introduksjon og veiledning for skjema. Hvis bruker ikke forstår hva han/ hun skal gjøre er sjansen stor for at du ikke får svar eller mottar svar med lav kvalitet. Legg fram så ryddig som mulig strukturen på skjema og hva som forventes. 3. Seksjoner. Del opp skjema i en logisk struktur som respondenten kan være med på. Hvis seksjonene er ulike skal det være en liten forklaring når man går fra en Gjør det enkelt og kjent hvis mulig til neste. Det er en myte at det er lurt å la spørsmål komme i tilfeldig rekkefølge. Det gir et rotete inntrykk og vil resultere i lavere kvalitet. Det er viktig å gi respondenten det riktige grunnlaget for å besvare spørsmål. Bare når du utvikler måleinstrumenter for å måle helt bestemte og avgrensede forhold som f.eks lederstil, og hvert spørsmål er designet til å kunne stå for seg selv, vil det være riktig å la spørsmål få tilfeldig rekkefølge. 4. Først og sist. Det er godt råd å starte med spørsmål som vekker interesse, men som er enkle å besvare. Unngå vanskelige spørsmål i starten. Har man først begynt å svare, vil de fleste fortsette til de er ferdige. 5. Bakgrunnsinformasjon. Ofte vil en undersøkelse forutsette informasjon om respondenten eller hvor vedkommende hører hjemme. Dette kalles bakgrunnsvariable eller demografisk informasjon. Det er viktig å huske å ta med det du trenger, men ikke fall for fristelsen til å be om mer enn du kommer til å bruke. Be bare om det respondent vil kunne oppleve som sensitiv informasjon der det faktisk er strengt nødvendig. Det er en god regel å begrunne behovet. Hvis det er et lite antall bakgrunnsvariable, (f.eks avdeling, stilling, ansiennitet e.l) er det OK å starte med det. Hvis dette er en omfattende seksjon, anbefales det at dette komme tilslutt. Vær varsom med bakgrunnsinformasjonen slik at du ikke uforvarende bryter et løfte om anonymitet. Ber du f.eks om avkryssing for aldersgrupper og det bare er én over 60, vil vedkommende kunne føle seg identifisert, selv om du ikke har noen tanke om å publisere resultater fordelt på grupper med så få respondenter. InMente Ressurs AS Forhåndsinformasjon Hjelp respondenten Struktur er viktig Vær våken på sensitiv informasjon 7

8 Finne gode avgrensninger Let etter gode dimensjoner God teaori bidrar til konkretisering Det er gjerne to hovedtilnærminger til å finne en god struktur og et godt design. Det vi kan kalle teoristyrt skjemautvikling og praksisstyrt utvikling. I det første vil det være en teori eller teoretisk basert konsept som ligger til grunn. Anta at vi skal kartlegge noe rundt ledelse i virksomheten. En teoristyrt tilnærming vil gi viktige fordeler. For det første vil vi få en føring på hva det fornuftig å spørre om og hva vi skal la ligge. Det vil også bidra til at vi lettere kan strukturere det i deler eller seksjoner som til sammen gir et fornuftig hele. Er vi heldige har noen forsøkt å kartlegge virkeligheten i lys av den samme teorien tidligere. Uansett er det gjerne nødvendig selv å gjennomføre en dimensjonsanalyse. I dette inngår to hovedspørsmål: 1. Hvilke dimensjoner reiser teorien? For eksempel hvilke elementer knyttet til lederskap reises, eller langs hvilke dimensjoner beskrives lederskapet. La oss si vi ønsker å sjekke om vi i praksis har et lederskap i tråd med det som kalles transformasjonsledelse eller teorien om visjonær ledelse. En av forskerne på transaksjonsledelse deler dette begrepet i tre; karisma, individuell omtanke og intellektuell stimulering. Det kan jo være tre dimensjoner å ta utgangspunkt i som leder til neste problem: 2. Hvilke mål kan vi bruke på dimensjonene? Begrepet karisma er for eksempel verken spesielt enkelt eller entydig. En godt dokumentert teori vil gjerne hjelpe oss. I denne sammenheng beskriver teorien at karisma består av tre elementer: En leder som har karisma kjennetegnes av a) høy selvsikkerhet, b) stort behov for å påvirke andre og c) gode kommunikasjonsferdigheter. Aksepterer vi det, har vi avklart hva vi må få vite noe om. Utfordringen blir så å stille spørsmål som fanger dette. Det gir oss følgende utfordring: Hvilke spørsmål stiller vi til hvem for å få vite om ledelsen er kjennetegnet av gode kommunikasjonsferdigheter? I praksisstyrt skjemautvikling starter vi i den andre enden. Det er gjerne helt konkrete ting som: Hvor trykker skoen eller hva skulle vi gjerne visst før vi tar beslutningen? La oss si at vi gjerne skulle visst noe mer om hvordan de ansatte opplever arbeidsmiljøet. Hvilke sider ved arbeidsmiljøet er det vi skal ta opp eller spørre om. I praksisstyrt utvikling er det gode rådet å involvere de ansatte. Sett ned en arbeidsgruppe eller kjør en liten serie med fokusgrupper hvor temaet for eksempel kan være Hva ville det vært nyttig for oss å vite mer om når det gjelder arbeidsmiljøet i virksomheten. Etter noen runder vil dimensjonene begynne å utkrystallisere seg. I praksis vil nok mange veksle litt mellom disse hovedtilnærmingene. Virksomheten har kanskje en strategi eller noen skriftelige verdisett. Dette er ikke akkurat noen teori, men kan gi opphav til et sett avgrensede dimensjoner enten det er lederskap eller arbeidsmiljø. Dimensjonene kan i neste runde tas ut til en dialogrunde med de ansatte for å brytes ned eller prioriteres. 8 InMente Ressurs AS

9 Utforming av spørsmål Det å bruke et spørreskjema er å invitere til kommunikasjon hvor du ikke kan være tilstede. Du kan ikke rette opp misforståelser eller sørge for at kommunikasjonen flyter godt. De hjelpemidler vi har, i tillegg til selve designet på skjemaet, er de ord og uttrykk vi bruker i skjemaet og de alternativer vi gir respondenten for å svare. Det er lett å anta at respondenten tenker omtrent som oss, utfordringen er at det er sjelden tilfellet. For respondenten handler hvert spørsmål om et stykke mentalt arbeid i fire faser: Hva er det de spør om tolking av ord og setningsoppbygging Hva vet jeg om det fremhenting av relevant informasjon i egen hukommelse og virkelighetsforståelse Hva skal jeg de svare konkludere egen oppfatning Hvordan skal jeg utforme svaret - valg av svaralternativ eller formulering av svar gitt de muligheter som skjemaet åpner Å bruke spørreskjema er å kommunisere Vår jobb under utformingen er å gjøre disse fasene så enkle som mulig. Vel vitende om at det på ingen måte bare er vårt spørsmål som påvirker respondenten i svarøyeblikket. Like viktig er hvordan respondenten opplever situasjonen. Dreier spørsmålene seg om noe som hun vet noe om? Synes hun det er interessant? Er det viktig? Hva forventer de som har laget spørsmålene, hva forventer ledelsen eller kollegaer? Er hun sikker på at hun er anonym? Respondentens svar på slike spørsmål påvirker kvaliteten. Du får bedre svar av en kunnskapsrik og interessert respondent enn en som føler seg tvunget til å svare på det tredje dumme skjemaet i løpet en måned, det skjer aldri noe likevel. Du får mye kvalitet igjen for å forberede og selge undersøkelsen. La oss vende tilbake til fasene og illustrere utfordringen med et par eksempler. Spørsmålet Har du tillit til ledelsen i selskapet? er ikke sjelden i en miljøundersøkelse. Spørsmålet forutsetter at respondenten har en forståelse av hvem ledelsen er. Er det nærmeste leder, konsernsjef eller alle over en selv? Hva er det å ha tillit? Jeg stoler jo for så vidt på han, men jeg vet han er en luring. Er alle saker like viktig, eller tenker spørreren på noen bestemte viktige saker? Dette er eksempler på usikkerheter som kan dukke opp i hodet på en respondent, selv på tilsynelatende enkle spørsmål. Handler tillit om forutsigelighet, det å handle klokt eller å være på min side i konflikt? Gjør det enkelt å svare En respondent kan lett bli usikker på hva det egentlig spørres om Et annet eksempel: I din nåværende jobb, hva er din viktigste oppgave? Hva menes med viktig? Er det den som gir mest effekt for selskapet, den som tar mest tid, den som er mest interessant, krevende eller har høyest status? Det sjefen mener er det viktigste eller den oppgaven jeg mener er det? Vi kunne ha spurt: I din nåværende jobb hva er din viktigste oppgave? Tenk på den oppgaven som etter din mening gir mest nytteverdi for avdelingen? Her har vi snevret inn ved å angi hva vi er på jakt etter, presisert hvem som InMente Ressurs AS

10 Respondenten må akseptere premissene for spørsmålet skal være dommeren (respondenten) og avgrenset det til avdelingen. Det er imidlertid fortsatt intet enkelt spørsmål. Det forutsetter at respondenten er med på å dele jobben i enkeltoppgaver, at effekten ikke etter respondentens mening først og fremst er knyttet til samspillet mellom oppgaver, eller evne til enhver tid å prioritere rett. Det forutsetter dessuten at respondenten har en begrunnet oppfatning av hva som er nyttig for avdelingen. Ingen av delene er en selvfølge. Kanskje er noe viktig om høsten, noen annet om våren, eller i begynnelsen og slutten av måneden. Det er generelt svært viktig å ikke basere seg på forenklede antakelser om folks jobb og jobbinnhold. Sett fra den enkeltes side er det alltid sammensatt, selv om det utenfra ser oversiktelig ut. Svaralternativene er en viktig del av spørsmålet. Brukes faste svaralternativer gir det gjerne respondenten viktig informasjon om hvordan spørsmålet skal tolkes og hvilket detaljeringsnivå som forventes. La oss ta et spørsmål som: Hvor lenge har du arbeidet i bedriften? Hvor presist forventer vi at det skal svares? Med faste svaralternativer blir det lettere: Mindre enn et år Mellom ett og fem år Mer enn fem år Du sparer deg selv dessuten for masse kodearbeid hvis du unngår frie svar på denne type spørsmål. La oss se på noen hovedregler for formulering av spørsmål: Noen hovedregler 1. Høflighet. Husk at du innleder en kommunikasjon og at det er du som trenger informasjonen. Generelt virker det mer innbydende og vennlig om du myker opp og varierer spørsmålene dine. Vær særlig oppmerksom på de første spørsmålene. I stedet for å gå direkte på med korte direkte spørresetninger: Hvem, hvordan, hva... osv, bør du vurdere: Kan du fortelle (angi), Hva har du tenkt når det gjelder., Kan du være vennlig å.. 2. Vær varsom med generelle spørsmål. Det gir store tolkningsrom for respondenten og du vet lite om hva det egentlig svares på. Spørsmål som Hva synes du i allmennhet om kvaliteten på møtene i avdelingen? Eller Hva er din generelle holdning til bruk av mer overtid? forutsetter at respondenten foretar generaliseringer over tid og i forhold til ulike møter og ulik årsak til overtid. Generelle spørsmål kan fungere ved slutten av et skjema eller seksjon i et skjema. For eksempel hvis du har stilt en del mer presise spørsmål om spesifikke sider av arbeideidsmiljøet, kan det fungere å avrunde med å spørre: Alt i alt hva er din oppfatning av arbeidsmiljøet i din avdeling?. 3. Unngå sammensatte spørsmål. Med sammensatte spørsmål tenker vi 10 InMente Ressurs AS

11 på der man strengt tatt spør om to ting samtidig. Hvor dyktig er din leder til å utforme og kommunisere strategi for avdelingen? Vedkommende kan være god på det ene men ikke det andre. Vær våken når det står en og i spørsmålet. 4. Ord og begreper. Alle yrkesgrupper har sitt stammespråk, det er ord og begreper som er vanlige og godt forstått innen gruppen, men mindre brukt utenfor. Legg spørsmål så nær opp til dagligtale som mulig. Husk at selv innen en bedrift med mange som tilhører stammen, f.eks ingeniørene, så er det normalt også mange andre yrkesgrupper representert. Vær våken på stammespråk 5. Hjelp til å huske. Både for å gi respondenten tid og hjelp til fokusere på eksakt det du er opptatt av, vil det ofte fungere positivt å gi en innledende ramme rundt spørsmålene: Tenk tilbake på den siste budsjettprosessen du var med på og måten avdelingen arbeidet på fra innsamling av basistall til avlevering av budsjett til NN. På en skala fra 1 til 7 hvordan vil du vurdere.? 6. Premiss om fornøydhet. Spørsmål av typen Hvor fornøyd er du med? bygger egentlig på en premiss om at men er fornøyd (bør være fornøyd) og at det kun er snakk om grader av fornøydhet. Hvor fornøyd eller misfornøyd er du med.? åpner tydeligere for at det også er et alternativ å være misfornøyd. Bruken av faste svaralternativer, for eksempel fra Svært misfornøyd til Svært fornøyd vil kunne vise frem noe av det samme. 7. Bruk av Vet ikke. Det viser seg ofte at respondenter gjerne vil bruke et Vet ikke alternativ dersom det var mulig. Eller for å si det annerledes: dersom det ikke åpnes for Vet ikke, vil en del som selv mener at de ikke vet nok til å svare, bli tvunget til å fordele sine svar. Det kan bety at kvaliteten forrykkes. Om man skal bruke et slikt alternativ eller ei henger mye sammen med om det er tenkelig at folk faktisk ikke vet hva de skal svare. Vår erfaring er at selv i bedriftsinterne undersøkelser hvor man skulle forvente at de fleste vet ganske mye, vil det være grupper som lett likevel faller i kategorien. Det kan være nytilsatte og det kan være folk i spesielle funksjoner. Man kan argumentere for at en Vet ikke mulighet åpner for at folk kan slippe billig unna vanskelig spørsmål, men da skal man være rimelig sikker på at de fleste inviterte faktisk er i en situasjon hvor det er rimelig at de har en mening. Kvaliteten øker ikke ved at folk som helst ikke vil mene noe, tvinges til å strø svaret et eller annet sted på en skala. Da er det bedre å ha en høyere prosent med Vet ikke, fordi informasjonen din samlet er mer presis. Du vet for det første at mange mener de ikke vet, for det andre er svarene fra de som mener de vet, ikke forstyrret av tilfeldige svar fra folk som faktisk ikke vet. Det er lov å ikke vite InMente Ressurs AS

12 Bruk av skalaer og faste svaralternativer Svaralternativene er en viktig del av spørsmålet Måling av holdninger Bruk av faste svaralternativer kan være med på å tydeliggjøre det vi spør om, i det minste hva slags type svar vi er på jakt etter. Det gjør også arbeidet med å tolke og analysere svarene enklere. Samtidig er det viktig å være varsom. Det henger både sammen med sikkerhet for at spørsmål og svar henger i hop, og våkenhet på at ofte ønsker folk å uttrykke mer nyanser, ikke minst relatert til egen jobb, enn skalabaserte spørsmål gir rom for. Skalaer brukes ikke minst i forhold til å måle ulike typer holdninger. Holdninger kan være vanskelig å få et godt bilde av. Først og fremst fordi svært mange holdninger slett ikke er særlig permanente og dyptgripende, men snarere tvert om rimelig overflatiske og kan endres raskt. Tenk deg et spørsmål som skal måle folks holdning til å motta aksjeopsjoner mot å gå ned i lønn. For de fleste er dette ikke noe de har tenkt mye på, måten det fremstilles på, eksempler fra bekjente, for ikke å si tilfeldige meninger fra bekjente, og nye informasjoner vil lett få mange til å vippe fra negativ til positiv. Det er lettest å måle de holdninger som folk har et relativt våkent forhold til, men også der vil skjellsettende opplevelser kunne endre synet radikalt. Det skal ofte ikke mye til for at vi endrer syn på en person (for eksempel en leder) fra negativt til positivt hvis noe spesielt skjer som gjør at vi kommer nærmere vedkommende, har en god dialog om noe viktig eller får en betimelig anerkjennelse på en god måte. Det at folk uttrykker sterke meninger betyr ikke nødvendigvis at det stikker dypt for eksempel i betydningen hvilke konsekvenser man er villige til å ta. Man kan også ha en sterk mening uten at man nødvendigvis er av den oppfatning at spørsmålet er særlig viktig. Det er grunnen til at det ofte kan være fonuftig å kombinere holdningsspørsmål med oppfølgende konsekvensspørsmål eller prioriteringsspørsmål Mest vanlig i bedriftsinterne undersøkelser er antakelig det vi kaller tilslutningsskalaer eller ulike typer evaluerings- eller graderingsskalaer. Nedenfor er det et eksempel på det første: Her kunne kanskje skalaen like riktig vært formulert fra feil til korrekt som Nedenfor følger fire påstander om situasjonen i avdelingen. Ta stilling til hvor enig eller uenig du er i den fremsatte påstanden: Jeg opplever at kolleger i avdelingen: Helt uenig Noe uenig Verken enig eller uenig a ofte tar initiativet til å gjøre ting på nye måter b villig tar på seg nye oppgaver c lojalt følger opp beslutninger som fattes d er motiverte for omstilling og nye krav Noe enig Helt enig 12 InMente Ressurs AS

13 fra enig til uenig. Det minner oss om at vi må være nøye på at det er god sammenheng mellom skala og spørsmål. La oss gå tilbake til eksemplet med aksjeopsjonen. Det kunne vært formulert som en påstand: De ansatte bør være med på en løsning hvor lønnsøkning erstattes av aksjeopsjoner, hvor man spør om folk er enige eller uenige. Det blir neppe helt galt, men det hadde nok vært bedre å tenkt i retning av en skala som måler villighet hvor langt er man villig til å gå. Alternativt å bruke en skala fra tilslutning til motstand, fordi det er antakelig det spørsmålsstilleren egentlig vil være opptatt av hvis spørsmålet ble stilt. Å bruke påstander Det er ofte en diskusjon om hvor mange graderinger man skal bruke på en skala av den typen vi her snakker om. Som en generell regel vil vi anbefale fem, pluss eventuelt en Vet ikke. Det har sammenheng med de faktiske alternative oppfatningene som kan finnes hos en respondent: Respondenten vet ikke, eller har ikke gjort seg opp noen mening. Da bør det være et innledende filterspørsmål ( Har du gjort deg opp noen oppfatning om? JA/NEI. Hvis ja, hva er din oppfatning.. ). Alternativet er å ha Vet ikke som alternativ på skalaen. Respondenten har ulike meninger, på den ene side og på den annen side som oppveier hverandre. Vedkommende er verken enig eller uenig Respondenten har synspunkter i den ene eller den annen retning Respondenten har mer eller mindre sterke synspunkter i den ene eller den annen retning. Hvor mange svaralternativer? Skal vi få svar på alle fire punktene, trenger vi en minst fem-delt skala. Noen argumenterer for at det er lurt å bruke fire eller seks, for å tvinge folk til å ta et standpunkt. Det er ikke nødvendigvis kvalitetshevende hvis det tvinger folk til å gi uttrykk for en mening de ikke har. Om vi skal bruke en mer findelt skala enn fem, henger sammen med hvor fine nyanser i form av grader vi kan forvente at folk kan skille mellom. For relativt løse forhold som verdier og holdninger har det sjelden noe for seg å bruke mer enn fem trinn. I mer konkrete adferdsspørsmål hvor vi kan forvente at respondentene kan skille mer nyansert, kan man bruke flere grader. Vi har selv god erfaring med det vi kaller en 5-2 skala. Det er fem hovedtrinn, men på hvert er det mulig å skille mellom litt i underkant og litt i overkant. Den brukes typisk i adferdsorientert kompetansekartlegging. Skal vi tvinge fram et standpunkt? Vi skiller gjerne mellom det vi kaller bipolære og unipolære skalaer. En bipolær skala går fra en negativ via et midtpunkt til en positiv verdi. Unipolær starter fra et nullpunkt og har bare poistive eller bare negative verdier av økende grad. For det sistes vedkommende er det svært sjelden det har noen InMente Ressurs AS

14 Summeringsindekser hensikt å gå over fem verdier. Holdningsspørsmål måles ofte med det vi kaller en summeringsindeks. Det vil si et sett spørsmål som belyser samme fenomen fra ulike vinkler. En leders arbeid kunne for eksempel vært målt ved hjelp av følgende spørsmål: Tenk på ditt forhold til din nærmeste overordnede og ta stilling til følgende påstander Min nærmeste leder Helt uenig Noe uenig Verken enig eller uenig Noe enig Helt enig a oppmunterer meg ofte til å ta egne initativ i jobben b støtter meg dersom jeg tar ansvar c stiller tydelig krav til de ansatte og det de skal gjøre d er flink til å informere sine medarbeidere e inspirerer sine medarbeideidere f er opptatt av å skape enighet omkring mål og beslutninger g er sterk kundeoirentert h er flink til å ta med de ansatte i prosessen med å utvikle avdelingens mål Under beregningen kan svaralternativ 1 (helt uenig) gis verdien -2 og 5 (helt enig) gis verdien +2. Skår i eksempelspørsmålet over vil derfor kunne variere fra -16 til +16. (Fra helt uenig på alle påstander til helt enig på alle påstander). En slik summeringsindeks basert på bipolære spørsmål kalles en Likert-skala. Veldig misfornøyd Misfornøyd Midt i laget Fornøyd Veldig fornøyd Likert skala 14 InMente Ressurs AS

15 Undersøkelsens kvalitet Det er ikke alltid at interne bedriftsundersøkelser omkring forhold som klima og kompetanse underkastes mer omfattende formelle statistiske kvalitetssjekker. Det betyr slett ikke at vi ikke skal vie dette oppmerksomhet. Til det trenger vi to begreper. Validitet som handler om relevans, dvs måler vi det vi tror vi måler? Reliabilitet som handler om nøyaktighet hvor presist måler vi det vi måler? validitet og reliabilitet I samfunnsvitenskapelig metode finnes det ulike tilnærminger til, og statistiske verktøy for, å konkretisere graden av kvalitet ved hjelp av disse to begrepene. Det er ikke tema i dette heftet. Det er to hovedtilnærminger til å oppnå god kvalitet på en undersøkelse som skal gjennomføres. Det ene er å bruke verktøy eller undersøkelser som allerede er kvalitetssikret. Det vil i praksis si at de er rimelig reliable. Om de er valide avhenger av hva du vil finne ut av. Det har lite for seg å bruke et kvalitetssikret spørrebatteri for miljøundersøkelse hvis de forhold du primært er opptatt av ikke er inkludert. Da blir validiteten lav. Den andre tilnærmingen er å jobbe metodisk med de spørsmålene vi reiser i dette heftet. Et godt råd er å bruke disse to begrepene til å kvalitetssikre egne spørsmål. Gjennomgå hvert spørsmål til slutt og besvar følgende: Validitet Er det viktig og riktig å stille dette spørsmålet i forhold til det vi er på jakt etter å finne ut av? Vær kritisk til egne spørsmål. Kontroller spørsmålene dine Reliabilitet Er det rimelig grunn til å tro at respondenten kan svare noenlunde presist på spørsmålet? Hvis vedkommende skulle svare på nytt om en måned eller to er det da noen grunn til at svaret ville bli annerledes? Et annet begrep som du av og til vil støte på i sammenheng med kvalitet er normering. Normering vil si at det er etablert et kvalitetssikret sammenlikningsgrunnlag. Det gir deg mer informasjon i den forstand at du vil få vite hvordan dine respondenters svar fordeler seg sammenliknet med andre. Dette kan være viktig, men bare hvis den gruppa det sammenliknes med er relevant. Ofte det kan det være vel så nyttig å sammenlikne med seg selv over tid. Normerte undersøkelser InMente Ressurs AS

16 Spesielt om 360 graders kartlegginger Et kraftig virkemiddel Noen utfordringer Bruken av 360-graders kartlegging sprer seg i norsk arbeidsliv. Ikke alle får det ut av det som de hadde trodd. Få ting er så egnet til å få temperaturen til å stige som et varsel om at nå skal vi i gang med en 360 alle skal vurdere hverandre. En slik kartlegging er et kraftfullt virkemiddel. Brukt med vett er det antakelig noe av det mest virkningsfulle man kan igangsette for å få til utvikling og forbedringsarbeid. Brukt uvettig kan det gå helt galt. Konfliktnivået øker, folk går i baklås, masse energi går til spille, kartlegginger settes i miskreditt og alle utviklingsprosesser stopper opp. Basert på mange års erfaring følger noen tanker nedenfor som kan bidra til å sette prosessen på et godt spor. Det ligger i navnet hva det handler om. Alle rundt deg (360 grader), over, ved siden og under skal vurdere hva du gjør eller hvordan du gjør det. Tradisjonelt er vi bare vant med at en av disse skal ta en slik rolle vår overordnede. For alle andre er dette ikke bare en ny rolle, det er en rolle som på mange måter er i motstrid til for eksempel rollen som kollega. Hvordan kan man være både dommer og god kollega? Samtidig er det slik at i en moderne kompetanseorganisasjon er forholdet mellom leder og medarbeider annerledes enn i en tradisjonell hierarkisk industriorganisasjon. I mer komplekse og flatere organisasjonsformer har ikke nødvendigvis leder samme presise grunnlag for å gjøre en bedømming og gi god tilbakemelding. Kollegaer og eventuelle underordnede sitter på annen og kanskje vel så viktig informasjon. Vi tror det er særlig tre spørsmål en organisasjon bør tenke over før man tar i bruk virkemiddelet: 1. Hva skal den brukes til og hvordan? 2. Hvordan skal vi forene rollene som dommer og god kollega? 3. Hva må tilbakemeldingen inneholde for at den skal være nyttig? Tillit, tillit, tillit De to første rører ved noen grunnleggende tillitsforhold, de siste handler mer om valg av innhold og opplegg, gitt at de to første er på plass. Hva skal den brukes til og hvordan? La det med en gang være sagt, det spiller liten rolle om personalavdelingens intensjon er god, hvis medarbeiderne opplever det annerledes. Vår erfaring er at en avgjørende forutsetning er at det eksisterer en viss tillit til virksomhetens personaletiske standard. Der medarbeiderne innerst inne er usikker på om dette vil bli brukt til å ta noen eller har elementer av et angiversystem i seg, vil prosessen stoppe opp. En virksomhet som for eksempel ikke har standard til å håndtere en seriøs varsler på en ryddig måte, vil fort kunne oppleve at dette kanskje ikke ble så nyttig. Det behøver ikke bli konflikt eller vanskelig. En grunnleggende usikkerhet på egen standard kan like gjerne lede inn i en unyttig og uinteressant her er vi alle like flinke til alt lek. Tidligere erfaringer har kanskje lært folk at det å komme til kort helst bør skjules og at kritiske 16 InMente Ressurs AS

17 røster er lite velkomne. En ledelsespraksis hvor ja-kultur og late-som gjør hverdagen enklere, er ingen god plattform for 360. Første utfordring er derfor å skape tillit til at øvelsen vil bli brukt til forbedring og personlig vekst. Noen velger å understreke dette ved å synliggjøre skriftlige etiske retningslinjer for prosessen. Det som er sagt betyr ikke at prosessen skal være tannløs og snill. Det betyr bare at medarbeiderne har en forutsigelighet for å bli tatt på alvor på godt og vondt. Kollega og dommer At ulike typer kollegaer kan ha bedre informasjon enn leder, betyr ikke nødvendigvis at de uten videre er villig til å gå inn i leders vurderende og bedømmende rolle. Selv der den grunnleggende tilliten som omtalt i punktet over er på plass, kan det være at mange synes dette er en vanskelig å konfliktfylt rolle å få. Erfaring viser at hvis det ikke gjøres et fornuftig forarbeid, vil resultatene lett kunne bli skjeve, overdrevent positive eller på annen måte rimelig unyttige for alle parter. Legges det i andre sammenhenger vekt på å dyrke frem et kollegialt miljø med likeverd på tvers av nivåer og god lagånd, kan det å plutselig skulle karaktersette en kollega eller gruppeleder oppleves problematisk. Det blir ikke lettere hvis man ikke helt kjenner prosessen og vet hvordan tilbakemeldingen blir gitt. Tanken på at man kan bidra til at noen kanskje kommer i et dårlig lys føles ubehagelig og får noen til å rygge. Jo mer man vet og nærmere man er, jo mer informasjon, nyanser og begrunnelser vil man ofte føle behov for å ledsage en tilbakemelding med. Dette er ikke nødvendigvis enkelt å forene med effektiv kartlegging. Ikke sjelden vil man kunne oppleve at folk søker å komme ut av situasjonen ved å unnslå seg med at egentlig kjenner jeg ikke vedkommende og arbeidet godt nok. I noen organisasjoner som legger stor vekt på lagånd og teamarbeid, framstår såvidt tung vekt på individfokus og individuell vurdering som et paradoks. Individuell karaktersetting kan oppleves å komme i motstrid til synergi, komplementaritet og fellesresultater. Gode team som i hvert fall selv opplever å kommunisere godt, vil naturlig etterspørre nytteverdi. Er dette nyttig eller mest plunder og heft? Hvorfor skal vi rangeres individuelt når det er teamet som helhet som teller? I svakere team hvor resultatkurven kanskje peker feil vei, vil tanken snike seg inn på at nå starter jakten på de som har skylden. Mange virksomheter har ulike typer resultatlønn. Hvis evalueringen reelt eller innbilt knyttes til denne, blir dobbeltrollen kanskje enda vanskeligere. Hvem vil gjerne ta ansvaret for at bonusen til kollega ryker? Eller enda vanskeligere: Hva sier de andre om meg og hva skal jeg da si om dem for ikke å ødelegge min egen belønning? Vår erfaring er at før man setter i gang, må det brukes god tid på å skape forståelse for følgende: Hvorfor spør vi om det vi spør om og hvordan vil tilbakemeldinger bli gitt. Legg vekt på at tilbakemeldinger skal gis både på Ønsker kollegaene å fortelle det de erfarer? Mulighet for å gi uttrykk for nyanser Medarbeiderne må forstå hele prosessen InMente Ressurs AS

18 individuelt nivå og på gruppe/avdelingsnivå. Det anbefales å holde god avstand mellom denne type målinger og prestasjonsavlønning. Det er tilbakemeldingen som er det avgjørende elementet Bruk av skreddersøm eller generelle instrumenter Innhold og nytteverdi Enkelt sagt bør hensikten med en 360 være å fremskaffe informasjon til en tilbakemelding som er til å lære av. Det betyr at man bør bruke minst like mye tid på å planlegge tilbakemeldingsprosssen som selv kartleggingen. Er poenget å ta en sjekk på at ting er OK og være i forkant av mulige problemer, vil en enklere individuell utvalgsundersøkelse normalt være godt nok. En 360 graders kartlegging som bare skal fore bedriftsstatistikken er ikke verd energien. Skal tilbakemeldingen bli nyttig, må innholdet være avstemt med formålet. Vi kan si det er to hovedtilnærminger; skreddersøm og bruk av generiske allmenngjorte spørreinstrumenter. Skal man vurdere å bruke det siste må det i det minste være validerte og normerte spørsmål. Det vil si at det er dokumentert at spørsmålene er kvalitetssikret og faktisk måler det de er sagt å måle. I tillegg bør det foreligge data man kan sammenlikne egne resultater med. Forutsetningen må også være at det man er interessert i å gi tilbakemelding på er et allment fenomen trekk ved ledelse kan være et slikt eksempel. Videre må det kreves at de sammenliknbare dataene er hentet fra miljøer det er interessant å sammenlikne seg med. Faren ved å planke en ferdiglaget generisk undersøkelse er at den passer bare nesten. Det hjelper lite å ha selv et presist og kvalitetssikret instrument hvis det ikke måler det du er opptatt av. Alternativet er en skreddersydd løsning. Det er heller ingen quick-fix, men tar tid og omtanke å utforme. Ved begge alternativer ligger det mye god veiledning i følgende to spørsmål: Test skjemaet før bruk Vil de formuleringene vi velger i skjemaet gi en seriøse tilbakemelder (les kollega) anledning til å gi en så presis tilbakemelding som en god kollega gjerne vil? Vil et svar, slik opplegget er formet, være interessant og til å lære av for den som skal motta tilbakemeldingen? Ingen formulerer de gode spørsmålene første gang uten å teste dem på de som skal svare. Virksomheter som velger skreddersøm bruker ofte tid på å finne en god fasong. I praksis vil man ofte erfare at det er en liten konflikt mellom på den ene side å velge et fåtall spørsmål med skalabaserte svar som er enkle å summere opp, analysere og se mønster på grunnlag av, og på den annen side gi mer rom for mangfold, nyanser og kvalitative svarmuligheter, men hvor mønster og utviklingstrekk lettere blir borte. 18 InMente Ressurs AS

19 Vår erfaring og anbefaling når det gjelder skreddersøm er firedelt: Velg et begrenset antall områder som det er viktig at virksomheten har en læringsprosess gående rundt. Trekk de som skal motta tilbakemeldingen inn i valgene Bruk formuleringer som spør etter mest mulig observerbar tilbakemelding. Det er enklere å gi uttrykk for hva man har sett, enn hva man mener eller opplever. Det er også lettere å forholde seg konstruktivt til en tilbakemelding hvor noen sier dette er det du har vist frem til meg, dette er det jeg ser, fremfor du er slik Velg en kvantifiserbar (skalabasert) form. Det gjør det lettere å tydeliggjøre mønstre og kommunisere rundt resultater. Sammenlikninger over tid har mye kraft i seg til tenking og læring. Anvend gjerne sikkerhetsventiler i form av anledning til skriving av fri tekst, men kun som tillegg, ikke i stedet for. Vektlegg tid til tilbakemelding og rom for spørrende kritisk refleksjon. Det er i den tankeprosessen at læringen vil kunne ligge. Vær til slutt oppmerksom på at ulike svar både skyldes at man ser ulike forhold, men også at man har ulik oppfatning av hva som er standarden. Hvis noen blir spurt om hvor dyktig han er til å holde orden, vil svaret påvirkes sterkt av hvilken standard man har for orden. Det er viktig å legge til rette for utvikling av fellesbegreper og standarder og at dette trekkes inn både i tilbakemelding og oppfølgende treningsprogrammer. 4 kjøreregler InMente Ressurs AS

20 Litteratur Litt lesestoff: Fink, Arlene; The Survey Handbook, Sage Publications, London 2003 Haraldsen, Gustav; Spørreskjemametodikk etter kokebokmetoden, ad Notam Gyldendal, Oslo 1999 Dillman, Don A.; Mail and Internet Surveys: The Tailored Design Method, John Wiley & Sons, New Jersey 2007 På nettet er mye på godt og dårlig stoff: Dette er ett sted å få ideer: 20 InMente Ressurs AS