3.29 Kontinuerlig forbedring av intervjueradministrerte datainnsamlinger - Handlingsplaner og Lean

Transkript

1 3.29 Kontinuerlig forbedring av intervjueradministrerte datainnsamlinger - Handlingsplaner og Lean Bengt Oscar Lagerstrøm 1 og Arnhild Torsteinsen 2 I denne presentasjonen ønsker vi å vise kontinuerlig forbedring i datainnsamlingsoppleggene våre gjennom handlingsplaner og hvordan Lean-metodikken skal bidra til ytterligere spissing av handlingsplanene gjennom verdistrømsanalyser. Presentasjonen viser slanking av både datainnsamlingsperioden og ressursbruk underveis. En handlingsplan kan kort beskrives som et sett av mål om kvalitet, produktivitet, kostnad og svartilbøyelighet som datainnsamlingene skal styres mot. For å sette opp en handlingsplan (adaptiv ledelse), og ikke minst bruke den underveis i datainnsamlingen (aktiv ledelse), kreves det kontinuerlig informasjon om utviklingen av de ulike indikatorene. Samtidig gir handlingsplanene en dokumentasjon av faktiske datainnsamlingsopplegg som utgangspunkt for kontinuerlig forbedringer av gjentagelser av en gitt undersøkelse, men også kunnskap om en gitt datainnsamling eller sett av datainnsamlinger som kan brukes ved design av nye innsamlingsopplegg. Nøkkelord: Handlingsplan, LEAN, kontinuerlig forbedring og indikatorer Innledning I denne presentasjonen ønsker vi å vise hvordan vi har jobbet med kontinuerlig forbedring i datainnsamlingsoppleggene våre gjennom handlingsplaner og hvordan vi aktivt har brukt prinsipper fra LEAN-metodikken i dette arbeidet. Videre vil vi bruke Husleieundersøkelsen til SSB til å illustrere forbedringene. Vi ønsker innledningsvis å gå litt nærmere inn på hvordan vi har definert handlingsplaner hos oss, litt av bakgrunnen for innføringen og hvordan ansatte på ulike nivåer i seksjonen har blitt involvert. 1 Bengt Oscar Lagerstrøm, Seksjon for Intervju, Avdeling for Datafangst og Statistiske metoder, Statistisk sentralbyrå, bol@ssb.no 2 Arnhild Torsteinsen, Seksjon for Intervju, Avdeling for Datafangst og statistiske metoder, Statistisk sentralbyrå, ato@ssb.no

2 Deretter vil vi gi en kort beskrivelse av Husleieundersøkelsen og spesielle særtrekk ved den som gjør den spesielt godt egnet for å måle effekter av ulike tiltak. Avslutningsvis vil vi kort oppsummere hvilke områder vi har hatt gode erfaringer med bruk av handlingsplaner, men samtidig vise til områder der vi fremdeles har utfordringer med driften vår. Handlingsplaner- system for strategisk styring av datafangst Handlingsplanene ble innført ved Seksjon for intervju i 2009, og utgjør nøkkelkomponenten i et system for strategisk styring av datafangst. De skal beskrive prosessen for planlegging og implementering av en gitt datainnsamling og angi kvalitetsindikatorene som er nødvending både for styring underveis, og for at vi skal kunne levere det avtalte sluttproduktet. Grunntanken er at handlingsplanen skal dekke følgende seks steg: planlegging, kommunikasjon, rapportering, korreksjon, dokumentasjon og evaluering. Handlingsplanene skal også gi informasjon om hvilke tiltak vi skal sette inn dersom målene våre ikke nås, hvordan nekt og ikke-kontakt og respondenter med begrenset tilgjengelighet skal håndteres underveis. Handlingsplanen skal: Tidsavgrense prosjektet i felt. Oppstart/avslutning. Begrunne valg av kanal for datafangsten (CATI/Lokale intervjuere) Definere ønsket svarprosent for undersøkelsen. Estimere timebehov for intervjukorpset Sette milepæler for framdriften i datafangsten Valg av indikatorer til analyse underveis i datafangstperioden De tre hovedformålene med et slikt system er: 1) å oppdage eventuelle problemer så tidlig som mulig for å kunne gjøre hensiktsmessige justeringer innen de avsatte ressursrammene, 2) å bruke datafangstressursene effektivt, og på en måte som optimaliserer datakvaliteten og 3) muligheten til å dokumentere og sammenligne effekter av ulike tiltak, mellom undersøkelser og på repeterende undersøkelser over tid. Hva virker og hva virker ikke?

3 Ved Seksjon for intervju har vi til en hver tid en portefølje av ulike datainnsamlinger, antallet varierer naturligvis noe, men det ligger stort sett mellom De planlagt tilgjengelige intervjuerressursene er fordelt i handlingsplanen for den enkelte undersøkelse, og avvik vil følgelig kunne ha konsekvenser for i hvilken grad vi når målene både i den den enkelte undersøkelse og i hele porteføljen. Når hvert datainnsamlingsløp er så detaljert som i handlingsplanene, vil det være enklere å kunne ta gode beslutninger for hva vi skal prioritere i tilfeller der det er avvik mellom planlagt og faktisk ressurstilgang av intervjuere. Tidligere var det snarere regelen enn unntaket at den enkelte undersøkelse ble utsatt over den planlagte tidsrammen for å oppnå den ønskede svarprosenten, noe som i sin tur igjen hadde ringvirkninger på køen av andre undersøkelser. Dette var også noe av bakgrunnen for behovet for system som ser hele porteføljen under ett. Man kan innvende at det burde tas for gitt at enhver undersøkelse styres etter et sett med indikatorer for kvalitet og pris. Det har selvsagt blitt styrt etter mål tidligere, men de positive erfaringene vi har hatt med handlingsplanene skyldes etter vårt skjønn tre viktige forhold som er gjort annerledes enn tidligere: Prosessorientering: Der vi tidligere fokuserte på sluttmål, har vi nå mer fokus på selve prosessen. Tiltakene underveis er det som fører til ønsket sluttmål, og energien legges i å utføre de på en god måte. Mange små tiltak som er enkle å gjennomføre fører i sum til et godt sluttresultat. Planer med høyde for uforutsette hendelser: Handlingsplanene tar høyde for at datainnsamlingsperioden ikke kommer til å følge et strømlinjeformet løp. Både forutsette og uforutsette problemer vil oppstå underveis, og ved at dette er innlemmet i planene våre, oppstår det færre brannslukkingssituasjoner som tærer på både undersøkelse og medarbeidere. Spredning av eierskapet: Ofte har ulike forsøk på systemer for overordnet styring strandet fordi man har undervurdert arbeidet med å forankre et slikt system ikke bare hos ledelsen. Handlingsplanene har utbredelse og er godt kjent blant alle seksjonens ansatte, ikke bare i ledergruppa. Eierskapet er også etablert i seksjonens operative enheter og organer, og ikke bare i besluttende, strategiske møter. Supervisorer som jobber i deltidsstillinger med ansvar for kveldsskiftene på Ringesentraene i Oslo og Kongsvinger, Husleieundersøkelsen

4 Husleieundersøkelsen (LMH) er en månedlig undersøkelse der vi spør om husleie og årsaker til eventuelle endringer i denne.. Formålene med undersøkelsen er å innhente opplysninger som inngår i beregningen av husleieprisene i konsumprisindeksen (KPI), samt gjøre justering av leiemarkedsstatistikken som publiseres hvert kvartal. LMH er et utvalg på 2500 adresser, og det er egenskaper og opplysninger om boligen vi er ute etter. Vi holder fast ved boligen dersom leieboer flytter og intervjuer den nye leieboeren i boligen. Utvalget blir trukket blant leitetakere i Leiemarkedsundersøkelsen (LMU). LMH en kombinert web- og telefonundersøkelse. Alle skal kontaktes en gang i måneden i 12 måneder, f.o.m. januar t.o.m. desember. Intervjuperiodene strekker seg over 14 dager hver måned, med start den første mandagen i måneden. Unntaket er januar da datafangsten går over tre uker. Alle kontaktes på telefon ved førstegangsintervju i januar. Fra og med februar får de fleste også tilbud om å svare på Internett. Det blir da sent ut e-post til de som har oppgitt e-post adresse til oss i LMU, eller senere gjennom LMH. Fra mai 2013 blir også de som ikke har kjent e-postadresse, men kjent mobilnummer tilsend en SMS med nødvendig informasjon, samt direkte lenke til spørreskjemaet. Etter en uke på web, vil de som ennå ikke har svart bli ringt opp for telefonintervju. Nye beboere, personer vi ikke har vært i kontakt med før og personer som ikke har mulighet til å svare på Internett, vil bli lagt rett til telefonintervjuing. Nye beboere og de vi ikke har hatt kontakt med før, skal ha førstegangsintervju, dvs. utvide intervju som i januar. Kontinuerlig forbedring i LMH LMH vil endre seg litt i løpet av året som følge av sesongvariasjoner, som at det for eksempel kan være litt vanskeligere å treffe leietakerne midt juli når mange har ferie. I tillegg vil noen leietakere falle fra etter hvert, slik at utvalget i løpet av året blir noe mindre. Et annen utfordring er at utleieobjektene kan gå inn og ut av leiemarkedet. Sannsynligvis er det årsaken til en betydelig del av frafallet. Enten ved at leietaker ikke ønsker å besvare fordi vedkommende er på vei ut av den aktuelle adressen, eller ved at det ikke er mulig å oppnå kontakt med noen på adressen fordi den står tom. Allikevel er datafangsten, med unntak av januar da alle intervjues på telefon, nokså sammenlignbar gjennom året. Det er derfor enkelt å kunne gjøre mindre justeringer underveis og innen rimelig kort

5 tidshorisont evaluere utfallet av det enkelte tiltaket. LMH har to faste møtepunkter i måneden, ett for planlegging og ett for evaluering. Vi har også vært spesielt interessert å følge utvalget særlig nøye gjennom 2013 med tanke på å registrere små endringer som kan tenkes å gjøre utslag. LMH må alltid tilstrebe å fange opp flest mulig nye leietakere. Fordi leien ofte justeres i det en bolig får nye leietakere, vil en underrepresentasjon av nye leietakere øke sannsynligheten for å underestimere den faktiske endringsraten.. Siden vi startet med webskjema i LMH i 2011 har webandelen har ligget på moderate 37%. I tillegg har vi ofte opplevd at igangsettelsen av en ny månedsundersøkelse har vært beheftet med en del feil. Før oppstart av undersøkelsen i 2013 tok vi i bruk et sett LEAN-verktøy for å få satt i verk tiltak for å unngå implementeringsfeil som vi ofte hadde erfart de foregående årene, øke webandelen og redusere frafallet, samtidig som antall intervjutimer skulle reduseres. De timene som vi ønsket å spare, skulle både bidra til redusert ressursbruk på undersøkelsen generelt, men også for å øke ressursbruken på å få tak i nye beboere mellom og under de månedlige undersøkelsene. Tabell 1. Svarprosent og webandel for LMH Årsgjennomsnitt og gjennomsnitt for januar-juni 2013 Svarprosent (årsgjennomsnitt) Gjennomsnitt jan-jun Webandel (årsgjennomsnitt) Gjennomsnitt jan-jun Alle de involverte ble samlet til en idémyldring for å gå opp verdikjeden. Deretter ble det foreslått tiltak for å øke webandelen, redusere tidsbruken og unngå oppstartsfeil. Verdikjeden er vist i figur 1. De enkelte operasjonen som finner sted innefor hver boks i figuren er imidlertid utelatt for å forenkle fremstillingen.

6 Figur 1. Verdikjede for datainnsamlingsprosessen for LMH. Opprette prosjekt Sporing Utsending av e- post/sms Web Sporing av nye beboere CATI Avslutning I alt ble det foreslått 7 tiltak. Tiltakene ble vurdert i forhold til effekt og evnen vi hadde til å iverksette tiltaket innefor den gitte tids- og ressursplanen. For de tiltakene som ble vurdert mest effektive, og som det var mulig å iverksette innefor ressursrammen, laget vi aksjonsplaner. Aksjonsplanen er korte beskrivelser av tiltaket, hvordan de skal gjennomføres, hvem som har ansvaret og ikke minst når det skal iverksettes. De ulike aksjonsplanen ble deretter fulgt opp ved bruk av et såkalt kvalitetshjul. Kvalitetshjulet gir oss en mulighet til å vurdere, og justere aksjonsplanen etter hvert som vi høster erfaringer av tiltakene. Hele verktøyet er illustrert i figur kvadrant inneholder de ulike forslagene vi fikk frem i idemyldringen. Deretter følger verktøyet for vurdering av tiltakene i 2. kvadrant, aksjonsplaner med frist og ansvarlig i 3. kvadrant og til slutt oppfølgingsverktøyet, kvalitetshjulet, i 4. kvadrant.

7 I innledningsintervjuet blir respondentene informert om muligheten til å svar på Internett i de påfølgende undersøkelsesrundene. Her blir også e-postadresser registrert. I den påfølgende undersøkelsesrunden får respondentene en påminnelses om ny undersøkelse på e-post med lenke til webskjemaet. Etter fire dager i felt har de som ennå ikke har respondert fått en påminnelse på SMS med lenke til spørreskjemaet. Gjennomgangen vår påviste imidlertid at denne rutinen har feilet. Kun de 15 første på lista fikk SMS. Videre benyttet vi registeropplysninger om eierne for å finne ut om boenheten fortsatt var utleid. Eierne ble tilsendt et kort informasjonsbrev med en svarslipp hvor de ble bedt om å bekrefte at utleieobjektet fortsatt var bebodd og eventuelt kontaktinformasjon til leieboer. Resultatet av tiltak med å sende brev til 360 eiere hvor vi ikke hadde kommet i kontakt med noen på adressen eller ikke visste hvem som var ny beboer var svært effektivt. I alt fikk vi 118 svar innen feltperioden i mars var over (34 prosent): 27 boliger kunne tas ut av utvalget fordi de ikke var utleieenheter lengre. Videre fikk vi opplysninger om beboer med kontaktinformasjon til 91 boliger. Av disse 91 ble det intervju med 34 personer, dvs. 37 prosent. 22 av disse 34 er nye beboere. Begge de nevnte tiltakene, sammen med de andre vi iverksatte, har medført at de fire primærmålene våre er forbedret: Frafallet er redusert fra 38 prosent til 29 prosent, webandelen er økt fra 37 til 52 prosent, antall nye beboere vi klarer å identifisere under og mellom intervjurundene er økt på grunn av

8 endret ressursallokering, samtidig som den totale intervjutiden (både kontakt- og intervjutid) er redusert med 20 prosent. Figur 2 viser forskjellen mellom datainnsamling de seks første månedene i sammenlignet med datainnsamlingen samme periode i år. Vi ser at andelen telefonintervju økte første måned og at andelen telefon intervju har blitt redusert de påfølgende månedene, samtidig som antall webintervju har økt mer enn nedgangen i antall telefonintervju. Figur 2. Forskjellen i antall telefon og web intervju for de første seks månedene i 2012 og jan feb mar apr mai jun -400 Telefon Web Diskusjon og oppsummering Verktøyene vi har tatt i bruk fra LEAN-kassa hjelper oss til å få et nytt fokus rundt hver undersøkelse. Ved å identifisere verdistrømmen til det enkelte produkt eller prosess, kan vi enkelt kunne sortere hvilke tiltak som burde prioriteres. Et annet moment vi har pekt på her er at ressurser og prosesser som er overflødige eller skaper dobbeltarbeid kan brukes på en mer hensiktsmessig måte. For eksempel ved å flytte intervjutid til sporingstid. Et tredje moment vi har tatt med oss er at god organisering rundt de iterative prosessene er sirkulære, og ikke lineære - vi planlegger, utfører, sjekker og korrigerer i en kontinuerlig prosess. I denne artikkelen har vi vist hvordan dette har forbedret datainnsamling for Husleieundersøkelsen, men vi arbeider på samme måte med alle våre produkter. Det er imidlertid samtidig viktig å understreke at et slikt arbeid tar tid, og som tidligere nevnt må det ha stor oppslutning og innarbeides godt blant de ansatte. I store kunnskapsvirksomheter som SSB, er det mange interesser, og noen vil mene at denne typen metodikk er en døgnflue og ikke egnet for denne type virksomheter. Vår opplevelse er at det er viktig å stimulere til diskusjon om dette, ha en

9 god strategi for hvordan man ønsker å la de ansatte medvirke, og sist men ikke minst, bruke tid på å synliggjøre faktiske resultater. Det er helt sikkert mulig å gjøre slike forbedringer som vist her uten LEAN-verktøy. Når et slikt verktøy likevel er tilgjengelig i organisasjonen er det ingen grunn til ikke å arbeide med den tilnærmingen. Når nye forbedringsverktøy presenteres i en organisasjon er veien til å ta i bruk og gi anerkjennelse til metodologien mye enklere om den raskt tas i bruk i det daglige forbedringsarbeidet av de som har det som ordinære arbeidsoppgaver. Referanser Lagerstrøm, B. O og Thomassen B, A Systematic and Strategic System for Data Collection Management at Statistics Norway. Presented at Seminar on New Frontiers for Statistical Data Collection, United Nations Economic Commission for Europe, Geneva, Switzerland, 31 October-2 November 2012 Sayer, N., J. and Williams, B. LEAN for Dummies, 2nd edition