Tema 3: produksjonsprosessen under Nordisk Statistikermøte Bergen i 14-16. august 2013 Beste praksis for revisjon i sesongjusteringen? Enkel implementering av delvis løpende korrigering av Jørn Ivar Hamre (ham@ssb.no), Seksjon for arbeidsmarkedsstatistikk, Statistisk sentralbyrå Sammendrag Delvis løpende korrigering er beste praksis for revisjon ifølge ESS retningslinjene for sesongjustering. Da identifiseres framskrivningsmodeller, evt. log-transformering og sesong- og trendfiltre kun årlig ved sesongjustering med X-12-ARIMA programvaren, mens respektive regresjonsparametere og faktorer re-estimeres løpende hver gang nye eller reviderte rådata er tilgjengelige. Revisjonsstrategien avgir litt presisjon for å oppnå mindre revisjon gjennom året i forhold til løpende korrigering, der også modell- og filteridentifiseringen skjer hver måned/kvartal. Implementering av delvis løpende korrigering er tidkrevende dersom skreddersydde modeller og filterlengder skal hardkodes manuelt for mange tidsserier. Artikkelen beskriver kort implementering av delvis løpende korrigering med en selvlaget SAS-makro, omtaler andre standardløsninger, og sammenligner utviklingen over tid dersom en i stedet hadde valgt løpende korrigering. Innledning Ved delvis løpende korrigering identifiseres modellene, inkl. evt. log-transformering, sesong- og trendfiltre (og prekorrigeringsvariable) kun årlig, og er beste praksis for revisjon ifølge ESS retningslinjene for sesongjustering 1. Respektive regresjonsparametere og faktorer re-estimeres imidlertid løpende hver gang nye eller reviderte rådata er tilgjengelige. Løpende korrigering (concurrent adj.) er en enkel mer ekstrem og ikke-anbefalt revisjonspraksis, der framskrivningsmodeller, evt. log-transformering og sesong- og trendfiltre identifiseres på nytt hver måned eller kvartal når nye eller reviderte rådata er tilgjengelig. Den gir mest mulig presise tall basert på all tilgjengelig informasjon. Ulempen er at en kan få mer revisjon gjennom året 2 enn nødvendig. Den andre ytterligheten, kalt kontrollert fast korrigering (current adj.), er at også regresjonsparametere og sesongfaktorer kun estimeres årlig, og ligger fast gjennom året. Da får en ikke revisjon av sesongjusterte tall gjennom året som følge av sesongjusteringen, men revisjonene kan bli desto større ved de årelige gjennomgangene. ESS retningslinjene for sesongjustering betegner kontrollert fast korrigering som akseptabelt, men den strategien er ikke i fokus i artikkelen. Sesongjusteringsprogramvaren X-12-ARIMA benyttes av alle de nordiske statistikkbyråene. I tidligere versjoner av X-12-ARIMA ble framskrivningsmodellene identifisert ved at første og enkleste modell som tilfredsstilte noen minimumskrav valgt blant en liste på 5 modeller. Fra versjon 0.3 av X-12-ARIMA er en TRAMO 3 -lignende prosedyre for identifisering av 1 Dersom rådata revideres for 2 eller flere år, som i KNR enkelte kvartal, bør imidlertid modellene, inkl. evt. logtransformering, sesong- og trendfiltre reidentifiseres. 2 Code of Practice artikkel 8.6 peker på at det skal benyttes etablerte og transparente standardprosedyrer for revisjon. 3 TRAMO er forkortelsen for Time series Regression with ARIMA noise, Missing observations and Outliers, og er en den av programvaren TRAMO-SEATS utviklet av Bank of Spain.
framskrivningsmodeller introdusert. Den finner beste framskrivningsmodell blant ett stort antall modeller. Ved å velge beste framskrivningsmodell fra ett stort antall hver måned eller kvartal kan lede til at nye modeller oftere blir identifisert enn ved den gamle prosedyren, dersom det ikke er noen halt klare kandidater. Dette igjen kan føre til mer revisjon gjennom året enn nødvendig. Kun årlig identifisering av framskrivningsmodeller kan derfor bli viktigere i nye versjoner X-12- ARIMA. Særlig dersom en tillater automatisk søk etter ekstremverdier i kombinasjon TRAMOprosedyren for valg av ARIMA 4 -modeller. Når nye/reviderte rådata blir tilgjengelig, kan TRAMOprosedyren i kombinasjon med nye identifiserte ekstremverdier evt. forkasting av gamle lede til framskrivningsmodeller som føyer dataene bedre. Særlig ved sesongjustering av data basert på utvalgsundersøkelser med iboende usikkerhet er ukontrollert frislipp betenkelig, og frarådes som nevnt i ESS retningslinjene. I artikkelen beskrives kort implementering av delvis løpende korrigering med en selvlaget SASmakro, og utviklingen av sesongjusterte data ved delvis løpende korrigering og løpende korrigering sammenlignes for den kvartalsvise statistikken for egenmeldt sykefravær. Alternativet med automatisk ekstremverdisøk i kombinasjon med TRAMO-prosedyren studeres også. SAS-makroen ble lagt våren 2011. Da hadde jeg ikke funnet et program som enkelt kunne hardkode mange spesifikasjoner til X-12-ARIMA. To relativt nye vindusbaserte gratisprogram: DEMETRA+ og Win-X12 har begge menyer som hardkoder spesifikasjoner til X-12-ARIMA. Jeg har imidlertid ikke fått sjekket eller testet om hvor enkelt programmene kan hardkode spesifikasjoner (med ulike brukerspesifiserte prekorrigeringsvariable) for mange tidsserier. Jeg har imidlertid fått vite at DEMETRA+ kan hardkode mange spesifikasjoner på en, selv med ulike brukerspesifiserte prekorrigeringsvariable. I både ESS retningslinjene for sesongjustering og FN sin Practical guide to seasonal adjustment with DEMETRA+ er det nyttige kapitel om revisjonsstrategi. Optimal frekvens for oppdatering / reidentifisering av modeller, filtre og prekorrigeringsvariable er årlig, ifølge ESS retningslinjene. Men dersom en finner problemer mellom oppdateringene, bør det korrigeres omgående. Om SAS-macroen og hardkodingen spesifikasjonsfiler Sesongjusteringen i X-12-ARIMA styres via spesifikasjonsfiler (spc-filer). SAS-makroen hardkoder slike spc-filer. Utgangspunktet for macroen er taggete 5 outputfiler fra innledende kjøring/sesongjustering med spesifikasjonsfiler som tillater optimale valg (med enkelte layout restriksjoner). SAS-makroen lager nye spesifikasjonsfiler med utgangspunktet i de opprinnelige spesifikasjonsfilene, men der ARIMA-modell og evt. log-transformering samt sesongog trendfilter blir låst på de optimale valgene. SAS-programmet lager også en oversiktstabell over de optimale valgene som er hardkodet dersom makroen kjøres på mange tidsserier. Fordelen med en slik makro er at en automatisk får hardkodet mange filer, slik at delvis løpende korrigering, med årlig revisjon, gjennomførbart i praksis. Office for National Statistics (ONS) sin Guide for sesongjustering med X-12-ARIMA anbefaler 4 ARIMA er forkortelsen for en stor klasse framskrivningsmodeller: AutoRegressive Integrated Moving Average 5 Taggingen fås ved kjøring av X12-ARIMA V0.3 med -a flagg, som gir tilgjengelig (accessible) output.
også bl.a. at ARIMA-modellene låses gjennom året 6, i tillegg til at datoer for ekstremverdier, nivåskift og kalendervariable hardkodes i spesifikasjonene, slik at de ikke kan falle ut om de blir litt mindre utsagnskraftige. Hardkoding av nye datoer for ekstremverdier og nivåskift håndteres ikke i SAS-makroen 7. Under følger en oversikt over optimale valg via TRAMO-identifiseringen i X-12-ARIMA pr. 4. kvartal 2011. Lengst til høyre er 2 kolonner føyd til, en med oversikt over automatisk identifiserte ekstremverdier. Kolonnen lengst til høyre gir en oversikt hvilke perioder evt. ARIMA-modellene endrer seg dersom en benytter løpende korrigering med automatisk ekstremverdisøk. g2011k4 serienavn transformasjon arima-modell sesongfilter trendfilter Trendkonstant automatisk identifiserte endring av arimamodell ved løpende korrigering legemeldt fravær menn log (0 1 1)(0 1 1) s3x5 5 2012K1 legemeldt fravær kvinner log (1 0 1)(0 1 1) s3x3 5 2012K1, 2012K3 avtalte dagsverk menn log (0 1 0)(0 1 1) s3x3 5 2013K1 avtalte dagsverk kvinner log (0 1 1)(0 1 1) s3x3 5 2012K1, 2013K1 egenmeldt fravær menn log (0 1 1)(0 1 1) s3x5 5 egenmeldt fravær kvinner log (0 0 0)(0 1 1) s3x9 5 Const LS2010.2 2012K2 Oversikten viser av de fleste seriene får nye framskrivningsmodeller (ARIMA) gjennom året ved løpende korrigering. Revisjon ved løpende korrigering Under følger illustrasjoner over revisjon av sesongjusterte tall ved løpende korrigering, som er ikke anbefalt praksis. Figur 1. Revisjon i egenmeldte sykefraværsprosenter 8, sesong- og influensajusterte. TRAMO-reidentifiserte modeller med automatiske ekstremverdisøk fom. 4. kvartal 2011 6 I Census Bureau Guideline - Seasonal Adjustment Diagnostics Checklist anbefaler låsing av modeller og filtre gjennom året. 7 En kan tenke seg utvidelser av makroen for hardkoding av (nye) datoer for ekstremverdier og nivåskift ut ifra innledende kjøringer basert på spesifikasjoner der ekstremverdisøk tillates, dersom ikke andre program fungerer godt. 8 Tapte dagsverk på grunn av sykefravær for arbeidstakere 16-69 år, i prosent av avtalte dagsverk.
1,3 1,2 Kvinner 1,1 1 Begge kjønn 0,9 Menn 0,8 0,7 em_pct_a_uflu_isag2011k4 em_pct_m_uflu_isag2011k4 em_pct_k_uflu_isag2011k4 em_pct_a_uflu_isag2012k1 em_pct_m_uflu_isag2012k1 em_pct_k_uflu_isag2012k1 em_pct_a_uflu_isag2012k2 em_pct_m_uflu_isag2012k2 em_pct_k_uflu_isag2012k2 em_pct_a_uflu_isag2012k3 em_pct_m_uflu_isag2012k3 em_pct_k_uflu_isag2012k3 em_pct_a_uflu_isag2012k4 em_pct_m_uflu_isag2012k4 em_pct_k_uflu_isag2012k4 em_pct_a_uflu_isag2013k1 em_pct_m_uflu_isag2013k1 em_pct_k_uflu_isag2013k1 0,6 2007K1 2007K2 2007K3 2007K4 2008K1 2008K2 2008K3 2008K4 2009K1 2009K2 2009K3 2009K4 2010K1 2010K2 2010K3 2010K4 2011K1 2011K2 2011K3 2011K4 2012K1 2012K2 2012K3 2012K4 2013K1 For de egenmeldte sykefraværsprosentene, blir det litt revisjon om en tillater at modellene reidentifiseres hvert kvartal fom. 2011K4 og med automatiske ekstremverdisøk, også perioder ett par år tilbake blir revidert. Figur 2. Revisjon i legemeldte sykefraværsprosenter, sesong- og influensajusterte. TRAMO-reidentifiserte modeller med automatiske ekstremverdisøk fom. 4. kvartal 2011
8,5 8 7,5 7 6,5 6 5,5 5 4,5 lm_pct_a_uflu_isag2011k4 lm_pct_m_uflu_isag2011k4 lm_pct_k_uflu_isag2011k4 lm_pct_a_uflu_isag2012k1 4 lm_pct_m_uflu_isag2012k1 lm_pct_k_uflu_isag2012k1 lm_pct_a_uflu_isag2012k2 lm_pct_m_uflu_isag2012k2 lm_pct_k_uflu_isag2012k2 lm_pct_a_uflu_isag2012k3 lm_pct_m_uflu_isag2012k3 lm_pct_k_uflu_isag2012k3 lm_pct_a_uflu_isag2012k4 lm_pct_m_uflu_isag2012k4 lm_pct_k_uflu_isag2012k4 lm_pct_a_uflu_isag2013k1 3,5 lm_pct_m_uflu_isag2013k1 lm_pct_k_uflu_isag2013k1 2007K1 2007K2 2007K3 2007K4 2008K1 2008K2 2008K3 2008K4 2009K1 2009K2 2009K3 2009K4 2010K1 2010K2 2010K3 2010K4 2011K1 2011K2 2011K3 2011K4 2012K1 2012K2 2012K3 2012K4 2013K1 For legemeldte sykefraværsprosenter, er det ubetydelig revisjon gjennom året, selv om modellene reidentifiseres hvert kvartal fom. 2011K4 og automatiske ekstremverdisøk hver gang tillates. Artikkelen illustrer viktigheten av en god strategi for revisjon. Til det trengs gode verktøy som enkelt håndterer mange tidsserier. Standardverktøy anbefales.