FFI RAPPORT DRIFTSKOSTNADSVEKST ESTIMERT MED BAYESIANSKE METODER DAHL Fredrk A. FFI/RAPPORT-2005/01676
FFI-Analse Kjeller 14. aprl 2005 DRIFTSKOSTNADSVEKST ESTIMERT MED BAYESIANSKE METODER DAHL Fredrk A. FFI/RAPPORT-2005/01676 FORSVARETS FORSKNINGSINSTITUTT Norwegan Defence Research Establshment Postboks 25, 2027 Kjeller, Norge
3 FORSVARETS FORSKNINGSINSTITUTT (FFI) Norwegan Defence Research Establshment UNCLASSIFIED P O BOX 25 NO-2027 KJELLER, NORWAY REPORT DOCUMENTATION PAGE SECURITY CLASSIFICATION OF THIS PAGE (when data entered) 1) PUBL/REPORT NUMBER 2) SECURITY CLASSIFICATION 3) NUMBER OF FFI/RAPPORT-2005/01676 UNCLASSIFIED PAGES 1a) PROJECT REFERENCE 2a) DECLASSIFICATION/DOWNGRADING SCHEDULE 16 FFI-I/1004/918-4) TITLE DRIFTSKOSTNADSVEKST ESTIMERT MED BAYESIANSKE METODER BAYESIAN ESTIMATION OF OPERATING COST ESCALATION 5) NAMES OF AUTHOR(S) IN FULL (surname frst) DAHL Fredrk A. 6) DISTRIBUTION STATEMENT Approved for publc release. Dstrbuton unlmted. (Offentlg tlgjengelg) 7) INDEXING TERMS IN ENGLISH: IN NORWEGIAN: a) Operatng cost escalaton a) Drftskostnadsvekst b) Statstcs b) Statstkk c) Baesan analss c) Baesansk analse d) d) e) e) THESAURUS REFERENCE: 8) ABSTRACT Ths report gves a Baesan analss of operatng cost escalaton n the Norwegan Armed Forces. The amount of relevant data s lmted to nne data ponts from the tme perod 1994-2002. We present a statstcal model of an underlng cost escalaton, wth random nose both n the actual cost and the observaton of t. Through dscussons wth eperts n the feld, we have constructed pror dstrbutons for these three parameters (cost escalaton, process nose and observaton nose). We have then computed the posteror dstrbuton b methods of Markov chan Monte Carlo (MCMC) smulaton and Kalman flterng. The model has been evaluated b the use of posteror predctve p-values, and found to ft the data suffcentl well. The analss gves a 95% credblt nterval of (0.2% - 4.5%) for the operatng cost escalaton parameter. 9) DATE AUTHORIZED BY POSITION Ths page onl 2005-04-14 Espen Skjelland Drector of Research ISBN 82-464-0942-5 UNCLASSIFIED SECURITY CLASSIFICATION OF THIS PAGE (when data entered) FFI-B-22-1982
5 INNHOLD Sde 1 INNLEDNING 7 2 DATA 7 3 MODELL 8 3.1 Tlfeldg stø observasjonene 8 3.2 Tlfeldg stø prosessen 9 3.3 Parametre 9 4 BAYESIANSK ANALYSE 10 5 UTFORMING AV APRIORIFORDELING 11 5.1 Prosesstø 11 5.2 Observasjonsstø 11 5.3 Drftskostnadsvekst 11 6 APOSTERIORIFORDELING 12 7 MODELLEVALUERING 13 8 VIDERE ARBEID 14 9 KONKLUSJON 14 Ltteratur 16
6
7 DRIFTSKOSTNADSVEKST ESTIMERT MED BAYESIANSKE METODER 1 INNLEDNING Forsvaret har de senere år vært medenes søkels på grunn av økende kostnader. En klde tl de økte kostnadene antas å være personellrelatert drft, ved at kostnadene for hvert årsverk Forsvaret øker. Den prosentvse årlge øknngen kostnadene for hvert årsverk, utover konsumprsndeksen, kalles personellrelatert drftskostnadsvekst (DKV). Henskten med arbedet som dokumenteres denne rapporten, er å kombnere nnsamlede data om personellkostnader fra peroden 1994 2002 med ekspertvurdernger, ut fra en statstsk analsemetode. Analsen gr en sannsnlghetsfordelng for DKV, gtt data og vurdernger. Den bdrar dermed tl å tallfeste hvlke DKV-verder som har hø sannsnlghet, og hva som med rmelghet kan oppfattes som en øvre og nedre grense for DKV. Hvorvdt analsen har relevans for framtdg kostnadsutvklng er bl. a. avhengg av om man lkkes med å omstrukturere Forsvaret, og dette ser analsen ngentng om. Vår vurderng er at analsen har klar relevans for de neste 5 10 årene, ford en rekke tltak for å redusere drftskostnadsveksten får vrknng først på skt. Man må også huske på at det har vært me fokus på reduksjon av kostnader også den peroden som analseres (1994 2002), og det er kke uten vdere gtt at man vl lkkes vesentlg bedre framtden. Tdlgere FFI-analser av drftskostnadsvekst har vært basert på regresjonskurver (1) som mplstt bgger på en matematsk modellantagelse om tlfeldg stø kun observasjonen av de vrkelge kostnadene. I denne rapporten modelleres også eventuell tlfeldghet den faktske kostnadsutvklngen, tllegg tl at ekspertkunnskap nkluderes analsen. I kapttel 2 beskrves datamateralet. Kapttel 3 beskrver og begrunner den valgte matematske modellen for DKV. I kapttel 4 forklares prnsppene bak Baesansk analse. I kapttel 5 beskrves arbedet med å produsere aprorfordelnger fra ekspertkunnskap. Kapttel 6 gr aposterorfordelngen for DKV, mens kapttel 7 presenterer en evaluerng av modellen, og kapttel 8 oppsummerer konklusjonene fra analsen. 2 DATA Tallmateralet v analserer denne rapporten er en tdssere med n datapunkter fra årene 1994 2002. Verdene, vst fgur 2.1, er beregnede gjennomsnttlge kostnader for årsverk Forsvaret, ndeksregulert tl 2002-kroner ved konsumprsndeksen (KPI).
8 560 000 540 000 520 000 500 000 480 000 460 000 440 000 420 000 400 000 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 Fgur 2.1 Utvklngen personellrelaterte drftskostnader per årsverk, 2002-kroner Det lgger et betdelg arbed bak beregnngen av verdene (1), bl. a. ford dentfserng av personellrelaterte drftskostnader fra Forsvarets regnskaper kke er trvell. Verder før 1994 er kke tlgjenglge pga vesentlge endrnger regnskapsførngen fra 1993 tl 1994. Dataene fgur 2.1 ble benttet analsen (1), med unntak av verden for 2002 som kke var tlgjengelg på det tdspunktet. 3 MODELL V antar at kostnadsutvklngen har en underlggende eksponentell trend. Dette betr at kostnadene på lang skt har en prosentvs årlg øknng. Den grunnleggende sammenhengen v leter etter er derfor på formen: kost 1 (1 + + DKV ) kost (3.1) hvor DKV er rentesatsen på årsverkskostnadene, utover prsstgnngen, og {1,2,...,9} er gtt ved = årstall 1993. V betrakter logartmen tl kostnadene = log( kost ), som gr: + 1 +d (3.2) hvor d = log(1 + DKV). Transformasjonen fra kost tl forenkler de matematske beregnngene, og man kan naturlgvs regne seg tlbake tl kostnader ved å nvertere transformasjonen: kost = ep( ). 3.1 Tlfeldg stø observasjonene Gjennom arbedet med grunnlagsdataene fgur 2.1 er det tdelg at det er uskkerhet rundt de faktske årsverkskostnadene. Dette modellerer v som observasjonsstø, ved å la varabelen representere logartmen tl den faktske årsverkskostnaden for år 1993 + :
9 = + ε (3.3) Støvarablene ε er uavhengge og dentsk fordelte med forventnng 0. Støen er en sum av flere felklder, slk som varasjoner posterng av forskjellge kostnader, bruk av overtd og varasjon øvngsmønster. Det er derfor rmelg å modellere observasjonsstøen som normalfordelt med et vsst (ukjent) standardavvk σ : ε N(0, σ ) 2. 3.2 Tlfeldg stø prosessen Det er mange forhold samfunnet som påvrker kostnadsutvklngen Forsvaret, og sden v kke kan ta alle dsse med analsen, modellerer v dem også som tlfeldg stø: d δ = + + + 1 (3.4) hvor støvarablene δ er uavhengge og dentsk fordelte med forventnng 0. Sden støen er en sum av mange forskjellge forhold samfunnet (f eks oljeprs, terrorfrkt, rentenvå, bolgmarked, etc) er det rmelg å modellere også denne som normalfordelt med et vsst (ukjent) 2 standardavvk σ : δ N(0, σ ). Legg merke tl at denne modellerngen kke vlle vært rmelg uten logartmetransformasjonen av dataene, ford enhver normalfordelt varabel har postv sannsnlghet for verder under (1 +d), som vlle gtt negatve kostnader. Negatve verder for den faktske veksten kostnadene er dermot kke noen prnspell umulghet (dvs δ < d for et år ), så lenge kostnadene er postve. 3.3 Parametre Lknngene (3.3) og (3.4) er vår matematske modell med parameterne d, σ og σ. Implstt har v også defnert en parameter gjennom startverden 1. Imdlertd er modellen vår translasjonsnvarant, på den måten at ( %, % ) gtt ved % = + c, % = + c, hvor c er en konstant, har samme sannsnlghetstetthet som (,). Derfor kan de tre prmære parametrene analseres uavhengg av 1. Tolknngen av parameteren d er den underlggende drftskostnadsveksten (eller strengt tatt logartmen tl 1+DKV, men for aktuelle verder av DKV er denne forskjellen lten). Fgur 3.1 gr en grafsk fremstllng av modellen. De horsontale plene vser at årsverkskostnadene endrer seg fra ett år tl den neste. Plene fra parameterne d og σ ndkerer at endrngene påvrkes av dsse parameterne. De vertkale plene vser at (de logartmetransformerte) dataene er observasjoner av de tlsvarende -verdene. Plene fra σ vser at størrelsen på den tlfeldge felen observasjonen er bestemt av denne parameteren.
10 d σ σ 1 2 9 1 2 9 Fgur 3.1 Grafsk fremstllng av modellen 4 BAYESIANSK ANALYSE I vår anvendelse har v få datapunkter forhold tl antall parametere som må estmeres. Samtdg har v tlgang tl betdelg domenekunnskap form av generell økonomsk teor, kostnadsdata fra andre tdsperoder/samfunnsområder/land samt nnskt støkldene modellen gjennom arbed med datannsamlng. Baesansk analse er en gren av matematsk statstkk som mulggjør ntegrasjon av harde data, slk som kostnadstall, med mer kvaltatv og vurderngsbasert kunnskap, og er derfor deell for denne anvendelsen (2). I Baesansk analse opererer man med en subjektv sannsnlghetsfordelng, kalt aprorfordelng, på parameterne modellen, og beregner den betngede sannsnlghetfordelngen tl parameterne, kalt aposterorfordelngen, gtt de tlgjenglge dataene. Dette betr at man kan beregne sannsnlgheten for at en parameter, f. eks. d, lgger nnenfor et gtt ntervall. V tolker aprorfordelngen som en representasjon av vår samlede kunnskap om parameterverdene før v har sett på dataene. Fra denne tankegangen gr v hø vekt tl parameterverder som v har stor tro på, lten vekt tl verder som vlle overraske oss, og null vekt på verdområder som v oppfatter som helt uaktuelle. Aprorfordelngen er derfor en subjektv sannsnlghetsfordelng ford den tallfester vår oppfatnng av hvor sannsnlge forskjellge parameterverder er. I mange praktske anvendelser av Baesanske metoder legger man lten vekt på utformngen av
11 aprorfordelngen, med argumentasjon om at data vl vse ve ved å stre aposterorfordelngen nn mot de rktge parameterverdene. Man legger da gjerne mest vekt på at man kke utelukker noen mulgheter, og utstrer parameterne med mer eller mndre flate (såkalt kkenformatve ) aprorfordelnger. Vår anvendelse er mdlertd det man kan kalle ren Baesansk, ved at v ønsker å bruke aprorfordelngen tl å representere den kunnskapen v faktsk har om domenet. Dette gjør v ford datamateralet er svært begrenset. 5 UTFORMING AV APRIORIFORDELING Arbedet med å utforme aprorfordelngen ble utført samarbed mellom FFIs gruppe for forsvarsøkonom (GFØ), forsker Else Helene Feet og forfatteren av denne rapporten. Gruppen dskuterte hver parameter for seg og antok uavhengghet mellom dem. 5.1 Prosesstø Parameteren for prosesstø er σ. Størrelsen på denne gr standardavvket tl den tlfeldge varasjonen de faktske gjennomsnttlge årsverkskostnadene. Hvs v f. eks. har σ = 0.01, betr det at den tlfeldge endrngen av årsverkskostnadene fra ett år tl det neste er av størrelsesorden ett prosentpoeng. Gruppen mente 0.05 kunne være en realstsk øvre grense for denne parameteren. Man hadde vanskelg for å tallfeste noen nedre grense, og endte opp med en unform aprorsannsnlghet området [ 0,0.05]. 5.2 Observasjonsstø Parameteren for observasjonsstø er σ. Størrelsen på denne gr standardavvket tl den tlfeldge målngen v gjør av årsverkskostnadene. På samme måte som for prosesstø betr en verd σ = 0.01 at den tlfeldge felen v gjør målngen av kostnadene har standardavvk på ett prosentpoeng. I denne støen nngår bl. a. uskkerhet grupperng av kostnader som personellrelatert eller kke. Gruppen mente denne støen antakelgvs var større en prosesstøen, med en maksmumsverd på 0.10. Ut fra eget arbed med dataene var gruppen også skker på at observasjonsstøen er på mnst tre prosentpoeng. Det resulterende ntervallet [0.03,0.10] ble lkhet med prosesstøen, også gtt unform aprorsannsnlghet. 5.3 Drftskostnadsvekst Drftskostnadsveksten d er naturlgvs den vktgste parameteren analsen, og aprorantagelser om dennes fordelng vl normalt påvrke sluttresultatet mer enn aprorfordelngen på støvarablene (som ofte omtales som nusance parameters statstsk ltteratur). Man la derfor mer arbed modellerng av aprorfordelngen tl d. Generelt samfunnet er det en postv velstandsutvklng som medfører at ansatte de fleste bransjer får økt sn kjøpekraft selv om arbedsnnsatsen holdes konstant, se Statstsk sentralbrås estmater for øknng nflasjonsjustert brutto nasjonalprodukt (3). Dette er et utslag av at arbed generelt rasjonalseres og effektvseres, bl. a. gjennom nnførng av n teknolog. Enten slk rasjonalserng lkkes Forsvaret eller kke, er det rmelg å tro at ansatte denne sektoren vl forlange, og få, en vss vekst reallønnngene, som gr utslag kostnadsvekst. Det er
12 derfor god grunn tl å tro at parameteren d er postv. Etter en lengre dskusjon kom man lkevel fram tl å tllate en svakt negatv verd, ned tl -0.01, med lten sannsnlghetsvekt. Som øvre grense for fordelngen tl parameteren endte man på tallet 0.07. Gruppens oppfatnng var at dette var en lke ekstrem verd som den nedre grensen på 0.01. Hvs spennet [-0.01,0.07] vrker smalt, må man huske på at dette er verden tl den underlggende trenden. Den faktske kostnadsendrngen fra et år tl neste nneholder også et tlfeldg ledd med sprednng gtt av σ, og den observerte kostnadsverden har enda større sprednng gjennom σ. Gruppens oppfatnng var at det mest sannsnlge området for drftskostnadsveksten er ntervallet [0.01,0.03]. Tl sammenlknng forutsatte Forsvarsstuden 2000 (4) en DKV på 1.5 %. Gruppen ble eng om å legge konstant aprorsannsnlghet på ntervallet [0.01,0.03], og nterpolere lneært ned tl ttergrensene -0.01 og 0.07. Dette gr trapesfordelngen vst fgur 5.1. 25 sannsnlghetstetthet 20 15 10 5 0-0,01 0 0,01 0,02 0,03 0,04 0,05 0,06 0,07 d Fgur 5.1: Sannsnlghetstetthet for aprorfordelngen tl parameteren d Aprorsannsnlgheter fremkommer som arealer under denne kurven. Maksmumsverden er satt tl 20 for at det samlede arealet under kurven skal bl 1. 6 APOSTERIORIFORDELING Når aprorfordelngen og data er gtt, er aposterorfordelngen på parameterne entdg bestemt, men beregnngen av den er kke trvell. Ved hjelp av Kalmanflter (5) kan v beregne lkelhood-funksjonen for parameterne ( d, σ, σ ), gtt -verdene. Med Markovkjede Monte Carlo smulerng, forkortet MCMC ltteraturen, (6), kan v så trekke et tlfeldg utvalg fra aposterorfordelngen. Det er utenfor rammen av denne rapporten å beskrve den matematske framgangsmåten detalj, og det henvses tl Metropols-Hastngs-algortmen (6). Hstogrammet tl den estmerte aposterorfordelngen for d er vst fgur 6.1. V ser at aposterorfordelngen er smalere enn aprorfordelngen, med et standardavvk på 0.011, mot 0.017 for aprorfordelngen.
13 Fgur 6.1 Hstogram for aposterorfordelngen tl parameteren d Som punktestmat benttes gjerne aposterorforventnngen, dvs. gjennomsnttet fra hstogrammet fgur 6.1, og denne lgger på 0.024. Et 95 % troverdghetsntervall for d er gtt ved [0.002,0.044]. Det betr at det er 95 % sannsnlghet for at drftskostnadsveksten lgger mellom 0.2 % og 4.5 %. (Transformasjonen fra d tl DKV betr altså et tdels prosentpoeng for et øverste endepunktet ntervallet, mens forskjellen blr mndre enn avrundngsenheten for gjennomsnttsverden og den nedre ntervallgrensen.) 7 MODELLEVALUERING Analsen og konklusjonene foregående kapttel bgger naturlgvs på forutsetnngene som er gjort om modell og aprorfordelng, og det er derfor vktg å evaluere modellen. V bentter såkalt posteror predctve p-value (7), forkortet ppp. Dette baseres på et avvksmål Dθ (, ), hvor = [,,..., ] og θ = [ d, σ, σ ], som tallfester hvor overraskende dataene er, gtt 1 2 9 parameterverdene θ. V defnerer følgende: 2 ( d) Dθ (, ) = (7.1) 8 + 1 2 2 = 1 σ + 2σ Hvert ledd summen adresserer øknngen av observerte kostnadsverder fra ett år tl det neste. 2 Den forventede verden for hoppet + 1 er parameteren d. Telleren ( 1 d ) + gr derfor 2 2 kvadratet av dette hoppets avvk fra sn forventnngsverd. Nevneren σ + 2σ er varansen tl
14 + 1. Hvert ledd summen gr derfor et mål på hvor ekstremt hoppet 1 + er, gtt verden på parameterne, og summen gr et mål på hvor ekstrem hele datavektoren er. Observatoren ppp( ) tar verder ntervallet [ 0,1], hvor verder nær 0 ndkerer at dataene strder mot antagelser modellen. Ppp-verden kan sees som en generalserng av P-verder brukt for hpotesetestng nnen klasssk statstkk. For defnsjonen av ppp, henvses det tl (7). I vårt tlefelle kom ppp-verden på 0.61, som ndkerer godt samsvar mellom modell og data. Generelt har ppp-verder en tendens tl å samle seg nær 0.5. For å korrgere for denne effekten er det (8) defnert en kalbrert versjon av ppp, kalt cppp, som har unform sannsnlghet ntervallet [0,1], gtt at dataene kommer fra den forutsatte modellen med den aktuelle aprorfordelngen. I vårt tlfelle fkk v en cppp-verd på 0.75, som også ndkerer god overensstemmelse mellom modell og data. Målsettngen med en slk analse er å teste om dataene motser modellen. Gjennom defnsjonen av avvksmålet D fokuserer v på om hoppene de observerte -verdene avvker urmelg me fra sn forventnng. Man kan aldr bevse at en statstsk modell er korrekt, men når modellen vårt tlfelle er så vdt godt faglg begrunnet og består testen v har gjennomført, føler v oss trgge på at den gr en brukbar beskrvelse av vrkelgheten 1. 8 VIDERE ARBEID Ekspertkunnskapen form at aprorfordelngen på parametrene tlfører analsen kunnskap, som påvrker resultatene. Dette er nettopp henskten med å velge en Baesansk tlnærmng. Når man har bltt enge om en slk fordelng, er det prnspelt vktg å kke endre på den for å få mer troverdge resultater. Lkevel kunne det være nteressant å kartlegge følsomheten av resultatene med hensn på aprorfordelngen, ved å prøve ut forskjellge alternatver. På den måten kunne man tallfeste hvor stor påvrknng de subjektve sdene av analsen har. Med samme formål kan det også være aktuelt å sammenlkne resultatene våre med en frekventstsk (dvs kke- Baesansk) analse av modellen. I en slk analse vl man estmere parametrene f. eks. gjennom maksmum lkelhood-beregnnger, og beregne konfdensntervaller 2 for dsse. 9 KONKLUSJON V har denne rapporten beskrevet en Baesansk analse av drftskostnadsvekst for personell Forsvaret. Analsen kombnerer subjektve men begrunnede sannsnlghetfordelnger for modellparametere med kostnadsdata fra Forsvarets regnskaper. En matematsk evaluerng vser godt samsvar mellom dataene og den forutsatte statstske modellen, noe som øker vår tllt tl analsen. 1 Modellen er Baesansk og herarksk, og evaluerng av denne tpen modeller er arbedsområdet tl forsknngsprosjektet Evaluaton of Baesan Herarchcal Models ved Avdelng for statstkk og forskrngsmatematkk under Matematsk nsttutt ved Unverstetet Oslo. Undertegnede utførte analsen og modellerngen som en del av dette prosjektet, et fagmljø som er forsknngsfronten nnen Baseansk analse generelt, og evaluerng av Baesanske herarkske modeller speselt. 2 Innen frekventstsk statstkk kan man kke defnere sannsnlgheten for at en parameter lgger nnenfor et ntervall, ford parameteren selv kke er noen tlfeldg størrelse. Konfdensntervaller er funksjoner av data, og kan oppfattes som tlfeldge før dataene er gtt. Konfdensntervaller har derfor en annen tolknng enn Baesanske troverdghetntervaller, men en tallmessg sammenlknng kan lkevel være nteressant.
15 Konklusjonen blr at den mest sannsnlge verden for den underlggende trenden er en årlg personellkostnadsvekst pr årsverk utover KPI på 2.4 % tdsperoden 1994-2002, og at denne vekstraten med hø grad av skkerhet lgger mellom 0.2 % og 4.5 %. Tl sammenlknng ga beregnnger dokumentert (1) verden 3.8 %. Dsse beregnngene nkluderte mdlertd kke kostnadene for 2002 hvor kostnadene hadde en klart negatv utvklng, samtdg som de nkluderte en lten korreksjon forhold tl kostnader for verneplktge. Det er et åpent spørsmål hvor langt nn fremtden en slk trend vl vare. På lang skt vl antakelg endrnger den generelle utvklngen norsk økonom være avgjørende. På kortere skt må man mdlertd ta hensn tl spesfkke forhold når det gjelder utvklngen av Forsvaret sammenlknet med andre samfunnssektorer. Man kan mdlertd bentte våre estmater som referanse, og justere opp eller ned avhengg av hvordan man mener framtdens utvklng vl sklle seg fra den v ser dag. Vår vurderng er at analsen alle tlfeller har klar relevans for de neste 4 8 årene, ford en rekke tltak for å redusere drftskostnadsveksten får vrknng først på skt. Man må også huske på at det har vært me fokus på reduksjon av kostnader også den peroden som er analsert (1994 2002), og det er kke uten vdere gtt at man vl lkkes vesentlg bedre framtden.
16 Ltteratur (1) GULICHSEN, Stenar (2002): Drftskostnadsvekst Forsvaret, FFI/RAPPORT- 2002/02999 (2) GELMAN, Andrew, et. al. (2004): Baesan data analss, Chapman & Hall/CRC (3) Statstsk sentralbrås hjemmesder: http://ssb.no/ (4) Forsvarssjefens Forsvarsstude 2000, sluttrapport (5) BØLVIKEN, Erk, CHRISTOPHERSEN, Nls, STORVIK, Ger (1998): Lnear dnamc models, Kalman flterng and statstcs, Unverst of Oslo (6) GILKS, W.R., Rchardson, S., Spegelhalter, D.J. (1996): Markov chan Monte Carlo n practce, Chapman & Hall (7) GELMAN, A., MENG, X.L., STERN, H. (1996): Posteror predctve assessment of model ftness va realzed dscrepances, Statstca snca, 6 (4) 733-760 (8) HJORT, Nls, DAHL, Fredrk, STEINBAKK, Gunnhldur H. (2005): Post-processng posteror predctve p-values, under vurderng av Journal of the Amercan Statstcal Assocaton (JASA)