Hva bør gjøres når en evaluering ikke kan anvende beste metode?

Transkript

1 Hva bør gjøres når en evaluering ikke kan anvende beste metode? Trafikdage ved Aalborg Universitet august 2011 Rune Elvik Professor ved Aalborg Universitet og forskningsleder ved Transportøkonomisk institutt, Oslo Side 1

2 Et dilemma for trafikksikkerhetsforskere Empirisk Bayes metode regnes av mange som den beste metoden i før-og-etterundersøkelser av trafikksikkerhetstiltak Denne metoden krever forholdsvis omfattende data og at man utvikler en multivariat modell til forklaring av systematisk variasjon i ulykkestall De nødvendige data foreligger ikke alltid og det er ikke alltid mulig å utvikle en ulykkesmodell Hva bør man da gjøre? Det er to muligheter: Enten å gjøre en nest-beste studie, eller Ikke å gjøre en studie i det hele tatt Side 2

3 Hvor god kan en nest-beste studie bli? Hvis den kan bli tilnærmet like god som en studie som anvender beste metode, bør den gjøres Hvis den ikke kan bli tilnærmet like god som en studie som anvender beste metode, bør den ikke gjøres Man trenger følgelig kriterier for å bedømme kvaliteten på en undersøkelse Disse kriteriene må så anvendes til å vurdere hvor god en nest beste undersøkelse kan bli Side 3

4 Krav til gode undersøkelser Krav Vekt 1: Det må kunne påvises endringer i ulykkestall ved innføring av tiltaket 10 2: Tiltakets virkning bør være større enn virkninger av andre forhold 5 3: Det må kunne undersøkes hvor konsistente virkningene av tiltaket er 5 4: Årsaksretningen må kunne avgjøres 10 5: Det bør kontrolleres for andre mulige forklaringer på resultatene 60 6: En årsaksmekanisme bør kunne påvises 5 7: Tiltakets virkning bør ikke stride mot veletablert kunnskap 5 8: Hvis tiltaket finnes i ulike doser, bør det være en dose-responssammenheng 10 9: Hvis det er en klar definert målgruppe, bør en virkning bare finnes der Side 4

5 60 Antall ulykker med påvirkede førere år i Nord-Jylland i mai, juni og juli Før kampanjer Diverse kampanjer Skytsengel Side 5

6 Kan en god evaluering gjøres? Innhenting av supplerende opplysninger: Promilleulykker i resten av Danmark Folketall i aldersgruppen år i Nordjylland Realinntekt per innbygger regnet i faste priser Bruk av supplerende opplysninger: Til å undersøke om antall ulykker i før-perioden var unormalt høyt, slik at en regresjon mot gjennomsnittet kan ventes Til å indikere endringer i eksponering (folketall) Til å indikere andre hendelser som kan påvirke ulykkene og som inntreffer samtidig med tiltaket (realinntekt) Side 6

7 Promilleulykker med unge førere i Nord-Jylland Promilleulykker i resten av Danmark En datamatrise Dummy for kampanjer og 1995 Dummy for Skytsengelkampanje Befolkning i alderen år i Nord- Jylland BNP per innbygger (US dollar 2000-priser) År (1983 = 1; 2005 = 23) Side 7

8 Promilleulykker per 1000 innbyggere Pro,milleulykker per 1000 innbyggere København Fredriksberg Roskilde Vestsjælland Storstrøm Bornholm Fyn Sønderjylland Ribe Vejle Ringkøbing Århus Viborg Nordjylland Side 8

9 En negativ binomial regresjonsmodell Modell for ulykker i Nord-Jylland Modell for ulykker i resten av Danmark Variabler Koeffisient Standardfeil Koeffisient Standardfeil Konstantledd 5,118 3,344 7,838 0,527 År 0,068 0,055 0,084 0,008 Dummy for kampanjer 0,566 0,172 0,083 0,026 Skytsengeldummy 0,738 0,269 0,061 0,039 Folketall år 0, , , , BNP per innbygger 0, , , , Side 9

10 60 Faktisk og predikert (med negativ binomial regresjonsmodell) antall promilleulykker med ungdom i Nord-Jylland Antall ulykker 30 Faktisk Predikert Side 10

11 2.00 Standardiserte restledd for ulykkesmodell for Nord-Jylland 1.50 Standardisert restledd (antall standardavvik) Observasjonsnummer (kronologisk) Side 11

12 Konklusjoner Det var i dette tilfellet mulig å gjøre en nest-beste studie Denne studien kan bedømmes ut fra 8 av de 9 kriteriene for gode studier (maksimalt oppnåelige poeng = 110) Studien bedømmes til å oppnå 76 av 110 mulige poeng Omregnet til en skala fra 0 til 1, er dette en verdi på 0,691 Dette er mer enn skalaens medianverdi (0,500) og kan tolkes slik at det er sterkere grunner til å tro på resultatene av undersøkelsen enn til ikke å gjøre dette Side 12