Opplegg for evaluering av ITS-prosjekter Presentasjon på NVF-53 seminar: Transportinformatikk Effekter av ITS Oslo, Hotell Børsparken 13. og 14. oktober 2005 Tore Knudsen SINTEF 1
Bakgrunn; Prosjektet: Opplegg for evaluering av ITS-prosjekter Oppdragsgiver: Statens vegvesen, Vegdirektoratet Oppdragsgivers prosjektleder: Idar Magne Bækken Utførende: SINTEF, Veg og transportplanlegging SINTEFs prosjektleder: Tore Knudsen Prosjektets mål: Starte utviklingen av en veileder for evaluering av ITS-prosjekter Status: Prosjektrapport skal leveres i begynnelsen av november 2
Ulike evalueringssituasjoner / tidspunkt for evalueringen Beslutningsrelatert Effektrelatert Kilde: MAESTRO-prosjektet 3
Elementer i prosjektplanen Litteraturstudie Gjennomgang av evalueringsresultater for norske ITSprosjekter Metodeutvikling Utvikle opplegg for evaluering av ulike ITS-prosjekter 4
Litteraturstudien Vi ønsket å finne frem til et begrenset antall referanser som i størst mulig grad var relevante for vår oppgave. Det var ikke ressurser til en omfattende litteraturstudie. Fokuserte på veiledere eller veileder-lignende publikasjoner og rapporter som inneholdt resultater fra evaluerte ITS-prosjekter. 5
Oversikt over litteraturstudien Litteratur-referanse Evalueringstidspunkt Type ITSprosjekt 2.1. VIKING Ikke spesifikt, Alle, men lite på men fokus på betalingssyst. og ex post intelligente kjt 2.2. PLUTO Ex post Informasjon / varsling 2.3. TEMPO Ikke spesifikt, men fokus på ex post 2.4. NKA Ikke spesifikt, men fokus på ex ante 2.5. CUPID Ikke spesifikt, men fokus på 3.1 14 Cases i Sverige 3.2 VIKING Evalueringsresultater Alle, men mindre tydelig på intelligente kjøretøy, adm/dok.behandl. Info / varsling Styring / reg Ettersp.reg Etterspørselsreg (vegprising) Hvilke transport-midler Vegtrafikk Vegtrafikk Alle / ikke spesifikt Vegtrafikk Vegtrafikk ex post Ex post Info / varsling Vegtrafikk samt skinnegående Ex post Alle Vegtrafikk og kollektivtrafikk Evalueringsmetode Effektmåling ved bruk av indikatorer Effektmåling ved bruk av indikatorer Effektmåling ved bruk av indikatorer NKA Effektmåling ved bruk av indikatorer Effektmåling ved bruk av indikatorer Diverse 6
Erfaringer/ konklusjoner fra litteraturstudien: Veilederne Normalt evalueringsopplegg / innhold i veilederne / mal for rapportering: 1. Problembeskrivelse 2. Målbeskrivelse (NB et bredt spekter av mål) (ofte 1 og 2 sammen) 3. Tiltaksbeskrivelse / prosjektbeskrivelse 4. Valg av indikatorer som belyser de ulike mål / effekter veilederne tilbyr lister over aktuelle indikatorer knyttet til type prosjekt / tiltak og for sannsynlige effekter 5. Metodebeskrivelser (veilederne har ofte enkle, men ikke fullstendige metodebeskrivelser for registrering og/eller beregning av verdier på indikatorene) 6. Utrede / beregne de ulike effekter gjennom indikatorene 7. Sammenstilling av effektene (indikatorverdiene) (dette er normalt veiledernes svakeste punkt) Egenskaper (svakheter) ved veilederne er: De drøfter i liten eller ingen grad evalueringsmetode, det vil si hvordan man stiller sammen de ulike indikator-resultatene. De angir kun at man bruker indikatorer til å belyse effekter og/eller måloppnåelse De er lite beslutningsrettet; de fleste er rettet mot ex post evaluering Mengden av mål, effekter og indikatorer blir fort meget stor og uoversiktlig. Sterkt ønskelig med forenkling. 7
Erfaringer/ konklusjoner fra litteraturstudien: Evaluerte prosjekter To av litteratur-referansene var samlinger av evalueringsrapporter: 3.1 TFK 2002:18 Fungerar transportinformatik i praktiken Evaluering av 14 svenske ITS-prosjekter innenfor trafikantinformasjon 3.2 VIKING: Overview of evaluations, MIP2004 Evaluering av 32 ITS-prosjekter innen 8 hovedområder fra Danmark, Finland, Norge, Sverige og Nord-Tyskland. 8
3.1 TFK 2002:18 Fungerar transportinformatik i praktiken. Evaluering av 14 ITS-prosjekter innenfor trafikantinformasjon I rapport 3.1 er evalueringen foretatt etter 15 spesifiserte kriterier og det virker som om prosjektgruppen har foretatt evalueringen selv eller holdt en stram hånd over den. Alle evalueringer har vært lojale overfor de 15 kriteriene. Alle evalueringer er ex post. De 15 kriteriene: 1. Referanser / kilder 2. Systembeskrivelse 3. Ønskede effekter som man ønsket før implementeringen av tiltaket 4. Implementeringsprosess 5. Teknisk løsning 6. Grensesnitt mot trafikantene 7. Estetikk 8. Drifting av systemet 9. Driftssikkerhet 10. Resulterende effekter og erfaringer 11. Totale kostnader 12. Levetid 13. Organisering av driften 14. Fremtidsplaner for tiltaket / systemet 15. Er det noe man ville ha gjort annerledes Kommentar: Som man ser av denne listen fanger man opp mye, men man er ikke sikret at man fanger opp effekter som man ikke forutså før implementering av tiltaket. 9
Oversikt over prosjekt-typer som er rapportert inn til VIKING-prosjektet (litt.ref 3.2) Danmark Finland Nord- Norge Sverige SUM Tyskland Elektroniske 1 2 1 4 betalingssystemer Trafikksikkerhet og 1 1 nødhjelp Trafikkregulering 1 1 1 2 5 Regulering / styring av 1 1 kollektivtrafikk Førerstøttesystemer 1 1 Reiseplanleggere 3 7 2 3 15 Automatisk 1 1 2 hastighetsovervåkning Gods og flåtestyring 3 3 SUM 6 12 1 5 8 32 10
3.2 VIKING: Overview of evaluations, MIP2004 Evaluering av 32 ITS-prosjekter innen 8 hovedområder I rapport 3.2 er evalueringen rapportert inn i henhold til en relativt løs 6-punkts mal fra de lokale prosjektorganisasjoner. Det skulle rapporteres om: 1. Problembeskrivelse 2. Prosjektbeskrivelse 3. Evaluering (tidspunkt, type, metoder) 4. Effekter av tiltaket / prosjektet 5. Overførbarhet av resultatene 6. Referanser / kilder Ulik lokal forståelse av 6-punkts malen, sannsynligvis små ressurser til evaluering / rapportering og varierende lojalitet til opplegget har ført til ulik kvalitet og informasjonsverdi av de ulike evalueringsrapportene. Særlig mangelen på kvantitativ evaluering og spesielt mangel på evaluering av økonomiske forhold (kostnader og nytte) var påtagelig. Fra denne rapporten har vi viderebehandlet de fem norske evalueringsrapportene. Alle evalueringer er ex post. 11
Erfaringer fra gjennomgang av norske ITS-prosjekter Mangel på formelt evalueringsopplegg; det virker som om man går rett på sak uten å forankre evalueringen i en metodikk / systematikk Dette fører til for liten bredde i evalueringene; man fokuserer nesten kun på primærhensikten med tiltaket For liten presisjon i evalueringsresultatene; lite bruk av kvantifisering, mye verbal beskrivelse Økonomiske effekter er så godt som fullstendig oversett Evaluering av ITS-prosjekter er relativt nytt så dette er ikke en kritikk av det arbeidet som er gjort, men mer en indikasjon på hvordan vi skal forbedre oss. Vi er også oppmerksom på at evalueringsarbeid av typen ex post ofte er relativt lavt prioritert med små ressurser. I dette tilfellet er vi i tillegg klar over at bidragsyterne (de lokale prosjektene) manglet finansiering til å lage det spesifikke bidraget til VIKINGprosjektet så motivasjonen var ofte liten. 12
ITS-prosjekter er en inhomogen gruppe Etter litteraturstudien og gjennomgangen av evalueringsresultatene for ulike ITS-tiltak / prosjekter fremstår ITSprosjektene som en lite homogen gruppe og vesentlig mindre homogen enn tradisjonelle infrastrukturprosjekter. Dette gjelder også effektene av de ulike prosjekt-typene. 13
Viktig å sikre bredde i evalueringsarbeidet Dette gjøres ved at det formelle evalueringsopplegget tjener som sjekkliste for en rekke mulige effekt-områder. Følgende liste over effekt-områder er hentet fra Tempoprosjektet, lignende lister finnes i alle veilederne: Transportnettverket og dets kostnader Transportmidlene og deres kostnader Tilgjengelighet Reisetid og dens forutsigbarhet (predictability) Trafikksikkerhet Miljø (Støy, utslipp og energi) Verdsetting og komfort, brukeraksept (Valuation and comfort) Når man velger indikatorer må man sørge for at de dekker de ulike aktuelle effektområdene (målområdene). 14
Innledende avklaringer Evalueringstidspunkt (initial, ex ante, ex post) hva er hensikten med evalueringen? Klassifisere type ITS-prosjekt: (eksempel på mulig klassifiseringsnøkkel) Informasjonssystemer Etterspørselsregulering Styring, trafikkregulering Flåtestyring og planlegging/styring av kollektivtrafikk Hendelsesdetektering Førerstøttesystemer Overvåkning og kontroll Betalingssystemer Datainnsamling og analyse Type transportmidler (Vegtrafikk, Koll.traf.på veg, Skinnegående trafikk, Godstransport, Båt og Fly) Evalueringsmetode: samfunnsøkonomisk / bedriftsøkonomisk evaluering, evaluering rettet mot å samle erfaring med effekter av ulike tiltak Nytte-kostnadsanalyse Konsekvensanalyse Måle effekter / måloppnåelse gjennom bruk av indikatorer Bedriftsøkonomisk evaluering (holdes utenfor vårt prosjekt) 15
Evalueringsmetoder Karakteristiske trekk ved tidspunktet for evaluering: Ex ante: Metodikken skal danne grunnlag for beslutning om tiltaket bør iverksettes eller ikke (beslutningsrettede metoder) Typisk ex ante metodikk: NKA, KA Ex post: Metodikken skal gi grunnlag for: Samle erfaringer om kostnader og effekter av ulike ITS-tiltak (effektrettede metoder) Etterprøve tidligere ex ante evaluering Typisk ex post metodikk: KA, effekter / måloppnåelse ved bruk av indikatorer Selv i veilederne som er gjennomgått vies spørsmål knyttet til valg av evalueringsmetode liten oppmerksomhet. Alle veilederne (bortsett fra den fra TØI om NKA) siktet seg primært inn mot ex post evaluering. Det gjorde også begge rapportene som omhandlet evalueringsresultater. 16
Beslutningsrettede evalueringsmetoder De beslutningsrettede evalueringsmetoder tar sikte på å svare på spørsmålet om det er samfunnsøkonomisk riktig å bruke en gitt sum penger (kostnadsoverslaget) til et ITS-prosjekt / tiltak for å oppnå forventede / beregnede effekter av tiltaket. ITS-tiltakene kjennetegnes fremdeles av at de ikke er ferdigutviklede produkter som kan kjøpes til en kjent pris. Tiltakene innebærer ofte utvikling av prototyper. Kostnadene inneholder derfor ofte store utviklingskostnader. Dette vanskeliggjør bruk av de vanlige beslutningsrettede, prosjektbaserte evalueringsmetodene (NKA, KA). Beslutninger om ITS-tiltak vil derfor i mange tilfeller være mer strategiske og fremtidsbaserte enn en ren prosjektvurdering. Dette tror vi vil gjelde både offentlig stasing på ITS og industrielle produkter (privat sektor). Vårt prosjekt tar ikke eksplisitt for seg de evalueringer / bedriftsøkonomiske vurderinger som gjøres innenfor privat sektor / industri. 17
Skisse til opplegg for evaluering av ITS-prosjekter Innledende avklaringer Angi evalueringstidspunkt og hensikt med evalueringen (høste erfaring om effekter og/eller være grunnlag for beslutning) Klassifisere type ITS-tiltak som skal evalueres og transportmidler som blir berørt av tiltaket (veilederen gir råd) Bestemme evalueringsmetode (beslutningsorientert og/eller effekt-orientert) Opplegg for evaluering / mal for rapportering Problembeskrivelse Målbeskrivelse for områder som blir berørt av tiltaket (sikrer bredde i evalueringen) Prosjekt-/ tiltaks-beskrivelse Identifisere sannsynlige effekter (primære og sekundære) (veilederen gir råd) Valg av indikatorer som belyser primær- og sekundæreffektene (veilederen gir råd om valg av indikatorer) Utrede / beregne / registrere ulike indikatorverdier som følge av tiltaket (veilederen gir råd om aktuelle registrerings- og beregningsmetoder) Sammenstilling av effekter (indikatorverdier) og tolkning av resultatene Beslutningsorientert metode (NKA, KA,???) Effektorientert metode (sammenstilling av indikatorverdier) 18
Veilederen angir effektområder for ulike ITS-tiltak / prosjekter Effektstruktur hentet fra VIKING-prosjektet Hovedmålområder for Type ITS-tiltak Hovedmålområder for tiltaket Hovedeffekter samfunnsutviklingen 1 Trafikantinformasjon (INF) Transportetterspørsel Transportsystemet og dets kostnader Transportstandard 2 Etterspørselsregulering (DEM) Reisetidspunkt Kjøretøyene og deres kostnader Sikkerhet og helse 3 Trafikkregulering (C) Reisemiddelvalg Tilgjengelighet til varer og tjenester Sosial likhet 4 Flåtestyring og kollektivtrafikkmanagement (F) Rutevalg Reisetid og dens forutsigbarhet Regional utvikling 5 Hendelsdetektering og behandling (INC) Trafikantatferd Trafikksikkerhet Miljøulemper 6 Førerstøttesystemer (DR) Drift og vedlikehold Miljø; støy, utslipp og energi Tilpasning til eksist. system 7 Overvåkning og kontroll (ENF) Komfort, tilfredshet, brukeraksept 8 Betalingssystemer (PAY) 9 Datainnsamling og analyse (DAT) VIKING-prosjektet virker godt gjennomarbeidet med hensyn til struktur; effekter og indikatorer. Resultatet er imidlertid blitt ganske komplisert. Er det mulig å forenkle? 19
Effekter av ulike tiltak Kilde: VIKING-prosjektet Trafikantinformasjon (INF) Hovedmålområder for tiltaket Hovedeffektområder Hovedmål for transportpolitikken Reise- Transport- Kjøretøyer Tilgjengelighet Reisetid og Trafikk- Miljø; støy Komfort, Transport- Sikkerhet Sosial Regional Negative Utvikling av Transport Reise middel- Rute- Trafikant- Drift og systemets og deres til varer og dens forutsig- sikkerhet utslipp og tilfredshet, standard og og likhet utvikling miljø- informasjons- Konkrete tiltak / undergrupper demand tidspunkt valg valg atferd vedlikehold kostnader kostnader tjenester barhet energi brukeraksept kostnader helse effekter samfunnet INF1: Informasjon om alternative transportmidler INF2: Informasjon om trafikkflyt, hendelser og vegarbeid INF3: Informasjon om vær og kjøreforhold INF4: Informasjon om vegkanttjenester INF5: Informasjon om tilgjengelige P-plasser INF6: Informasjonstjenester til kollektivtrafikkbrukere Effekter måles ved hjelp av indikatorer for hver av de 7 hovedeffektområdene Totalt foreslås 102 indikatorer for hovedeffektområdene hvorav 26 angis som de viktigste 20
Komplisert bilde - behov for forenkling Mange, dels overlappende indikatorer innebærer at det blir vanskelig å unngå dobbeltelling av effekter. Det blir også vanskelig å sammenstille effektene på en fornuftig måte. Forenklingen bør ta sikte på å redusere antall indikatorer og i størst mulig grad unngå overlapping. 21
Mulig forenkling Type ITS-tiltak Effektområder Indikatorer 1 Trafikantinformasjon (INF) Kostnader knyttet til transportsystemet: 2 Etterspørselsregulering (DEM) - investeringer ITS-investeringer 3 Trafikkregulering (C) - drift ITS-driftskostnader 4 Flåtestyring og kollektivtrafikkmanagement (F) Kostnader knyttet til trafikken: 5 Hendelsdetektering og behandling (INC) - kjørekostnader Trafikkens kjørekostnader totalt 6 Førerstøttesystemer (DR) - tidskostnader Trafikkens tidskostnader totalt 7 Overvåkning og kontroll (E) Transportetterspørsel Totalt antall reiser pr døgn 8 Betalingssystemer (P) Reisetid og dens forutsigbarhet Reisetid (middel, spredning) 9 Datinnsamling og bearbeiding (DS) Reisetidspunkt Trafikkvariasjon Reisemiddelvalg Antall personer med ulike transportmidler Rutevalg Lenkevolum Trafikksikkerhet Antall personskadeulykker Primæreffekter Miljø; støy, utslipp, energi Antall boliger med støynivå > X dba +++ Sekundæreffekter Bidrag til lokal og regional utvikling Andre forhold som bør evalueres: Systemets driftssikkerhet: - teknisk funksjonalitet og pålitelighet Mål for driftssikkerhet Brukeraksept Brukeraksept-intervju resultater Fordelingsvirkninger Andel som får forbedring og andel som for forværring NB! Dette er kun en skisse på en mulig løsning, ikke en gjennomdrøftet struktur. 22
Større fokus på sammenstilling av effekter En norsk veileder bør ha større fokus på sammenstilling av de resulterende effekter. En slik sammenstilling vil være viktig som beslutningsgrunnlag (jfr ex ante - situasjonen) og også nyttig for å vise de samlede effekter av et ITS-tiltak. 23