STF50 A06020 Åpen RAPPORT. Opplegg for evaluering av ITS-prosjekter. Tore Knudsen. SINTEF Teknologi og samfunn. Veg- og transportplanlegging

Transkript

1 STF50 A06020 Åpen RAPPORT Opplegg for evaluering av ITS-prosjekter Tore Knudsen SINTEF Teknologi og samfunn Veg- og transportplanlegging November 2005

2

3

4 3 Innholdsfortegnelse SUMMARY IN ENGLISH INNLEDNING, BAKGRUNN, HENSIKTEN MED PROSJEKTET LITTERATURSTUDIEN UTVELGELSE AV REFERANSELITTERATUR VIKING: GUIDELINES FOR THE EVALUATION OF ITS PROJECT VÄGVERKET: PLUTO PLANERING AV UTVÄRDERING HANDLEDNING AVSEENDE VÄGINFORMATIK...9 ( ) THE TEMPO-PROJECT: TRE UTVALGTE REFERANSER FRA LITTERATURSTUDIEN VIKING; Guidelines for evaluation of ITS projects PLUTO: Planering av utvärdering vid införande av väginformatik (Vägverket) TØI / Hanne Samstad og Tom E. Markussen: Nytte-kostnadsanalyse som evalueringsverktøy for ITSinvesteringer, TØI-rapport 501 / Sammenfatning av de tre utvalgte veilederne VIKTIGSTE KONKLUSJONER FRA LITTERATURSTUDIEN RESULTATER FRA PROSJEKTEVALUERINGER RAPPORTER OM PROSJEKTEVALUERINGER KRONBORG, LINDKVIST, SCHELIN: FUNGERAR TRANSPORTINFORMATIK I PRAKTIKEN? VIKING OVERVIEW OF EVALUATIONS, MIP EVALUERING AV NORSKE ITS-PROSJEKTER UTVALGTE NORSKE ITS-PROSJEKTER BAKGRUNN FOR EVALUERING OG RAPPORTERING MANGEL PÅ FORMELT EVALUERINGSOPPLEGG BASERT PÅ GENERELL EVALUERINGSMETODIKK MANGLENDE BREDDE I EVALUERINGEN OG ØKONOMISKE KONSEKVENSER ER FRAVÆRENDE FOR LITEN PRESISJON PÅ EVALUERINGSRESULTATENE KONKLUSJONER OG SIGNALER FOR VIDERE ARBEID METODE FOR EVALUERING AV ITS-PROSJEKTER METODE-ERFARINGER FRA LITTERATURUNDERSØKELSEN FORSLAG TIL METODESTRUKTUR I EN NY VEILEDER VIDERETUTVIKLING AV METODESTRUKTUREN Problembeskrivelse - målformulering Tiltaksbeskrivelse Beskrivelse av effekter av tiltaket Indikatorer og metoder Resulterende metodestruktur Sammenstilling av evalueringsresultater LITTERATURLISTE...36

5 4 Summary in English The ultimate goal for this project is to develop guidelines for evaluation of ITS projects. However, this project did not reach that far and must be considered a preliminary study for a more comprehensive project. Initially we recognized that evaluation is performed on three different stages during the life of a project; the initial evaluation, the ex ante evaluation and the ex post evaluation. This is illustrated by a figure from the MAESTRO-project: Evaluation of the idea Decisionrelated evaluation Effect related evaluation Figure Summary-1 : Illustration of different types of evaluation during the life of an ITS-project The first initial evaluation occurs when you first get the idea of an ITS project and intuitively or by help of effect catalogues decides upon which ITS measure you will suggest or decide to go on with. Secondly it comes to the point when you have to use a considerable amount of resources to construct and/or implement the ITS measure. You make an evaluation report to the decision makers where you account for the cost and the calculated effects of the ITS project. In this case the ex ante evaluation is a decision making tool. At last the project is implemented and you can perform the ex post evaluation. In this case the objectives are to record the actual effects of the ITS measure and possibly to redo the ex ante evaluation with the correct effects of the project. For the evaluation guidelines to be developed in this project we decided to cover both the ex ante and the ex post evaluation. This preliminary study consists of a minor literature study where we focused on earlier developed guidelines for evaluation of ITS projects and reports on results from completed evaluations of ITS project. In addition we have studied the evaluation process used in present evaluations and tried to further develop the methodology. In this report we propose the following evaluation procedure.

6 5 i) Problem description; describe the problem you are / were facing and your objectives when trying to solve it. ii) ITS project description; describe the ITS project used or to be used. The guidelines will help you classify the project in one of eleven predefined ITS-project categories. iii) What kind of evaluation will you perform? (ex ante or ex post) iv) Based on the classification of the ITS measure the guidelines will give indications of the effects of the measure and indicators to be used to quantify the effects v) Based on the type of evaluation (ex ante / ex post) and the chosen indicators the guidelines will give advice on methods to be used to quantify the different effects through the use of indicators vi) The final step is to demonstrate how the costs and the different effects (positive and negative) add up to the net benefit of the ITS project. Since the different effects are not all in monetary units one has to design an assembling procedure and presentation of the results in accordance with the purpose of the evaluation (ex ante / ex post). For ex ante evaluations it is important to present the cost and the benefits in such a way that the decision makers get a correct, comprehensive and easy-to-understand overview of the situation. For the ex post evaluation it is important to present the actual primary and secondary effects of the ITS-measure in such a way that it is easy to use as an effect catalogue for evaluation of new ITS projects. The guidelines should reflect these situations and give proper advice to the users. The main differences from present guidelines are simpler relationship between the ITS measure, the impacts of the measure and the indicators to be used to record or calculate the impacts. In addition we put more emphasis on calculating / measuring the effects and transforming the effects to monetary units. Thus it will be easy to incorporate the cost-benefit analyses as part of a more comprehensive consequence analyses / impact study. As part of the simplification we suggest to reduce the number of indicators to be used. In addition, the coming guidelines will give more attention to the final step; the assembling and presentation of the evaluation results as described in point vi) above. The relationship between the ITS measure, the main effects / impacts and the indicators are shown in figure Summary 2 and the final procedure is shown in the figure Summary 3 and the next two pages.

7 6 Classes of ITS projects Effects of project Indicators 1 Information systems System 2 Navigation systems - Capital investments Cost estimates 3 Demand management - Operating costs Cost estimates 4 Traffic control Road users 5 Fleet management and public transport operation - Transport demand No of persons * kilometres 6 Incident detection and handling - Travel time Records or calculations of travel times 7 Driver support systems - Time of travel Traffic distribution over time 8 Surveillance and control - Vehicle operating costs Records or calculations of vehicle operating costs 9 Tolling systems and electronic ticketing - Value of improved information Willingness to pay 10 Data collection and analyses - Value of improved predictability Willingness to pay 11 Miscellaneous - Traffic accidents No of accidents with personal injury - Consumer surplus/loss Consumer surplus / loss - Distributional effects / justice Quantify the gains and the loss for groups of people - Mode choice Trip distribution between modes - Route choice Traffic assignment Contribution to local and regional developm. No of jobs Surroundings - Noise No of people above noise thresholds - Emissions No of people above pollution thresholds Primery effects - Energy consumption No of vehicle * kilometres Secondary effects - Environment Description of environmental intervention - Aestetics Aesthetical evaluation Other considerations - Technical operations / reliability Deviations from normal operations - User acceptance User acceptance - Protection of privacy Data security - Contribution to reach political goals Goal achievement Figure Summary-2 : Classes of ITS projects, effects of projects and related indicators. The shading illustrates primary and secondary effects of a traffic control project and their indicators

8 7 Evaluation process Describe problem and set objectives Describe measures Effects of measures Choice of indicators Record / calculate value of indicators Assembling of evaluation results Identify the problem to be solved and set objectives for the measure to be employed Describe and classify the ITS measure -Information systems -Navigation systems -Demand management -Traffic control -Fleet management and public transport operations -Incident detection and handling -Driver support systems -Surveillance and control -Tolling systems and electronic ticketing -Data collection and analyses -Miscellaneous Types of effects System -Capital investments -Operating costs -(Lifetime) Road users -Travel time -Vehicle operating costs -Valuation of improved information -Valuation of improved predictability -Traffic accidents - Consumer surplus / loss -Distributional effects / righteousness Surroundings -Noise -Emissions -Energy consumption -Environment -Aesthetics Other considerations -Technical operations / reliability -User acceptance -Protection of privacy -Contribution to reach political goals Indicators: -Cost estimates -Calculation of operating costs - Records or calculations of travel time -Records or calculations of vehicle operating costs - W illingness to pay - W illingness to pay -No of accidents with personal injury -Consumer surplus / loss -Who gains and who loses -No of persons above noise thresholds -No of persons above emission thresholds -No of vehicle *km -Description of environmental intervention -Aesthetical evaluation -Deviations from normal operation -Users acceptance -Data security -Goal achievement Methods: -Records or calculations of costs and operating costs -Moving vehicle - Calculate vehicle operating costs. -Road user interviews -Records and calculations of traffic accidents -Consumer surplus calculations -Detailed analyses of effect-calculations -Noise model -Emission model -Transport-models -Analyses of environmental intervention -Aesthetic evaluation -Operational records -User interviews -Accept from the Data Inspectorate -Transport-modelcalculations ++ Assembling methods Decision-oriented (ex ante) -Cost-benefit study -Impact study Effect-oriented (ex post) -Impact study -Goal achievement -Effect catalogue Figure Summary-3 : Diagram showing the steps in the evaluation process

9 8 1 Innledning, bakgrunn, hensikten med prosjektet Dette prosjektet ble foreslått og gjennomført for å kartlegge state-of-the-art når det gjelder opplegg for evaluering av ITS-prosjekter og tiltak og om mulig starte en utvikling i retning av en norsk veileder for systematisk evaluering av denne type prosjekter. For vanlige infrastrukturprosjekter knyttet til veger og jernbane har transportetatene etablert metodikk for å frembringe beslutningsgrunnlag i forbindelse med den politiske behandlingen av prosjektene og tilhørende avgjørelse om prosjektene skal realiseres eller ikke. Her er både nyttekostnadsanalyse, konsekvensutredning og konsekvensanalyse kjente metoder. Selv om infrastrukturprosjekter kan være meget forskjellige er nok variasjonsområdet enda større for ITS-prosjekter. Det vil stille enda større krav til et felles verktøy eller metode for slike evalueringer. Allerede i prosjektforslaget ble nedenstående figur lansert for å plassere metodikken i en prosess: Figur 1: Systemskisse for en evalueringsprosess (Kilde: MAESTRO-prosjektet) Det sentrale poenget ved å bruke denne figuren var å vise at evaluering kan foregå på ulike stadier i en prosjektutvikling; først ved prosjektidéens unnfangelse hvor man vurderer (evaluerer) om dette er noe å gå videre med (initial evaluation), deretter etter at man har bearbeidet idéen og evaluerer den som grunnlag for beslutning om å investere i den (ex ante evaluation). Til slutt etter at idéen er realisert og vi kan evaluere de endelige effekter av prosjektet / tiltaket (ex post evaluation). I dette prosjektet vil vi primært fokusere på metodikk for de to siste evalueringsoppgavene; ex ante evaluering (beslutningsrettet) og ex post evaluering (effektrettet).

10 9 2 Litteraturstudien 2.1 Utvelgelse av referanselitteratur I prosjektet var det ikke ressurser til en omfattende litteraturstudie så man valgte å avgrense litteratursøket til evalueringsveiledere eller veilederlignende publikasjoner samt rapporter hvor man refererte og sammenstilte evalueringsresultater. Litteraturstudien omfattet følgende sju publikasjoner: Veiledere: 1.1 VIKING: Guidelines for the evaluation of ITS project 1.2 Vägverket: PLUTO Planering av utvärdering Handledning avseende väginformatik ( ) 1.3 The TEMPO-project: - Euro-regional Project Evaluation Guidelines (2005) (37s) - Euro-regional Project Evaluation Summary (EU-2003) (10s) - Guidelines for Reporting Evaluation Results (Issue ) (18s) 1.4 H.Samstad, T.E.Markussen Nytte-kostnadsanalyse som evalueringsverktøy for ITSinvesteringer (TØI 2000) 1.5 CUPID (EU-prosjekt) Deliverable 4: Evaluation Framework Sammenstilling av evalueringsresultater: 2.1 TFK 2002:18 Peter Kronborg, Anders Lindkvist, Eva Schelin: Fungerar transportinformatik i praktiken 2.2 VIKING Overview of evaluations, MIP2004 I prosjektet har man også gjennomgått andre publikasjoner uten at de har fått samme formelle behandling og rapportering. Av disse kan nevnes: Department of Transport (UK): Understanding the Benefits and Costs of Intelligent Transport Systems: A Toolkit Approach. Dette er en samling av 14 notater som utgjør en verktøykasse for de som vurderer ulike ITStiltak. Samlingen var imidlertid ikke særlig grundig og omfattende når det gjelder metodikk for evaluering av ITS-tiltak. Vi valgte derfor ikke å ta den med i litteraturstudien En annen rapport som også bør nevnes er fra Ministry of Transport and Communications i Finland og deres TETRA-program. Rapportens tittel er: Guidelines for the evaluation of ITS projects. Dette er i utgangspunktet en rapport som tematisk er meget sentral i vår problemstilling. Imidlertid fikk vi tak i rapporten meget sent i prosjektperioden og vi oppdaget da at den var fra 1998 og var nok et av utgangspunktene for særlig VIKING-prosjektets veileder med samme tittel. Vi valgte derfor ikke å behandle den spesielt da vi allerede hadde gått gjennom nyere versjoner av samme metodiske tilnærming.

11 Tre utvalgte referanser fra litteraturstudien VIKING; Guidelines for evaluation of ITS projects FITS-publications 4/2002 Denne publikasjonen har vi klassifisert som en veileder i evaluering av ITS-prosjekter. Originalrapporten ble skrevet på finsk og deretter oversatt til engelsk. Rapporten er laget under det finske forskningsprogrammet for ITS Infrastructure and Services - FITS med økonomisk støtte fra EU. Som allerede nevnt har vi funnet en lignende rapport fra 1998 fra det finske TETRA-programmet med en nesten identisk metodikk så dette er tydeligvis en videreutvikling av den rapporten. Den foreslåtte evalueringsmetodikken er bygd opp på følgende evalueringsprosess: 1. Problembeskrivelse og målformulering 2. Beskrivelse og klassifisering av ITS-tiltaket 3. Hovedtyper av effekter av tiltaket (Veilederen gir hovedeffekter for hver type av ITS-tiltak) 4. Utvelgelse av indikatorer som kan belyse de ulike effekter av tiltaket (Veilederen gir forslag til relevante indikatorer) 5. Gjennomføre målinger / beregninger for de valgte indikatorer (Veilederen gir kortfattet veiledning om ulike registrerings og beregningsmetoder) 6. Sammenstille resultatene a. Nytte-kostnadsanalyse basert på de økonomisk kvantifiserbare indikatorene b. Konsekvensanalyse Kommentarer til de enkelte faser i prosessen: 1. Det er ofte hensiktsmessig å slå sammen problembeskrivelsen og målformuleringen da de mest umiddelbare målene med tiltaket jo er å løse eller bedre problemene. I tillegg til de spesifikke målene knyttet til problembeskrivelsen gir veilederen også overordnede mål knyttet til transportpolitikken og til målsetningen om å utvike Finland til et informasjonssamfunn, se tabell 1 og 2 neste side. 2. Som man senere vil se er det hensiktsmessig å klassifisere ITS-tiltakene i en del hovedgrupper. I denne veilederen har man klassifisert tiltakene i både hovedgrupper og undergrupper. De sju hovedgruppene ser man i figur 2 mens i figur 3 ser man hvordan hovedgruppe 1 Information services er brutt ned i 6 undergrupper. 3. I figur 3 ser man også at man skiller mellom de direkte mål for tiltaket (Target of impacts), hovedeffekter (main impacts) og hovedmål for transportpolitikken og informasjonssamfunnet (Transport and information policy objectives). Det er for å måle hovedeffektene at man bruker indikatorer. 4. Veilederen gir forslag til aktuelle indikatorer for de enkelte hovedmål. I tabell 3 vises et eksempel på foreslåtte indikatorer for hovedmålet Network and its costs I alt gir veilederen forslag til 102 indikatorer hvorav 26 viktige. I tillegg må en del av disse regnes om til pengeverdi for å kunne benyttes i nytte-kostnadsanalysen. 5. Veilederen nevner to former for sammenstilling: a) Nytte-kostnadsanalyse b) Konsekvensanalyse Disse behandles i et eget kapittel (7 sider) og det sier seg selv at dette blir for lite til en fullgod innføring i de ulike metodene.

12 11 Tabell 1: Transportpolitiske mål Tabell 2: Mål knyttet til utviklingen av Finland som et informasjonssamfunn

13 Figur 2: Effekter av ITS-tiltak (De potensielle effekter av traffic control er vist med mørk skyggelegging) 12

14 Figur 3: Veilederens fremstilling av potensielle effekter de ulike typer prosjekter under information services. Mørk skyggelegging viser de viktigste effektene. 13

15 14 Tabell 3: Aktuelle indikatorer for å belyse effekter innenfor Network and its costs. De viktigste indikatorer er angitt med fet skrift. Figur 4: Eksempel på sammenstilling av effekter / konsekvenser for en konsekvensanalyse

16 15 I Norge benyttes nå prosjektets nettonytte som det primære lønnsomhetskriteriet og nettonytte / kostnad som et rangeringskriterium mellom prosjekter. Konsekvensanalysen er i veilederen kun viet en halv side av de syv sidene og introduserer der at konsekvensene av ITS-prosjektet bør grupperes i følgende 6 hovedkonsekvenser: i) Transport system and level of service and costs ii) Safety and health iii) Social sustainability iv) Regional and community development v) Detriments to the environment vi) Development of information society Veilederen viser også et eksempel på sammenstilling av konsekvenser. Det er vist i figur 4. Skyggeleggingen viser viktigheten av effekten / konsekvensen, mens ansiktsuttrykket til Smiley viser om effekten er positiv, negativ eller nøytral. I tillegg til de effekter som er fanget opp gjennom de viste figurer og tabeller vil det også være forhold som ikke er direkte effekter men som bør være en del av evalueringen. Dette dreier seg om: Market evaluation - Marked Technical feasibility - Tekniske muligheter Technical evaluation - Teknisk funksjonalitet Human machine interface - Menneske maskin grensesnitt Financial evaluation - Finansielle forhold Legal evaluation - Juridiske forhold Institutional evaluation Institusjonelle forhold Også disse er ledsaget av forslag til relevante indikatorer for å belyse hvordan et ITS-tiltak fungerer i henhold til disse kriteriene. Med disse indikatorforslagene nevner veilederen totalt 154 indikatorer hvorav 41 er klassifisert som viktige. Denne veilederen har også et kapittel om ITS-prosjekter knyttet til logistikk. Vi velger å ikke ta inn dette aspektet foreløpig PLUTO: Planering av utvärdering vid införande av väginformatik (Vägverket) Denne veilederen som er skrevet på svensk og utgitt av det svenske vägverket er udatert, men sannsynligvis laget omkring I veilederen presiseres det allerede innledningsvis at denne veilederen kun omfatter evaluering av gjennomførte prosjekter (ex post) og ikke evaluering som beslutningsunderlag (ex ante). Veilederen anbefaler at det må lages en evalueringsplan som starter i forbindelse med implementeringen av ITS-tiltaket. Dette illustreres av figur 5 (neste side) hvor den ytterste sirkelen indikerer prosessen med å implementere et ITS-tiltak. Allerede ved slutten av arbeidet med implementeringsplanen starter utviklingen av en evalueringsplan (den indre sirkelen). Derav følger at evalueringen blir en integrert del av implementeringen av et ITS-tiltak.

17 16 Figur 5: Sammenhengen mellom implementeringsprosessen og evalueringsprosessen Den foreslåtte evalueringsprosessen er nedfelt i figur 6 nedenfor: Figur 6: Evalueringsprosessen med de ulike trinn

18 17 Allerede i trinn 1 i evalueringsprosessen skal man tolke mål og hensikt med tiltaket. I den sammenheng viser veilederen en liste over områder for identifisering av overordnede mål og forventninger: (se figur 7). Figur 7: Områder for identifisering av overordnede mål og forventninger

19 18 I trinn 2 skal man velge ut hovedeffektområder og indikatorer som belyser de ulike effektområdene. Veilederen inneholder i et eget bilag oversikter over relevante indikatorer samt aktuelle registreringer / metoder for å skaffe data for de ulike indikatorer. I denne veilederen relaterer man effektene til de ulike kategoriene som er vist i figur 8 nedenfor, det vil si: Teknikk, organisasjon, sluttbrukere trafikk, sluttbrukere organisasjon, trafikk og samfunn. Figur 8: Strukturering av hovedkategorier av effekter Dette har ført til at man får følgende system av hovedeffektområder og delområder: Teknikk og funksjonalitet - Tekniske krav - Driftsaspekter - Integrasjon, håndterbarhet Organisasjon; Produsenter mellombrukere m.fl. - Effektivitet - Driftsaspekter - Brukere innenfor organisasjonen - Samvirke Sluttbrukere trafikanter - Bruk av tiltaket - Trafikantreaksjoner - Muligheter - Opplevelser - Betalingsvilje Sluttbrukere bedrifter, organisasjoner - Bruk - Servicekvalitet - Økonomiske effekter - Driftsforhold Trafikk - Systemeffekter - Trafikkeffekter - Tidsaspekter - Trafikkforhold

20 19 Samfunn - Samfunnsøkonomi - Sikkerhet - Fremkommelighet - Miljøeffekter - Tilgjengelighet - Likhet Tabell 4: Oversikt over hovedeffektområder og delområder For hvert delområde er det forslag til 1 8 relevante indikatorer med angivelse av aktuelle registreringsmetoder. Disse tabellariske oversikter vil også være til hjelp i trinn 3 hvor man skal velge registrerings- og analysemetoder. De metoder som er omtalt er: 1. Spørreundersøkelse 2. Internettbasert spørreundersøkelse 3. Intervju 4. Vegkantintervju 5. Dybdeintervju 6. Fokusgruppediskusjon 7. Stated Preference undersøkelse 8. Medreisendeobservasjoner 9. Interaksjonsstudie 10. Konfliktstudie 11. Trafikktellinger med detektorer 12. Nummerskrivning 13. Flytende bil målinger 14. Forfølgelsesmålinger 15. Videoregistrering 16. Laboratorietester 17. Dagbok 18. Kartlegging Tabell 5: Oversikt over aktuelle registreringsmetoder I trinn 4 skal man utforme selve evalueringsplanen, det vil si at man skal fastlegge i detalj de registreringer og analyser som må gjøres og når de må gjøres. Her må man også gjøre statistiske vurderinger om utvalg og utsagnskraft. De statistiske metoder er for øvrig behandlet i veilederens kapittel 3. Evalueringsprosessens trinn 5 er Gjennomføringen av datainnsamlingen i henhold til planen. Dette kan innebære både før- og etter-undersøkelser så det er viktig at man får gjort de nødvendige før-undersøkelser i tide. Trinn 6 er Analyse av de utførte registreringer og til slutt skal resultatene sammenstilles på en fornuftig måte. Disse to trinnene er ikke særlig utførlig beskrevet.

21 TØI / Hanne Samstad og Tom E. Markussen: Nytte-kostnadsanalyse som evalueringsverktøy for ITS-investeringer, TØI-rapport 501 / 2000 Denne rapporten er klassifisert som veileder, men er egentlig en forskningsrapport der den sentrale problemstillingen har vært å se på om nytte-kostnadsanalyse, som er et velkjent verktøy for evaluering av infrastrukturinvesteringer, også kan benyttes til å evaluere ITS-tiltak samt hvilke utfordringer man da står overfor. Dermed er det også klart at denne veilederen er rettet mot evaluering som beslutningsstøtte, det vi si i ex ante situasjonen. I studien avgrenset man aktuelle ITS-tiltak til å være de som er (mest) aktuelle for offentlige investeringer med særlig fokus på informasjonssystemer. Dette betyr i praksis informasjonssystemer som gir informasjon som er tilgjengelig til alle trafikanter. Med dette utgangspunktet reiste det seg to problemstillinger: i) Det er vanskelig å vite trafikantreaksjoner på uprøvde eller lite prøvde tiltak som for eksempel bedre informasjon ii) Hva er nytten av bedre informasjon? Allerede når man undersøkte internasjonale erfaringer kom man over høyst ulike holdninger til dette (se figur 9): Figur 9: Ulike utsagn om nytte av ITS-prosjekt

22 21 Ved første øyekast virker de to utsagnene innbyrdes selvmotsigende, men ved nærmere gransking så ser man at de egentlig sier mye av det samme, men med henholdsvis en positiv og negativ vinkling på utsagnet. Begge er enige om at ITS representerer et teknologisk skifte hvor det blir en utfordring å kunne modellere trafikantenes reaksjoner på ulike tiltak samt kunne kvantifisere de ulike nyttekomponenter hvorav noen kan være helt nye. I likhet med de andre veilederne finner man også her behov for å kategorisere ulike ITS-tiltak. Her er imidlertid hensikten med kategoriseringen forskjellig fra de andre veilederne. Her deler man inn ITS-tiltakene i tre hovedgrupper: i) Anvendelsesområder som sannsynligvis er mest aktuelle for offentlig investering ii) Anvendelsesområder som kan være aktuelle for både offentlig og privat investering iii) Anvendelsesområder som sannsynligvis er mest aktuelle for private investeringer I rapporten har de klassifisert ulike ITS-tiltak som følger: I: Anvendelsesområder som sannsynligvis er mest aktuelle for offentlig investering Trafikkovervåkning og etterspørselsregulering Anvendelser for veger i spredtbygde strøk og/eller med liten ÅDT Tilrettelegging for utsatte trafikantgrupper II: Anvendelsesområder som kan være aktuelle for både offentlig og privat investering Kollektivtransport Betalingssystemer Administrasjon av bildeling III: Anvendelsesområder som sannsynligvis er mest aktuelle for private investeringer Førerinformasjon og navigasjonshjelpemidler Intelligente kjøretøyer Godstransport I rapporten er disse kategoriene videre oppdelt i til sammen 43 ulike ITS-tiltaksområder. Av dette følger at de ser den tiltakene i gruppe I som de mest aktuelle for bruk av nyttekostnadsanalyse som evalueringsverktøy. Med referanse til Håndbok 140 Konsekvensanalyser nevnes at nytte-kostnadsanalysen kan ses på som en del av den noe mer omfattende konsekvensanalysen og at denne analysen (KA) kan være enda mer velegnet som evalueringsmetode med NKA som en delmetode. Rapporten tar videre for seg modellering av trafikale effekter av ITS-tiltak. Dagens transportmodeller er bare i begrenset grad egnet til å reflektere riktig atferd på ulike ITS-tiltak, men for enkelte av tiltakene kan man klare seg med relativt enkle modeller så situasjonen er ikke helt entydig. Selve nytte-kostnadsanalysen kan gjøres etter de stort sett de samme prinsipper som for infrastrukturprosjekter. Av åpenbare ulikheter kan nevnes: i) Kortere tidshorisont for nytteberegningene, man går ofte ned til ca 10 år ii) For mange ITS-tiltak er det vanskelig å kvantifisere enkelte nyttekomponenter, for eksempel er det fremdeles uklart hva verdien/nytten av bedre informasjon er iii) Man savner erfaring fra ulike ITS-tiltak i form av flere ex post evalueringsresultater iv) ITS-investeringer er ofte mer reversible enn infrastrukturinvesteringer

23 22 I rapporten kommer man også med forslag til skjema for presentasjon av nyttekostnadsberegningene. Det er gjengitt i tabell 6 nedenfor: Tabell 6: Skjema for presentasjon av hovedresultater fra nytte-kostnadsanalysen I tillegg til de tradisjonelle hovedtallene gir en slik oppstilling en del tilleggsinformasjon. Noen av fordelingsvirkningene vil blant annet komme klart frem. En slik fremstilling vil også lett kunne inngå som del av en konsekvensanalyse som da i tillegg vil gi informasjon om de ikkeøkonomiske kvantifiserbare konsekvensene og de ikke-kvantifiserbare konsekvensene. Hovedkonklusjonen fra denne rapporten er at nytte-kostnadsanalyse (NKA) kan være et nyttig verktøy for å evaluere samfunnsøkonomisk lønnsomhet av ITS-investeringer. Utfordringene synes å ligge på følgende forhold: i) Det er vanskelig å forutse trafikantenes reaksjoner på mange ITS-tiltak, for eksempel informasjonstiltak. Det blir derfor vanskelig å modellere dette og dermed blir det også vanskelig å beregne den trafikale nytten av tiltakene. Etter hvert som man benytter slike systemer stadig oftere skaffer man seg samtidig bedre erfaring med effektene og dermed nytten av slike informasjonssystemer. ii) Noen modifikasjoner av metodikken kan gjøre NKA bedre egnet som evalueringsverktøy for ITS-prosjekter. Et eksempel er at trafikanter normalt har en høyere tidsverdi for forsinkelser enn for normal reisetid. Informasjon om køer og forsinkelser som gjør det mulig å justere reisetidspunktet slik at man kommer frem i tide har dermed en verdi uten at reisetiden blir kortere. Her bør det arbeides videre med å hvordan denne effekten skal kunne tas inn i nytteberegningene. iii) Det kan være betalingsvillighet for informasjon selv om trafikantene ikke endrer atferd. Dette bør man skaffe mer erfaring med samt metodikk for å bringe det inn i nyttekostandsanalysen.

24 23 iv) Når resultatene av nytte-kostnadsanalysen fremstilles slik som vist i tabell 6 vil NKA også kunne være en nyttig del av en mer omfattende konsekvensanalyse som også fanger opp forhold som faller utenfor NKA Sammenfatning av de tre utvalgte veilederne Som man ser av gjennomgangen av de tre utvalgte veilederne er de meget forskjellige, men allikevel med noen sentrale likhetspunkter. VIKING-veilederen er den som sammenfatter mest med det vi er ute etter i vårt prosjekt. Den dekker i prinsippet både ex ante og ex post evaluering, men har fokus primært rettet mot ex post evaluering. Denne veilederen har minst en generasjon veiledere foran seg (jfr kommentaren om TETRA-rapporten fra 1998 som var nesten identisk). Den har derfor et godt utviklet begrepsapparat og struktur. Dens svake punkt som veileder er at metodikken blir meget kompleks og nesten uoversiktlig samtidig som at sammenstillingen av evalueringsresultatene er viet liten oppmerksomhet. PLUTO-veilederen er eksplitt rettet mot ex post evaluering og dekker ikke ex ante evaluering. Den foreslåtte metodikken er imidlertid enklere og mer oversiktlig enn VIKING-veilederens metodikk. Begge disse evalueringsmetodene baserer seg på bruk av indikatorer og dette er viktige bidrag til utviklingen av en norsk evalueringsveileder. Imidlertid er begge veilederne relativt lite fokusert på økonomi. Det gjelder både kostnadssiden og den økonomiske dimensjonen til nyttekomponentene. TØI s rapport om NKA som evalueringsverktøy er mer eksplisitt rettet mot ex ante situasjonen. I rapporten er bruksområdet til metodikken begrenset til ITS-tiltak som i stor grad finansieres over offentlige budsjetter og man har i tillegg fokusert sterkt på insformasjonssystemer som ITS-tiltak. I rapporten får man inntrykk av at NKA kan være en relevant metode for å vurdere den samfunnsøkonomiske nytte av aktuelle ITS-prosjekter selv om metoden også har visse begrensninger knyttet til manglende kunnskap om de trafikale reaksjoner på ITS-tiltak og verdsettingen av en del nyttekomponenter. Rapporten nevner også at NKA kan ses på som en del av en mer omfattende konsekvensanalyse og her ligger det nok muligheter til en metodestruktur som vi ser kan være det sentrale grepet i en norsk evalueringsveileder. Samlet sett gir disse tre veilederne mye informasjon om evalueringsmetoder for ITS-tiltak med ulike metodestrukturer samt styrker og svakheter. 2.3 Viktigste konklusjoner fra litteraturstudien I tabell 7 (neste side) er det gitt en tabellarisk oversikt over litteraturen som er behandlet i litteraturstudien. Tabellen gir et tydelig bilde av at de veiledere som vi har gjennomgått nesten utelukkende har konsentrert seg om ex post situasjonen. Det kan nesten sies så sterkt at begrepet evaluering synes å knyttes direkte til gjennomførte tiltak. Unntaket her er TØIs rapport om nyttekostnadsanalyse (1.4) I disse veilederne er mye av fokuset rettet mot å kartlegge de reelle effekter av ulike ITS-tiltak og de vanligste metodene som benyttes er ulike varianter av før- / etter-undersøkelser og intervjuer.

25 24 Litteratur-referanse Evalueringstidspunkt 1.1. VIKING Ikke spesifikt, men fokus på ex post 1.2. PLUTO Ex post Informasjon / varsling 1.3. TEMPO Ikke spesifikt, men fokus på ex post 1.4. NKA Rettes mot beslutningssituasjonen, dvs ex ante 1.5. CUPID Ikke spesifikt, men fokus på ex post Cases i Sverige 2.2 VIKING Evalueringsresultater Alle, men mindre tydelig på intelligente kjøretøy, adm/dok.behandl. Info / varsling Styring / reg. Etterspørselsreg. Etterspørselsreg (vegprising) Type ITSprosjekt Alle, men lite på betalingssystemer og intelligente kjt Hvilke Evalueringsmetode transportmidler Vegtrafikk Måloppnåelse / effektmål ved bruk av indikatorer Vegtrafikk Måloppnåelse / effektmål ved bruk av indikatorer Alle / ikke Måloppnåelse / spesifikt effektmål ved for gitte bruk av transportmidler indikatorer Vegtrafikk Ex post Info / varsling Vegtrafikk samt skinnegående Ex post Alle Vegtrafikk og kollektivtrafikk Tabell 7: Tabellarisk oversikt over litteraturen som inngår i litteraturstudien NKA Vegtrafikk Måloppnåelse / effektmål ved bruk av indikatorer Måloppnåelse / effektmål ved bruk av indikatorer Diverse Siden fokus primært har vært å kartlegge effekter av ITS-tiltakene virker det som om man har hatt mindre fokus på økonomi. Det gjelder særlig investeringer og driftskostnader for ITS-tiltakene, men også det å uttrykke andre effekter i økonomiske termer. Den foreslåtte evalueringsprosedyre er relativt lik i de ulike referansene og kan betegnes som effekter / måloppnåelse ved hjelp av indikatorer. Unntaket er referanse 1.4 som baserer seg på bruk av nyttekostnadsanalyse og som av den grunn også foretar en klassifisering av ITS-tiltakene etter andre kriterier enn den andre referansene. Så godt som alle starter med en beskrivelse av de problemer man skal løse og de mål man har for ITS-tiltaket (fase 1). I fase 2 beskriver man ITS-tiltaket / prosjektet. Dette følges av en opplisting av ønskede og uønskede effekter som tiltaket kan forårsake. Her bidrar gjerne veilederne både med liste over aktuelle tiltak og sannsynlige konsekvenser / effekter av tiltakene (ønskede og uønskede). Disse effektene er hentet fra tidligere ex post evalueringer.

26 25 Fase 3 omfatter valg av indikatorer som kan belyse de ulike konsekvensene. Også her gir de fleste veilederne en opplisting av aktuelle indikatorer. Et spesielt område er her de mer formelle økonomiske indikatorene som går i retning av nytte-kostnadsanalyse. Som allerede nevnt er slike indikatorer ikke spesielt fremtredende. I fase 4 utreder / beregner man de ulike effekter gjennom indikatorene. Veilederne bidrar da gjerne med en opplisting / korte presentasjoner av aktuelle metoder. Metodene er imidlertid beskrevet på et ganske overordnet nivå og man vil nok trenge ytterligere dokumentasjon / veiledning og/eller forhåndskunnskaper før de kan anvendes. Vi har foreløpig ikke kommet over noen publikasjoner hvor den foreslåtte evalueringsmetodikk er brukt og beskrevet fullt ut på et konkret eksempel. Når man viser eksempler er det bare på et overordnet nivå hvor man beskriver en mulig evaluering uten å gjennomføre den fullt ut. 3 Resultater fra prosjektevalueringer 3.1 Rapporter om prosjektevalueringer I litteraturstudien var det også to publikasjoner som inneholdt konkrete prosjektevalueringer: TFK 2002:18 Peter Kronborg, Anders Lindkvist, Eva Schelin: Fungerar transportinformatik i praktiken? VIKING Overview of evaluations, MIP Kronborg, Lindkvist, Schelin: Fungerar transportinformatik i praktiken? Den første rapporten er en gjennomgang av 14 svenske ITS-prosjekter innenfor området informasjonssystemer som igjen var inndelt i fire underområder: 1. Tidtabellinformasjon om bussavganger (4 prosjekter) 2. Realtidsinformasjon om neste avgang på buss- eller sporvegslinjer (4 prosjekter) 3. Variable hastighetsanbefalinger (3 prosjekter) 4. Parkeringsinformasjonssystem (3 prosjekter) Hvert enkelt prosjekt ble evaluert i henhold til følgende 15-punkts momentliste: 1. Kilder som er benyttet 2. Kort systembeskrivelse 3. Ønskede effekter av tiltaket som man tenkte seg på forhånd 4. Implementeringsprosess 5. Teknisk løsning 6. Trafikant-interface 7. Estetikk 8. Oppstart 9. Pålitelighet under drift 10. Resulterende effekter 11. Økonomiske kostnader og effekter 12. Levetid 13. Organisasjon og drift 14. Fremtidsplaner 15. Hva kunne vært gjort annerledes

27 26 Dette er helt klart en ex post evaluering rettet mot å fremskaffe erfaringsresultater / effekter fra denne type ITS-prosjekter. Prosjektgruppen gjennomførte selv litteraturstudier og intervjuer med nøkkelpersoner i de ulike prosjektene. I tillegg ble det etablert fokusgrupper i Stockholm og Göteborg samt gjennomført intervju-undersøkelser pr brev og ekspertseminar for å drøfte resultatene. Den resulterende prosjektrapporten er blitt ganske omfattende (nesten 200 sider) og de enkelte prosjekter er alle evaluert i henhold til 15-punkts-listen. Den generelle bruken, oppfatningen og forståelsen av tiltakene i Stockholm og Göteborg ble undersøkt gjennom fokusgruppene og intervju-undersøkelsen. Denne undersøkelsen fremstår som en av de mest omfattende vi har kommet over, i alle fall i Norden og 15-punkts-listen sørger for god bredde i evalueringen selv om man her kunne ønsket seg at listen var forankret i en mer generell oversikt over aktuelle effekt-områder for å sikre seg at alle mulige effekter ble ivaretatt. Med tanke på samfunnsøkonomisk evaluering av informasjonssystemer, kunne det vært interessant å få undersøkt om og eventuelt hvordan økt informasjon om ruteavganger og realtidsinformasjon om avganger og ankomster endrer personers verdsetting av sin reisetid og da særlig avvik fra forventet reisetid. Dette aspektet fanges ikke opp av de gjennomførte evalueringer. Av samme årsak kan det også påpekes at de gjennomførte evalueringer ikke synes å fokusere på den samfunnsøkonomiske nytte av bedret informasjon og trafikantenes eventuelle betalingsvilje for bedret informasjon. 3.3 VIKING Overview of evaluations, MIP2004 Under VIKING-prosjektet ble det samlet inn informasjon om evalueringsresultater fra gjennomførte ITS-prosjekter i de land som deltok i VIKING (Danmark, Finland, Nord-Tyskland, Norge og Sverige). Etter en noe mislykket første innsamlingsrunde der presentasjonen av evalueringsresultatene ble meget usystematisk, ba man om at evalueringsresultatene ble presentert i henhold malen fra Tempoprosjektet, det vil si etter følgende oppsett: 1. Description of the problem (Problembeskrivelse) 2. Description of the ITS project (Prosjektbeskrivelse) 3. Evaluation (timing, type, methods) (Evaluering (når, type, metoder)) 4. Impact of the project (technical performance, impacts) (Effekt av prosjektet (teknisk ytelse, effekter)) 5. Transferability of the results (Overførbarhet av resultatene) 6. Reference(s) (Referanser) Det ble innrapportert evalueringsresultater fra 32 prosjekter fordelt på følgende måte:

28 27 Type ITS tiltak Danmark Finland Nord- Norge Sverige SUM Tyskland Elektroniske betalingssystemer Trafikksikkerhet og 1 1 nødhjelp Trafikkregulering Regulering / styring av 1 1 kollektivtrafikk Førerstøttesystemer 1 1 Reiseplanleggere og informasjonssystemer for vegtrafikk og kollektivtrafikkreisende Automatisk hastighetsovervåkning Gods og flåtestyring 3 3 SUM Tabell 8: Tabellarisk oversikt over ITS-prosjekter hvor evalueringsresultater ble rapportert i VIKING-prosjektet (Ref. VIKING Overview of evaluations MIP2004) Siden dette var gjennomførte prosjekter dreide det seg også her om ex post evaluering hvor primærhensikten var å lage en effektkatalog basert på nordiske ITS-prosjekter. Selv om man har laget et felles rammeverk for rapportering av evalueringsresultatene, blir overskriftene så generelle at det er rom for relativt store individuelle variasjoner med hensyn til opplegg og gjennomføring av evalueringen og detaljeringsgraden i rapporteringen. Det viser seg også at det er stor variasjon i rapporteringen. Beskrivelsene av evalueringsmetodene angir alt fra møter og diskusjoner som evalueringsmetode til formaliserte statistiske metoder, f eks før-etterundersøkelser med kontrollgrupper og strukturerte brukerintervjuer. Når det gjelder beskrivelsene av effekter av prosjektene er variasjonsområdet tilsvarende stort. I hovedsak fokuseres på de primære effekter (de effekter som var tilstrebet), mens sekundæreffekter er så godt som fraværende for de fleste prosjektene. Ofte er effektene heller ikke kvantifisert, sannsynligvis fordi man ikke har hatt et tilstrekkelig godt opplegg for registreringer, og man får da kun verbale beskrivelser av tiltakets effekter. En av årsakene til at denne publikasjonen er blitt mindre verdifull enn forventet er sannsynligvis at innrapporteringen skulle gjøres av de fagmiljøer som hadde nærhet til prosjektene. Imidlertid var forespørselen ikke ledsaget av en egen finansiering, så insitamentet til å legge ned mye arbeid i innrapporteringen var ikke til stede, i alle fall ikke i Norge. Til tross for disse åpenbare svakheter gir publikasjonen en brukbar oversikt over ulike gjennomførte ITS-tiltak i Norden og effekter av disse tiltakene. Vår interesse var imidlertid størst når det gjaldt evalueringsmetodikk og innenfor dette området var det mindre å hente.

29 28 4 Evaluering av norske ITS-prosjekter 4.1 Utvalgte norske ITS-prosjekter Vi valgte å ta utgangspunkt i de norske prosjektene som var evaluert og innrapportert til VIKINGprosjektet De norske prosjektene (5) som var med var: Elektroniske betalingssystemer: PROGRESS i Trondheim AIP AutoPASS Interoperable Payment Regulering / styring av kollektivtrafikk SPOT / UTOPIA Reiseplanleggere og informasjonssystemer for vegtrafikk og kollektivtrafikkreisende IBIS Sanntids reiseinformasjon for kollektivtransport i Trondheim IKT i vegtrafikken Den karakteristikk og de vurderinger som ble gjort av prosjektevalueringen i VIKING-prosjektet i kapittel 3 gjelder også for de norske prosjektene. Vi har imidlertid gått noe grundigere gjennom de fem norske prosjektene. 4.2 Bakgrunn for evaluering og rapportering De fem norske ITS-prosjektene var alle realisert enten som fullskala implementeringer eller som demonstratorer. Vi snakker derfor her om foretatte ex post evalueringer. Hensikten med slike evalueringer kan tjene flere formål: Være i stand til å sammenligne effekter fra ulike varianter eller implementeringer av ca samme prosjekt-type eller ulike prosjekter rettet mot ca samme problem. Høste erfaringer fra gjennomførte prosjekter på en systematisk måte slik at vi står bedre rustet til å vurdere fremtidige prosjekter, både i initieringsfasen og i ex ante fasen. Etterprøve tidligere ex ante evalueringer for å se om de antatte effekter ble realisert. For å kunne tilfredsstille disse hensiktene er det viktig at prosjektene evalueres ut fra et enhetlig og formalisert evalueringsopplegg som gjerne kan være nedfelt i evalueringsveiledere. Slike veiledere finnes det allerede noen av (jfr kapittel 2. Litteraturstudien), men ingen er vel fullt ut dekkende for alle ITS-prosjekttyper, alle faser i prosjektet (initial-, ex ante- og ex postevaluering), alle transportmidler og de inneholder heller ikke alle typer evalueringsmetoder (for eksempel nytte-kostnadsanalyse, måloppnåelsesanalyse og konsekvensanalyse). For den foreliggende samling av evalueringsrapporter var det henvist til evalueringsopplegget utviklet i forbindelse med TEMPO-prosjektet (behandlet i litteraturstudien). TEMPO-materialet lanserer følgende hovedgrupper av effekter som bør vurderes tatt med i en fullstendig evaluering: Transportnettverket og dets kostnader Transportmidlene og deres kostnader Tilgjengelighet Reisetid og dens forutsigbarhet (predictability) Trafikksikkerhet Miljø (Støy, utslipp og energi) Verdsetting og komfort (Valuation and comfort)

30 Mangel på formelt evalueringsopplegg basert på generell evalueringsmetodikk De fem norske prosjektene var evaluert av ulike norske fagmiljøer, men det virket som om man manglet en generell evalueringsmetodikk å støtte seg på til tross for at det var henvist til veiledningsmaterialet fra TEMPO-prosjektet. Evalueringene besto stort sett i at man identifiserte hovedhensiktene med prosjektet og evaluerte med ulik presisjon i hvilken grad man hadde oppnådd den tilsiktede effekt. Dette er i og for seg viktig nok, men siden fundamentet (den generelle evalueringsmetodikken) ikke er til stede, er det stor fare for at selve evalueringen blir for snever. Man fokuserer på det man ønsker å oppnå og mer eller mindre bevisst glemmer andre effekter eller konsekvenser av prosjektet, jfr listen på slutten av kapittel 3.1 ovenfor. 4.4 Manglende bredde i evalueringen og økonomiske konsekvenser er fraværende Særlig på grunn av de forhold nevnt i delkapittel 4.2 og 4.3 vil mange potensielle effekter av et ITS-prosjekt ikke bli belyst under evalueringen. Dermed oppnår man ingen av hovedhensiktene med evalueringsarbeidet som vi nevnte innledningsvis i dette kapitlet (4.2). Evalueringen fremstår som snever, fragmentert og dermed mindre interessant. I enkelte tilfeller vil man også kunne si at den fremstår som noe tendensiøs i den forstand at man fokuserer for sterkt på primærhensikten med tiltaket og dermed kanskje mister en del andre effekter. Særlig påtagelig er det at ingen av de fem prosjektene som var innrapportert til VIKINGprosjektet fokuserte på noen økonomisk relaterte effekter. Verken prosjektkostnader, investeringer, økonomiske effekter knyttet til brukerne etc syntes å være interessante. Som nevnt tidligere kan manglende ressurser til innrapporteringen være en hovedårsak til at den er blitt relativt overfladisk. Vi er senere blitt gjort oppmerksom at evaluering av flere av de norske prosjektene er dokumentert i egne rapporter som er vesentlig mer omfattende enn de kortfattede og summariske evalueringsrapportene som ble sendt inn til VIKING-prosjektet. Dette forsterker inntrykket av at disse evalueringsrapportene ikke var helt representative. 4.5 For liten presisjon på evalueringsresultatene Felles for så godt som alle de fem norske prosjektene og flere av de andre prosjektene var at effektene ble kun verbalt og relativt overfladisk beskrevet. Ingen effekter var tallfestet og presisjonsnivået var derfor meget lavt. Dermed forsvinner mange nyanser og fortolkningsmuligheter og man får mindre tiltro til konklusjonene. 4.6 Konklusjoner og signaler for videre arbeid Denne gjennomgangen av innrapporterte evalueringsresultater viser at evalueringsarbeidet hittil har savnet en god veileder. Mangel på et systematisk, generelt evalueringsopplegg gjør at man dekker et for snevert spekter av effekter og det blir mer vilkårlig synsing enn fakta. Ønsker man å lære av de ITS-prosjekter som realiseres må man også være villige til bruke større ressurser på mer omfattende evalueringsopplegg som igjen må være basert på godt og relevant veiledningsmateriale.

31 30 En gjennomgang av foreliggende veiledere i litteraturstudien viser at veilederne er blitt veldig omfattende og uoversiktlige. Her ligger det en utfordring i å forenkle uten å miste det generelle, allmenngyldige evalueringsgrepet som må ligge i bunnen. 5 Metode for evaluering av ITS-prosjekter 5.1 Metode-erfaringer fra litteraturundersøkelsen Litteraturundersøkelsen ga en del signaler om hvor langt man har kommet i utviklingen av veiledere for evaluering av ITS-tiltak. Først kan man slå fast at de fleste veiledere satte likhetstegn mellom evaluering og ex post evaluering. Selv de veiledere som åpnet for bruk i begge situasjoner brukte ex post situasjonen som eksempel på bruk. Vår oppgave er å utvikle en veileder som dekker både ex post situasjonen og ex ante situasjonen. Det innebærer at den både skal være velegnet til å skaffe erfaringsdata for effekter av ulike ITS-tiltak (ex post situasjonen) og tjene som beslutningsgrunnlag før implementering av foreslåtte ITS-tiltak (ex ante situasjonen). Selv om det er mange likhetstrekk i metodikken er det også klare forskjeller som gjør at det kan være hensiktsmessig å skille mellom de to situasjonene. I ex post situasjonen vil evalueringen i større grad kunne basere seg på registreringer, brukerintervjuer i form av før-/etter-undersøkelser. Hovedfokus er dokumentasjon av effektene av tiltakene, men det er viktig å sikre nødvendig bredde i evalueringsarbeidet. I ex ante situasjonen vil vi ikke kunne registrere effektene, men må basere oss på erfaringer fra andre prosjekter samt kunne beregne hvordan effektene blir av det foreslåtte ITS-tiltaket. Her vil fokus være på å fremskaffe et relevant beslutningsgrunnlag. Tilleggsutfordringer i ex ante situasjonen er at man må prognostisere trafikantenes reaksjoner på de ulike tiltak samt være i stand til beregne nytten av disse atferdsendringene. Særlig for informasjonssystemer er et sentralt poeng å kunne verdsette nytten av ny og bedre informasjon. 5.2 Forslag til metodestruktur i en ny veileder De gjennomgåtte veilederne hadde en rekke fellestrekk når det gjaldt struktur og fremgangsmåte ved evalueringen. Den kan sammenfattes i følgende punktvise prosessbeskrivelse: 1. Problembeskrivelse og mål for tiltaket 2. Tiltaksbeskrivelse 3. Beskrivelse av forventede effekter av tiltaket 4. Valg av indikatorer som kan belyse de ulike effekter 5. Valg av metoder for å registrere og/eller beregne utviklingen av indikatorene 6. Sammenstilling av resultatene for indikatorene og presentasjon Det er særlig under punktene 5 og 6 at det vil være behov for skille mellom ex post og ex ante situasjonene. For øvrig synes det å være all grunn til å beholde denne strukturen, men legge arbeid i å videreutvikle den. Tema for videre utvikling kan være: