Magne Jørgensen Simula Research Laboratory University of Oslo Scienta

Transkript

1 Magne Jørgensen Simula Research Laboratory University of Oslo Scienta

2 Hva vil det si å lykkes? Suksess er kontekstavhengig, men ofte en prioritert kombinasjon av: Oppnådd nytte (gevinster, måloppnåelse, ROI) Prosjekteffektivitet Funksjonalitet Kostnadskontroll Tidskontroll Tekniske produktegenskaper (kvalitet, utvidbar, bærekraftig)

3 Mer fokus på nyttestyring!! Jan Tore Sanner: Stortingsmelding 27 Digital agenda for Norge

4 Hvor gode er vi til å levere nyttige IT-løsninger? Ca. 10% av IT-prosjektene fører til ingen eller svært liten nytte (Nasjonale og internasjonale tall fra flere kilder) Ca. 15% av IT-prosjektene oppfattes å levere mye mindre nytte enn planlagt. (Nasjonal undersøkelse) Ca. 50% leverer oppfattes å levere bra mhp nytte. (Nasjonal undersøkelse) Ca. 25% av IT-prosjektene har ikke noe klart nytte/mål-bilde å måle opp mot. (Nasjonal undersøkelse) I gjennomsnitt leveres ca. 30% mindre nytte enn planlagt (internasjonale tall fra Oxford-undersøkelse).

5 Undersøkelse 2004 Undersøkelse 2014

6 Blir vi bedre av å unngå de virkelig store IT-prosjektene?

7 Store prosjekter gir høyere risiko for fiasko, men de som fullfører gjør det like bra < 10 mill mill > 100 mill Nytte 31% 47% 35% Kvalitet 24% 28% 25% Budsjett 24% 47% 47% Tid 29% 35% 35% Effektivitet 24% 12% 24% Ingen klar sammenheng mellom budsjett-størrelse og andel prosjekter som er suksessfulle av de som fullfører. MEN, de store (> 100 mill) er sterkt overrepresentert i gruppen av fiaskoprosjekter, dvs prosjekter som aldri blir fullført eller som leverer så å si ingen nytte! (2-3 ganger hyppighet). Tidobling av størrelsen ser ut til å doble risikoen for fiasko. God støtte for å dele opp store satsninger i mindre prosjekter.

8 Betyr kontraktsform noe for å lykkes?

9 Unngå fastprisprosjekter! (stort sett ) Fastpris Per time Smidig Risikodeling Nytte 0% 59% 29% 22% Kvalitet 22% 24% 43% 22% Budsjett 33% 31% 71% 22% Tid 11% 29% 43% 44% Effektivitet 0% 19% 29% 33% Andel 18% 37% 14% 41% Hvorfor gjør IT-prosjekter med fastpris det så dårlig?

10 Dybdeundersøkelse av 35 offentlige IT-prosjekter Fastpris ga oftere oppførsel og kundestyring etter kravspesifikasjon (kontrakt), og mindre etter nytte. Mekanismer: Vinnerens forbannelse, opportunistisk oppførsel ved fare for tap + fokus på spesifikasjon i stedet for nytte ( fastprisoppførsel ), adverse selection Unngå fastprisoppførsel, velg kontrakter basert på per time betaling, smidig kontrakter eller målpris uten tak

11 Fastpris gir dessuten mer administrasjon Ahonen, Jarmo J., et al. "Reported project management effort, project size, and contract type." Journal of Systems and Software 109 (2015): Fixed price Per hour

12 Smidig (agile) utvikling: Hjelper det?

13 Endringshåndtering og suksessrate I hvilken grad ble behov, krav eller løsninger endret underveis i prosjektet som et resultat av eksterne endringer eller læring innad i prosjektet? I stor grad Nytte 67% (suksessrate) 21% Kvalitet 53% 13% Budsjett 47% 27% Tid 33% 25% Effektivitet 33% 10% I liten grad/fraværende Endringer bør sees på som muligheter, planlegges for (smidig) og ikke anses som trussel (ref. scope creep -holdning).

14 Smidig utvikling med hyppige leveranser til kunde og fleksibilitet i innhold gjør det bra NB: Dersom et prosjekt var smidig men IKKE hadde fleksible leveranser, eller IKKE hadde hyppig leveranse til kunde, gikk det dårligere enn i ikke-smidige prosjekter.

15 HVILKEN BETYDNING HAR KUNDE/PROSJEKTEIER

16 Vanskelig å lykkes uten en kompetent og involvert kunde (tre undersøkelser) Undersøkelse 1: Dybdeundersøkelse Alle de mislykkede prosjektene hadde en kunde uten særlig grad av egen IT-kompetanse og/eller en kunde som i liten grad hadde involvert seg i prosjektet. Høy kompetanse og involvering var i seg selv ingen god indikator på prosjektsuksess!? Undersøkelse 2: Spørreundersøkelse Dersom kunden var tett involvert i å: 1) Prioritere krav og ta viktige avgjørelser underveis og 2) Fokusere på nyttestyring underveis i prosjektet, lyktes 66% av prosjektene svært godt. Der ingen av disse var tilstede i vesentlig grad, lyktes kun 14% av prosjektene svært godt. Undersøkelse 3: Data mining av offshoringsprosjekter Lav suksessrate på tidligere prosjekter hos kunde og leverandør (indikator på lavere kompetanse) like sterke indikatorer på prosjektfiasko. Kundes kompetanse like viktig som leverandørens!?

17 Viktigheten av å velge en kompetent leverandør - et eksperiment

18 Felt-eksperiment: Valg av seks leverandører som alle så ca. like bra ut på CV, referanser og tilbudsdokumenter. Kjempeforskjeller i pris. Comp. A Comp. B Comp. C Comp. D Comp. E Comp. F Price Very low Low (2x) Medium (3x) Est. effort Very low Low (1.5x) Medium (3x) High (5x) High (8x) Very high (12x) Medium (4x) CV OK OK Good Good Good OK Refs. Very good Very good Very good Very good Very good Proposal OK OK Good OK OK OK Country Finland Malaysia India India Canada US Very high (14x) Very high (8x) Very good

19 Svært store forskjeller i praksis Comp. A Comp. B Comp. C Comp. D Comp. E Comp. F Actual effort Very low Low (3x) High (6x) High (8x) Very high (18x) Very high (16x) Error fixing effort Very low High (4x) Medium (2.5x) High (4x) Very high (8x) Extr. high (20x) Maintenanc e effort Very low High (6x) Very high (11 x) High (8x) Extr. high (26x) Extr. high (20x) Lines of code Very low Low (2x) Low (1.5x) Medium (3x) High (4x) Low (1.5x) Utprøving (trialsourcing, erfaringer fra tidligere prosjekt hos samme kunde, proof of concept) best egnet til å avdekke hvilke leverandører (og utviklere) som er kompetente. Referanser ikke valgt av leverandør også verdifullt. Resten - CV, tilbudsdokument, pris, selvoppgitte referanser, intervjuer - gir mye mindre verdi.

20 Nyttestyring mer enn å lage et business case

21 Noen nyttestyring-praksiser er mer viktige enn andre

22 Evidensbaserte tiltak for å lykkes 1. Oppdeling av større satsninger i mindre prosjekter/leveranser. 2. Hyppige leveranser til produksjon (i det minste til grundig evaluering og feedback). 3. Gjennomgående nyttestyring, fra konseptanalyse, gjennom prosjektet og hos mottager av leveransene. Særlig viktig: Plan for og underveis nyttestyring. 4. Bedre, utprøvingsbaserte, evalueringer og valg av leverandører, f eks trialsourcing. 5. Kontraktstyper som gir riktige insitamenter for leverandør. Unngå fastpris og målpris med øvre tak. 6. Omfattende medvirkning og god kompetanse fra kunde-siden underveis i prosjektet. Gjelder særlig på underveis prioriteringer og nyttestyring. 7. Utviklingsprosesser som planlegger for og ser endringer i krav og målsetninger som muligheter for økt nytte av IKT-leveransene. 8. Vektlegging av risiko og usikkerhetsanalyser for å skape risikobevissthet hos involverte aktører, god risikostyring og sikre at ambisjonsnivå ikke legges for høyt

23 EKSTRA

24 Mye av de samme faktorene i 1967 som i Hvorfor klarer vi ikke å lære av tidligere feil? Hva betyr faktorene? Og er det de riktige faktorene? To typiske undersøkelser om årsaker til at IT prosjekter mislykkes Gotterer 1967 Oxford-McKinsey 2012 Lack of support from top management Lack of competent software professionals Changing technology Changing user requirements Insufficient project management Unclear objectives Lack of business focus Shifting requirements Technical complexity Unaligned team Lack of skill Unrealistic schedule

25 Noen IT-kunder lykkes oftere enn andre IT-Offshoring (undersøkelse av småprosjekter): Den halvparten av kundene som hadde lykkes best med tidligere prosjekter, hadde ca. 50% lavere risiko for å feile i neste prosjekt. Den halvparten av leverandørene som hadde lykkes best med tidligere prosjekter, hadde også ca. 50% lavere risiko for å feile i neste prosjekt. Kundeegenskaper like viktige som leverandøregenskaper? Stor ulikhet mellom hvor ofte kunder fra ulike land/kulturer feiler (data fra samme offshoring-undersøkelse) Leverandør i Ukraina: Prosjekter med indisk kunde feilet mer enn dobbelt så ofte som prosjekter med norsk kunde (30% vs 13%) Leverandør i India: Prosjekter med indisk kunde feilet ca. 25% oftere som prosjekter med norsk kunde (37% vs 29%) til tross for samme nasjonale kultur. India-India kombinasjonen var den 122. verste av 127 kundeleverandørkombinasjoner (mellom land med mer enn 100 prosjekter). Verste var kunde fra Malaysia og leverandør fra India.

26 Hvorfor går det så mye dårligere med fastprisprosjektene?