KPI håndtering: fra målbart via meningsfylt til verdiskapende

Transkript

1 KPI håndtering: fra målbart via meningsfylt til verdiskapende Hvordan gjøre det både enkelt og riktig? Aida Omerovic SINTEF Seminar om risikoledelse og måling 12. mars

2 Agenda Hvorfor kvantifisere? Det kvantifiserbare Det meningsfylte Det verdiskapende Praktiske eksempler 2

3 Hvorfor kvantifisere? 3

4 Kunnskap I often say that when you can measure what you are speaking about and express it in numbers you know something about it; But when you cannot measure it, when you cannot express it in numbers, your knowledge is of a meagre and unsatisfactory kind: it may be the beginning of knowledge, but you have scarcely, in your thoughts, advanced to the stage of science, whatever the matter may be. 1 Lord Kelvin 2 ( ) 1 Thomson, W. (1891). Popular Lectures and Addresses, Vol. I. London: MacMillan. p Accessed: 14 March

5 Kommunikasjon Forståelse er subjektivt. Kommunikasjon krever konsistent tolkning og oppfatning. Ofte vage eller feilaktige påstander, spesifikasjoner, tall!

6 Kommunikasjon Forståelse er subjektivt. Kommunikasjon krever konsistent tolkning og oppfatning. Ofte vage eller feilaktige påstander, spesifikasjoner, tall! Requirements

7 Kommunikasjon Forståelse er subjektivt. Kommunikasjon krever konsistent tolkning og oppfatning. Ofte vage eller feilaktige påstander, spesifikasjoner, tall! Requirements

8 Kommunikasjon Forståelse er subjektivt. Kommunikasjon krever konsistent tolkning og oppfatning. Ofte vage eller feilaktige påstander, spesifikasjoner, tall! Requirements Architecture

9 Kommunikasjon Forståelse er subjektivt. Kommunikasjon krever konsistent tolkning og oppfatning. Ofte vage eller feilaktige påstander, spesifikasjoner, tall! Requirements Architecture Implementation, operation, maintenance 9

10 Kommunikasjon Forståelse er subjektivt. Kommunikasjon krever konsistent tolkning og oppfatning. Ofte vage eller feilaktige påstander, spesifikasjoner, tall! Hva om kravstilleren hadde dekomponert kravene og kvantifisert dem? Til dette formålet!!! Samme for pris, verdi, kvalitet, risiko, funksjonalitet? => Verdi for penger og prioritering ("trade-off")! Requirements Architecture Implementation, operation, maintenance 10

11 Det kvantifiserbare 11

12 Operasjonalisering av mål Fra "The balanced scorecard" til arkitektur Estimering Impactanalyse Prioritering mhp resultater/verdier Accessed: 12 March ecard/tabid/55/default.aspx Accessed: 12 March

13 Dekomponer til det blir "kvantifiserbart" MÅL Kriterier KPIer

14 Hvorfor er det vanskelig å måle? Hva Måleenhet Skala Verdi Menneskelig IQ Index Ratio 135 Menneskets høyde Cm Ratio 180 Brukervennlighet???

15 Hvorfor er det vanskelig å måle? Hva Måleenhet Skala Verdi Menneskelig IQ Index Ratio 135 Menneskets høyde Cm Ratio 180 Brukervennlighet??? 10% bedre ytelse: Hva er ytelse? Hva betyr 10%?

16 Hvorfor er det vanskelig å måle? Hva Måleenhet Skala Verdi Menneskelig IQ Index Ratio 135 Menneskets høyde Cm Ratio 180 Brukervennlighet??? 10% bedre ytelse: Hva er ytelse? Hva betyr 10%? Quality (ISO 9126) Functionality Reliability Usability Efficiency Maintainability Portability Software Quality Characteristic (ISO 9126): A set of attributes of a software product by which its quality is described and evaluated. A software quality characteristic may be refined into multiple levels of sub-characteristics.

17 Opphav til estimater Måling (Statistisk) analyse av eksisterende data Dokumentasjon Ekspertuttalelser Erfaringsdatabase... 17

18 Hva er en god KPI? Relevant Tydelig definert kvalitativt og kvantitativt Kvantifiserbar på hensiktsmessig skala (analyse og propagering) Forståelig Kan innhentes og uttrykkes med riktig presisjon og korrekthet Kan innhentes så ofte at den er observerbar Kan propageres (komponeres) Kan basere seg på flere typer input (tilgjengelighet og triangulering) Kan analyseres statistisk Kan komponeres/dekomponeres hvis hensiktsmessig 18

19 Skala er viktig Fordi vi ønsker å bevare all informasjon fra det empiriske i det nummeriske Fordi vi ønsker å kunne propagere vha. aritmetiske operasjoner og analysere statistisk Nominal (eks. Hvit, gul, grønn, svart, annet) kun kategorisering. Ingen aritmetikk. Mode Ordinal (lav, middels høy, høy, meget høy) ordnet kategorisering. Ingen aritmetikk Mode og median Interval: (-10,-5,0,5,10) ordning mulig; kan sammenligne verdier. Summering of subtrahering. Mode, median, arithmetic mean Ratio (0,20,40,60,80,100) ordning mulig; bevarer forskjeller og forhold; har et nullpunkt. definert, alle aritmetiske operasjoner mulig (innenfor det definerte området). Mode, median, arithmetic mean, geometric mean Absolute (1,2,3,4, ) teller; ingen transformasjoner. alle aritmetiske operasjoner mulig. Mode, median, arithmetic mean, geometric mean 19

20 Tolk gyldighet og pålitelighet i din kontekst Få samme resultat ved gjentatt måling? Reliability 1 T. D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, W. R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin Company,

21 Tolk gyldighet og pålitelighet i din kontekst Få samme resultat ved gjentatt måling? Reliability Validity 1 T. D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, W. R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin Company,

22 Tolk gyldighet og pålitelighet i din kontekst Få samme resultat ved gjentatt måling? Reliability Validity Skjulte sammenhenger og avhengigheter Internal validity 1 T. D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, W. R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin Company,

23 Tolk gyldighet og pålitelighet i din kontekst Få samme resultat ved gjentatt måling? Reliability Validity Skjulte sammenhenger og avhengigheter Internal validity Conclusion validity Sammensetning av måleobjekter; er de representative? Statistisk signifikans 1 T. D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, W. R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin Company,

24 Tolk gyldighet og pålitelighet i din kontekst Få samme resultat ved gjentatt måling? Reliability Validity Skjulte sammenhenger og avhengigheter Internal validity Conclusion validity Construct validity Sammensetning av måleobjekter; er de representative? Statistisk signifikans Måler vi det vi tror at vi måler? 1 T. D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, W. R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin Company,

25 Tolk gyldighet og pålitelighet i din kontekst Få samme resultat ved gjentatt måling? Reliability Validity Skjulte sammenhenger og avhengigheter Internal validity External validity Sammensetning av måleobjekter; er de representative? Statistisk signifikans Conclusion validity Måler vi det vi tror at vi måler? Construct validity Kan resultatene generaliseres på tvers av kontekster? 1 T. D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, W. R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin Company,

26 Måling Objektiv vs subjektiv Subjektiv måling Fremgangsmåte er viktig "likert type" (aldri, sjeldent, regelmessig, ofte) Semantisk differanseskala (Enig Uenig) Pålitelighet vs. validitet: High accuracy Low accuracy Low accuracy Low accuracy Low bias High bias Low bias High bias High precision High precision Low precision Low precision 26

27 Målefeil Systematisk feil Vilkårlig feil Fix: triangulering, evaluering på tvers av objekter og over tid, representativt utvalg, satistisk signifikans, mål for usikkerhet 27

28 Så hvordan identifisere KPIer? 28

29 Goal/Question/Metric (GQM) GQM Process: Planning Prestudy Develop GQM plan Develop measurement plan Execution Collect, validate, analyze and interpret data Analysis Analyze and interpret data post-mortem Package results for reuse 29

30 Dekomponer de aller viktigste og definer A. Omerovic, A. Andresen, H. Grindheim, P. Myrseth, A. Refsdal, K. Stølen, and J. Ølnes. A Feasibility Study in Model Based Prediction of Impact of Changes on System Quality. In Proceedings of International Teknologi Symposium for et on bedre Engineering samfunn 30 Secure Software and Systems, pages , 2010

31 Dekomponer de aller viktigste og definer A. Omerovic, A. Andresen, H. Grindheim, P. Myrseth, A. Refsdal, K. Stølen, and J. Ølnes. A Feasibility Study in Model Based Prediction of Impact of Changes on System Quality. In Proceedings of International Teknologi Symposium for et on bedre Engineering samfunn 31 Secure Software and Systems, pages , 2010

32 Indikator fra ISO Metric name Purpose of the metric Method of application Measurement, formula and data element computation Interpretation scale of measured type value Access controllability How complete is detection of the user access to the system? Try to get access to system by unauthorized ways. X = A/B A=# detected illegal operations B=# illegal operations anticipated in specification 0<=X<=1 The closer to 1 is the better Scale type Measure type Input to measurement X=Abs. A=Count B=Count X=Count/Count Test spec Test report Operation report ISO/IEC SLCP reference 6.5 Validation 6.3 QA Perspective beneficier Developer 1 International Organisation for Standardisation. ISO/IEC Software engineering Teknologi Product for et Quality, bedre 2004 samfunn 32

33 Det meningsfylte 33

34 Avhengigheter, estimater, aggregering (demo) Fictitious values A. Omerovic, A. Andresen, H. Grindheim, P. Myrseth, A. Refsdal, K. Stølen, and J. Ølnes. A Feasibility Study in Model Based Prediction of Impact of Changes on System Quality. In Proceedings of International Teknologi Symposium for et on bedre Engineering samfunn Secure 34 Software and Systems, pages , 2010

35 "What-if" analyse 35 Fictitious values

36 Fictitious values Security 1,00 0,95 0,90 0,85 0,80 0,75 0,70 0,65 0,60 Sensitivity 0 0,2 0,4 0,6 0,8 1 QCF Updates Upgrading Monitoring Database eff. mech. Message routing OS support services Middleware support serv. Hardware Network Measures for OP env. prot. User management Gateway Other Current Security 1,00 0,95 0,90 0,85 0,80 0,75 0,70 0,65 0,60 Sensitivity 0,00 0,10 0,20 0,30 0,40 EI Updates Upgrading Monitoring Database eff. mech. Message routing OS support services Middleware support serv. Hardware Network Measures for OP env. prot. User management Gateway Other Current Omerovic, A., Andresen, A., Grindheim, H., Myrseth, P., Refsdal, A., Stølen, K., Ølnes, J.: A Feasibility Study in Model Based Prediction of Impact of Changes on System Quality. Technical report, SINTEF A13339 (2009)

37 Usikkerhet Usikkerhet i seg selv er en risiko. Spesielt når vi ikke vet hvor stor usikkerheten er, og hva som er årsaken til den. Aida Omerovic, Ketil Stølen. A practical approach to uncertainty handling and estimate acquisition in model-based prediction of system quality. In International Journal on Advances in Systems and Measurements, volume 4, pages 55-70, IARIA, Fictitious values

38 Usikkerhet Usikkerhet i seg selv er en risiko. Spesielt når vi ikke vet hvor stor usikkerheten er, og hva som er årsaken til den. Epistemic vs. aleatory Aida Omerovic, Ketil Stølen. A practical approach to uncertainty handling and estimate acquisition in model-based prediction of system quality. In International Journal on Advances in Systems and Measurements, volume 4, pages 55-70, IARIA, Fictitious values

39 Usikkerhet Usikkerhet i seg selv er en risiko. Spesielt når vi ikke vet hvor stor usikkerheten er, og hva som er årsaken til den. Epistemic vs. aleatory Possibilistic vs probabilistic Aida Omerovic, Ketil Stølen. A practical approach to uncertainty handling and estimate acquisition in model-based prediction of system quality. In International Journal on Advances in Systems and Measurements, volume 4, pages 55-70, IARIA, Fictitious values

40 Usikkerhet Usikkerhet i seg selv er en risiko. Spesielt når vi ikke vet hvor stor usikkerheten er, og hva som er årsaken til den. Epistemic vs. aleatory Possibilistic vs probabilistic En balansegang: forståelig uansett, korrekt, presis, analyserbar, skalerbar Aida Omerovic, Ketil Stølen. A practical approach to uncertainty handling and estimate acquisition in model-based prediction of system quality. In International Journal on Advances in Systems and Measurements, volume 4, pages 55-70, IARIA, Fictitious values

41 Hvordan skape verdi av KPI håndtering? Et case fra petroleum 2 2 Aida Omerovic, Atle Refsdal, Øyvind Rideng. Dynamic Monitoring of Safety Barriers in Petroleum Installations. In proc. of the European Safety and Reliability Conference 2013 (ESREL'13),

42 Motivation Safety barriers built to reduce the risk Quantitative quality of a barrier system Quality by design + manual procedures not sufficient Complex barrier systems and functions Lots of data! Accessed: 12 March

43 Our goals Transform low-level data into meaningful information Follow and predict trends Prevent incidents Ensure data quality of the important indicators Assistance only! Accessed: 12 March

44 The study in short Main steps: Model the dependencies w.r.t. barrier system performance Identify and design the indicators Map the indicators to an aggregated view Our approach based on PREDIQT: A process A tool-supported modelling language Applied in a realistic industrial case study with a petroleum operator 44

45 The process Input: Characterization of the target of analysis Phase 1: Specify target of the analysis Step 1: Specify the system Step 2: Specify quality characteristic Phase 2: Identify indicators Step 1: Model the threats on quality of the target Step 2: Identify the indicators Step 3: Develop dependency views w.r.t. quality Phase 3: Specify indicators Step 1: Specify each indicator Step 2: Specify the algorithm for calculating quality Phase 4: Validate models Step 1: Triangulate input to the models Step 2: Adjust the models Step 3: Approve the models Output: Algorithm for calculating the quality characteristic level 45

46 A PREDIQT dependency view with indicators Fictitious values, fictitious structure 46

47 The DV facts # of nodes: 26, 52, 46, 14, 19, 49, 46 # of indicators: 14, 32, 8, 12, 29, 32 47

48 Evaluation Post-analysis review based on a questionnaire Well suited, well structured, comprehensible method The case study has improved understanding of the target and its quality Demanding but worth the effort Can be done on other installations and BFs as well Will recommend the method to others The operator has with 95% certainty decided to implement the method within the organisation A better method than what has been used so far Better decision support Makes barrier management dynamic Should support patterns, improve visualization, provide oil/gas established symbols 48

49 HCI for planning & decision support Risk analysis Barrier quality analysis Measurements/documentation/expert opinions Architecture

50 Helt til slutt KPI håndtering må være målrettet! Tidlig og iterativ gevinstrealisering 1. Start med de aller viktigste målene 2. Bryt dem ned 3. Definer KPIer, gjerne vha eksisterende standarder 4. Instansier beslutningsmodeller 5. Kvantifiser 6. Propager og analyser Bruk dette til kravhåndtering, varsling, planlegging, beslutningsstøtte, Bedre forståelse, identifisering av tiltak, prioritering, forebygging 50

51 Takk for oppmerksomheten! 51