KPI håndtering: fra målbart via meningsfylt til verdiskapende

KPI håndtering: fra målbart via meningsfylt til verdiskapende Hvordan gjøre det både enkelt og riktig? Aida Omerovic SINTEF Seminar om risikoledelse og måling 12. mars 2014 1

Agenda Hvorfor kvantifisere? Det kvantifiserbare Det meningsfylte Det verdiskapende Praktiske eksempler 2

Hvorfor kvantifisere? 3

Kunnskap I often say that when you can measure what you are speaking about and express it in numbers you know something about it; But when you cannot measure it, when you cannot express it in numbers, your knowledge is of a meagre and unsatisfactory kind: it may be the beginning of knowledge, but you have scarcely, in your thoughts, advanced to the stage of science, whatever the matter may be. 1 Lord Kelvin 2 (1824-1907) 1 Thomson, W. (1891). Popular Lectures and Addresses, Vol. I. London: MacMillan. p. 80. 2 http://digital.nls.uk/scientists/assets/images/content/lord_kelvin/lord-kelvin.jpg Accessed: 14 March 2014 4

Kommunikasjon Forståelse er subjektivt. Kommunikasjon krever konsistent tolkning og oppfatning. Ofte vage eller feilaktige påstander, spesifikasjoner, tall!

Kommunikasjon Forståelse er subjektivt. Kommunikasjon krever konsistent tolkning og oppfatning. Ofte vage eller feilaktige påstander, spesifikasjoner, tall! Requirements

Kommunikasjon Forståelse er subjektivt. Kommunikasjon krever konsistent tolkning og oppfatning. Ofte vage eller feilaktige påstander, spesifikasjoner, tall! Requirements

Kommunikasjon Forståelse er subjektivt. Kommunikasjon krever konsistent tolkning og oppfatning. Ofte vage eller feilaktige påstander, spesifikasjoner, tall! Requirements Architecture

Kommunikasjon Forståelse er subjektivt. Kommunikasjon krever konsistent tolkning og oppfatning. Ofte vage eller feilaktige påstander, spesifikasjoner, tall! Requirements Architecture Implementation, operation, maintenance 9

Kommunikasjon Forståelse er subjektivt. Kommunikasjon krever konsistent tolkning og oppfatning. Ofte vage eller feilaktige påstander, spesifikasjoner, tall! Hva om kravstilleren hadde dekomponert kravene og kvantifisert dem? Til dette formålet!!! Samme for pris, verdi, kvalitet, risiko, funksjonalitet? => Verdi for penger og prioritering ("trade-off")! Requirements Architecture Implementation, operation, maintenance 10

Det kvantifiserbare 11

Operasjonalisering av mål Fra "The balanced scorecard" til arkitektur Estimering Impactanalyse Prioritering mhp resultater/verdier http://www.activestrategy.com/resources/white-papers/balancedscorecard-vs-dashboard/ Accessed: 12 March 2014 https://balancedscorecard.org/resources/aboutthebalancedscor ecard/tabid/55/default.aspx Accessed: 12 March 2014 12

Dekomponer til det blir "kvantifiserbart" MÅL Kriterier KPIer

Hvorfor er det vanskelig å måle? Hva Måleenhet Skala Verdi Menneskelig IQ Index Ratio 135 Menneskets høyde Cm Ratio 180 Brukervennlighet???

Hvorfor er det vanskelig å måle? Hva Måleenhet Skala Verdi Menneskelig IQ Index Ratio 135 Menneskets høyde Cm Ratio 180 Brukervennlighet??? 10% bedre ytelse: Hva er ytelse? Hva betyr 10%?

Hvorfor er det vanskelig å måle? Hva Måleenhet Skala Verdi Menneskelig IQ Index Ratio 135 Menneskets høyde Cm Ratio 180 Brukervennlighet??? 10% bedre ytelse: Hva er ytelse? Hva betyr 10%? Quality (ISO 9126) Functionality Reliability Usability Efficiency Maintainability Portability Software Quality Characteristic (ISO 9126): A set of attributes of a software product by which its quality is described and evaluated. A software quality characteristic may be refined into multiple levels of sub-characteristics.

Opphav til estimater Måling (Statistisk) analyse av eksisterende data Dokumentasjon Ekspertuttalelser Erfaringsdatabase... 17

Hva er en god KPI? Relevant Tydelig definert kvalitativt og kvantitativt Kvantifiserbar på hensiktsmessig skala (analyse og propagering) Forståelig Kan innhentes og uttrykkes med riktig presisjon og korrekthet Kan innhentes så ofte at den er observerbar Kan propageres (komponeres) Kan basere seg på flere typer input (tilgjengelighet og triangulering) Kan analyseres statistisk Kan komponeres/dekomponeres hvis hensiktsmessig 18

Skala er viktig Fordi vi ønsker å bevare all informasjon fra det empiriske i det nummeriske Fordi vi ønsker å kunne propagere vha. aritmetiske operasjoner og analysere statistisk Nominal (eks. Hvit, gul, grønn, svart, annet) kun kategorisering. Ingen aritmetikk. Mode Ordinal (lav, middels høy, høy, meget høy) ordnet kategorisering. Ingen aritmetikk Mode og median Interval: (-10,-5,0,5,10) ordning mulig; kan sammenligne verdier. Summering of subtrahering. Mode, median, arithmetic mean Ratio (0,20,40,60,80,100) ordning mulig; bevarer forskjeller og forhold; har et nullpunkt. definert, alle aritmetiske operasjoner mulig (innenfor det definerte området). Mode, median, arithmetic mean, geometric mean Absolute (1,2,3,4, ) teller; ingen transformasjoner. alle aritmetiske operasjoner mulig. Mode, median, arithmetic mean, geometric mean 19

Tolk gyldighet og pålitelighet i din kontekst Få samme resultat ved gjentatt måling? Reliability 1 T. D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, 1979 2 W. R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin Company, 2001. 20

Tolk gyldighet og pålitelighet i din kontekst Få samme resultat ved gjentatt måling? Reliability Validity 1 T. D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, 1979 2 W. R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin Company, 2001. 21

Tolk gyldighet og pålitelighet i din kontekst Få samme resultat ved gjentatt måling? Reliability Validity Skjulte sammenhenger og avhengigheter Internal validity 1 T. D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, 1979 2 W. R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin Company, 2001. 22

Tolk gyldighet og pålitelighet i din kontekst Få samme resultat ved gjentatt måling? Reliability Validity Skjulte sammenhenger og avhengigheter Internal validity Conclusion validity Sammensetning av måleobjekter; er de representative? Statistisk signifikans 1 T. D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, 1979 2 W. R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin Company, 2001. 23

Tolk gyldighet og pålitelighet i din kontekst Få samme resultat ved gjentatt måling? Reliability Validity Skjulte sammenhenger og avhengigheter Internal validity Conclusion validity Construct validity Sammensetning av måleobjekter; er de representative? Statistisk signifikans Måler vi det vi tror at vi måler? 1 T. D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, 1979 2 W. R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin Company, 2001. 24

Tolk gyldighet og pålitelighet i din kontekst Få samme resultat ved gjentatt måling? Reliability Validity Skjulte sammenhenger og avhengigheter Internal validity External validity Sammensetning av måleobjekter; er de representative? Statistisk signifikans Conclusion validity Måler vi det vi tror at vi måler? Construct validity Kan resultatene generaliseres på tvers av kontekster? 1 T. D. Cook and D. T. Campbell. Quasi-Experimentation: Design and Analysis Issues for Field Settings. Houghton Miflin Company, 1979 2 W. R. Shadish, T. D. Cook, and D. T. Campbell. Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin Company, 2001. 25

Måling Objektiv vs subjektiv Subjektiv måling Fremgangsmåte er viktig "likert type" (aldri, sjeldent, regelmessig, ofte) Semantisk differanseskala (Enig - - - - - - - - Uenig) Pålitelighet vs. validitet: High accuracy Low accuracy Low accuracy Low accuracy Low bias High bias Low bias High bias High precision High precision Low precision Low precision 26

Målefeil Systematisk feil Vilkårlig feil Fix: triangulering, evaluering på tvers av objekter og over tid, representativt utvalg, satistisk signifikans, mål for usikkerhet 27

Så hvordan identifisere KPIer? 28

Goal/Question/Metric (GQM) GQM Process: Planning Prestudy Develop GQM plan Develop measurement plan Execution Collect, validate, analyze and interpret data Analysis Analyze and interpret data post-mortem Package results for reuse 29

Dekomponer de aller viktigste og definer A. Omerovic, A. Andresen, H. Grindheim, P. Myrseth, A. Refsdal, K. Stølen, and J. Ølnes. A Feasibility Study in Model Based Prediction of Impact of Changes on System Quality. In Proceedings of International Teknologi Symposium for et on bedre Engineering samfunn 30 Secure Software and Systems, pages 231 240, 2010

Dekomponer de aller viktigste og definer A. Omerovic, A. Andresen, H. Grindheim, P. Myrseth, A. Refsdal, K. Stølen, and J. Ølnes. A Feasibility Study in Model Based Prediction of Impact of Changes on System Quality. In Proceedings of International Teknologi Symposium for et on bedre Engineering samfunn 31 Secure Software and Systems, pages 231 240, 2010

Indikator fra ISO 9126 1 Metric name Purpose of the metric Method of application Measurement, formula and data element computation Interpretation scale of measured type value Access controllability How complete is detection of the user access to the system? Try to get access to system by unauthorized ways. X = A/B A=# detected illegal operations B=# illegal operations anticipated in specification 0<=X<=1 The closer to 1 is the better Scale type Measure type Input to measurement X=Abs. A=Count B=Count X=Count/Count Test spec Test report Operation report ISO/IEC 12207 SLCP reference 6.5 Validation 6.3 QA Perspective beneficier Developer 1 International Organisation for Standardisation. ISO/IEC 9126 - Software engineering Teknologi Product for et Quality, bedre 2004 samfunn 32

Det meningsfylte 33

Avhengigheter, estimater, aggregering (demo) Fictitious values A. Omerovic, A. Andresen, H. Grindheim, P. Myrseth, A. Refsdal, K. Stølen, and J. Ølnes. A Feasibility Study in Model Based Prediction of Impact of Changes on System Quality. In Proceedings of International Teknologi Symposium for et on bedre Engineering samfunn Secure 34 Software and Systems, pages 231 240, 2010

"What-if" analyse 35 Fictitious values

Fictitious values Security 1,00 0,95 0,90 0,85 0,80 0,75 0,70 0,65 0,60 Sensitivity 0 0,2 0,4 0,6 0,8 1 QCF Updates Upgrading Monitoring Database eff. mech. Message routing OS support services Middleware support serv. Hardware Network Measures for OP env. prot. User management Gateway Other Current Security 1,00 0,95 0,90 0,85 0,80 0,75 0,70 0,65 0,60 Sensitivity 0,00 0,10 0,20 0,30 0,40 EI Updates Upgrading Monitoring Database eff. mech. Message routing OS support services Middleware support serv. Hardware Network Measures for OP env. prot. User management Gateway Other Current Omerovic, A., Andresen, A., Grindheim, H., Myrseth, P., Refsdal, A., Stølen, K., Ølnes, J.: A Feasibility Study in Model Based Prediction of Impact of Changes on System Quality. Technical report, SINTEF A13339 (2009)

Usikkerhet Usikkerhet i seg selv er en risiko. Spesielt når vi ikke vet hvor stor usikkerheten er, og hva som er årsaken til den. Aida Omerovic, Ketil Stølen. A practical approach to uncertainty handling and estimate acquisition in model-based prediction of system quality. In International Journal on Advances in Systems and Measurements, volume 4, pages 55-70, IARIA, 2011 37 Fictitious values

Usikkerhet Usikkerhet i seg selv er en risiko. Spesielt når vi ikke vet hvor stor usikkerheten er, og hva som er årsaken til den. Epistemic vs. aleatory Aida Omerovic, Ketil Stølen. A practical approach to uncertainty handling and estimate acquisition in model-based prediction of system quality. In International Journal on Advances in Systems and Measurements, volume 4, pages 55-70, IARIA, 2011 38 Fictitious values

Usikkerhet Usikkerhet i seg selv er en risiko. Spesielt når vi ikke vet hvor stor usikkerheten er, og hva som er årsaken til den. Epistemic vs. aleatory Possibilistic vs probabilistic Aida Omerovic, Ketil Stølen. A practical approach to uncertainty handling and estimate acquisition in model-based prediction of system quality. In International Journal on Advances in Systems and Measurements, volume 4, pages 55-70, IARIA, 2011 39 Fictitious values

Usikkerhet Usikkerhet i seg selv er en risiko. Spesielt når vi ikke vet hvor stor usikkerheten er, og hva som er årsaken til den. Epistemic vs. aleatory Possibilistic vs probabilistic En balansegang: forståelig uansett, korrekt, presis, analyserbar, skalerbar Aida Omerovic, Ketil Stølen. A practical approach to uncertainty handling and estimate acquisition in model-based prediction of system quality. In International Journal on Advances in Systems and Measurements, volume 4, pages 55-70, IARIA, 2011 40 Fictitious values

Hvordan skape verdi av KPI håndtering? Et case fra petroleum 2 2 Aida Omerovic, Atle Refsdal, Øyvind Rideng. Dynamic Monitoring of Safety Barriers in Petroleum Installations. In proc. of the European Safety and Reliability Conference 2013 (ESREL'13), 2013. 41

Motivation Safety barriers built to reduce the risk Quantitative quality of a barrier system Quality by design + manual procedures not sufficient Complex barrier systems and functions Lots of data! http://gawg.cap.gov/ncus.htm Accessed: 12 March 20140 42

Our goals Transform low-level data into meaningful information Follow and predict trends Prevent incidents Ensure data quality of the important indicators Assistance only! http://gawg.cap.gov/ncus.htm http://english.people.com.cn/202936/7811702.html Accessed: 12 March 2014 43

The study in short Main steps: Model the dependencies w.r.t. barrier system performance Identify and design the indicators Map the indicators to an aggregated view Our approach based on PREDIQT: A process A tool-supported modelling language Applied in a realistic industrial case study with a petroleum operator 44

The process Input: Characterization of the target of analysis Phase 1: Specify target of the analysis Step 1: Specify the system Step 2: Specify quality characteristic Phase 2: Identify indicators Step 1: Model the threats on quality of the target Step 2: Identify the indicators Step 3: Develop dependency views w.r.t. quality Phase 3: Specify indicators Step 1: Specify each indicator Step 2: Specify the algorithm for calculating quality Phase 4: Validate models Step 1: Triangulate input to the models Step 2: Adjust the models Step 3: Approve the models Output: Algorithm for calculating the quality characteristic level 45

A PREDIQT dependency view with indicators Fictitious values, fictitious structure 46

The DV facts # of nodes: 26, 52, 46, 14, 19, 49, 46 # of indicators: 14, 32, 8, 12, 29, 32 47

Evaluation Post-analysis review based on a questionnaire Well suited, well structured, comprehensible method The case study has improved understanding of the target and its quality Demanding but worth the effort Can be done on other installations and BFs as well Will recommend the method to others The operator has with 95% certainty decided to implement the method within the organisation A better method than what has been used so far Better decision support Makes barrier management dynamic Should support patterns, improve visualization, provide oil/gas established symbols 48

HCI for planning & decision support Risk analysis Barrier quality analysis Measurements/documentation/expert opinions Architecture

Helt til slutt KPI håndtering må være målrettet! Tidlig og iterativ gevinstrealisering 1. Start med de aller viktigste målene 2. Bryt dem ned 3. Definer KPIer, gjerne vha eksisterende standarder 4. Instansier beslutningsmodeller 5. Kvantifiser 6. Propager og analyser Bruk dette til kravhåndtering, varsling, planlegging, beslutningsstøtte, Bedre forståelse, identifisering av tiltak, prioritering, forebygging 50

Takk for oppmerksomheten! aida.omerovic@sintef.no 51