Dårlige tider gir gode verktøy - visualisering av komplekse feilsituasjoner -

Transkript

1 Dårlige tider gir gode verktøy - visualisering av komplekse feilsituasjoner - Rune Sørensen Statens pensjonskasse mai 2011

2 Agenda System: Pensjonsberegning Black-box testing, Regresjonstesting PERFORM 2010: Kontekst pensjonsberegning Visualisering og analyse av feilsituasjon Visualisering og analyse av testdekning

3 System: Pensjonsberegning

4 Lynkurs i pensjonsberegning Alderspensjon (regelverk per 2009) Brutto tjenestepensjon x 66 % Samordningsfradrag = Netto tjenestepensjon Folketrygd = Samlet pensjon (71%) 66% Lønn BP Arbeidsgiver SPK Folketrygd Samlet pensjon

5 System: Pensjonsberegning Kritisk for SPKs forretning Grunnlag for nesten alle utbetalinger til medlemmer og fakturering av kunder Benyttes i SPKs saksbehandlingsverktøy (PUMA) Benyttes i SPKs interaktive løsninger

6 System: Pensjonsberegning Komplekst system Regelbasert plattform ILOG Jrules, 1400 regler Avhengigheter fra mange systemer/ applikasjoner Beregner en stor mengde ulike kombinasjoner av inputdata Små endringer kan potensielt påvirke mange beregninger

7 System: Pensjonsberegning Testing Lite testing av mindre komponenter/ regler i regelmotoren Stor regresjonstest er tradisjonelt kjørt i testfasen

8 System: Pensjonsberegning PERFORM Erstatte C basert regresjontest rammeverk Pensjonsreformen tvinger frem store endringer i systemet

9 Regresjonstest

10 Blackbox test, Regresjonstest INN System UT System v1.0 UT INN System v1.1 UT Sammenligner to (eller flere) beregninger. Før og etter en endring.

11 Regresjonstest av pensjonsberegningen Gammel regresjonstest C basert Testet hele tjenestestabelen Utdaterte testdata Tok mange dager å gjennomføre en test Ny regresjonstest Ferske data Genererer beregningsforespørsel via tjenestekall Tester kun systemet for beregning av pensjon Rask kjøretid. Ny regresjonstest klar hver morgen.

12 PERFORM: oktober 2010

13 PERFORM 2010: Oktober leveransen Konstruksjon Godkjenningsprøve Akseptansetest Produksjonssetting Konstruksjon: 18.08: Avvik på 9968 av beregninger... I-1 I-2 I-6 Nytt regelverk implementeres og akseptansetestes (Fitnesse) Ny regresjonstest Gammelt regelverk verifiseres primært med regresjonstest

14 Forutsigbarhet

15 Leveranse

16 Gjennomføringsevne

17 Noen av utfordringene 30 % av beregningene gir avvik Kort tid til leveranse og beregninger i en regresjonstest (volum) Hvor skal man begynne å rette feil? Hvordan synligjøre arbeid/fremgang? Prioritere

18 Visualisering og analyse - feilsituasjon -

19 Prinsipper og mål Forretningsnær Analysere etter begreper forretningen forholder seg til Verdi for utvikler/forretning/prosjektet Prioritere feil Gi raskt overblikk over situasjonen fra dag til dag Bidra til raskere feilretting Synligjøre /rapportere fremgang

20 Hvordan systematisere/analysere? Tid Beregning Alder Inntekt 1:n1 Opptjening Person 1:n2 1:n3 Grad Folketrygdytelse SPK-Ytelse Art Produkt Grunnlag Grad

21 Hvordan systematisere/analysere? Variable ID Familie Produkt Alder Produkt Uføre... 1 Ja 0 1 Observasjoner 2 Nei Nei 2 0

22 Avledede variable Avledet variabel Mulige utfall 1 Er dette en familieberegning? JA / NEI 2 Type beregning PEN, SKF, ETO 3 Pensjonsprodukt ALD, UFO, ETT,... 4 Folketrygdytelse AP, EP, KS,... 5 Finnes gradert pensjon? JA / NEI 6 Finnes gradert ftr ytelse? JA / NEI 7 Har personen inntekt? JA / NEI

23 Kategoriske variable Lag kategoriske/ binære variable innenfor hver dimensjon / avledet variabel Avledet variabel Mulige utfall 3 Pensjonsprodukt ALD, UFO, ETT,... Produkt ID ALD UFO Alder Produkt ID ALD_2 UFO_1 ALD_1_UFO_

24 Analyse: Konsept START INN Pensjonsberegning L34 Pensjonsberegning L35 UT UT

25 Analyse: Konsept Familieberegning? START Ja Nei

26 Analyse: Konsept Familieberegning? START Ja Nei

27 Analyse: Konsept Beregningstype? START Ja Nei

28 Analyse: Konsept Beregningstype? START PEN Ja SKF Nei PEN SKF

29 Analyse: Konsept Beregningstype? START PEN Ja SKF Nei PEN SKF

30 Analyse: Konsept Produkt? Ja PEN Nei Alder PEN SKF Uføre Alder + Uføre

31 Analyse: Konsept Produkt? Ja PEN Nei Alder PEN SKF Uføre Alder + Uføre

32 Analyse: Konsept Pensjonsberegning L34 UT INN Pensjonsberegning L35 UT

33 Analyse: Konsept Ja PEN Nei Alder PEN SKF Uføre Alder + Uføre

34 Analyse: Konsept - Kollaps grønne subtrær PEN Ja Nei Alder PEN SKF Uføre Alder + Uføre

35 Analyse: Konsept - Kollaps grønne subtrær PEN Ja Nei Alder PEN SKF Uføre Alder + Uføre

36 Analyse: Eksempler Feilsituasjonen Feilsituasjonen

37 Feilsituasjonen

38 Feilsituasjonen

39 Analyse: Konsept En grønn node -> regresjonstest uten avvik Kompleksitet i grafen og antallet noder Kompleksitet i feilsituasjon Analysen sier noe om hva som har avvik av det som faktisk er testet i regresjonstesten Analysen sier i seg selv ikke noe om testutvalget og variasjonen i dette

40 Analyse: Noen forbedringer Rekkefølge Ikke alltid hensiktsmessig å splitte etter en prioritert liste Size matters La viktigere noder få en større visuell vekt

41 Size matters...

42 Rekkefølge (Inntekt sist)

43 Rekkefølge (Inntekt først)

44 Visualisering og analyse - testdekning -

45 Testdekningsanalyse Overvåker hvilke regler som er aktive ved en beregning og gjennom et sett beregninger Visualiserer kodetreet i en graf Fargekoder etter hvor godt regelen er testet Bruksområder: Tette hull i regtest Økt kunnskap om systemet Identifisere død kode

46 Testdekningsanalyse

47 Testdekningsanalyse

48 Testdekningsanalyse

49 Testdekningsanalyse Eksempel

50 Spørsmål? Rune Sørensen Seniorrådgiver, Statens pensjonskasse Twitter: rugsor, Linkedin: Blog: Epost: