Testmiljø: fra snublestein til hjørnestein? Basert på erfaringene fra en stor markedsaktør

Transkript

1 Testmiljø: fra snublestein til hjørnestein? Basert på erfaringene fra en stor markedsaktør Paola Aarbakke Promis Qualify AS 1 Paola Aarbakke Senior testleder i Promis Qualify Mer enn 15 års erfaring fra IT-bransjen, innenfor testledelse, prosjektledelse, linjeledelse, prosessarbeid, sourcing. Mastergrad fra Ca Foscari University of Venice & Hovedfag fra UiO ISTQB Advanced, PRINCE2 & ITPP-sertifisert no.linkedin.com/in/paolaaarbakke Promis Qualify AS 2

2 Promis Qualify: Hvem er vi? Promis Qualify leverer testtjenester med et ledelsesperspektiv dvs testledere og -rådgivere med lederevner, som kommuniserer godt med ledelse og forretning, i tillegg til å ha faglig tyngde innen test. Vår erfaring og kompetanse gir ledelsen et trygt grunnlag til å fatte sine beslutninger enten det gjelder prosjektets planer, kvalitetstiltak eller produksjonssetting. Vi vet at enhver tests verdi ligger i dens evne til å gi informasjon, dvs. redusere forretningsmessig risiko Promis Qualify AS 3 PROMIS AS Hvor vi kommer fra PROMIS ble etablert i 1997 og består i dag av rundt 30 konsulenter med høyere utdanning og lang erfaring innen ledelse av IKT- og omstillings-prosjekter Promis Qualify AS 4

3 Testmiljø: fra snublestein til hjørnestein? Reisen med å profesjonalisere håndteringen av testmiljø hos en stor markedsaktør Promis Qualify AS 5 Innhold Ongoing flight (3) Ytterligere sourcing-avtale signert Second flight Litt om konteksten (1) Situasjonen ved take-off First flight (2) Stor sourcing-avtale signert Promis Qualify AS 6

4 Litt om konteksten: Systemparken & verdikjedearkitektur Mange produktlinjer og dermed IT-verdikjeder Flere hundre systemer (de fleste uten sluttbrukergrensesnitt) Miks av gammelt/nytt og custom/hyllevare/teknologier (Java, stormaskin, C++, Powerbuilder, BPEL, sybase, Oracle ++++) Distribuert arkitektur Høy forretningskompleksitet som har gitt høy IT-kompleksitet over tid Promis Qualify AS 7 Litt om konteksten: Prosjekter, releaser og leverandører Høyt aktivitetsnivå mange parallelle prosjekter Ca. 50 medium/store prosjekter årlig Ca. 20 småprosjekter årlig Forvaltning, mindre oppgraderinger og småoppdrag Pakkes i 6-8 fellesreleaser hvert år: krever høy grad av koordinering og at man går i takt Enkle systemreleaser (for funksjonalitet som kan leveres uavhengig av resten av systemene) kommer i tillegg «Multivendor environment»: flere leverandører (både onshore og offshore) på drift, forvaltning og utvikling, selv om det har vært en betraktelig konsolidering i de senere årene Promis Qualify AS 8

5 Take off Snublestein-stadium Ett integrert testmiljø i bruk for alle utvikling- og testfaser, samt gjenskapning av produksjonsfeil & retest av fiksene Udokumentert mengde stand-alone testinstanser Distribuert eierskap Ingen felles koordinering/rutiner Ingen dedikerte ressurser Ingen aktivering av driftskostnader Promis Qualify AS 9 First flight Sentralisering av eierskap hos Test Konsolidering av stand-alone instansene i et nytt testmiljø o Det opprinnelige, mest produksjonslike, miljøet ble reservert A-test, gjenskapning av produksjonsfeil og retest av fiksene. Det nye miljøet ble brukt til system- og SIT. o Navnekonkurranse for å finne minneverdige navn til de to miljøene. o Muliggjorde tidlig testing i integrerte miljøer Etablering av regler og rutiner pr. miljø og pr. testfase for o Deploy, inkl. release note o Varsling av uplanlagte jobber eller tester som kan destabilisere miljøet eller føre til nedetid o Håndtering av grensesnittendringer på baksystemer som krever rekompilering av klientene Promis Qualify AS 10

6 First flight - cont d Etablering av felles allokeringsplan og prosess for testmiljøallokering Dedikerte tekniske ressurser (testmiljøansvarlig og testmiljøkoordinator) Etablering av betalingsmodell for aktivering av driftskostnadene på prosjektene Etablering av varslingsmekanismer ved feil i applikasjonsdrift (utover ansvaret til driftsleverandør) Promis Qualify AS 11 Prosess for etablering og vedlikehold av testmiljøallokeringsplan TMA lager første utkast av planen for ca. ett år av gangen Planen revideres basert på innmeldte behov og redistribueres Rapporterer kontinuerlig evt. behov for egne tidslotter som må allokeres i planen (eks. v/ ytelsestest) Rapporterer kontinuerlig evt. behov for egne tidslotter som må allokeres i planen (eks. v/ installasjonstest) ADleverandør AMleverandør Testmiljøansvarlig Driftsleverandør Rapporterer kontinuerlig evt. behov for egne tidslotter som må allokeres i planen (eks. v/ hardware-oppgraderingstest) Promis Qualify AS 12

7 Et eksempel på testmiljøallokeringsplan for release X Ytelsestest AD lev.-1 Oppgraderingstest AM lev.-2 Retting og retest av C & D defekts Utvikling & Systemtest SI-Test Utvikling & systemtest på branch +1 Utvikling & systemtest +1 SI-Test +1 A-Test RX-1 Smoke test & A-Test Regresjonstest Årlig datakopi fra produksjon Produksjonssetting -1 Prøveutrulling Promis Qualify AS 13 Produksjonssetting Gjenskapning, rettelse og retest A & B defekts -1 = Full freeze Betalingsmodell Sammen med Finance, etablert en betalingsmodell for å aktivere (= Capexføre) deler av driftskostnadene på prosjektene Følgende parametere ble brukt for å komme frem til en ukespris for Større og Mindre prosjekter Aktiveringsprosent per miljø, satt i samarbeid med Finance ihht. regnskapsregler og bruken av miljøene (ny utvikling kontra forvaltning) Prosentfordelingen på hvor mye av de aktiverbare kostnadene som skal belastes Større kontra Mindre prosjekter (eks. 80% kontra 20%) Prognose på antall uker i test ila. ett år Prognose på antall parallelle Større og Mindre prosjekt ila. en release Alle prosjektene måtte begynne å estimere: Testmiljøkostnader ved å gange ukesprisen for type prosjekt med antall estimerte uker i test (SIT & A-test). Kostnadene for testmiljøkoordinator (fast beløp pr. estimert uke i test) Promis Qualify AS 14

8 Second flight «Tenke testmiljø» allerede før prosjektene får investeringsbeslutning o Innført en egen Quality Gate for test og testmiljø som en del av kvalitetsregimet i forkant av investeringsbeslutning Etablering av et eget testmiljø for de nye leverandørene m/ tilhørende business case Oppstramming av configuration manangement rutinene, etter at disse begynte å svikte som en konsekvens av outsourcingen o Innføring av prøveutrulling for å øve på produksjonssetting o Innføring av «deploy index» KPI for å måle leverandørene på deploy-presisjon både i testmiljøene og i produksjon Bruk av Jira for å melde og følge opp testmiljørelaterte feil på tvers av alle aktørene (drifts-, AM-, og AD-leverandør) Prøveprosjekt for å innføre KPI på testmiljø-oppetid og tilgjengelighet i SI- og A- testperiodene (inkl. samling av erfaringstall for baseline) Promis Qualify AS 15 «Tenke testmiljø» før prosjektene får investeringsbeslutning Analysis Design Development S-test SI-test A-test Investeringsbeslutning Prosjektavslutning Quality Gate for Testmiljø Testmiljøansvarlig vurderer: Estimater knyttet testmiljøkoordinering, bruk av testmiljø (ref. betalingsmodell), utrulling (inkl. prøveutrulling), beredskap. Planlagt bruk av testmiljø (inkl. evt. nye testinstanser og fremtidig forvaltningsmodell for disse) og testdata. Prosjektets gjennomføringsplan opp mot testmiljøallokeringsplan. Prosjektet kan gis føringer om: A sikte seg inn på en annen release enn den som er planlagt (dersom planene vurderes som ikke-realistiske). Kode branching/versjonering, dersom risikoen for target releasen vurderes som for høy. Prosjektets funksjonelle, testmessige og tidsmessige avhengigheter til andre parallelle prosjekter, for å avdekke potensielle testmiljøkonflikter Promis Qualify AS 16

9 Business Case for etablering av et nytt leverandør-miljø Behovsanalyse: Behov for økt testkapasitet Behov for klarere ansvarsfordeling mellom Kunde og Leverandør Investeringsforslag: Etableringskosten (initiell investering) dekket av Sourcing prosjektet Økt forvaltningskost dekket i sin helhet av økt aktiveringsgrad på de tre miljøene til sammen (gitt det nye bruksmønsteret til miljøene) Ingen signifikant økning i ukespris (uendret betalingsmodell for prosjektene) Foreslått tilleggs gevinst i form av økt aktivering på testverktøy God dokumentasjon av de økonomiske konsekvensene av «Do nothing» opsjonen (T2M økning og forsinkelser i innføring av den signerte sourcing avtalen ble kvantifisert) Promis Qualify AS 17 Prøveutrulling Analysis Design Development S-test SI-test A-test Investeringsbeslutning Prosjektavslutning Planlegging og gjennomføring av prøveutrulling Hensikten med prøveutrullingen er å sikre oppstart A-test til riktig dato, og at driftsleverandøren får trent på produksjonssettingen. Prøveutrullingen består i å deploye funksjonalitet inn til A-testmiljøet, som opp til dette tidspunktet ligger på produksjonsversjonen. Hovedprinsippet for prøveutrullingen er at den som skal produksjonssette et gitt system skal utføre prøveutrullingen også i test. Releasekoordinator planlegger utrullingen i samarbeid med testmiljøkoordinator, prosjektene, Change Managerne og driftsleverandørene for alle de involverte systemene. Utrullingsplanen som lages ifbm. prøveutrullingen oppdateres med evt. korreksjoner på avvik som oppdages under prøveutrullingen. Planen inneholder også en tidslot pr. verifikasjonsaktivitet som gjennomføres under utrullingen. Siden utrullingen typisk strekker seg over flere kvelder/netter, vil alle «mellomtilstandene» verifiseres QUALIFY Promis Qualify AS 18

10 Deploy index KPI Formål: øke presisjon på konfigurasjonsstyring og leveransene til testmiljøene og produksjon Deploy index Både for koordinert deploy til SIT-miljøet, prøveutrulling til A-test miljøet og produksjonssetting ble deploy index målt og rapportert jevnlig til ledelsen. Denne måles per system for følgende parametere: Hvorvidt utrullingsskript er levert driftsleverandør i tide. Hvorvidt korrekt versjon og konfigurasjon er deployet. Hvorvidt det har vært noen feil som skyldes selve utrullingen. Target: ingen avvik Release X - prøveutrulling System KPI verdi A (front end) 0 B (mellomvare) 2 C (ordre) 1 D (billing) 0 Trend: System A & B, Relase-intervall x:(x+2) 3,5 3 2,5 2 1,5 System A 1 System B 0, Promis Qualify AS 19 Innmelding og oppfølging av testmiljø-relaterte feil Bruk av Jira Mal for innmelding sikring nok informasjon Mulighet for å abonnere («Watcher» rollen) på innmeldte issues Dokumentasjon av implementerte feilrettinger og mulighet for å søke opp i erfaringsmaterialet ved neste lignende problem Customized dashboards Promis Qualify AS 20

11 Ongoing flight Dreie fokus fra utførende til styrende o Både testmiljøkoordinator og flere av oppgavene til testmiljøansvarlig er nå flyttet til leverandør o Ekstra viktig å ha gode KPI er for å måle leverandøren o Viktig for Kunden å fylle rollen som premissgivende i forkant av investeringsbeslutning (f.eks. ved opprettelsen av nye testinstanser og fremtidig forvaltningsmodell for disse) Promis Qualify AS 21 Hjørnestein? Antall incidents i produksjon etter release har vært jevnt synkende siden høsten Ingen tilfeller av rollback Promis Qualify AS 22

12 Takk for meg!