LEVER OFTERE TEST SMARTERE

Transkript

1 1 LEVER OFTERE TEST SMARTERE ØYSTEIN HANSEN CARL JOHNSON

2 2 Agenda Hvor kom vi fra Veien til moderne utviklingsorganisasjon Hvordan levere - automatisering - arbeidsflyt og verktøy Veien videre og våre erfaringer

3 3 1 million Kunder 20 millioner Innlogginger per måned

4 4 Change has never happened this fast before, and it will never be this slow again. Gordon Moore, Intel

5 5 Hvor kom vi fra

6 Prosessen i måneder Prosjektleveranser 2 uker Integrasjonstest Planlegge systemtest 2 uker Systemtest Akseptansetest 2 uker 2 uker Fast-tracks Prodsetting 2 dager

7 Skalerbarhet Leveransetakt Tid 7

8 8 Veien til moderne utviklingsorganisasjon

9 Arkitektur Herman Melville 9

10 Organisering Sentralstyrt forvaltningsteam 10 Kryssfunksjonelt utviklingsteam Kryssfunksjonelt utviklingsteam Kryssfunksjonelt utviklingsteam Kryssfunksjonelt utviklingsteam Kryssfunksjonelt utviklingsteam Kryssfunksjonelt utviklingsteam Kryssfunksjonelt utviklingsteam Kryssfunksjonelt utviklingsteam +

11 Utviklingsteam 11 Leverer på en verdikjede innenfor et domene (Finansiering, Sparing, Kort, Betaling, osv.) Ansvar for helheten innenfor en horisontal (Mobilbank, API, Integrasjon, osv.)

12 Kryssfunksjonelle team Oversikt Systemeiere Systemansvarlig Teamleder Tech-lead Utviklere Testere Designere Prosjektledere Betaling Kort Sparing 12 Mobil

13 Faggrupper 13 Test Frontend Mobil Teamledelse Infrastruktur UX Devops Maskinlæring Arkitektur

14 14 Hvordan levere

15 15 "SUCCESS SEEMS TO BE CONNECTED WITH ACTION. SUCCESSFUL PEOPLE KEEP MOVING. THEY MAKE MISTAKES, BUT THEY DON'T QUIT. CONRAD HILTON

16 Togmodell 16 Applikasjon A Applikasjon B Applikasjon C Applikasjon D Avgang n Avgang n+1 Avgang n+2 Avgang n+3

17 17 Automatisering

18 Utfordringen 18

19 Regneeksempel Antall kombinasjoner for en release av mobilbanken 2 x 2 x 2 x 2 x 2 x 2 = 256 kombinasjoner 19 enheter 19 x 256 = 4864 test case 4 OS versjoner 4 x 4864 = tester Forvent ca 10 minutter per test 10 x = 3242 timer Forvent ca 6 timers testing per dag 6 x 3242 = 540 dager Ved ca 220 arbeidsdager per år 540 / 220 =?? 19

20 20 2 ½ år med manuell testing

21 SpareBank 1 - Mobilbank 21

22 Suksessfaktorer for automatisering Enkelt å vedlikeholde Forståelig Forenklet oppsett 22

23 Fitnesse eksempel 23

24 Besparelse i Mobilbanken FØR: 2-3 dager manuell testing NÅ: 20 minutter med automatiserte tester 24

25 25 Agenda Hvor kom vi fra Veien til moderne utviklingsorganisasjon Hvordan levere - automatisering - arbeidsflyt og verktøy Veien videre og våre erfaringer

26 26 Pause

27 27 Agenda Hvor kom vi fra Veien til moderne utviklingsorganisasjon Hvordan levere - automatisering - arbeidsflyt og verktøy Veien videre og våre erfaringer

28 28 Arbeidsflyt og verktøy

29 Konseptkanvas 29

30 30

31 31 Utviklingsprosessen

32 Teste tidligere - Shift Left Kostnadseffektivt Tidsbesparande Finner feil tidligere Bedre samarbeid 32

33 Jira 33

34 Teste på branch 34

35 Deploy i test 35

36 Testmiljø 36

37 Utviklingsprosessen Pull request Utvikling Test 37 Merge til master Release

38 Deploy til QA, pilot og produksjon Sikker og stabil drift 38

39 Deploy til produksjon 39

40 40

41 Betatesting 41

42 42 Hele siden var bedre før. Dette nye var ubrukelig. Håper ikke det har kostet noe.

43 43 Totalt ubrukelig system. La ting være som det har vært!!!!!!!!!!!!!!!!!!!!! Gi data idioten sparken å be han slutte å kødde med nettbanken

44 44 Ble litt stresset til å begynne med, men med litt tilvenning så liker jeg siden bedre og bedre:)

45 45 Digger faceliften! Samtidig har dere beholdt den systematiske fremstillingen som for meg oppleves som ryddig.

46 46 Hvor er vi nå

47 Prosessen i måneder Prosjektleveranser 2 uker Integrasjonstest Planlegge systemtest 2 uker Systemtest Akseptansetest 2 uker 2 uker Fast-tracks Prodsetting 2 uker

48 Prosessen nå 48 1 uke Integrasjonstest Systemtest QA/Pilot Prodsetting

49 49 Veien videre og våre erfaringer

50 Veien videre 50 OpenShift GDPR & PSD2 ios og Android apper Enkelt oppsett Personvern Ytelsestesting av testmiljøer Betalingstjenestedirektivet Mer automatisering Arkitektur 2.0 Mocking Kontinuerlig Mindre ende til ende Forretningsressurser leveranse testing inn i teamene Tettere på forretning

51 51 Våre erfaringer

52 Testlederens rolle Testdatabestilling Testleder Scrum of Scrum 20% Dokumentasjon 80% Tester Rapportering 52

53 Våre erfaringer 53 Teste tidlig Team Faggrupper Verktøy Helhetsblikk Rett i prod

54 54 Spørsmål?