Testdekning og automatisering - Er 100% testdekning et mål?

Størrelse: px

Begynne med side:

Download "Testdekning og automatisering - Er 100% testdekning et mål?"

Rasmus Christensen
6 år siden
Visninger:

1 Testdekning og automatisering - Er 100% testdekning et mål? Shomaila Kausar, Senior prosjektleder/testleder Ole Fingal Harbek, Senior Testleder Testdagen Odin 2017

Kort om oss Shomaila Kausar - cand scient (UiO) Programmerer Arkitekt/Løsningsansvarlig Prosjektleder Testleder IBM, EDB, SLF, Telenor, SVV, Domstolsadministrasjonen, NPE og Helseklage Ole Fingal

2 Kort om oss Shomaila Kausar - cand scient (UiO) Programmerer Arkitekt/Løsningsansvarlig Prosjektleder Testleder IBM, EDB, SLF, Telenor, SVV, Domstolsadministrasjonen, NPE og Helseklage Ole Fingal Harbek - siv. ing (NTH) Programmerer... Tester Testutvikler Testrådgiver Testleder Hafslund Nett, Eidsiva Energi, Agder Energi Nett, Kongsberg Defence og Aerospace, CapGemini, Telenor, FMC Kongsberg Subsea...

3 Agenda Testautomatisering Code coverage vs Test coverage Hvorfor og hvorfor ikke bruke testdekning Konklusjon

4 Hva er testautomatisering GUI opptak Enhetstest Muliggjøring av repetisjoner

5 Testautomatisering i en perfekt verden Tenk minimal vedlikehold!! Automatisk tester + CI Hele teamet Utviklere: TDD Testere: Script for GUI test (BDD) Ledelsen: Følger med på dekningsgraden

6 100% testdekning Hva er det? o All kode? (white box) - alle biblioteker? o Alle veier gjennom koden? (white box) o Alle mulige inndata? o Alle krav? o Alle skjermbilder? o Alle grensesnitt? o Alle use cases? o Alle tester/testcaser kjørt?

7 MIN PÅSTAND: 100% testdekning er umulig og gir ingen mening!

8 Pyramide vs. kroneis - Hvordan automatisere? GUI tester Integrasjonstester Enhetstester GUI tester GUI tester Testdekning Selvproduserte deler Integrasjonstester Enhetstester Innkjøpte deler Integrasjonstester Enhetstester Pris

9 Er 100% testdekning et mål? Hva er målet for testen? Finne ut om brukerne kan bruke systemet til det systemet er tiltenkt å gjøre? Hvem er brukerne? Skal alle brukerkategorier testes? Bevise at programmet er riktig? I h.h.t. kontrakt? - Finne ut om det kontrakten beskriver er det kunden faktisk trenger Finne flest mulig feil? Finne risikoen ved å sette dette i produksjon? Finne kvaliteten på produktet? Kan man akseptere en løsning basert på automatiske tester? Teste det viktigste innenfor gitt tids- og ressurs-ramme?

10 MIN PÅSTAND: 100% testdekning kan være et mål, men gir nesten aldri den beste utnyttelsen av ressursene!

11 Code coverage og test coverage? 100% Code coverage!= 100% test coverage Code coverage avdekker raskt områder som mangler testdekning Code coverage - hever kodekvaliteten Test coverage kan brukes på alle nivåer

if(skalberegnes){ nyttbelop = ((belop*valutakurs)/100); return nyttbelop; } else { return nyttbelop; } }

12 System: Valutakalkulator Code coverage 90% System: Webapplikasjon 4 forskjellige søknader Testdekning 90% private double beregnnyttbelop(int belop, int valutakurs, boolean skalberegnes){ double nyttbelop=0,00; if(skalberegnes){ nyttbelop = ((belop*valutakurs)/100); return nyttbelop; } else { return nyttbelop; } } Tester innlogging med alle brukergruppene Tester utfylling av samtlige felter i 4 forskjellige søknader Hva med innsending?

Testautomatisering, kompleksitet og størrelse? En web-side eller et komplekst system med mange applikasjoner, leverandører, sites, stor infrastruktur? 100% testdekning er enklere å nå på små systemer.

13 Testautomatisering, kompleksitet og størrelse? En web-side eller et komplekst system med mange applikasjoner, leverandører, sites, stor infrastruktur? 100% testdekning er enklere å nå på små systemer. Enhetstester, akseptansetester eller ende-til-ende tester? Testautomatisering kan kun kjøres etter at systemet er produsert, men husk: Kravtester Skrivebordtester dokumentgranskninger snakk med utviklerne

14 Testautomatisering og testdekning Testautomatisering kan ikke gi 100% dekning Prioritering av hva som skal automatiseres Ytelses og volumtester må automatiseres KOST NYTTE

15 MIN PÅSTAND: Automatisering skal brukes på lavere nivåer som enhetstesting og integrasjonstesting. Bør brukes på høyere nivåer!

16 Kan 100% testdekning likevel gi mening? Må definere testdekning av HVA Alternative mål for akseptansetester: Teste det som er mest kritisk, høyest risiko Teste det som er oftest brukt Teste inndata grenseverdier

17 MIN PÅSTAND: For mindre, avgrensede applikasjoner og problemstillinger kan 100% dekning tenkes!

18 Ikke bruk testdekning unødvendig! Konklusjon Ikke bruk dekningsgraden som et punkt i kontrakten. Testdekning er et hjelpemiddel for å heve kvaliteten i prosjektet - forutsatt: utført korrekt! Hva anbefaler vi skal legges inn i kontrakt: Viktig å presisere hva, hvor og hvordan leverandøren skal teste systemet - toppyramiden skal kunne hvile på underpyramider Kunden bør kreve å få innblikk i leverandørens testregime Teste alle skjermbilder, alle funksjoner osv istedenfor «80 % av systemet». Vær konkret! Krav til TDD for utviklerne er bra men hva med å skrive akseptansetest før kontrakten er skrevet?!

Spørsmål Takk for oppmerksomheten! http://www.qygjxz.

19 Spørsmål Takk for oppmerksomheten! Shomaila Kausar Senior testleder/ prosjektleder Ole Fingal Harbek Senior testleder

20 Motivasjon og codecoverage? Skal ikke brukes for å henge ut utviklingsteamet! Heller ei henge ut de som har bestilt feil krav, testet dårlig osv. Skal ikke gjøres for å gjøre det en gang Lage konkurranse for å få opp prosentene (promille endringer skal også applauderes)

21 Konfigurering Kjøremiljøer - OS - Browser - Skytjeneste - HW - Nettverk Inndata - andre systemer - UI SUT - Prod dump - Fiktive data Logikk Utdata - andre systemer - UI Tilstander Datalager

22 Metodikk, verktøy Underlag, krav UTV Produktet til test

Like dokumenter

GJENNOMGANG UKESOPPGAVER 9 TESTING

GJENNOMGANG UKESOPPGAVER 9 TESTING INF1050 V16 KRISTIN BRÆNDEN 1 A) Testing viser feil som du oppdager under kjøring av testen. Forklar hvorfor testing ikke kan vise at det ikke er flere gjenstående feil.