MUTASJONSTESTING LAG BUGS FOR Å FÅ BEDRE KODE

Transkript

1 MUTASJONSTESTING LAG BUGS FOR Å FÅ BEDRE KODE Filip van Laenen Testdagen Odin

2 Hvem er jeg? 18 år i IT-bransjen Utvikler (Java/Smalltalk/Ruby) Arkitekt/teknisk ansvarlig (Tester/QA) Flere års erfaring med mutasjonstesting 2

3 Mutation Testing The Book 3

4 Mutation Testing The Book SJEKK PRIS E N! $0.00 4

5 HVA ER MUTASJONSTESTING? 5

6 6

7 7

8 8

9 9

10 Mutasjonen i kildekoden int max(int a, int b) { return (a < b)? b : a; int max(int a, int b) { return (a b)? b : a; 10

11 11

12 12

13 13

14 14

15 Ekvivalente mutasjoner int max(int a, int b) { return (a < b)? b : a; int max(int a, int b) { return (a b)? b : a; 15

16 MUTASJONSOPERATORER 16

17 Mutasjonsoperatorer Aritmetikk (+, -,,, ) Boolske operatorer (,,, ) Sammenligninger (=, <, >,,,, ) Kortslutning av grener Konstanter (tall, tekst, ) Fjerning av linjer Nullstilling av returverdier 17

18 Eksempel integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 return passed; integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade > 12) { passed passed + 1 return passed; 18

19 Eksempel: > integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 return passed; integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade > 12) { passed passed + 1 return passed; 19

20 Eksempel: + integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 return passed; integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed - 1 return passed; 20

21 Eksempel: endring av tallverdi integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 return passed; integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 13) { passed passed + 1 return passed; 21

22 Eksempel: kortslutning av if-løkke integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 return passed; integer students_passed(grades) { passed 0; foreach (grade grades) { if (true) { passed passed + 1 return passed; 22

23 Eksempel: kortslutning av if-løkke integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 return passed; integer students_passed(grades) { passed 0; foreach (grade grades) { if (true) { passed passed + 1 return passed; 23

24 Eksempel: fjerning av en kodelinje integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 return passed; integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 return passed; 24

25 Eksempel: nullstilling av returverdi integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 return passed; integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 return 0; 25

26 Mutasjonsoperatorer Regulære uttrykk Samtidighet Avhengigheter API-endringer Arv 26

27 Utfordringer Evige løkker/rekursjon Syntaksfeil Tilstandslekkasje Segmentation faults Ekvivalente mutasjoner 27

28 Ekvivalente mutasjoner To forskjellige systemer som alltid gir samme output for samme input Vanskelig å oppdage automatisk Vanskelig å verifisere manuelt 28

29 Ekvivalente mutasjoner number max(a, b) { if (a b) { return a; else { return b; number max(a, b) { if (a > b) { return a; else { return b; 29

30 Ekvivalente mutasjoner number max(a, b) { if (a b) { return a; else { return b; number max(a, b) { if (a > b) { return a; else { return b; 30

31 HVORFOR VIRKER MUTASJONSTESTING? 31

32 Hvorfor virker mutasjonstesting? Generated mutants are similar to real faults. 32 Andrews, Briand, Labiche, ICSE 2005

33 Hvorfor virker mutasjonstesting? In practice, if the software contains a fault, there will usually be a set of mutants that can only be killed by a test case that also detects that fault. Geist et. al., Estimation and Enhancement of Real-time Software Reliability through Mutation Analysis,

34 Hvorfor virker mutasjonstesting? Complex faults are coupled to simple faults in such a way that a test data set that detects all simple faults in a program will detect most complex faults. K. Wah, Fault Coupling in Finite Bijective Functions,

35 Hvorfor virker mutasjonstesting? Complex faults are coupled to simple faults in such a way that a test data set that detects all simple faults in a program will detect most complex faults. K. Wah, Fault Coupling in Finite Bijective Functions,

36 Virker mutasjonstesting? Mutation testing is more powerful than statement or branch coverage. Walsh, Ph.D. Thesis, State University of New York at Binghampton, 1985 Mutation testing is superior to data flow coverage criteria. Frankl, Weiss, Hu, Journal of Systems and Software,

37 MUTASONSTESTING OG TESTING 37

38 Testdekning Vanskelig å jukse Å kjøre gjennom kildekoden er ikke nok Kan peke ut fokusområder for manuell testing 38

39 Manglende testtilfeller 39 Tips til nye testtilfeller Avhengig av verktøyet Krever tilgang til rapportene Ikke alltid trivielt

40 Eksempel integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 return passed; integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade > 12) { passed passed + 1 return passed; 40

41 Eksempel: > integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 Ha en 12 i return passed; testsettet ditt integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade > 12) { passed passed + 1 return passed; 41

42 Eksempel: + integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 Ha en return passed; 12 i testsettet ditt integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed - 1 return passed; 42

43 Eksempel: endring av tallverdi integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 Ha en 12 i return passed; testsettet ditt integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 13) { passed passed + 1 return passed; 43

44 Eksempel: kortslutning av if-løkke integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 Ha en <12 return passed; i testsettet ditt integer students_passed(grades) { passed 0; foreach (grade grades) { if (true) { passed passed + 1 return passed; 44

45 Eksempel: fjerning av en kodelinje integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 return passed; Ha en 12 i testsettet ditt integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 return passed; 45

46 Eksempel: nullstilling av returverdi integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 return passed; integer students_passed(grades) { passed 0; foreach (grade grades) { if (grade 12) { passed passed + 1 Ha en 12 i testsettet return 0; 46 ditt

47 HVIS MUTASJONSTESTING ER SÅ BRA, HVORFOR BLIR DET IKKE BRUKT? 47

48 Mutasjonstesting er gammelt nytt Allerede beskrevet i 1971: R. Lipton, Fault Diagnosis of Computer Programs Videre forskning i løpet av 1970tallet: R. Lipton et. al., Hints on Test Data Selection: Help for the Practicing Programmer,

49 Historiske hindringer Mangel på enhetstestingverktøy Mangel på enhetstestingpraksis Ineffektive implementasjoner TDD Lange prosesseringstider Integrasjon med utviklingsverktøy 49

50 50

51 YTELSE 51

52 Kildekode eller binærkode? Kildekode Tekstmanipulasjon Krever kompilering Binærkode Raskt Krever dekompilering AST-tre Gylden middelvei? 52

53 Utvelgelse av enhetstester Mål: finne enhetstesten som «dreper» mutanten 53

54 54

55 55

56 56

57 Utvelgelse av enhetstester Mål: finne enhetstesten som «dreper» mutanten Midler: Testdekning Manuelle hints Konvensjoner (klassenavn, pakkenavn) Caching av testresultater 57

58 Kompleksitet Eksempel: 50 klasser 20 enhetstester per klasse 1ms per enhetstest Testrunde: ms = 1s 100 mutanter per klasse: Naiv implementasjon: s = 1h 23m 20s Klassescoping: ms = 1m 40s Idealt: ms = 5s 58

59 Kompleksitet Eksempel: 500 klasser 20 enhetstester per klasse 1ms per enhetstest Testrunde: ms = 10s 100 mutanter per klasse: Naiv implementasjon: s = 5,8d Klassescoping: ms = 16m 40s Idealt: ms = 50s 59

60 VERKTØY 60

61 Anbefalte verktøy Java: Ruby: Humbug JavaScript: Mutant PHP: PIT Grunt-mutation-testing 61

62 PIT Java JUnit & TestNG Maven & kommandolinje Muterer bytekode Konfigurerbart sett med mutatorer 62

63 PIT Java JUnit & TestNG Maven & kommandolinje Muterer bytekode Konfigurerbart sett med mutatorer

64 PIT Java JUnit & TestNG Maven & kommandolinje Muterer bytekode Konfigurerbart sett med mutatorer

65 Mutant Ruby Rspec Kommandolinje Aktivt prosjekt Grei dokumentasjon

66 HVORDAN KOMME I GANG? 66

67 Hvordan komme i gang Velg riktig verktøy Om mulig, bruk fra dag 1 Avgrens i begynnelsen Kritisk kode Relevante mutatorer Lær å bruke verktøyet Tro på hva det sier Eller bevis at det tar feil 67

68 OPPSUMMERING 68

69 Er mutasjonstesting nyttig? Enkle prinsipper Veldig kraftig verktøy Utfordringer rundt ytelse Verktøyene blir bedre og bedre Ja 69, forutsatt at enhetstesting er på plass

70 Er mutasjonstesting nyttig? Enkle prinsipper Veldig kraftig verktøy Utfordringer rundt ytelse Verktøyene blir bedre og bedre Ja 70, forutsatt at enhetstesting er på plass

71 Er mutasjonstesting nyttig? Enkle prinsipper Veldig kraftig verktøy Utfordringer rundt ytelse Verktøyene blir bedre og bedre Ja 71, forutsatt at enhetstesting er på plass

72 Takk for din oppmerksomhet! Contact /