Testrapport. periode noe som er et godt tegn i et operativsystem, gruppen har derfor ikke klart å konstruere en slik situasjon for testing.

Transkript

1

2 Forord Dette dokumentet er skrevet for personer som vil benytte seg av produktet men vil ha en validering av de ulike pluginene før de tas i bruk. Det er forutsatt at produktdokumentet er lest før dette dokumentet blir lest for å få en best mulig forståelse av dokumentet. Det er også beregnet at leseren også har SQL-kunnskaper. Noen av forklaringene vil være på engelsk da det er hentet ut fra JavaDoc, I testkoden vil det være mange kommentarer på norsk og engelsk blandet. Årsaken til det er at gruppen har kun benyttet dette for sin egen del og er ikke en del av produktet. Gruppen har ikke brukt tid på å rettskrive kommentarene i koden. Testing av dokumentet har vært en meget viktig del av prosjektet. Uviklingsmetoden gruppen benyttet la til rette for mye testing både i utviklingsfasen og av sluttproduktet. I dette dokumentet vil gruppen presentere sine hypoteser og funn. Det vil gi et innblikk i hvordan grafene endrer seg når belastningen av applikasjonen endrer seg. Dokumentet er delt i to deler hvor gruppen i den første delen viser sine tester og funn under utviklingen av produktet. I den andre delen utfører gruppen testing av de ulike pluginene isolert sett gjennom applikasjonen pluginene overvåker, i deres tilfelle Tomcat. Den andre delen er derfor en validering av produktet og den første delen har vært testing av gruppens teknikker gjennom ad-hoc metoder. Verdiene gruppen har funnet og endringene som har tredd i kraft vil ikke nødvendigvis endres på samme måte i en annen applikasjon, på en annen Java distribusjon eller maskin. Derimot vil endringene bekrefte og avkrefte gruppens hypoteser med gitte variable i et spesifikt miljø. Alle tester har blitt kjørt på samme plattform med samme oppsett og derfor korrelerer grafene med hverandre. I stor grad har endringene vært like. Gruppen mener at deres tester i stor grad har bekreftet at pluginene fungerer og oppfører seg slik antatt isolert sett. Det finnes enkelte plugin som ikke lar seg teste like enkelt og gruppen har derfor unngått å teste dem i dette prosjektet. Derimot mener gruppen at da andre plugin som har lik oppbygning og metodene og objektene blir benyttet på samme måte oppfører seg slik forventet, vil også disse oppføre seg slik det er ment. Et eksempel på en slik plugin er DeadlockedThreads. Det er i ytters få tilfeller at en tråd forblir deadlocked i en 5 minutters 2

3 periode noe som er et godt tegn i et operativsystem, gruppen har derfor ikke klart å konstruere en slik situasjon for testing. Testing Testing under utviklingen Gruppen skrev tidlig i utviklingsfasen et enkelt vindusbasert program i Java hvor gruppen hentet ut informasjon fra mange MXBean. Dette gjorde gruppen for å danne seg et bilde over hva slags data de kunne hente ut og som lot seg representere i en graf. Gruppen fant raskt ut at det finnes metoder for å hente ut data som ikke lar seg representere i en graf og som ikke har en hensikt å presentere i en graf. Metodene de benyttet var ad-hoc og er ikke en del av produktet. Produkttestingen Da gruppen hadde valgt å hente ut data fra Tomcat hadde vi flere måter å teste applikasjonen på. Her kunne vi velge å programmere servlets direkte, JSP, JSF eller annen servlet basert applikasjon. Gruppen valgte for enkelhets skyld JSP. Dette var den enkleste måten å komme i gang på med minst kode. Her skrev vi flere kodesegmenter som hovedsaklig belastet Heap minnet, men også CPU og andre ressurser. Deretter pakket gruppen applikasjonene ned til WAR og kopierte de inn i /var/lib/tomcat5.5/webapps/. Dette er måten man importerer prosjekter inn i Tomcat. Deretter pakker Tomcat ut war filen og oppretter en mappe med prosjektnavnet. Når det er gjort vil JSP siden være tilgjengelig og klar for å kjøres på nettsiden. Eksempelvis Koden ble deretter kjørt ved at flere datamaskiner aksesserte websiden og test.jsp programmet ble kjørt i flere instanser innenfor Tomcat JVM. 3

4 Innhold Forord...2 Hvordan testet gruppemedlemmene... Feil! Bokmerke er ikke definert. Testing under utviklingen...3 Produkttestingen...3 Del Testing underveis Generelt Testing av alle klassene Databasen Tomcat Websiden Del Generelt Vedlegg

5 Del Testing underveis Generelt I denne delen av testrapporten tar gruppen for seg testingen vi gjorde mens vi utviklet pluginene. Her har vi testet programmene ved å sende dataene til Munin og vurdert grafene for å fastslå en normal. Deretter har vi belastet applikasjonen samtidig som vi har sendt dataene til en SQL-database hvert 5te sekund. Gruppen har vurdert dataene og notert endringene. På denne måten har vi sjekket om nyquist teorien har blitt oppfylt, denne har blitt oppfylt for samtlige plugin. Se kravspesifikasjon for mer info om nyquist teorien Testing av alle klassene Dette er den første testen gruppen utførte. Her skrev vi en kort ad-hoc metode for å hente ut en verdi fra ClassLoadingMXBean. Koden under viser hvordan klassen ser ut. import java.lang.management.*; public class test{ public static void main(string args[]) { ClassLoadingMXBean classmxbean = ManagementFactory.getClassLoadingMXBean(); int a=classmxbean.getloadedclasscount(); // denne retunerer antall klasser som er lastet i JVM System.out.println(""+a); Kode 1.1 5

6 Klassen ble utvidet etter hvert og så slik ut til slutt. import java.lang.management.*; import javax.swing.*; public class Main { public static void main(string[] args) { //int x=getloadedclasscount(); // TODO code application logic here ClassLoadingMXBean classmxbean = ManagementFactory.getClassLoadingMXBean(); ThreadMXBean threadmxbean = ManagementFactory.getThreadMXBean(); MemoryMXBean memorymxbean = ManagementFactory.getMemoryMXBean(); OperatingSystemMXBean osmxbean = ManagementFactory.getOperatingSystemMXBean(); JTextArea utskrift=new JTextArea(); JVM int a=classmxbean.getloadedclasscount(); // denne retunerer antall klasser som er lastet i utskrift.settext("antall klasser : "+a+"\n"); long b=classmxbean.gettotalloadedclasscount(); //retunerer antall klasser som er lastet siden JVM har startet utskrift.append("klasser som er lastet opp siden JVM startet : "+ b+"\n"); long c=classmxbean.getunloadedclasscount(); // antall klasser som er ikke lastet opp siden JVM har startet utskrift.append("klasser som er ikke lastet opp siden JVM startet : "+c+"\n"); boolean d=classmxbean.isverbose(); utskrift.append("er verbose : "+d+"\n"); 6

7 //classmxbean.setverbose(true); //threadmxbean.dumpallthreads(d, d) // Returns the thread info for all live threads with stack trace and synchronization information. long[] mm=threadmxbean.finddeadlockedthreads(); // Finds cycles of threads that are in deadlock waiting to acquire object monitors or ownable synchronizers. String ut=""; /*for(int y=0;y<mm.length;y++) { ut+=mm[y]+", "; utskrift.append("cycles of threads that are in deadlock : "+ ut+"\n");*/ long[] bb=threadmxbean.findmonitordeadlockedthreads();//finds cycles of threads that are in deadlock waiting to acquire object monitors. String ut2=""; /*for(int y2=0;y2<bb.length;y2++) { ut2+=bb[y2]+", "; utskrift.append("cycles of threads that are in deadlock waiting to acq : "+ut2+"\n");*/ long[] m=threadmxbean.getallthreadids(); // Returns all live thread IDs. String ut3=""; for(int i=0;i<m.length;i++){ ut3+=m[i]+", "; utskrift.append("alle live Threads IDS : "+ut3+"\n"); long e=threadmxbean.getcurrentthreadcputime(); //Returns the total CPU time for the current thread in nanoseconds. utskrift.append("total tid for CPU : "+e+"\n"); long f=threadmxbean.getcurrentthreadusertime(); // Returns the CPU time that the current thread has executed in user mode in nanoseconds. utskrift.append("cpu tid in user mode : "+f+"\n"); int h=threadmxbean.getdaemonthreadcount(); // Returns the current number of live 7

8 daemon threads. utskrift.append("antall daemon threads (live) : "+h+"\n"); int g=threadmxbean.getpeakthreadcount(); // Returns the peak live thread count since the Java virtual machine started or peak was reset. utskrift.append("peak live thread count : "+g+"\n"); int t=threadmxbean.getthreadcount(); //Returns the current number of live threads including both daemon and non-daemon threads. utskrift.append("number of live threads (daemon and non-daemon) : "+t+"\n"); //long dd=threadmxbean.getthreadcputime(long id); // Returns the total CPU time for a thread of the specified ID in nanoseconds. //threadmxbean.getthreadinfo(long id); // Returns the thread info for a thread of the specified id with no stack trace. //threadmxbean.getthreadinfo(long[] ids); //Returns the thread info for each thread whose ID is in the input array ids with no stack trace. //threadmxbean.getthreadinfo(f, t); // Returns the thread info for each thread whose ID is in the input array ids, with stack trace and synchronization information. // threadmxbean.getthreadinfo(long[] ids, int maxdepth); // Returns the thread info for each thread whose ID is in the input array ids, with stack trace of a specified number of stack trace elements. //threadmxbean.getthreadinfo(long f,int maxdepth); // Returns a thread info for a thread of the specified id, with stack trace of a specified number of stack trace elements. //threadmxbean.getthreadusertime(long id); //Returns the CPU time that a thread of the specified ID has executed in user mode in nanoseconds. long s=threadmxbean.gettotalstartedthreadcount();// Returns the total number of threads created and also started since the Java virtual machine started. utskrift.append("total number of threads created and started : "+s+"\n"); boolean te=threadmxbean.iscurrentthreadcputimesupported(); // Tests if the Java virtual machine supports CPU time measurement for the current thread. utskrift.append("jvm support CPU time measurement : "+te+"\n"); boolean te2=threadmxbean.isobjectmonitorusagesupported(); // Tests if the Java virtual machine supports monitoring of object monitor usage. utskrift.append("jvm supports monitoring of Bbject : "+te2+"\n"); boolean te3=threadmxbean.issynchronizerusagesupported(); // Tests if the Java virtual 8

9 machine supports monitoring of ownable synchronizer usage. utskrift.append("jvm supports monitoring of ownable synch. : "+te3+"\n"); boolean te4=threadmxbean.isthreadcontentionmonitoringenabled(); // Tests if thread contention monitoring is enabled. utskrift.append("thread contention monitoring is enabled : "+te4+"\n"); boolean te5=threadmxbean.isthreadcontentionmonitoringsupported(); // Tests if the Java virtual machine supports thread contention monitoring. utskrift.append("jvm supports thread con. monitoring : "+te4+"\n"); boolean te6=threadmxbean.isthreadcputimeenabled(); // Tests if thread CPU time measurement is enabled. utskrift.append("threads CPU time measurement is enabled : "+te6+"\n"); boolean ss=threadmxbean.isthreadcputimesupported(); // Tests if the Java virtual machine implementation supports CPU time measurement for any thread. utskrift.append("jvm implementation supports CPU time measur. : "+ss+"\n"); //threadmxbean.resetpeakthreadcount(); //Resets the peak thread count to the current number of live threads. //threadmxbean.setthreadcontentionmonitoringenabled(boolean enable); // Enables or disables thread contention monitoring. //threadmxbean.setthreadcputimeenabled(boolean b); // Enables or disables thread CPU time measurement. //memorymxbean.gc(); //Runs the garbage collector. //memorymxbean.getheapmemoryusage(); //Returns the current memory usage of the heap that is used for object allocation. //memorymxbean.getnonheapmemoryusage(); // Returns the current memory usage of non-heap memory that is used by the Java virtual machine. //memorymxbean.getobjectpendingfinalizationcount(); // Returns the approximate number of objects for which finalization is pending. //memorymxbean.isverbose(); // Tests if verbose output for the memory system is enabled. //memorymxbean.setverbose(boolean value); //Enables or disables verbose output for the memory system. String ff=osmxbean.getarch(); //Returns the operating system architecture. utskrift.append("os architecture : "+ff+"\n"); 9

10 int av=osmxbean.getavailableprocessors(); // Returns the number of processors available to the Java virtual machine. utskrift.append("number of processors available to JVM : "+av+"\n"); String name=osmxbean.getname(); // Returns the operating system name. utskrift.append("navn på OS : "+name+"\n"); double tr=osmxbean.getsystemloadaverage(); //Returns the system load average for the last minute. utskrift.append("system load average for the last minute : "+tr+"\n"); String ver=osmxbean.getversion(); //Returns the operating system version. utskrift.append("version : "+ver); JOptionPane.showMessageDialog(null,utskrift); 10

11 Figur 1(applikasjon til koden over) Denne klassen innholdt verdier for de fleste MXBean og gruppen dannet seg et bilde av informasjonen vi kunne få ut. Men det var vanskelig å vite om dataen endret seg eller ikke, derfor valgte gruppen å skrive til databasen Databasen Gruppen begynte med å sette inn verdier i databasen og sjekket ved å utføre select * from prosjekt; for hvert 5te minutt. public static void leggtil(string tid,int x,long y, long z,string verbose,long e,long f,int h,int g,int t,long s,string s1,string s2,string s3,string s4,string s5,string s6,string s7) { try{ new com.mysql.jdbc.driver(); 11

12 Connection con = DriverManager.getConnection("jdbc:mysql://IP /brukernavn", "brukernavn", "Passord"); Statement st = con.createstatement(); st.execute("insert INTO prosjekt values('"+tid+"','" + x + "','"+y+"','"+z+"','"+verbose+"','"+e+"','"+f+"','"+h+"','"+g+"','"+t+"','"+s+"','"+s1+"','"+s2+"',' "+s3+"','"+s4+"','"+s5+"','"+s6+"','"+s7+"')"); catch(exception stt) { System.out.print(stt.getMessage()); public static String now(string dateformat) { Calendar cal = Calendar.getInstance(); SimpleDateFormat sdf = new SimpleDateFormat(dateFormat); return sdf.format(cal.gettime()); Denne metoden ble kjørt via en Main metode der sendte data hvert 5te sekund til databasen. Som det kommer frem er det mange kolonner i denne tabellen og det ville vært upraktisk å skrive ut hele, derfor har gruppen lagt ved et utsnitt av tabellen. 12

13 Forklaring for tabellens kolonner A= Time B= The current number of live threads including both daemon and non-daemon threads. C= The number of classes that are currently loaded in the Java virtual machine. D= The total number of classes unloaded since the Java virtual machine has started execution. E= Is Verbose F= Total CPU time for the current thread in nanoseconds G= The CPU time the current thread has executed in user mode in nanosecunds H= The current number of live daemon J= The peak live thread count since the JVM started or Peak wa reset K= The current number of live threads including both daemon and non-daemon threads L= The total number of threads creadted and also started since the JVM started. 13

14 mysql> select * from prosjekt; A B C D E F G H J K L /05:06: false /05:06: false /05:06: false /05:06: false /05:06: false /05:06: false /05:07: false /05:07: false /05:07: false /05:07: false /05:07: false /05:07: false /05:07: false /05:07: false /05:07: false /05:07: false /05:07: false /05:08: false /05:08: false /05:08: false /05:08: false /05:08: false /05:08: false /05:08: false

15 Da gruppen testet koden fant ut at verdiene endrer seg minimalt selv ved høy last og visste at noe var galt. Gruppen kunne se at Load og CPU ressursene hadde økt betraktelig for operativsystemet men ingen endringer for CPU og andre grafer for JVM. Gruppen dannet seg noen hypoteser for dette resultatet. Den første hypotesen var at vi hentet ut data fra tidligere opprettet MXBean objekt. Denne hypotesen viste seg raskt å være feil da noen grafer hadde små endringer. Neste hypotese var at vi hentet ut data fra feil JVM instans. Her gikk det litt tid og mer studeringav JMX før de oppdaget at vi hadde gjort en fundamentalt feil antagelse. Antagelse var at vi hentet ut ressursbruken til JVM i sin helhet for operativsystemet. Men det vi i realiteten hentet ut var ressursbruken til vår plugin (som kun utførte en kort System.out.print() operasjon på objektet). Vi hentet dataene på feil metode for deres bruk. De aksesserte MXBean objektene direkte, men måtte aksessere objektene ved å benytte ManagementFactory.newPlatformMXBeanProxy(). På denne måten kunne vi aksessere en spesifik MBean server ved en nettverkstilkobling Tomcat Teste om Tomcat kjører Installasjon av Tomcat gikk bra, så måtte gruppen sjekke om den kjørte på serveren. Koden nedenfor viser Tomcat som kjører på serveren. server:/etc/munin/java/java# ps aux grep tomcat5.5 tomcat ttyp0 S 11:15 0:00 su -p -s /bin/sh tomcat55 -c /usr/sbin/rotatelogs "/var/lib/tomcat5.5/logs/catalina_%f.log" tomcat ttyp0 S 11:15 0:00 /usr/sbin/rotatelogs /var/lib/tomcat5.5/logs/catalina_%f.log tomcat ttyp0 Sl 11:15 0:12 /usr/lib/jvm/java-6- sun/bin/java -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager - 15

16 Djava.util.logging.config.file=/var/lib/tomcat5.5/conf/logging.properties - Djava.awt.headless=true -Xmx128M -Dcom.sun.management.jmxremote - Dcom.sun.management.jmxremote.port=5400 -Dcom.sun.management.jmxremote.ssl=false - Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote - Dcom.sun.management.jmxremote.port=5400 -Dcom.sun.management.jmxremote.ssl=false - Dcom.sun.management.jmxremote.authenticate=false - Djava.endorsed.dirs=/usr/share/tomcat5.5/common/endorsed -classpath :/usr/lib/jvm/java-6- sun/jre//lib/jcert.jar:/usr/lib/jvm/java-6-sun/jre//lib/jnet.jar:/usr/lib/jvm/java-6- sun/jre//lib/jsse.jar:/usr/share/tomcat5.5/bin/bootstrap.jar:/usr/share/tomcat5.5/bin/commonslogging-api.jar -Djava.security.manager - Djava.security.policy==/var/lib/tomcat5.5/conf/catalina.policy - Dcatalina.base=/var/lib/tomcat5.5 -Dcatalina.home=/usr/share/tomcat5.5 - Djava.io.tmpdir=/var/lib/tomcat5.5/temp org.apache.catalina.startup.bootstrap start root ttyp0 R+ 13:39 0:00 grep tomcat5.5 Websiden Linken viser at Tomcat installert og websiden er klar for bruk på port Teste webapplikasjoner Tomcat har en administrasjonsside for applikasjoner som kjører. Her kan man dobbelt sjekke at war filen er installert og prosjektet er opplastet i minnet. Her kan man logge seg inn og få oversikten Brukernavn: mammut Passord: tcpa 16

17 Del Generelt I denne delen av prosjektet skal Gruppen gå gjennom pluginene og teste om alle virker og gjør det de skal. War filene ble lastet opp til /var/lib/tomcat5.5/webapps/ og deretter kjørt via nettsidene Plugin CollectionUsageSurvivor Comitted øker Max Hypotese Init Used øker Threshold Test Kode nummer 1 Antall PC-er 3 Comitted Max Utfall Init Used Threshold Resultat Hypotese var riktig 17

18 Plugin CollectionUsageTenuredGen Comitted Max Hypotese Init Used Threshold Test Kode nummer 1 Antall PC-er 3 Comitted Max Utfall Init Used Threshold Resultat Hypotese var riktig 18

19 Plugin PeakUsageEden Comitted Max Hypotese Init Used Threshold Test Kode nummer 1 Antall PC-er 3 Comitted Max Utfall Init Used Threshold Resultat Hypotese var riktig 19

20 Plugin GarbageCollectorCount Hypotese MinorCount MajorCount Test Kode nummer 1 Antall PC 3 Utfall MinorCount MajorCount Resultat Hypotese var riktig 20

21 Plugin GarbageCollectorTime Hypotese MinorTime MajorTime Test Kode nummer 1 Antall PC 3 Utfall MinorTime MajorTime Resultat Hypotese var riktig 21

22 Plugin Hypotese Test Uptime Venter en dag Antall PC 1 Utfall Resultat Hypotese var riktig 22

23 Plugin PeakUsageSurvivor Hypotese Comitted øker Max Init Used Threshold Inegn endring øker Test Kode nummer 1 Antall PC 3 Utfall Comitted øker Max Init Used Threshold øker Resultat Hypotese var riktig 23

24 Plugin PeakUsageTenuredGen Hypotese Comitted Max Init Used Threshold Test Kode nummer 1 Antall PC 3 Utfall Comitted Max Init Used Threshold Resultat Hypotese var riktig 24

25 Plugin UsageEden Hypotse Comitted Used Max Init Threshold Test Kode nummer 1,2,3 Antall websider 10 Utfall Comitted Used Max Init Threshold Resultat Hypotese var riktig 25

26 Plugin UsageSurvivor Hypotse Comitted Used Max Init Threshold Test Kode nummer 1,2,3,4,5 Antall websider 10 Utfall Comitted Used Max Init Threshold Resultat Hypotese var riktig 26

27 Plugin UsageTenuredGen Hypotse Comitted Used Max Init Threshold Test Kode nummer 1,2,3,4,5 Antall websider 10 Utfall Comitted Used Max Init Threshold Resultat Hypotese var riktig 27

28 Vedlegg Kode nummer 1 1 <html> 2 <head> 3 <title>time on the server</title> 4 </head> 5 <body bgcolor="red"> 6 The time is <%= new java.util.date() %> 7 <h3>hei.vet du hva du gjør her nå?du fyller 15 String array med 8 tekst. </h3> 9 <% 10 String[] array1=new String[ ]; 11 String[] array2=new String[ ]; 12 String[] array3=new String[ ]; 13 String[] array4=new String[ ]; 14 String[] array5=new String[ ]; 15 String[] array6=new String[ ]; 16 String[] array7=new String[ ]; 17 String[] array8=new String[ ]; 18 String[] array9=new String[ ]; 19 String[] array10=new String[ ]; 20 String[] array11=new String[ ]; 21 String[] array12=new String[ ]; 22 String[] array13=new String[ ]; 23 String[] array14=new String[ ]; 24 String[] array15=new String[ ]; for (int i=0;i< ;i++) 27 { 28 array1[i]="en string kommer inn"; 29 array2[i]="en annen string kommer inn her"; 30 array3[i]="en til kommer her"; 31 array4[i]="en string kommer inn"; 32 array5[i]="en annen string kommer inn her"; 33 array6[i]="en til kommer her"; 34 array7[i]="en string kommer inn"; 35 array8[i]="en annen string kommer inn her"; 36 array9[i]="en til kommer her"; 37 array10[i]="en string kommer inn"; 38 array11[i]="en annen string kommer inn her"; 39 array12[i]="en til kommer her"; %> 42 </body> 28

29 43 </html> Kode nummer 2 <html> <head> <title>time on the server</title> </head> <body bgcolor="red"> The time is <%= new java.util.date() %> <h3> Dette er en matte oppgave. </h3> <% int max= ; int i=0; int sum=0; int s=1; while(s< ) { while(i<max) { i+=1; sum+=i; Thread.sleep(1000); i=0; s++; sum=0; %> </body> </html> Kode nummer 3 29

30 <html> <head> <title>time on the server</title> </head> <body> The time is <%= new java.util.date() %> <% for (int i=0;i< ;i++) { %> Dette er kun test <%= i %> <br> <% %> </body> </html> Kode nummer 4 <html> <head> <title>time on the server</title> </head> <body> The time is <%= new java.util.date() %> <% String[] array1=new String[ ]; 30

31 String[] array2=new String[ ]; String[] array3=new String[ ]; for (int i=0;i< ;i++) { array1[i]="en string kommer inn"; array2[i]="en annen string kommer inn her"; array3[i]="en til kommer her"; %> Dette er kun test <%= i %> <br> <% %> </body> </html> Kode nummer 5 <html> <head> <title>time on the server</title> </head> <body> The time is <%= new java.util.date() %> <% String[] array1=new String[ ]; String[] array2=new String[ ]; 31

32 String[] array3=new String[ ]; for (int i=0;i< ;i++) { array1[i]="en string kommer inn"; array2[i]="en annen string kommer inn her"; array3[i]="en til kommer her"; %> Dette er kun test <%= i %> <br> <% %> <% long test=1; while(test!=0) { %> Dette er en annen test <% test++; %> </body> </html> 32