IN2002: Software Engineering og prosjektarbeid 12. februar Forskningsmetoder / Evaluering av IT-systemer. IN2000/ 12.2.

Transkript

1 IN2002: Software Engineering og prosjektarbeid 12. februar 2019 Forskningsmetoder / Evaluering av IT-systemer Dag Sjøberg og Gunnar Bergersen IN2000/ Slide 1 Plan Behov for metodekunnskap Metodekunnskap for utvikling av IT-systemer Case fra 2018 Case i år, gruppeoppgave 1 Typer forskningsmetoder Eksperiment Case-studie Etnografi Spørreskjema-undersøkelse (survey) Gruppeoppgave 2 IN2000/ Slide 2 1

2 Forskningsmetode* = måten kunnskap dannes på God metode Dårlig metode Pålitelig kunnskap Upålitelig kunnskap (mest ekstreme: Fake news) *Forskningsmetode er pensum IN2000/ Slide 3 Valg av støtteteknologi (prosessmodeller, metoder, teknikker, praksiser, verktøy, språk) På hvilket grunnlag velger man teknologi som støtter programmering og annen systemutvikling? Ofte basert å moter/ hype og synsing fra guruer Velger ofte det man kjenner best Ideelt: Basert på empiriske undersøkelser (empirisk = erfaringsmessig, det som baserer seg på hva som fungerer i praksis) IN2000/ Slide 4 2

3 Nytteverdi Nyttig å kjenne til systematisk evaluering og forskningsmetoder Forstå og nyttiggjøre forskningsresultater Stille kritiske spørsmål til påstander Nyttig både i privat og offentlig sektor Nyttig i alle fag, ikke bare informatikk IN2000/ Slide 5 Plan Behov for metodekunnskap Metodekunnskap for utvikling av IT-systemer Case fra 2018 Case i år, gruppeoppgave 1 Typer forskningsmetoder Eksperiment Case-studie Etnografi Spørreskjema-undersøkelse (survey) Gruppeoppgave 2 IN2000/ Slide 6 3

4 Case på IN2000-pilot 2018: Anta at et firma vil utvikle en tjeneste for å finne filmer & serier Finnes X versjoner av en prototype på en app med denne tjenesten IN2000/ Slide 7 Hvordan evaluere kvaliteten på app en? IN2000/ Slide 8 4

5 Gruppeoppgave studentene fikk: (dere får en tilsvarende oppgave) Hvilke kriterier kan man vurdere tjenesten utfra? Tenk på det dere har lært om kravene til systemet Funksjonelle krav Ikke-funksjonelle krav Tenk over kriterier som kan variere mellom ulike interessenter (stakeholders) IN2000/ Slide 9 Aspekter ved evaluering av IT-systemer: ISO Functional suitability Reliability Usability Performance efficiency Maintainability Portability Compatibility Security Hvike av disse produktegenskapene er relevante for dere? Hvilke prosesskrav gir disse produktkravene opphav til, dvs. hvordan jobber dere for å innfri disse kravene? IN2000/ Slide 10 5

6 Funksjonelle krav Hva systemet skal gjøre Hvilke tjenester (funksjoner) skal systemet tilby? Hvordan skal det reagere på ulike typer input? IN2000/ Slide 11 Ikke-funksjonelle krav Hvordan systemet skal implementere de funksjonelle kravene IN2000/ Slide 12 6

7 Typer av ikke-funksjonelle krav Spesielt viktige for app en? Non-functional Product Organizational External Efficiency Dependability Security Regulatory Ethical Usability Environmental Operational Development Legislative Performance Space Accounting Safety/security IN2000/ Figur fra Ian Sommerville Slide 13 Brukskvalitet (usability) Hvordan gjennomføre en studie avbrukskvalitet Guidelines for Android: IN2000/ Slide 14 7

8 Resultater av gruppediskusjonene IN2000/ Slide 15 Gruppe 1 Ikke-funksjonelle krav: Nedetid på maks 15 minutter, tid mellom hver gang nede? God arkitektur for videreutvikling Mulig å drive versjonshåndtering Høy nok sikkerhet (hva betyr det konkret?) Lav feilrate (mål på dette?) Rask responstid (mål på dette?) Følger designplattformer Ikke vise offensive bilder (nakenhet/blasfemi osv) (følge rating filmprodusenter) IN2000/ Slide 16 8

9 Gruppe 2 Som bruker ønsker jeg å benytte appen på både mine Android og mine ios devices. Jeg ønsker å ha samme opplevelse over alle plattformene. Som produkteier ønsker jeg at appen skal være enkel og billig å vedlikeholde i fremtiden (hvordan teste ut det? Hva betyr enkel og billig?) Som bruker ønsker jeg at appen skal være lett altså ta lite blass både i minne og lagring Som produkteier ønsker jeg at appen skal se profesjonell ut slik at jeg kan fremme mine interesser (hva betyr profesjonell? Følge standarder som brukes i app er som brukes i arbeidslivet/profesjonelt seriøsitet) Som produkteier ønsker jeg at appen skal være lett å koble opp mot mine andre produkter (f.eks. felles innlogging, lenker til relaterte tjenester) kompatibilitet Som buker ønsker jeg å kunne benytte meg av tredjeparts verifisering gjennom f.eks google eller facebook. IN2000/ Slide 17 Gruppe 3 Ikke-funksjonelle krav: Legal: ikke lekke søkehistorikk (konfidensialitet, personvern) Performance: 40 requests per 10. sekund Usability: easy to use. verdiløs dersom bruker ikke klarer å bruke appen (hvordan teste dette?) Development requirement: det skal være mulig å oppdatere og vedlikeholde appen (hva betyr mulig?) IN2000/ Slide 18 9

10 Gruppe 4 Videreutvikling (relativt enkelt å videreutvikle, kompatibilitet) Enkel kode som følger godtatte standarder God versjonskontroll og dokumentasjon Brukbarhet (usability testing) Fart på spørringer (ytelse/performance efficieny) Sikker (hva betyr det i praksis?) Dersom vi har brukerinformasjon så er dette ekstra viktig Etiske hensyn, personvern, Selge informasjon til tredjepart? IN2000/ Slide 19 Plan Behov for metodekunnskap Metodekunnskap for utvikling av IT-systemer Case fra 2018 Case i år, gruppeoppgave 1 Typer forskningsmetoder Eksperiment Case-studie Etnografi Spørreskjema-undersøkelse (survey) Gruppeoppgave 2 IN2000/ Slide 20 10

11 Summegruppeoppgave 1 Velg ett av de 5 casene i prosjektoppgaven Case 1 Været til sjøs Case 2 Lynvarsling Case 3 Planlegging av flytur Case 4 Luftkvalitet i storbyene Case 5 Norsk klima i endring Foreslå kriterier for å vurdere kvalitet på app en (noter forslag til bruk senere) IN2000/ Slide 21 Når kriteriene for evaluering er klare, hvordan gjennomføre evalueringen? Hvilke (forsknings/undersøkelses)metoder egner seg? IN2000/ Slide 22 11

12 Plan Behov for metodekunnskap Metodekunnskap for utvikling av IT-systemer Case fra 2018 Case i år Typer forskningsmetoder Eksperiment Case-studie Etnografi Spørreskjema-undersøkelse (survey) Gruppeoppgave 2 IN2000/ Slide 23 (Kontrollert) eksperiment Et eksperiment undersøker årsak-virkning hva fører til hva? Manipulerer (endrer) det fenomenet man studerer, og så måler man virkningen Enkeltindivider eller team (deltakere) utfører like oppgaver der hensikten er å sammenligne ulike treatments IN2000/ Slide 24 12

13 Eksperiment Uavhengige variable (treatment) IT-system/app Effekt Avhengige variable (resultat) Tid & Kvalitet Moderator variable (kontekst), f.eks. kompetanse IN2000/ Slide 25 Eksperiment omtalt på IN1030: Hva er kost-nytten ved parprogramming? Sommerville skriver i boka s. 70: However, studies with more experienced programmers (Arisholm et al., 2007*; Parish et al., 2004) did not replicate these results. They found that there was a significant loss of productivity compared with two programmers working alone. Verdens største eksperiment i software engineering med 300 profesjonelle utviklere som deltakere *E. Arisholm, H.E. Gallis, T. Dybå and D.I.K. Sjøberg. Evaluating Pair Programming with Respect to System Complexity and Programmer Expertise, IEEE Transactions on Software Engineering 33(2): 65-86, 2007 IN2000/ Slide 26 13

14 Effekten av å bruke parprogrammering kommer an på Programmeringsekspertise Junior Mellomnivå Senior Oppgavekompleksitet Bruke PP? Kommentar Lett Ja Gitt at hovedmålet er god kvalitet Vanskelig Ja Gitt at hovedmålet er god kvalitet Lett Nei Vanskelig Ja Gitt at hovedmålet er god kvalitet Lett Vanskelig Nei Nei* * Med mindre oppgaven er svært for vanskelig, selv for en senior IN2000/ Slide 27 Plan Behov for metodekunnskap Metodekunnskap for utvikling av IT-systemer Case fra 2018 Case i år Typer forskningsmetoder Eksperiment Case-studie Etnografi Spørreskjema-undersøkelse (survey) Gruppeoppgave 2 IN2000/ Slide 28 14

15 Case-studier Eksperimenter svarer på hva effekten er, casestudier mer på hvordan og hvorfor Case-studier legger vekt på å studere fenomener i sine naturlige omgivelser Case-studier har få datapunkter og mange variable. Derfor generaliserer man ved bruk av teori, ikke statistikk som i eksperimenter IN2000/ Slide 29 Intervjuer ofte brukt i case-studier Strukturerte intervjuer Ø Spørsmålene definert på forhånd, veldefinerte svaralternativer. Kan kvantifisere (telle opp) hvor mange som svarer hva på hvert spørsmål Semistrukturerte intervjuer Ø Intervjuerne baserer seg på stikkord og spørsmål som evt. kan droppes underveis, og nye spørsmål kan stilles avhengig av hvordan intervjuet forløper Åpne (ustrukturerte) intervjuer Ø Forløper seg mer som en samtale mellom intervjuer og intervjuobjekt IN2000/ Slide 30 15

16 Plan Behov for metodekunnskap Metodekunnskap for utvikling av IT-systemer Case fra 2018 Case i år Typer forskningsmetoder Eksperiment Case-studie Etnografi Spørreskjema-undersøkelse (survey) Gruppeoppgave 2 IN2000/ Slide 31 Etnografi/observasjon IN2000/ Slide 32 16

17 Metode Dyp forståelse av folk, organisasjon og konteksten for arbeidet Forskeren observerer over lengre tid hva folk gjør og er mer involvert i gruppen som studeres enn i case-studier Personene som studeres trenger ikke å forklare hva de gjør IN2000/ Slide 33 Plan Behov for metodekunnskap Metodekunnskap for utvikling av IT-systemer Case fra 2018 Case i år Typer forskningsmetoder Eksperiment Case-studie Etnografi Spørreskjema-undersøkelse (survey) Gruppeoppgave 2 IN2000/ Slide 34 17

18 Spørreskjemaundersøkelser (Surveys ) IN2000/ Slide 35 Spørreskjemaer type spørsmål Numeriske verdier, for eksempel alder Svarkategorier, for eksempel stillingstype Ja/Nei-svar Ordinalskala som vanligvis er bedre for holdninger og preferanser. Tre typer Enighetsskalaer, f.eks. 5-nivå Likert-skala med kategoriene: sterkt uenig, uenig, verken uenig eller enig, enig, sterkt enig Frekvensskala, for eksempel aldri, sjelden, av og til, ofte, alltid Evalueringsskalaer: svært dårlig, dårlig, passe, god, veldig god Åpne spørsmål IN2000/ Slide 36 18

19 Gruppeoppgave 2 Hvilken metoder kan anvendes på hvilke kriterier? Innspill fra gruppene angitt i rødt på de neste slidene. IN2000/ Slide 37 Gruppe 1 Ikke funksjonelle: Nedetid på maks 15 minutter, tid mellom hver gang nede? Samle inn data over tid, evt. gjennomføre scenarier ved å pushe ny versjon eller oppdatering og teste om dette kan gjøres innen 15 minutter God arkitektur for videreutvikling Ekstern ekspertvurdering / tredjepart (ulempe å bruke en av app utviklerne fordi han/hun kjenner denne) Mulig å drive versjonshåndtering Høy nok sikkerhet (hva betyr det konkret?) Lav feilrate (mål på dette?) Rask responstid (mål på dette?) Følger designplattformer Ikke vise offensive bilder (nakenhet/blasfemi osv) (følge rating filmprodusenter) IN2000/ Slide 38 19

20 Gruppe 2 Som bruker ønsker jeg å benytte appen på både mine Android og mine ios devices. Jeg ønsker å ha samme opplevelse over alle plattformene. Observasjon/etnografi evt. spørreundersøkelser for å se om app en tilfredsstiller brukeren Som produkteier ønsker jeg at appen skal være enkel og billig å vedlikeholde i fremtiden (hvordan teste ut det? Hva betyr enkel og billig?) Som bruker ønsker jeg at appen skal være lett altså ta lite plass både i minne og lagring La folk bruke den og observer, men også intervjue brukerne (semistrukturert, men viktig å være åpen for at folk kan si det de har på hjertet). Som produkteier ønsker jeg at appen skal se profesjonell ut slik at jeg kan fremme mine interesser (hva betyr profesjonell? Følge standarder som brukes i app er som brukes i arbeidslivet/profesjonelt seriøsitet) Som produkteier ønsker jeg at appen skal være lett å koble opp mot mine andre produkter (f.eks. felles innlogging, lenker til relaterte tjenester) kompatibilitet Som buker ønsker jeg å kunne benytte meg av tredjeparts verifisering gjennom f.eks google eller facebook. IN2000/ Slide 39 Gruppe 3 Ikke-funksjonelle krav: Legal: ikke lekke søkehistorikk (konfidensialitet, personvern) La uavhengige sikkerhetsselskaper prøve å hente ut info som de ikke skal ha tilgang til Performance: 40 requests per 10. sekund Stresstesting Usability: easy to use. verdiløs dersom bruker ikke klarer å bruke appen (hvordan teste dette?) Observasjon Development req: det skal være mulig å oppdatere og vedlikeholde appen (hva betyr mulig?) Statisk og dynamiske analyseverktøy, spørreundersøkelse blant utviklere (hva synes de om koden de har jobbet med) IN2000/ Slide 40 20

21 Gruppe 4 Videreutvikling (relativt enkelt å videreutvikle, kompatibilitet) Eksperiment med et team som skal videreutvikle app en (test en ny tjeneste på alle 4 appene) Evt. ekstern ekspert som ser på koden til alle 4 app ene Enkel kode som følger godtatte standarder God versjonskontroll og dokumentasjon Brukbarhet (usability testing) Responstid på spørringer (ytelse/performance efficieny) eksperimenter Sikker (hva betyr det i praksis?) Dersom vi har brukerinformasjon så er dette ekstra viktig IN2000/ Slide 41 Plan Behov for metodekunnskap Metodekunnskap for utvikling av IT-systemer Case fra 2018 Case i år Typer forskningsmetoder Eksperiment Case-studie Etnografi Spørreskjema-undersøkelse (survey) Gruppeoppgave 2 IN2000/ Slide 42 21

22 Summegruppeoppgave Foreslå 2-3 kvalitetskriterier dere vil bruke til å evaluere app en etter tre ukers utvikling? Hvilke metoder vil dere anvende? IN2000/ Slide 43 Prosessen påvirker resultatet Systemutviklingsprosessen vil påvirke kvaliteten både på prosjektet selv og systemet som utvikles Måten man jobber på påvirker også arbeidsmiljøet (trivsel, motivasjon, kompetanseutvikling etc.) som igjen påvirker prosjekt- og produktkvalitet Din kompetanse og måten du og ditt team jobber på avgjør hvordan prosjektet og sluttproduktet blir! IN2000/ Slide 44 22

23 Oppsummering Evaluering av et produkt (og prosess) kan gjøres mer eller mindre vitenskapelig God forskningsmetode gir pålitelig kunnskap Bruk av forskningsmetode krever kompetanse og tilstrekkelig med ressurser IN2000/ Slide 45 23