Forskningsmetoder. INF1050: Gjennomgang, uke 13

Transkript

1 Forskningsmetoder INF1050: Gjennomgang, uke 13

2 Kompetansemål Forskningsmetoder Hva? Hvorfor? Empiriske forskningsmetoder Eksperiment Case-studier Etnografi Aksjonsforskning Spørreskjema Systematisk litteraturstudie

3 Del I: Teori Grunnleggende: Hva og hvorfor? Ulike empiriske forskningsmetoder

4 Forskningsmetoder: Hva? Forskning Grundig og systematisk granskning av et fenomen Mål Ny viten og økt kunnskap Forskningsmetode Hvordan kunnskap dannes Hva er det vi egentlig ønsker å vite mer om? Hvordan skal vi gå frem for å oppnå kunnskapen vi ønsker? Hvilke strategier / metoder skal vi implementere? Forskningsmetoder er kontekstavhengige Den beste metoden avhenger av hva vi ønsker å granske / vite mer om

5 Forskningsmetoder: Hvorfor? Hva er grunnen til at man har utviklet ulike forskningsmetoder? Hvorfor er valg av forskningsmetoder viktig i systemutvikling?

6 Forskningsmetoder: Hvorfor? Forskning i systemutvikling Vi tar mange valg Prosessmodeller, metoder, teknikker, praksis, verktøy, språk, osv. Hvordan velger vi det som passer best? Hva ligger til grunne for å ta slike valg? Valg baseres ofte på trender, hype, og synsing fra guruer / eksperter. Man velger ofte det man kjenner best til Ideelt bør valg i systemutvikling baseres på empiriske undersøkelser Empiri = Erfaringsmessig Baserer seg på erfaring / observasjoner fra virkeligheten

7 Forskningsmetoder: Hvorfor? Viktig å kjenne til ulike metoder for evaluering Gir et bedre beslutningsgrunnlag Sentrale faktorer for systematisk evaluering Evnen til å forstå og nyttiggjøre resultater fra forskning Evnen til å stille kritiske spørsmål til påstander / funn / konklusjoner Stor risiko ved vilkårlig innføring av teknologi Innføring av ny teknologi kan være ressurskrevende Tid og kostnader Nødvendig med grundige kost/nytte-evalueringer av flere alternativer Utfordring Hvordan gjennomføre slike evalueringer? Hvordan tolke resultatene?

8 Hvordan definerer vi problemet? Valg i systemutvikling starter med et problem / spørsmål. Hvordan kan vi gå frem for å definere problemet?

9 Hvordan definerer vi problemet? Still de riktige spørsmålene Er det lurt å bruke UML? Er Scrum bedre enn fossefall? Er helikopter bedre enn sykkel?

10 Hvordan definerer vi problemet? Still de riktige spørsmålene Er det lurt å bruke UML Er Scrum bedre enn fossefall Er helikopter bedre enn sykkel I den riktige konteksten Hvis jeg skal modellere en database? For utviklere av et sikkerhetskritisk system? For å komme seg fra Blindern til Forskningsparken? Uten å oppgi kontekst (se helheten) er spørsmålene meningsløse!

11 Hvordan definerer vi problemet? Må definere betingelser og avgrensninger Hvilke oppgaver skal utføres? På hvilke systemer? Hvem skal utføre disse oppgavene? Hvilken type organisasjon er vi? Hvordan ser de teknologiske omgivelsene ut? Hvilke øvrige ressurser må vi ta hensyn til? Hvor partisk er jeg til de ulike forslagene? Viktig å vite hva man egentlig vil undersøke Samt hvilke betingelser som gjelder Vi er ute etter konteksten!

12 Empiriske forskningsmetoder Eksperiment (HVA?) Hva er et eksperiment?

13 Empiriske forskningsmetoder Eksperiment (HVA?) Hypotesetesting Støtte, avkrefte, validere Årsak-virkning Hva fører til hva? Systematisk manipulering av fenomenet som studeres (gjennom variabler) Case-studie (HVORFOR?) Hva er en case-studie?

14 Empiriske forskningsmetoder Eksperiment (HVA?) Hypotesetesting Støtte, avkrefte, validere Årsak-virkning Hva fører til hva? Systematisk manipulering av fenomenet som studeres (gjennom variabler) Case-studie (HVORFOR?) Studere fenomen i naturlige omgivelser Ulike typer Single case studies / Multiple case studies Sammenlignende studier Longitudinal case studies

15 Empiriske forskningsmetoder Aksjonsforskning Hva er aksjonsforskning?

16 Empiriske forskningsmetoder Aksjonsforskning Ønsker ofte å løse et problem / forbedre en situasjon Praksis og teori tett integrert Ønsker å lære av hverandre Forskere og ansatte erfarer sammen Hva er problemene / utfordringene? Proaktiv forskningsmetode Litteraturstudie Hva er en litteraturstudie?

17 Empiriske forskningsmetoder Aksjonsforskning Ønsker ofte å løse et problem / forbedre en situasjon Praksis og teori tett integrert Ønsker å lære av hverandre Forskere og ansatte erfarer sammen Hva er problemene / utfordringene? Proaktiv forskningsmetode Litteraturstudie Tar i bruk eksisterende litteratur for å utvikle teorier (eller som beslutningsgrunnlag) Finn / evaluer / sett sammen studier Helhet (syntese) Studiene bør ha likhetstrekk til det man ønsker å utforske

18 Empiriske forskningsmetoder Etnografi Hva er etnografi?

19 Empiriske forskningsmetoder Etnografi Forsker observerer (over lengre tid) hvordan folk oppfører seg Innsikt / forståelse i hvordan arbeidsprosesser og organisasjoner fungerer Personer forklarer ikke hva de gjør, eller hvorfor Lager teorier fra det som observeres, fremfor å bruke teorier for å studere Spørreskjemaundersøkelser Hva er spørreskjemaundersøkelser?

20 Empiriske forskningsmetoder Etnografi Forsker observerer (over lengre tid) hvordan folk oppfører seg Innsikt / forståelse i hvordan arbeidsprosesser og organisasjoner fungerer Personer forklarer ikke hva de gjør, eller hvorfor Lager teorier fra det som observeres, fremfor å bruke teorier for å studere Spørreskjemaundersøkelser Innhenting av meninger gjennom et forhåndsdefinert skjema Lager statistikk og tester hypoteser fra målpopulasjonens oppgitte meninger Krever lite ressurser for å nå ut til mange Kan være kvalitativ eller kvantitativ

21 Kvantitativ og kvalitativ metode Kvantitativ metode Hva kjennetegner kvantitative metoder?

22 Kvantitativ og kvalitativ metode Kvantitativ metode Fra quantitas Angår mengde eller omfang Data Tall Analyse Statistikk Kvantifiserende metode Uttrykke et fenomen i målbare størrelser Kvalitativ metode Hva kjennetegner kvalitative metoder?

23 Kvantitativ og kvalitativ metode Kvantitativ metode Fra quantitas Angår mengde eller omfang Data Tall Analyse Statistikk Kvantifiserende metode Uttrykke et fenomen i målbare størrelser Kvalitativ metode Fra qualitas Angår kvalitet Data Tekst Analyse Må tolkes Utforskende metode Ønsker å forstå underliggende årsaker til et fenomen

24 Gjennomgang av ukesoppgaver Ukens tema: Empiriske forskningsmetoder

25 Oppgave 1 Du er ansatt i et firma som utvikler programvare. Utviklingssjefen har foreslått å innføre bruk av UML fordi han har lest at forskning viser at det er nyttig. Samtidig innvender en av arkitektene at hun har hørt at forskning viser at det er bortkastet å bruke tid på å lage UML-diagrammer.

26 Oppgave 1(a) Hvordan kan det ha seg at forskning har kommet frem til tilsynelatende motstridende resultater?

27 Oppgave 1(a): Løsningsforslag Hvordan kan det ha seg at forskning har kommet frem til tilsynelatende motstridende resultater? Vi kjenner ikke til konteksten Ulike avhengige variable Noen studier kan ha målt effekten av å bruke UML-diagrammer i tid til å forstå kode Andre studier kan ha målt effekten av å bruke UML-diagrammer i antall feil Hvis det er tid som måles Enkelte studier kan ha inkludert tid som kreves for selve modelleringen Andre studier kan ha utelatt denne tiden

28 Oppgave 1(a): Løsningsforslag Hvordan kan det ha seg at forskning har kommet frem til tilsynelatende motstridende resultater? Ulike omgivelser Ulik størrelse på bedriftene og prosjektene som ble studert Ulike anvendelsesområder (type systemer) Ulikt omfang Enkeltstudier Sekundærstudier Analyse av resultater fra mange studier Mer pålitelig?

29 Oppgave 1(b) Lag et forslag til design av et eksperiment for å evaluere effekten av UML i dette firmaet.

30 Oppgave 1(b): Løsningsforslag Lag et forslag til design av et eksperiment for å evaluere effekten av UML i dette firmaet. Hva kjennetegner et eksperiment? Kommer fra latin experiri; prøve Undersøker årsak-virkning Hva om? Manipulerer fenomenet man studerer, for deretter å måle virkningen Foretas gjentatte ganger Forskningsmetode for å støtte / avkrefte / validere en hypotese Varierende omfang Fra svært omfattende til veldig små

31 Oppgave 1(b): Løsningsforslag Lag et forslag til design av et eksperiment for å evaluere effekten av UML i dette firmaet. Elementer i et eksperiment Forarbeid Undersøk problemområdet Definer problemet Problemet må være målbart Hypotese Utsagn som skal bekreftes / avkreftes Undersøkelse Gjennomfør eksperimentet i henhold til planen Resultater Loggfør resultatene Diskusjon og analyse Generalisering ved bruk av statistikk

32 Oppgave 1(b): Løsningsforslag Lag et forslag til design av et eksperiment for å evaluere effekten av UML i dette firmaet. Bruk av variabler i eksperimenter Uavhengig variabel Årsaksvariabel Den variabelen vi er interessert i å studere virkningen av Endres av forskeren Avhengige variabler (Resultatvariabler) Endrer seg som følge av endringer i den uavhengige variabelen Kontrollerte variabler Variabler man ønsker å holde konstante / uten endring

33 Oppgave 1(b): Løsningsforslag Lag et forslag til design av et eksperiment for å evaluere effekten av UML i dette firmaet. Må avgrense oppgaven Definere tydelige rammer for eksperimentet Hva innen UML? Forslag: Sekvens- og aktivitetsdiagrammer Hvilke typer oppgaver? Forslag: Oppdatere eksisterende kode / programvare Hvilke grupper skal undersøkes? Forslag: Utviklere (hvilket nivå?)

34 Oppgave 1(b): Løsningsforslag Lag et forslag til design av et eksperiment for å evaluere effekten av UML i dette firmaet. Forslag til eksperiment Utgangspunkt: To grupper skal løse de samme oppgavene Metode: Sammenligner tid brukt på å løse oppgavene Inkludert tiden det tar for å oppdatere UML-dokumentene (med et verktøy) Variabler: Uavhengig variabel: Bruk av UML Avhengig variabel: Tidsbruk Kontrollerte variabler: Alle bruker samme verktøy for å oppdatere dokumentene

35 Oppgave 1(c) Lag et forslag til design av en case-studie for å evaluere effekten av UML i dette firmaet.

36 Oppgave 1(c): Løsningsforslag Lag et forslag til design av en case-studie for å evaluere effekten av UML i dette firmaet. Kjennetegn for case-studier Kvalitativ metode Studerer et fenomen i naturlige omgivelser Case-studier belyser hvordan og hvorfor Eksperimenter svarer i hovedsak på hva Teoriene styrer observasjon og analysen Generalisering ut ifra data Eksperimenter bruker statistikk

37 Oppgave 1(c): Løsningsforslag Lag et forslag til design av en case-studie for å evaluere effekten av UML i dette firmaet. Forslag til en sammenlignende studie Utgangspunkt Flere team utfører den samme oppgaven Halvparten bruker UML, den andre halvparten gjør ikke det Rapporter tidsforbruk på Dokumentasjon / Koding (og antall feil) Observasjon og gjennomføring av intervjuer Søker ytterligere kunnskap Er det noe tallene ikke viser?

38 Oppgave 2 Anta at du er utviklingssjef i en programvarebedrift (ca. 100 utviklere). Bedriften har i løpet av de siste to årene hatt to team som har brukt Scrum (smidig), resten har ikke. Du skal nå ta stilling til om hele bedriften skal gå over til Scrum. En fullstendig omlegging vil kreve endring av rutiner / opplæring, og vil kunne møte intern motstand. Det vil medføre ekstra kostnader på kort sikt. Du er også usikker på om det vil være noen gevinst knyttet til omleggingen. Du ønsker derfor å utføre en systematisk undersøkelse for å få et solid grunnlag for beslutningen som skal tas.

39 Oppgave 2 Lag et forslag til en undersøkelse som vil kunne gi et bedre beslutningsgrunnlag for hvorvidt en skal innføre Scrum i hele bedriften. Bruk gjerne flere empiriske forskningsmetoder i undersøkelsen.

40 Oppgave 2: Løsningsforslag Forslag til undersøkelser for innføring av Scrum i hele bedriften Etnografi (observasjon) La ett team (som ikke har brukt Scrum tidligere) prøve Scrum i et mindre prosjekt Observer deltakerne underveis i prosessen Følg opp observasjonen med intervjuer Case-studie (sammenlignende) La halvparten av teamene i bedriften bruke Scrum, andre halvparten gjør ikke det Begge grupper løser samme oppgave Ressurskrevende

41 Oppgave 2: Løsningsforslag Forslag til undersøkelser for innføring av Scrum i hele bedriften Spørreskjemaundersøkelser (surveys) Undersøk hva de ansatte mener om en eventuell omlegging Lag statistikk for disse meningene Utfordring Objektive / pålitelige svar Systematisk litteraturstudie Undersøk hva eksisterende litteratur sier om en eventuell omlegging Sett sammen enkeltstudier til en helhet (syntese) Velg relevante studier Hvilken kontekst gjelder for din bedrift?

42 Spørsmål? Ta kontakt Yulai Fjeld uio.no Husk å inkludere emnekoden! Andre gruppelærere Delta på gruppetimene

43 Takk til Foilene er basert på Tidligere presentasjoner laget av Emilie Hallgren og Kristin Brænden Eksisterende forelesningsnotater av Dag Sjøberg og Yngve Lindsjørn Sommerville, I. (2010). Software Engineering (9th Edition). Pearson.

44 Takk for meg Neste uke : Gjennomgang av oblig 2