Kort oppsummering av estimeringsundersøkelsen 20.4.2005 v. Magne Jørgensen Takk for sist! Som lovet kommer en oppsummering av resultatene fra eksperimentet. Selve eksperimentteksten finner dere bakerst i dette dokumentet. Studie 1 Her ønsket jeg å se om estimater er svært påvirkbare av "stemning". Jeg ba halvparten av dere om å gjennomføre en "future perfect thinking" og den andre halvparten en "future worst case thinking" før selve estimeringen. Hensikten var at det skulle ha en påvirkning på "mental mode" og at de med mer negativ "mental mode" ville være mer pessimistiske både med hensyn på estimat av egen karakter og på estimat på programmeringsoppgave. Resultat: Det var ikke så stor forskjell mellom gruppene, men forskjellen som fantes var i forventet retning, se Tabell 1 og Figur 1. TABELL 1 Forvented karakter A B C D E All "Positiv stemning" 3 14 21 6 0 44 "Negativ stemning" 2 8 22 6 3 41 All 5 22 43 12 3 85 Tabell 1 viser at det er noe flere A og B-er for gruppen med "future perfect thinking" og ingen E-er. Forskjellen er imidlertid liten. Dette kan skyldes at øvelsen ikke klarte å sette dere inn i riktig stemning, eller at det ikke er noen slik effekt på estimatene. Figur 1: Estimat per gruppe (means are indicated by lines) 200 Estimat 100 0 Positiv stemning Gruppe Negativ stemning
Figuren viser at det er en (svært liten) forskjell i retning av at negativ stemning førte med seg mer optimistiske estimater. Dere kan jo også merke dere den store forskjellen i estimater - fra under en time til 200 timer for å lage samme systemet. Forskjellen i hva man hadde fått som kunde hadde vært stor basert på denne spesifikasjonen. Studie 2 Her ønsket jeg å demonstrere for dere hvor viktig måten man spør på er for usikkerhetsangivelser. Den ene halvparten av dere skulle angi minimum-maximum arbeidsmengde hvor dere var 99% sikre på å inkludere virkelig arbeidsmengde. Den andre halvparten skulle angi sannsynligheten for å inkludere virkelig arbeidsmengde i intervallet 50%-200% av estimatet. Resultat: Gjennomsnittlig bredde på minimum-maximum intervallet var 1.1 (Bredde = (maximum - minimum)/estimat ). Intervallbredden på 50%-200% estimatene er på 1.5 (Bredde = (2*estimat - 0.5*estimat)/estimat=1.5 ). Med andre ord, bredden på intervallene for minimum-maximum gruppen var i gjennomsnitt mye smalere enn de for sannsynlighetsgruppen. Det er åpenbart at man bør være mindre sikker på å inkludere virkelig arbeidsmengde i et smalere intervall. Dersom måten man spør på ikke hadde noen effekt skulle dermed sikkerheten for minimum-maksimum gruppen være lavere enn den for sannsynlighetsgruppen. I virkeligheten var det stikk motsatt! I oppgaveteksten sto det at minimum-maksimum gruppen skulle være 99% sikre. Mao, burde sannsynlighetsgruppen (pga bredere intervaller) ha en sannsynlighet som var høyere enn 99%. De hadde imidlertid i gjennomsnitt en sikkerhet på 84%, dvs vesentlig lavere. Kun 8 i denne gruppen hadde en sannsynlighet høyere enn 99%. I tidligere studier har jeg funnet at sannsynlighetsmåten å spørre på gir mer realisme enn minimum-maksimum måten. Dette eksperimentet styrker meg i troen på dette. Mange av minimum-maksimum intervallene deres virket urealistisk smale! (En svakhet med studien er at det i tillegg kan ha vært en effekt fra stemning. Det er ulempen med å kombinere to eksperimenter i ett.) Annet: Det var ikke uventet en sterk sammenheng mellom karakter dere tror dere får på kurset og estimat. Det eneste overraskende er de 3 med karakteren E og lave estimater - men det litt for få til å trekke noen konklusjoner. Estimert karakter N Gjennomsnitt a 5 16,00 b 22 32,23 c 43 32,12 d 12 50,17 e 3 19,83 Er det noen som lurer på noe, eller ønsker mer informasjon så ta kontakt med meg på magnej@simula.no.
ESTIMERINGSUNDERSØKELSE - INF 1050-20.4.2005 a Hei! Denne undersøkelsen er i all hovedsak ment som en pedagogisk del av undervisningen. For at den skal ha ønsket effekt er det viktig at du gjør ditt beste og følger instruksjonene. Jeg kommer til å oppsummere resultatene og be kursansvarlig å legge dette på kurssidene. Besvarelsene er anonyme. Ikke alle har fått samme oppgaver. Varighet: Ca. 15 minutter. Magne Jørgensen OPPGAVE 1: "Future perfect thinking" Bruk litt tid (3-4 minutter) på å forestille deg at du har fullført kurset INF 1050, lært mye, opplevd at alle de gjenstående forelesningene og øvelsene har vært svært interessante, og gjort det svært godt på eksamen. Angi de tre viktigste årsakene til dette. 1. 2. 3.
OPPGAVE 2: Hvilken karakter tror du at du realistisk sett får på eksamen? Jeg tror jeg vil få karakteren på eksamen i INF 1050 OPPGAVE 3 (bruk max 10 minutter) Hvor lang tid tror du at du ville måtte ha på å fullføre følgende programmeringsoppgave? Spesifikasjon av programmeringsoppgave (Kundeinfo-systemet) Etter å ha studert ved IFI har du startet ditt eget firma, hvor kundene strømmer til. Du føler behov for å lage et system for å holde orden på informasjon om kundene, i første omgang deres navn, adresse og kundenummer. Lag et program som fra brukerens side har følgende oppførsel: Programmet skal tilby brukeren å lese inn informasjon om nye kunder. Programmet skal tilby brukeren å skrive ut på skjerm all informasjon om en bestemt kunde (dvs. kundenummer, navn og adresse). Brukeren skal kunne velge mellom å søke på kundenummer eller på navn. Dersom brukeren velger å søke etter et kundenummer, skal programmet spørre brukeren om å oppgi dette nummeret, og all informasjon om kunden med dette kundenummeret skrives ut på skjermen. Dersom det ikke finnes noen kunder med det oppgitte nummeret skal programmet opplyse brukeren om dette. Programmet skal oppføre seg tilsvarende dersom brukeren velger å søke etter en kunde basert på kundens navn. Bruk den teknologien du ønsker for å implementere systemet. Jeg tror jeg ville bruke ca. timeverk Jeg er så å si helt sikker (99% sikker) på at jeg ville bruke mellom (minimum) og (maksimum) timeverk
ESTIMERINGSUNDERSØKELSE - INF 1050-20.4.2005 b Hei! Denne undersøkelsen er i all hovedsak ment som en pedagogisk del av undervisningen. For at den skal ha ønsket effekt er det viktig at du gjør ditt beste og følger instruksjonene. Jeg kommer til å oppsummere resultatene og be kursansvarlig å legge dette på kurssidene. Besvarelsene er anonyme. Ikke alle har fått samme oppgaver. Varighet: Ca. 15 minutter. Magne Jørgensen OPPGAVE 1: "Future worst case thinking" Bruk litt tid (3-4 minutter) på å forestille deg at du har fullført kurset INF 1050, lært nesten ingen ting, opplevd at de gjenstående forelesningene og øvelsene har vært kjedelige, og du gjort det svært dårlig på eksamen. Angi de tre viktigste årsakene til dette: 1. 2. 3.
OPPGAVE 2: Hvilken karakter tror du at du får på eksamen? Jeg tror jeg vil få karakteren på eksamen i INF 1050 OPPGAVE 3 (bruk ca. 5 minutter) Hvor lang tid tror du at du ville måtte ha på å fullføre følgende programmeringsoppgave? Spesifikasjon av programmeringsoppgave (Kundeinfo-systemet) Etter å ha studert ved IFI har du startet ditt eget firma, hvor kundene strømmer til. Du føler behov for å lage et system for å holde orden på informasjon om kundene, i første omgang deres navn, adresse og kundenummer. Lag et program som fra brukerens side har følgende oppførsel: Programmet skal tilby brukeren å lese inn informasjon om nye kunder. Programmet skal tilby brukeren å skrive ut på skjerm all informasjon om en bestemt kunde (dvs. kundenummer, navn og adresse). Brukeren skal kunne velge mellom å søke på kundenummer eller på navn. Dersom brukeren velger å søke etter et kundenummer, skal programmet spørre brukeren om å oppgi dette nummeret, og all informasjon om kunden med dette kundenummeret skrives ut på skjermen. Dersom det ikke finnes noen kunder med det oppgitte nummeret skal programmet opplyse brukeren om dette. Programmet skal oppføre seg tilsvarende dersom brukeren velger å søke etter en kunde basert på kundens navn. Bruk den teknologien du ønsker for å implementere systemet. Jeg tror jeg ville bruke ca. timeverk Hvor sannsynlig tror du at det er at du ville komme til å bruke mellom 50% og 200% av estimert antall timeverk? Sannsynlighet: %