Introduksjon til evaluering av It-systemer. Hvordan vurdere og verdsette?

Transkript

1 Introduksjon til evaluering av It-systemer Hvordan vurdere og verdsette?

2 Bør jeg gå på forelesning i dag? Grunner for eller imot: Interessant/kjedelig tema God/dårlig foreleser Kan lese forelesningene på nett istedenfor Jeg kan/kan ikke temaet fra før Har ikke tid Er sliten, var på kroa Må møte de andre i prosjektgruppen Andre argumenter Jeg vurderer alle grunnene for å gå eller ikke og konluderer: Jeg går på forelesning i dag!

3 Evaluere - Bokmålsordboka Evaluere Vurdere, verdsette, gi karakter for. Vurdere Bedømme, verdsette. Bedømme Dømme om Verdsette Vurdere, taksere, sette pris på Foreta en vurdering av systemet og nytten det har for brukerne. En systematisk innsamling av data som gir informasjon om nytteverdien systemet har for en spesiell bruker eller brukergrupper for å løse en arbeidsoppgave i en gitt situasjon.

4 Hva er da en evaluering? Det er en aktivitet som bygger på bruk av kunskap, metode, valg og handlinger Den bruker anerkjente metoder for å komme til et troverdig resultat Vurdere bestemte egenskaper etter å ha valgt kriterier som beskriver det vi vil evaluere Trekke konklusjoner, forutse konsekvenser og komme med anbefalinger som bygger på vurderingen av kriteriene Resultatet er anbefalingen som foreligger når evalueringen er gjennomført.

5 Overordnede evalueringsperspektiver Dokumentasjonsperspektivet Evaluerer OM Om noe er vellykket / ikke vellykket Beskriver hvordan noe er Summativ Fortolkningsperspektivet Evaluerer HVORFOR Hvorfor noe er vellykket / ikke vellykket Beskriver hvorfor noe er blitt som det er blitt Normativ

6 To typer evaluering Summative - kvantitative Hvor mange vil ha system A, B ellerc? Datainnsamling Spørreskjema, observasjoner, statistikk, intervjuer, casestudier, egenevaluering Formative kvalitative Hvor godt passer systemet til arbeidet vårt? Best for et kvalitetssikring- og læringsperspektiv

7 Summativt og normativt 2009 NRKs Kyrre Nakkim tror Frp vil gjøre sitt beste stortingsvalg. De har aldri hatt et bedre utgangspunkt før et valg. Tidligere gjorde de det bra på målingene midt i perioden, men falt under valgkampen. Nakkim tror tanken om en Frp-regjering har satt seg hos velgerne, og det gjør at partiet klarer å holde på dem selv om valget er bare to måneder unna. Samtidig har Frp en høy velgerlojalitet.

8 Andre perspektiver for evaluering Kvalitetssikrings-perspektivet Forsikre om at systemet fungerer slik det skal. Lærings- og utviklings-perspektivet Bli bedre kjent med hvordan systemet virker

9 To tidsperspektiv På forhånd - beslutte et valg Resultatet er ukjent Hvilket system bør virksomheten anskaffe? I ettertid - avklare hvor godt valget var Resultatet er kjent Hvor godt oppfylte systemet forventningene?

10 Evaluering på forhånd - selecting Foreta en anskaffelse Selecting Finne kriterier - Normativt Sammenligne kriterier - Summativt Presentere et beslutningsgrunnlag - Normativt Komme med en anbefaling - Normativt Denne evalueringen er dokumentasjon av en forventning

11 Evaluering i ettertid Sammenligne kriterier før og etter Å finne kriteriene - Normativt Å sammenligne kriteriene - Summativt Resultatet - Summativt Denne evalueringen er dokumentasjon av hvordan forventningen ble oppfylt

12 Dokumentasjons-perspektivet Det skal utføres et meget viktig arbeid Ser nytten av evalueringen å produsere kunnskap til beslutningstakere Det stilles strenge krav til objektivitet når resultatet skal føre til en beslutning Troverdighet er viktig fordi beslutningen skal gjennomføres. Evalueringen må kunne gjentas av andre og de må komme til samme resultat.

13 Mer om dokumentasjons-perspektivet Kan brukes på flere systemnivå Systemet, prosessen, programevalueringer Avklare om et mål er oppnådd eller ikke Vurdere langtidseffekter av en gitt innsats Har innsatsen gitt effekter som forventet?

14 En metode for å evaluere Lage en liste med kriterier ut fra behov og bruk Prioriter hvert kriterium Vekte hvert kriterium Estimer en verdi for hvert kriterium hos hvert produkt Velge produktet med størst poengsum? Listen blir subjektiv da den er laget ut fra vår kunnskap Kriterium Prior Pr1 Vekt Pr2 Vekt Pr3 Vekt Brukergrensesnitt Går også på UNIX Pris Troverdig leverandør

15 Besvare kroners-spørsmålet Hvilken software er den beste for min bedrift? Den beste software for min bedrift er den som gir: størst verdiskapning? mest tilfredse brukere? beste kost/nytte-effekt? best for kundene? Den beste software for min bedrift er ikke nødvendigvis den beste for din eller en annen bedrift

16 Det endelige valget Hva er de viktigste utfordringene når bedriften skal velge software? Det er to viktige utfordringer når en bedrift skal velge software er muligens: At alle brukerønskene er oppfylte og Å unngå overraskelser etter kjøp og innføring Å ta med brukerne i evaluerings- og valgprosessen Å foreta en fullstendig analyse av systemet Å gjennomføre en strukturert demonstrasjon kan løse begge utfordringene.

17 Testing er og en slags evaluering Evaluering Avklare hvor godt produktet oppfyller kravene Evalueringen og evalueringsdokumentasjonen er en viktig dokumentasjon for å vise hvor godt programmet fyller kravene som forutsatt under gitte betingelser Testing Avklare om produktet oppfyller kravene Testingen og testdokumentasjonen er en viktig dokumentasjon for å vise at programmet fyller kravene som forutsatt Når mange tester utføres på samme system er dette en måte å evaluere systemet på