Metoder for evaluering. Flere generelle RRISC

Transkript

1 Metoder for evaluering Flere generelle RRISC

2 En enkel evalueringsmetode 1. Før evaluering 1. Velg evalueringsnivå 2. Velg evalueringsteknikk 2. Under evaluering 1. Utføre målingene 2. Registrere resultatene 3. Etter evaluering 1. Vurder resultatene opp mot forutsetningene 2. Gjennomfør en diskusjon og lag konklusjonen 3. Skrive evalueringsrapporten

3 Velg evalueringsnivå Kjapp tilbakemelding Vurder førsteinntrykket til utvalgte brukere Bruksverdi Brukerne gjennomfører forhåndsdefinerte arbeidsoppgaver og gir tilbakemelding Brukerobservasjoner Brukernes arbeidsmåte observeres av utenforstående Spør ekspertene Kjennskap til hvordan andre brukere har reagert i tilsvarende situasjoner tidligere Gjennomfør egne målinger i tillegg til alt ovenfor

4 Velg evalueringsteknikk Gjennomføre definerte brukertester Observere brukerne Intervju brukerne om deres meninger Intervju ekspertene om deres meninger

5 En annen metode Avklar målet med evalueringen Lag en liste med kriterier som skal måles i evalueringen Velg vurderingsnivå og hvordan kriteriene skal måles Avklar alle praktiske tiltak som må gjøres for å gjennomføre evalueringen Bestem hvordan resultatene skal bearbeides Gjennomfør evalueringen, rapporter og presentere/formidle resultatene Er det noen steg som mangler i metoden?

6 En generell evalueringsmetode 1. Hvilket system skal vi evaluere? 2. Hva er hensikten - arbeidshypotesen? 3. Planlegging av evalueringen 4. Gjennomføring av evalueringen 5. Resultatene av evalueringen - diskusjoner 6. Rapportering, dokumentasjon og formidling

7 1. Hvilket system skal vi evaluere Bakgrunn for valget Hvorfor nettopp dette systemet? Kort beskrivelse av systemet Bruksområde Virksomhet Plass i organisasjonen Formelle opplysninger

8 2. Hva er hensikten - arbeidshypotesen En objektiv vurdering av kvaliteten Vurdering av spesielle deler i systemet Sammenligne med krav eller forventninger En vurdering for å analysere en påstand Vurdere hvilke positive eller negative effekter som er observert etter at systemet er tatt i bruk Sammenligne nåsituasjon med førsituasjon eller ønsket situasjon En vurdering for å kjøpe et system Hvilket av økonomisystemene ØkoSyst og ØkoFix gir best KostNytteeffekt for oss

9 3. Planlegging av evalueringen Hvilke deler skal evalueres? Grensesnitt, Sikkerhet, Rapporter, Alt? Hvordan skal evalueringen gjennomføres? Beskrive fremgangsmåten som skal brukes Hvordan skal resultatene måles? Objektive målinger og vurderinger Hvilke kriterier skal brukes? Definere meningsfylte kriterier som uttrykker noe om det som evalueres

10 4. Gjennomføring av evalueringen Utføre arbeidet og registrere resultatene i henhold til planen som er beskrevet i punkt nr. 3

11 5. Resultatene av evalueringen - diskusjoner Beskrive resultatene eller forskjeller mellom resultat og forventning Vurdere resultatene og drøfte hva de betyr for sluttevalueringen av systemet. Forklare eller drøfte hvorfor enkeltresultater er blitt slik de er eller oppfattet eller.

12 6. Rapportering, dokumentasjon og formidling Lage en sluttrapport som beskriver hele evalueringsprosessen Beskrive prosjektgjennomføringen Rapportere resultatene og drøftingene av de 5 første stegene Oppsummere sluttresultatet av evalueringen Foreslå endringer eller forbedringer av systemet eller evalueringsprosessen Presentere rapporten for dem det angår Reflektere over nytten virksomheten har hatt av å gjennomføre prosjektet Begrunne hva som gikk bra, mindre bra eller burde vært gjort annerledes. Forklare hvordan virksomheten kan gjenbruke arbeidet ved en ny fremtidig evaluering av et system

13 RRISC - metoden Nathan Hollander BBISK på norsk

14 Innholdet B - Dagens behov Hvordan tilfredsstiller systemet dagens behov? B - Fremtidens behov Hvordan kan systemet tilpasses fremtidige behov etter hvert som de blir kjent? I - Implementering Hvor lett er det å implementere systemet S - Support og vedlikehold Hvordan ivaretar leverandøren support og vedlikehold? K - Kostnader Hva er totalkostnadene ved å kjøpe, implementere, drifte og videreutvikle systemet? Økte eller reduserte personalkostnader skal inngå i totalkostnadene.

15 Skjema - viktighet Grad av viktighet Tallverdi Uhyre viktig 40 Meget viktig 35 Viktig 30 Litt over passe viktig 25 Passe viktig 20 Litt under passe viktig 15 Lite viktig 10 Meget lite viktig 5 Ingen betydning Brukes ikke 0

16 Skjema - prioritering RRISC - kriterium Behovet Pakke A poeng Pakke A veiet Pakke B poeng Pakke B veiet Nåkrav 30 Fremtidige krav 25 Implementering 20 Drift, support og vedlikehold 15 Kostnader 10 Annet Sum 100

17 Spesialdiagram Nå Kost 10 0 Fram Supp Impl