Grunnleggende om Evaluering av It-systemer
Hva er å evaluere? Foreta en vurdering av systemet og avklare nytten det har for brukerne. En systematisk innsamling av data som gir informasjon om nytteverdien systemet har for en spesiell bruker eller brukergrupper for å løse en arbeidsoppgave i en gitt situasjon.
Fire grunnleggende krav Hensikten med evalueringen må være avklart. Hva skal resultatene brukes til? Hvilke effekter skal evalueringen gi? Hva skal skje etterpå? Hvor finnes dataene som skal være med i evalueringen og hvordan skal de velges ut? Er de strukturerte eller ustrukturerte? Hvordan skal dataene samles inn og bearbeides for å gi et objektivt resultat? Er de som utfører evalueringen interessenøytrale? Finnes det skjulte interessekonflikter?
Hvorfor evaluere? Gjennomføre en objektiv vurdering, bedømmelse, av systemet Vurdere nytten brukerne har av systemet Vurdere egenskapene i systemet og hvordan brukerne kan utnytte disse på beste måte Avklare om brukerne er tilfredse med systemet og vil bruke det Avklare om systemet løser brukernes behov Foreta beslutning om kjøp eller integrasjon av programvare
Hvorfor evaluere? Overta ansvar for utvikling, markedsføring og vedlikehold et produkt Utarbeide spesifikke krav i en utviklingskontrakt Foreta beslutning om videreutvikling av programvare Programvaren holder ikke lenger definerte kvalitetsmål For å sikre produktkvalitet, kontrollere kostnader For å minimalisere forretningsrisiko Hvilke andre grunner har vi for å evaluere et system?
Evaluerer fordi Vise, bekrefte, avklare hvor godt et produkt oppfyller kravene som er fastsatt Bruker målbare kriterier som viser godt disse er oppfylt av produktet Utfordringen er å formulere gode kriterier Fire metoder Behovsanalyse nytteanalyse Oversiktsstudie Case studie Formelle eksperimenter - målinger
Forutsetninger Brukerne vil ha systemer som er Lette å lære og å bruke Effektive til å løse arbeidsoppgavene Sikre slik at data ikke forsvinner eller stjeles systemet ikke feilfungerer eller stopper Tilfredsstiller behovene i hans arbeidsdag Hvilke andre forutsetninger kan vi ta med?
Behovsanalyse - nytteanalyse Liste med verdier for hvert attributt Prioriter mellom kriteriene Vurder hvert kriterium og verdisette Kriteriene avhenger av bruk og produkt Listen blir ofte subjektiv Kriterium Produkt 1 Produkt 2 Produkt 3 Produkt 4 Brukergrensesnitt 5 3 3 4 Troverdig leverandør 2 4 4 1 Pris 5 4 2 2 Går også på UNIX 0 5 5 0
Avklare for evaluering Formulere entydig hva vi vil evaluere Økonomisystemet ØkoSyst gir bedre KostNytteeffekt enn ØkoFix. Hvilket av økonomisystemene ØkoSyst og ØkoFix gir best KostNytteeffekt? Er det forskjell mellom økonomisystemene ØkoSyst og ØkoFix når det glelder KostNytteeffekt? En sammenligning av KostNytteeffekt for økonomisystemene ØkoSyst og ØkoFix.
Avklare for evaluering Formulere entydig hva vi vil evaluere Hvilket av økonomisystemene ØkoSyst og ØkoFix gir best KostNytteeffekt Beslutte hvilke kriterier vi vil bruke og hvordan de verdsettes Årlig lisens for hver av systemene Vurdere om metoden vi bruker for å velge og verdsette kriteriene er meningsfull Er dette kriteriet vesentlig for resultatet?
Evalueringstabell Lage en liste med mange kriterier Velg kriteriene på grunnlag av bruk og produkt Prioriter mellom kriteriene Sett en verdi på hvert kriterium Velge produktet med størst poengsum Listen blir ofte subjektiv Kriterium Produkt 1 Produkt 2 Produkt 3 Produkt 4 Brukergrensesnitt 5 3 3 4 Troverdig leverandør 2 4 4 1 Pris 5 4 2 2 Går også på UNIX 0 5 5 0
Hva skal vi evaluere? IT-systemer som brukes i virksomheter Grensesnitt Funksjonalitet Brukervennlighet Kost/Nytteverdi Sikkerhet Psykososialt miljø Hvilke andre viktige egenskaper bør evalueres?
En enkel evalueringsmetode 1. Før evaluering 1. Velg evalueringsnivå 2. Velg evalueringsteknikk 2. Under evaluering 1. Utføre målingene 2. Registrere resultatene 3. Etter evaluering 1. Vurder resultatene opp mot forutsetningene 2. Gjennomfør en diskusjon og lag konklusjonen 3. Skrive evalueringsrapporten
Velg evalueringsnivå Kjapp tilbakemelding Vurder førsteinntrykket til utvalgte brukere Bruks/nytteverdi Brukerne gjennomfører forhåndsdefinerte arbeidsoppgaver og gir tilbakemelding Brukerobservasjoner Brukernes arbeidsmåte observeres av utenforstående Spør ekspertene Kjennskap til hvordan andre brukere har reagert i tilsvarende situasjoner tidligere Gjennomfør egne målinger i tillegg til alt ovenfor
Velg evalueringsteknikk Gjennomføre definerte brukersekvenser Observere brukerne Intervju brukerne om deres meninger Intervju ekspertene om deres meninger Hvilke andre teknikker kan brukes?
En annen metode Avklar målet med evalueringen Lag en liste med kriterier som skal måles i evalueringen Velg vurderingsnivå og hvordan kriteriene skal måles Avklar alle praktiske tiltak som må gjøres for å gjennomføre evalueringen Bestem hvordan resultatene skal bearbeides Gjennomfør evalueringen, rapporter og presentere/formidle resultatene Er det noen steg som mangler i metoden?
Konsekvenser av feil valg Systemet støtter ikke viktige forretningsprosesser eller støtten er dårlig Misfornøyde kunder, brukere Tap av markedsandeler Systemet blir ikke brukt eller det utvikler seg nye arbeidsmåter som ikke er optimale
Et utgangspunkt for evaluering Forstå rammebetingelsene og forutsetningene Hva vi ønsker/forventer at systemet skal gjøre Hva vi opplever at systemet gjør Kvaliteten Forskjellen mellom forventning og det i fikk Hvordan støttes arbeidet i virksomheten? Drift og vedlikehold av systemet Dokumentasjon av systemet Holde systemet oppe Hjelp når noe går feil Feilretting, endring og nyutvikling
En modell for evaluering og valg Løse dagens behov ITsystemet løser dagens arbeidsoppgaver Løse fremtidige behov ITsystemet løser fremtidige arbeidsoppgaver Implementering Tilpasning til maskiner, infrastruktur og installasjon av systemet Support Hvordan systemet videreutvikles og tilpasses nye behov i program og virksomhet Kostnader Alle kostnader ved å bruke systemet. Drift, vedlikehold, lisenser, reduksjon/økning av personalkostnader og estimering av alle ikke målbare størrelser som goodwill, personaltrivsel.
Struktur i en evaluering Kost/nytteanalyse Hvilke redusert kostnader fører systemet til? Hvilken økt nytte fører systemet til? Kravspesifikasjonen til systemet Hvordan/hvor godt er hvert krav oppfylt? Innføring av systemet Drift, vedlikehold og videreutvikling
Evaluering av kravene Beskriv systemets hovedfunksjoner fra forskjellige perspektiver i virksomheten: brukerens perspektiv ledelsens og ansattes perspektiv driftspersonalets perspektiv og vurder hvordan hver funksjon er løst. Vurder hvert delsystem som systemet består av på tilsvarende måte
Systemets livsløp - 1 Hvilke behov vil virksomheten løse? Hvilke behov skal systemet løse? Hvordan løses behovene? Grov beskriving av hvordan behovene løses Vurder kravspesifikasjon mot løsning Hvordan er programmene bygd opp? Utviklingsplattform, objektorientering, gjenbruk Feiltesting, svakheter, avgjørende valg
Systemets livsløp - 2 Innføring Undervise brukerne Lage et driftsmiljø: Maskin, personale, kontaktarbeid Forvaltning Drift Vedlikehold og videreutvikling Lage nye eller tilpasse rapporter Lage nye eller tilpasse funksjoner Rette alvorlige feil Lære opp brukere System- og brukerdokumentasjon Brukerhåndbok, hjelpfunksjonen
En del spørsmål - 1 Regner systemet riktig? Er systemet lett å lære/bruke? Gir systemet nyttige rapporter? Er det lett å lage nye rapporter? Hvordan samvirker systemet med andre systemer i virksomheten Hvordan er systemet å drifte Hvordan påvirker systemet virksomhetens organisering Er systemet forankret i ledelsen? Er brukergrensesnittet selvforklarende? Hvordan vil det gå om nøkkelpersoner slutter?
En del spørsmål - 2 Hvilke hovedoppgaver har systemet? Hvordan løses hovedoppgavene? Hvilke positive og negative påvirkninger har systemet på virksomheten Hvilken maskinplattform - ny eller som før? Proprietær eller åpen programvare? Har driftsavdelingen kompetanse til å drifte systemet?
5 spørsmål som kan evalueres 1. Fungerer systemet som forutsatt? 2. Brukes systemet som forutsatt? 3. Gir systemet resultater som forutsatt? 4. Fungerer systemet bedre enn systemet det erstatter? 5. Gir systemet bedre kost/nytte-effekt enn systemet det erstatter?
Og 5 til 6. Var opplæringen til de ansatte som forutsatt? 7. Gir systemet bedre samhandling mellom de forskjellige aktørene enn før? 8. Er de forventede langtidsvirkningene i virksomheten som forutsatt? 9. Fører bruk av systemet til økt kontroll i virksomheten? 10.Gir systemet mulighet til gevinstrealisering i forhold til systemet det erstatter?