Evaluering av IT-systemer 2009

Evaluering av IT-systemer 2009 Kompendium til evalueringsdelen Kompendiet dekker de viktigste temaene i evalueringsdelen Kåre Sorteberg Kursansvarlig August 2009 1

Innhold Innledning... 3 CH1 - Grunnleggende om evaluering... 4 Begrepsapparatet... 4 Forklaring av noen begrep... 4 Nyttig kompetanse fra andre fagområder... 6 Evaluering av software som prosjektarbeid... 6 Metodebruk... 7 Rapportering og rapportskriving... 7 Egenevaluering og erfaringsoverføring... 9 Evalueringens psykologi... 9 Kvalitetssikring av informasjon på internett... 9 Gode arbeidsvaner... 10 Sammenheng mellom utvikling, testing og evaluering... 11 CH2 - Hvordan finne evalueringskriterier... 13 Forskjellige virksomheter, forskjellige behov, forskjellige kriterier... 13 Hvordan finne kriterier?... 13 Gjennomgå strategi- og forretningsplaner... 13 Andre innspill... 13 ldedugnad... 14 Fra kriterier til sjekkliste... 15 Fra sjekkliste til beslutningsmatrise... 15 CH3 - Evaluering, valg og kjøp av programvare.... 16 En måte for å velge software og leverandør... 16 Formuler virksomheten egne krav... 16 Beskriv målsetningen med innføringen... 16 Reduser størrelsen på forespørselen... 17 Valg av leverandør... 17 Foreta en grovsiling... 18 Lytt til andres råd.... 18 Bruk av konsulenter... 18 Engasjer ledelsen... 18 Sjekk leverandørens referanser.... 19 Planlegg installasjonen før kontrakten signeres... 19 CH4 - Praktisk evaluering - evalueringsprosessen... 20 Hjelpemidler... 20 Sjekklister... 20 Beslutningsmatrise/Evalueringsmatrise... 20 CH5 - Evaluering og brukerperspektiver... 22 Kost- Nytte perspektivet... 22 Gevinster og kostnadsreduksjoner... 22 Kost/nytteeffekt... 22 Kost- Nytte beslutningstabell... 22 Personvern-perspektivet... 23 2

Innledning Daglig må vi foreta valg. Ubevisst gjør vi en kort analyse av hvilke alternativer som er tilgjengelige. Deretter foretar vi en kort evaluering av hvilke resultater hvert av alternativene kan ende opp i, og til slutt foretar vi valget. Slik er det også når vi skal velge software. Det finnes knapt et yrke, en organisasjon eller et industriprodukt som ikke benytter software i en eller annen form. Resultatet er nye muligheter og løsninger på utfordringene i nærings- og samfunnslivet. I transportsektoren brukes software til mange formål. Det kan være å overvåke veitrafikk, lede lufttrafikk, kreve inn avgifter på bomstasjoner og spore gods og pakker. GPS hadde ikke vært i drift uten software. I moderne biler styres motor, kraftoverføring og bremser av innebygde mikroprosessorer med softvare. De fleste virksomheter velger å kjøpe ferdigutviklet hyllesoftware, Commercial Off-The- Shelf (COTS), og derfor er det viktig at programmene fungerer tilfredsstillende. Kjøperne har ingen innvirkning på funksjonalitet, brukskvalitet, grensesnitt eller andre viktige egenskaper fordi COTS vanligvis selges som en pakke sammen med brukerdokumentasjonen. Ofte er opplysningene på omslaget eneste måten produsent eller leverandør kan kommunisere med kundene på. Det er derfor viktig at informasjonen er så fullstendig at kjøperne kan foreta en vurdering av kvaliteten og nytten i forhold til deres behov før kjøpet. Å velge software med best mulig kvalitet er viktig fordi softwaren skal kunne fungere i forskjellige miljøer, under forskjellige betingelser, med alle typer brukere og ofte uten mulighet til å testes eller sammenlignes med andre produkter på forhånd. For å kunne finne og velge softwaren som er best egnet i en gitt situasjon er det viktig å lære seg å vurdere kvalitet og nytteverdi på ethvert IT-system til enhver bruk i en hvilken som helst virksomhet eller organisasjon. Mange som skal bruke software i sitt daglige arbeid har behov for å avgjøre Hvilken software er jeg best tjent med å anskaffe meg? Den beste måten å finne ut dette på er å gjennomføre en systematisk evaluering av softwaren som finnes og kjøpe den som er best til oppgaven som skal utføres. 3

CH1 - Grunnleggende om evaluering Får å evaluere software er det viktig å ha et begrepsapparat. Det er nyttig når vi skal forklare andre hva vi har gjort, og være sikre på at de mener det samme som oss. Kapitlet starter med å forklare noen av begrepene som benyttes i kurset litt grundigere enn det som står i terminologilisten. Deretter tar det for seg noen kompetanseområder som kan brukes i forbindelse med en evaluering før det til slutt beskriver sammenhengen mellom utvikling, testing og evaluering av software. Begrepsapparatet Å evaluere software vil si å vurdere og å verdsette hvor godt den passer til arbeidsoppgavene den skal brukes til i en bestemt sammenheng. Mens utvikleren lager programmet og testeren dokumenterer at det er laget slik spesifikasjonen sier starter evalueringen vanligvis når programmet skal anskaffes. Dermed blir evalueringen en vurdering av hvor godt softwaren passer til arbeidet som skal utføres. Forklaring av noen begrep Evaluere Evaluere: Vurdere, bedømme, verdsette, gi karakter for, taksere, sette pris på Evaluere software Å evaluere software kan defineres som: En systematisk innsamling av data som gir informasjon om nytteverdien systemet har for en spesiell bruker eller brukergrupper for å løse en arbeidsoppgave i en gitt situasjon. Evalueringen kan skje til forskjellige tider og på forskjellige nivåer i en anskaffelsesprosess. Det er viktig når en vil kjøpe ferdigutviklet hyllesoftware, Commercial Off-The-Shelf, (COTS), eller bruke freeware eller shareware. Dersom programvaren spesialutvikles eller spesialtilpasses bør evalueringen skje samtidig med utviklingen, testingen eller tilpasningen. For å kunne evaluere softvare er det nødvendig å beskrive kravene eller kriteriene som systemet skal måles opp mot og hvor viktige hvert av kriteriene er for valget av softvaren. Det er også nødvendig å prioritere mellom kriteriene når vurderingen gjennomføres. Hvert kriterium vektes og ved evalueringen tilordnes en verdi for hvert kriterium. Til slutt summeres alle verdiene av alle kriteriene for hvert softwareprodukt. Hvilken software som til slutt skal velges kan avgjøres på flere måter. En er å velge den som får størst sluttsum, en annen å velge den som oppfyller flest krav fullstendig. En fare er at listen med kriterier kan blir subjektiv. Den tar utgangspunkt i vår egen forståelse av arbeidsoppgavene. Om ikke denne er riktig kan evalueringen bli feil. Er en usikker på om evalueringen bør gjennomføres eller ikke kan en stille følgende spørsmål: Hva vil det bety for valget av programvare om vi ikke gjennomfører evalueringen? Viktige deler av evalueringen består i å vurdere brukskvalitet, grensesnitt og om softwaren passer til eller kan tilpasses arbeidsmåtene som brukes i virksomheten. Ikke-funksjonelle tester er og en slags evaluering av programvaren. Andre sider som kan evalueres er, Kost-/Nytteverdi, Personsikkerhet, Informasjonssikkerhet, Psykososialt miljø alt ettersom hvilke sider av bruken det legges vekt på. 4

Kvalitet Helhet av egenskaper en enhet har som vedrører dens evne til å tilfredsstille uttalte og underforståtte behov. Begrepet enhet kan være prosess, produkt, organisasjon eller en kombinasjon av disse. Begrepet behov blir vanligvis omformet til egenskaper med fastsatte kriterier eks anvendelighet, pålitelighet, sikkerhet, miljø, estetikk. Softwarekvalitet Helhet av egenskaper og kjennetegn som softwaren har, og som vedrører dens evne til å tilfredsstille fastsatte krav eller behov som er beskrevet tidligere. Etter ISO 9126 beskrives softwarekvaliteten ved følgende 6 egenskaper: Funksjonalitet, pålitelighet, anvendbarhet, effektivitet, vedlikeholdbarhet og flyttbarhet. Når et system fungerer slik vi forventer i forhold til spesifikasjonen sier vi at det har en meget god kvalitet. Jo bedre det faller sammen med våre forventninger desto mer fornøyde er vi, og jo bedre syns vi kvaliteten er. Metode Metode er en framgangsmåte, et middel til å løse problemer og komme fram til ny kunnskap. Et hvert middel som tjener dette formålet, er en metode. Brukskvalitet Brukskvalitet: Den opplevde kvaliteten av et produkt i bruk. Brukskvalitet beskriver i hvilken grad et produkt kan brukes av bestemte brukere med bestemte mål for Anvendbarhet, Effektivitet og Tilfredsstillelse i bestemte omgivelser. Brukskvalitet er den norske oversettelsen av det engelske usability, fastslått av Norsk Språkråd i 1994 på forespørsel av Dataforeningens faggruppe for brukervennlige IT-systemer. Brukskvalitet er et viktig begrep ved en evaluering da den forteller hvilken nytte eller opplevd kvalitet brukeren har av systemet. En mobiltelefon har god brukskvalitet så lenge den befinner seg i et område med god mobildekning. Utenfor dekningsområdet et brukskvaliteten liten eller er ikke til stede i det hele tatt. Nytten av et program som bare kan kjøres under LINUX er liten om det skal brukes i et windowsmiljø. Brukskvalitet er en kontekstavhengig egenskap ved systemet. Det er bare meningsfylt å evaluere brukskvalitet når vi vet hvem som skal bruke systemet, hva de skal bruke det til og i hvilken sammenheng. Kontekstavhengig egenskaper er egenskaper som ikke oppfattes likt av alle. Kontekstuavhengige egenskaper som vekt, størrelse, farge eller prosessorhastighet er egenskaper som oppfattes likt av alle. Et system brukskvalitet hvis det er: Lett å lære, så brukere kan og raskt fra å ikke kjenne systemet til å gjøre noe arbeid. Effektivt, lar ekspertbrukeren oppnå en høy grad av produktivitet. Lett å huske, så brukere med lav brukshyppighet kan returnere etter en periode med inaktivitet uten å måtte lære alt på nytt. Relativt feilfritt og feiltolerant, slik at brukere ikke gjør mange feil, og at disse feilene ikke er katastrofale (og at man lett kan ta seg inn igjen) Behagelig å bruke, tilfredsstiller brukerne subjektivt, slik at de liker å bruke systemet. 5

Nyttig kompetanse fra andre fagområder Evaluering av software som prosjektarbeid Evaluering av software har mange fellestrekk med prosjektarbeid fordi det: Er en engangsoppgave. Tilsvarende software skal ikke evalueres i overskuelig fremtid Har et definert mål der hensikten er klart definert på forhånd og det skal foreligge en løsning. Trenger en egen midlertidig organisasjon som oppløses når evalueringen er ferdig Er tidsavgrenset. Arbeidet starter når systemet skal er besluttet å evalueres og avsluttes når evalueringen er ferdig. Er tverrfaglig og komplekst. Evalueringen trenger medarbeidere fra alle avdelingene som påvirkes softwaren, både de som har ansvar og de som er brukere. Organisering av evalueringen Når evalueringen skal organiseres må følgende avklares: Forholdet mellom linjeorganisasjonen og evalueringsgruppen Gruppens interne organisering Oppdragsgiver Oppdragsgiver kan være styrets leder, administrerende direktør, leder for avdelingen som skal betale softwaren og evalueringen eller den han delegerer oppgaven til. Oppdragsgiver utformer vanligvis mandatet og hva resultatet skal være. Styringsgruppe Om det er behov for en styringsgruppe vil dens viktigste oppgaver være å: Avklare hvilke systemer som skal evalueres eller anskaffes Utnevne prosjektleder Gi retningslinjer for prosjektets organisering Godkjenne tids- og ressursplaner Ta avgjørelser om viktige evalueringsspørsmål som oppstår (endring av mål, tilføring av ekstra ressurser, nye eller endrede evalueringskriterier) Sørge for at evalueringen avsluttes med en konkret konklusjon Referansegruppe Om det er behov for en referansegruppe vil dens viktigste oppgaver være å: Komme med faglige råd Delta i korrigerende diskusjoner med evalueringsgruppen Prosjektleder Prosjektlederen har ansvaret for å planlegge, organisere og gjennomføre evalueringen i samsvar med målene som er vedtatt av styringsgruppen. Hans viktigste oppgaver vil være å: Sørge for at alle medarbeiderne er kjent med målet og deres egen rolle i evalueringen. Etablere gode kommunikasjons- og samarbeidsforhold innad i gruppen Ta initiativ for å løse problemer som kan oppstå gjennom arbeidet i gruppen Rapportere til styringsgruppen og holde god kontakt med denne 6

Metodebruk For å gjennomføre en systematisk evaluering av software er det viktig å bruke en metode som er troverdig og som kan finne svaret på det vi leter etter. Det finnes mange metoder å arbeide etter, og de fleste bygger på den naturvitenskapelig metode. Den er akseptert å være objektiv, kan etterprøves og gir som oftest et svar på det vi leter etter. Nedenfor er beskrevet måte å evaluere software på som bygger på den naturvitenskapelige metode. 1. Starte prosjektet a. Definere konkret målsetning b. Utarbeide problemformulering c. Sette sammen arbeidsgruppe d. Utpeke leder for prosjektet e. Avsette ressurser 2. Innledning a. Avklare begrensninger b. Planlegge evalueringen c. Vurdere forskjellige alternativer d. Utarbeide tidsplan for gjennomføring 3. Forberedelser a. Utarbeide kriterier for evalueringen b. Utarbeide første spørreskjema for leverandørene c. Prioritere mellom kriteriene d. Lage sjekklister og evalueringsskjema e. Planlegge gjennomføringen 4. Gjennomføring av evalueringen a. Foreta registreringene som beskrevet i planene og listene b. Finne de tre beste software og leverandørerene som beskrevet i første overordnede evaluering c. Foreta en mer detaljert evaluering av de gjenstående softwarene og leverandørene d. Besøke leverandørene 5. Analysering av svarene a. Oppdatere beslutningstabellene b. Vurdere feilkilder og svkaheter ved gjennomføringen 6. Rapportere a. Utarbeide evalueringsrapport b. Lage innstilling om valg av software og leverandør Rapportering og rapportskriving Det skal alltid være en rapport til slutt. Den skal dokumentere både gjennomføringen av evalueringen og hva resultatet ble. Dermed er det viktig å kunne rapportere på en riktig og troverdig måte. Sluttrapporten skal beskrive hele evalueringsprosessen i detalj steg for steg. Strukturen i rapporten kan følge denne malen, som samsvarer godt med metoden for prosjektarbeidet. Dermed vil det foreligge en god beskrivelse av: 1. Systemet som skal evalueres/problemformuleringen o Kort beskrivelse av systemet 7

Plass i organisasjonen Bruksområde Virksomhet Formelle opplysninger Dagens situasjon o Bakgrunn og beskrivelse av oppdraget Oppdragsgiver Rammene for evalueringen Hvem som gjør evalueringen Tidsramme Andre forutsetninger 2. Forarbeid og avklaringer o Lage er konkret beskrivelse av Hva som skal evalueres Systemet Nå -, før -, ønsket situasjon Perspektivet for evalueringen o Beslutte rammene for arbeidet hvordan evalueringen skal foregå hvem som deltar fra oppdragsgiver kriteriene som skal brukes til evalueringen o Avklare hvilke forutsetninger som skal gjelde 3. Planlegging av evalueringen o Beskrive hvilke deler som skal evalueres Grensesnitt, sikkerhet, rapporter, annet hvordan evalueringen skal gjennomføres og fremgangsmåten som skal brukes hvilke data og resultater som skal måles Hvilke er objektive, indirekte, kan være personavhengige kriteriene som skal brukes med konkrete meningsfylte formuleringer 4. Gjennomføring av evalueringen o Utføre og arbeidet og registrere resultatene i henhold til planen som er beskrevet i punktet Planlegging av evalueringen Hvert kriterium evalueres for seg Registrere resultatene 5. Resultatene av evalueringen diskusjoner o Beskrive resultatene eller forskjeller mellom resultat og forventning o Vurdere resultatene og drøfte hva de betyr for sluttevalueringen av systemet. o Forklare eller drøfte om eller hvordan noen enkeltresultater er blitt slik de er eller oppfattet eller om det er andre opplysninger som bør vurderes 6. Rapportering, dokumentasjon og formidling o Lage en sluttrapport som beskriver hele evalueringsprosessen o Beskrive prosjektgjennomføringen o Rapportere resultatene og drøftingene av de 5 første stegene o Oppsummere sluttresultatet av evalueringen o Dokumentere kildene som har vært brukt i arbeidet o Foreslå endringer eller forbedringer av systemet eller evalueringsprosessen o Presentere rapporten for dem det angår 8

Egenevaluering og erfaringsoverføring Selv om ingen evalueringer er like er det allikevel visse fellestrekk. Bedriften kan bruke erfaringene til lage en kultur for å gjøre evalueringer ved kjøp av programvare. Personer som arbeider som konsulenter kan bruke erfaringene til å utføre enda bedre evalueringer i fremtidige arbeider. Evalueringens psykologi Det er viktig å være klar over at psykologiske faktorer kan virke inn på evalueringen. En bruker som har sett en glitrende demonstrasjon av et system på en utstilling kan ha forutinntatte positive meninger om systemet. Et system som demonstreres i et miljø uten forstyrrende programmer kan oppføre seg helt annerledes i driftsmiljøet der det skal brukes sammen med andre systemer. En annen fare er: dette systemet vil vi ha innstillingen. Dermed er en ikke lenger åpen for svakheter hos dette systemet, men leter etter svakheter ved systemene en ikke vil ha. Det kan også foreligge andre føringer som gjør at evalueringen ikke blir optimal. Brukere som ikke har nytte av det nye systemet er ikke ærlige i evalueringen. Om innføringen av et nytt system er starten på en organisasjonsendring kan det påvirke evalueringen. Brukere som vil miste jobben når systemet er innført vil ofte være negative til en evaluering Virksomhetens strategiplan har klare føringer for hvilken software som skal velges som kan være demotiverende for personene som deltar i evalueringen Kvalitetssikring av informasjon på internett Internett er for de fleste stedet der informasjon hentes først. På Internett finnes alle typer informasjon. Den kan være sann, manipulert, unyansert, ufullstendig eller usann. I tillegg finnes det påvirkningsinformasjon og desinformasjon. Utfordringen er å vite hva slags informasjon en finner. Da bør en finne opplysninger om forfatteren: Hvem er han? Hvorfor publiserer han? Hva vil han at jeg skal mene eller tro? Hvorfor skal jeg tro på informasjonen? Hvem er målgruppen? Inneholder informasjonen fakta som kan kontrolleres? En god huskeregel kan være å ikke stole på noe før er bevist. Noen måter til å vurdere om informasjonen er troverdig er å: Være bevisst på hva leter du etter. Følge sporene til og fra nettstedet. Sjekke andre kilder Vurdere avsenderen Vurdere motivet for presentasjonen Vurdere hvem som er målgruppen. Andre muligheter er å avklare hva slags nettsted det er. Er det reklame, avis, tidsskrift, generell informasjon, bedriftsside, debattside for påvirkning, en stats offisielle nettsted, en interesseorganisasjon eller en personlig hjemmeside. Alle har forskjellig perspektiv på informasjonen. 9

Når du går gjennom informasjonen kan du lage sjekklister om både forfatter, innhold, presentasjon og andre viktige momenter og til slutt ta en bevisst avgjørelse om du tror på informasjonen eller ikke. Gode arbeidsvaner Uten jobbing, ingen utdanning. Uten utdanning, ingen jobbing Suksess er 10% inspirasjon og 90% transpirasjon En sjømann ber ikke om stille vær. Han lærer seg å seile Disse tre ordtakene er eksempler på at skal en lykkes trengs det også å arbeide. Fordi vi selv har ansvar for egen læring, mens skolen tilrettelegger for læring ved å gi undervisning er det viktig å bruke sine gode arbeidsvaner hele tiden. Gjennom arbeidet får vi faktakunnskap om temaene vi behandler. Faktakunnskapen gjør det mulig for oss å få en forståelse av emnene og deretter å kunne gjengi kunnskapen med egne ord. Videre lærer vi å analysere en problemstilling eller å plukke den i stykker for å gjennom en syntese å sette sammen et løsningsforslag. Som en oppsummering og evaluering av arbeidet kan vi stille oss spørsmålet: Hva har jeg lært? Kompetansen vi oppnår er viljen og evnen til å bruke det vi har lært. Forbedre hukommelsen Det er mulig å forbedre hukommelsen som har et kort- og langtidsminne akkurat som RAM og disk. Det kan gjøres ved: Aktiv innlæring og velge riktig tid og sted Organiser informasjonen og dermed knytte den til noe du vet eller egne erfaringer eller Lage tankekart med minnemodeller og foreta repetisjoner Det kan også være lurt å bruke fremmedspråklig litteratur for å lære fagspråket. Ellers er de vanlige lesemåtene som: Oversikt - fins i forord og sammendrag Skumlesing - finne meningen med innholdet Still spørsmål - Hva? Hvordan? Hvorfor? Få en forståelse av stoffet Fordypning - kommentere, understreke, vurdere Gjenkalling og repetisjon Bruk forelesningene aktivt Det er alltid lurt å bruke forelesningene aktivt. Det kan en gjøre ved å forberede seg til forelesningen ved å gjennomgå stoffet som skal foreleses på forhånd. Under forelesningen er det viktig å lytte og observere, ta notater og strukturere disse. Er det uklarheter, så spør. Det er sikkert flere enn du som lurer. Etter forelesningen bør en gjennomgå notatene i løpet av første døgnet og sjekke unøyaktigheter og supplere informasjon fra andre kilder. Planlegg arbeidsdagen Det er også lurt å planlegge arbeidsdagene både på semester-, uke- og dagsnivå. Innholdet i en dagsplan kan for eksempel være: Hva jeg skal gjøre når og hvor? Hva skal jeg lese? Hva skal jeg repetere? Hva annet skal jeg gjøre i dag? 10

Når dagen er over, kan du evaluere arbeid i forhold til dagsplanen og besvare spørsmålene: Hvordan fikk jeg gjort det planlagte arbeidet? Kom det noe i tillegg? Var det noe søm ødela dagens planlagte arbeid. Ta med deg erfaringene til neste dag når du setter opp den nye dagsplanen. Forbedre leseteknikken Kjøp alle pensumbøkene og kompendier du skal bruke i kursene og gå gjennom hver bok. Les innholdslisten, bla i boka. Gjør deg litt kjent med hva du skal gjennom i dette semesteret. Når du leser en pensumtekst ta først en kjapp gjennomgang av teksten. Ta kort for deg overskrifter, illustrasjoner og sammendrag. Når du etterpå leser teksten så still deg selv spørsmål underveis om emnet. Hva, hvordan hvem og hvorfor er en bra start på spørsmålene. Som avslutning kan du høre deg selv om: Hva lærte jeg? Hva husker jeg? Hva glemte jeg? Hva er viktig? Hva er mindre viktig? Gjør også en oppsummering på tekstbehandleren. Dette vil hjelpe deg til å huske stoffet bedre, og er fint å ha om du får ha med hjelpemidler på eksamen. Repetisjon Etterhvert som ukene går vil du merke at deler av det du leste tidligere er glemt. Da er det tid for en repetisjon. Jo flere ganger du repeterer stoffet desto lenger og bedre husker du det ved at stadig mer kunnskap overføres fra korttids- til langtidshukommelsen. Når skal du repetere? Det finnes flere tidsaspekter. Du kan repetere dagen etter du har gjennomgått nytt stoff. Andre repetisjon kan være etter en uke, tredje etter en måned og siste rett før eksamen. Systematisk repetisjon der du bruker pensumbøkene sammen med notater gjør at repetisjonene går raskt. Fordelene med repetisjon at du lærer mer, sparer tid og eksamensperioden blir enklere. Sammenheng mellom utvikling, testing og evaluering. Når et system lages blir det utviklet og testet i forhold til en kravspesifikasjon. Det er et dokument som i detalj beskriver hvordan systemet skal fungere og oppføre seg. Ved evalueringen avklarer vi hvor godt funksjonen fungerer for en sluttbruker. Ta en titt på utvikling av komponenten Registrering av ny person Utvikling I kravspesifikasjonen står det: Når brukeren klikker på knappen Ny person skal det vises en dialogboks der det kan registreres fornavn og etternavn. Utvikleren lager funksjonen slik han har forstått kravet, og leverer komponenten til testing. Test 11

Testeren klikk på knappen Ny person. Han kontrollerer at dialogboksen vises. Deretter registrer han fornavn og etternavn, kontrollerer han at alt går bra og gir tilbakemelding om at funksjonen fungerer i forhold til beskrivelsen. Evaluering Ved evalueringen tar en for seg hvordan registrering av ny person fungerer for en sluttbruker. Er det lett å registrere? Er det lett å gjøre feil? Hva skjer dersom det skjer en feil? Er det noe som bør endres, forbedres eller er funksjonaliteten slik du mener den skal være? Kan funksjonaliteten forbedres? Er det en funksjon med høy eller lav prioritet? Alle disse spørsmålene går på kvaliteten av funksjonen. Gi til slutt en karakter på en skala fra 0 til 5. 12

CH2 - Hvordan finne evalueringskriterier I dette kapittelet skal vi først se på en del forskjeller mellom virksomheter og som har betydning for valg av kriterier. Deretter tar vi for oss hvordan vi kan gå frem for å finne frem til kriterier som kan brukes når vi skal evaluere software i forskjellige situasjoner. Til slutt beskrives kort hvordan vi kan gå fram for å ende opp med en beslutningstabell av kriteriene. Forskjellige virksomheter, forskjellige behov, forskjellige kriterier Forskjellige virksomheter har forskjellige behov, forutsetninger, arbeidsmåter, krav til og nytte av IT-systemer. Ingen virksomheter er identiske selv om de arbeider i samme bransje, med samme produkter og innenfor samme forretningsområde og dermed ofte har samme har samme behov for samme type informasjonssystemer. Ledelse, indre organisering, personale, beliggenhet og kundegruppe er med å skape virksomhetens bedriftsprofil. I tillegg utfører ofte forskjellige virksomheter samme arbeidsoppgave på forskjellige måter og dermed skaper bedriftskulturen som i de fleste tilfeller vil være forskjellig fra bedrift til bedrift. Informasjonssystemene som brukes har forskjellige målgrupper. Noen brukes av kundene, andre for å støtte virksomhetens egen drift, men en tredje er systemer som skal tilfredsstille det offentliges behov for opplysninger. Ettersom forskjellige virksomheter utfører likeartede arbeidsoppgaver på mange forskjellige måter vil kravene for eksempel kravene som stilles til regnskapsløsning, lagerhold, logistikk, registrering av opplysninger og offentlig rapportering bli forskjellige. Likheten er at alle vil ha størst mulig nytte av IT-systemene de har investert i og best mulig forbedring av arbeidsmåten, altså størst mulig kost-nytteeffekt Noen virksomheter har en høy modenhet og bedriftskultur for bruk av IT-systemer, mens andre er ikke er kommet så langt. Derfor kan et IT-system som er til stor nytte for en virksomhet være til mindre nytte for en annen, selv om de arbeider innenfor samme forretningsområde. Hvordan finne kriterier? Gjennomgå strategi- og forretningsplaner Det finnes flere måter å bestemme kriteriene vi skal brukes i evalueringen. Det beste er å ta utgangspunkt i behovene systemet skal løse og kravene som stilles til det. De finnes i forskjellige skriftelige dokumenter som strategi- og forretningsplaner. En bør også intervjue personene som berøres av systemet og lese spesifikasjonene for arbeidsoppgavene. Andre innspill Gjennomgå arbeidsprosessene i detalj Intervjue ledelsen og bruker for de aktuelle arbeidsoppgavene Kontakte kolleger i tilsvarende virksomheter som sin egen Lese bransjeblader for egen bransje Lese informasjonsskrivene fra leverandørene Besøke messer for software Foreta en brainstorming med personer som systemet berører 13

Det viktigste overordnede kriteriet er vanligvis at systemet skal støtte virksomhetens mål og oppgaver. Like viktig er det også å få med kriterier som ikke er beskrevet i noen dokumenter, men som indirekte styrer deler av arbeidsmåten. Disse kan en finne ved å ta utgangspunkt i hvordan et idealsystem for bedriften bør være. Systemet skal løse alle dagens og morgendagens kjente og ukjente behov. Det skal være billig å kjøpe og samtidig lett å installere Det skal være enkelt, intuitivt og lett å bruke samtidig som det er lett å vedlikeholde Systemet skal alltid gi riktige opplysninger i enhver situasjon Det skal følges tett opp av produsent og leverandør Med bakgrunn i dette settes det opp de kriteriene som mangler i andre skriftelige planer, spesifikasjoner eller andre kilder. Forskjellige måter å finne kriterier på Gå gjennom alle dokumenter som kan inneholde informasjon om behovene Intervju alle brukergrupper som berøres av systemet Les forhandlernes beskrivelse av egne produkter og ta med det du mener er viktig Gjennomgå funksjonaliteten i alle programmene du vil evaluere Lag en liste over alle behov som skal løses med en konkret beskrivelse av hvert behov Grupper behovene i forretningsmessige, generelle, økonomiske Detaljer behovene i for eksempel sikkerhet, rapportering, navigering, hjelp, Prioriter behovene i for eksempel høyt, middels lavt, eller som tall: 5, 3, 1. Reformuler behovene slik at de blir kriterier ldedugnad En vanlig måte å få fram kriteriene som systemet bør evalueres etter kan være å utføre en idedugnad. Hensikten er å få en gruppe til å komme med flest mulige kriterier på kort tid. Hovedregler for idedugnad er: ingen kritikk av andre deltakere eller kriterier ingen selvsensur la tankene slippe fri så mange kriterier som mulig alle kriterier noteres Det er viktig å med deltakere som representerer alle brukergrupper som vil komme i kontakt med systemet. Mulige deltakere kan være: brukere de enkelte avdelinger som blir påvirket andre brukere av systemet IT-personalet tillitsvalgte Møtelederen orienterer om hovedreglene. Deretter formuleres forutsetningen, som er: Hvilke kriterier mener deltakerne at systemet skal evalueres etter for å finne det som har den gunstigste virkningen på organisasjonen og dens omgivelser? Kriterieformuleringen starter med at det brukes ca. 10 til 15 minutter til å la den enkelte deltaker liste opp alle mulige virkninger han kommer på. Deretter blir hver deltaker bedt om å 14

presentere kriteriene han har listet opp. Forslagene noteres opp fortløpende for eksempel på selvklebende lapper. Deretter plasseres hver lapp med ett kriterium i den hovedgruppen som passer best. Hensikten er å få fram assosiasjoner til kriteriene som er nevnt, enten for å få fram enda flere kriterier eller mer presise formuleringer og samtidig prioritere kriteriet. Til slutt lages et forslag til prioritert liste med vekting som drøftes i prosjektgruppen. Fra kriterier til sjekkliste Når alle kriteriene er funnet brukes disse til å utarbeide en sjekkliste. En sjekkliste er et dokument som viser hvilke kriterier som skal være med i evalueringen. Mer om sjekklister står beskrevet i kapittelet om evalueringsproessen Fra sjekkliste til beslutningsmatrise Sjekklisten brukes som grunnlag for å lage beslutningsmatrisen. Mer om beslutningsmatriser står beskrevet i kapittelet om evalueringsproessen 15

CH3 - Evaluering, valg og kjøp av programvare. Å velge software og leverandør en viktig prosess. Velges feil software kan det medføre at arbeidsoppgavene i virksomheten ikke blir løst optimalt, dårlige arbeidsrutiner kan innføres og personalet er ikke så positive til det nye systemet som de burde være. I dette kapittelet skal vi ta for oss prosessen for å velgesoftware og leverandør, både den administrative delen og den operative. En måte for å velge software og leverandør Formuler virksomheten egne krav Det viktigste er å velge software som dekker virksomhetens behov best mulig. Derfor må kriteriene må utformes slik at forretningsvirksomheten drives på en bedre og mer effektiv måte enn tidligere. Det er hovedargumentet for å investere. Eksempler på slike kriterier kan være å velge software som: Støtter forretningsmålene bedre enn nå Medfører en raskere behandling av bestillinger Redusere størrelsen på lagrene Automatiserer manuelle prosesser Spørsmålene nedenfor kan være ett innspill for å identifisere de viktigste arbeidsprosessene i virksomheten. Svarene kan ofte være med å definere evalueringskriteriene og danne grunnlaget for valg av software. Sett fokus på konkrete mål som er med å gi forbedringer. Hva er de viktigste arbeidsoppgavene i bedriften som bidrar til, eller forhindrer at virksomheten når sin målsetting. Hvordan utfører konkurrentene tilsvarende arbeidsoppgaver. Kan deres arbeidsmåter innføres i egen virksomhet? Hvilke arbeidsoppgaver kan kontrolleres, tilpasses eller forandres slik at de gir bedre effektivitet, lønnsomhet eller arbeidsmiljø. Beskriv målsetningen med innføringen Om hensikten med innføringen er å gjennomføre organisasjonsendringer må kriteriene som velges fokuserer på endringene og forbedringene som skal oppnås. Påvirker innføringen av nytt system arbeidsmåten i bedriften kan endringen skje når systemet settes i produksjon. Prosessen kan også startes før innføringen slik at brukerne er kjent med de nye arbeidsmåtene på forhånd. Vær sikker på at brukerne er enige i kriteriene som velges. Dermed kan mye frustrasjon og unødvendig tidstap unngås. Det vil spare tid og kostnader og kanskje også frustrasjonen over at alt tar så lang tid. 16

Reduser størrelsen på forespørselen Gjør forespørselen til leverandørene så enkle som mulig. En mulighet kan være å bare ta med forskjellene du vil ha med i forhold til et standardsystem. Det er viktig å fokusere på behovene som er spesielle for din virksomhet og hvordan disse kan løses på best mulig måte. Ved å redusere størrelsen på forespørselen blir det enklere for leverandører å svare, mindre arbeidet med å analysere svarene og raskere finne forskjellene mellom tilbudene. Bruk sjekklister aktivt Lag sjekklister som leverandørene kan svare på. Det vil forenkle arbeidet med å sammenligne svarene til de forskjellige leverandørene. Lag også en sjekkliste til eget bruk for å gjør en sammenligning av de forskjellige leverandørene. Ja - svar uten kommentarer kan indikere at forespørselen ikke er lest i detalj. Lange diffuse svar kan tolkes som Nei. Lag til slutt en beslutningsmatrise for å analyse på svarene. Brukes et regneark er det lett å sammenligne forskjellige summeringer til slutt Valg av teknologi og maskiner Informasjonsteknologien endres raskt. Av og til velges maskiner og software som ikke møter fremtidige behov. For å unngå det kan sjekklisten nedenfor brukes: Undersøk hvilken software konkurrentene bruker. Følg med utviklingen ved å delta på messer og konferanser. Lytt til selgerne, men ta løftene med en klype salt. Vær skeptisk til kritikk av konkurrenter. De forteller ofte bare halve sannheten og utelater av og til det som ikke passer for seg. Vær godt orienter før salgsmøtene starter. Teknologi er viktig men bare et middel. Det viktige er at den støtter dine behov. Teknologi er ikke informasjon, men bare et hjelpemiddel til å få den. Nettverk, grensesnitt og grafiske verktøy er et hjelpemiddel for brukerne til å oppnå best mulig arbeidsforhold og få mest mulig effekt ut av arbeidet. Valg av leverandør Store leverandører eksisterer alltid, mens mindre ofte kommer og går. Å finne den riktig kan by på store utfordringer. Hjelp fra konsulenter er en måte til å få en liste over mulige leverandører. Andre kilder kan være: Bransjeregistre og bransjekataloger. Egne bransjetidsskrifter. Spesialoversikter Bransjeutstillinger og softwaremesser. Kolleger i andre virksomheter. 17

Lag en liste med forslag til leverandører som også dekker andre bransjer. De er lette å stryke fra listen etter hvert som de ikke oppfyller kravene. Foreta en grovsiling Før det sendes ut en forespørsel bør listen av mulige leverandører reduseres mest mulig. Det kan gjøres ved å oversende alle leverandører en liste med de 10 viktigste kriteriene som systemet skal oppfylle. De som ikke matcher hovedkravene, kan strykes fra listen. Er prisen alt for høy kan de også strykes. Leverandører som ikke møter kravene til maskiner strykes også. Det reduserer vanligvis listen til en overkommelig størrelse for videre behandling. Ta også med leverandører som ligger geografisk nær. Det er ofte interesserte. Styr demonstrasjonen selv Alle leverandører fremhever det de er best til og hvorfor de er de beste. De vil presentere en demonstrasjon som fremhever eget produkt fremfor å fokusere på dine behov. La derfor sluttbrukerne delta i demonstrasjonen. Selv om de ikke har noen påvirkning kan de gi verdifulle tilbakemeldinger slik at de blir tilfredse med produktet. Demonstrasjonen bør organiseres etter funksjonsområder. Beskriv også hvordan demonstrasjonen skal foregå, hva den skal inneholde og vise hvordan systemet kan tilfredsstille kravene som stilles. Et eksempel på slike beskrivelser er vist nedenfor. For ordrebehandling, la forhandleren nyregistrere en kunde, registrere en ordre, lage ordrebekreftelse, pakkseddel og transportdokumenter. Lage faktura og fakturere samt følge opp betalingen. For rapportering, la forhandleren utvikle en rapport online etter spesifikasjoner som settes opp under demonstrasjonen Lytt til andres råd. Kontakt kolleger som har gjennomført tilsvarende prosesser tidligere. Spør etter mulige interessekonflikter som kan oppstå under prosessen. Drøft målsettingen og ta i mot gode råd. Bruk dem når valget skal gjøres. Bruk av konsulenter Om du vil bruke konsulenter er det viktig å finne den riktige. Søk etter de som har gjort tilsvarende oppdrag tidligere, helst hos flere kunder og med forskjellige leverandører. Undersøk om de har knytninger til leverandører som medfører at de ikke er objektive. Drøft prosessen og la de komme med forslag til fremdriftsplan. Bruk dem til å kvalitetssikre valgene som er gjort. Skal de være med ved implementasjonen, sett samme krav til disse som til leverandøren. Send en forespørsel, evaluer svarene, foreta intervjuer og sjekk referanser. Engasjer ledelsen Skal prosjektet bli vellykket må ledelsen delta og føle ansvar. De kan være pådrivere om prosessen går langsomt av og til. La de komme inn tidlig i prosessen og være informert om fremdrift og utvikling. Inviter dem til demonstrasjonene og la de snakke med selgerne. 18

Presenter et kostnadsbudsjett først når det er sikkert på at det vil holde. Ofte vil det opprinnelige beløpet vil bli husket og bli brukt mot innkjøpet om det stiger. Sjekk leverandørens referanser. Vil leverandøren som velges leve opp til forventningene? Har han personale med god teknisk kunnskap og holder systemene mål? Holder kostnadsestimatet? Svar på dette kan du få ved å sjekke med kundene de har levert tilsvarende systemer hos tidligere. 10 til 12 referanser, helst fra virksomheter som ligner og har tilsvarende system i produksjon er bra. Let også etter virksomheter som ikke er på referanselisten, men som bruker systemet. Spør om hva de mener. Har leverandøren har vanskeligheter med å skaffe en troverdig referanseliste er det et dårlig signal. Planlegg installasjonen før kontrakten signeres. Implementeringen er også en viktig del av kjøpet. Drøft hvordan det kan skje og forsikre deg om at du er fornøyd. Detaljer hver arbeidsoppgave og anslå hver kostnad. Vær nøye med å avklare ansvarsforholdene. Viktige momenter som bør avklares er følgende: Hvilke ressurser er nødvendige for å gjennomføre installasjonen Hvordan skal konvertere dataene konverteres? 19

CH4 - Praktisk evaluering - evalueringsprosessen I dette kapittelet tar vi for oss en del praktiske metoder for å gjennomføre evalueringen. Vi begynner med en del hjelpemidler vi kan bruke og fortsetter deretter med en del teknikker. Hjelpemidler Sjekklister En sjekkliste er en tabell er alle kriterier som bør vare med i evalueringen blir dokumentert og hensikten er å få med alle kriterier som ha betydning for evalueringen. Sjekklisten settes opp etter interne drøftinger i prosjektgruppen, men må henge sammen med hva det skal legges vekt på i evalueringen. En sjekkliste er et godt grunnlag for å utarbeide en beslutningstabell Eksempel på sjekkliste for å evaluere kostnader ved innføring av nytt system Engangskostnader: Kostnad for opprinnelig programpakke Tilleggskostnader for installasjon og oppstart Tilpasninger Installasjon Konvertering av informasjon i gammelt system Opplæring Nødvendige tilleggsprogrammer Tilleggskostnader for kjøp og installasjon av ny maskinvare Kjøp av nye maskiner Oppgradering av gamle maskiner Tilpasning av nettverk Nødvendig programvare Opplæring Prosjekt- og planleggingskostnader Prosjektarbeidet Konsulenter Nye arbeidsplasser Omorganisering som følge av innføringen Årlige kostnader Drift og vedlikehold av installasjonen. Daglig drift Videreutvikling Oppgraderinger Nye tilpasninger fordi arbeidsmetoder endres Support for retting av feil Beslutningsmatrise/Evalueringsmatrise En beslutningsmatrise er en tabell hvor forskjellig software sammenlignes med samme kriterier. En linje inneholder et kriterium og en kolonne inneholder en software. Det er ofte 20

vanlig både å gi kriteriet karakter og også prioritere mellom kriteriene. Da vil karakteren være produktverdien av karakter og prioritet. Det er viktig av høyeste verdi i hvert tilfelle beskriver ønsket tilstand. Eksempel på beslutningsmatrise. Kriterium Prioritet Vekt Prod1 Prod1*vekt Prod1 Prod1*vekt Behov Brukergrensesnitt Troverdig leverandør Pris Går også på UNIX Brukskvalitet Mulighet for Viderutvikling Sum Prioritet/Behov Prioritet/Behov Karakter Karakter 0, 1, 2, 3 10 Dårlig. Best 0, 1, 2, 3 10 Dårlig. Best Når beslutningsmatrisen skal settes opp må det gjøres bevisste valg for hvordan de enkelte kriterier skal verdsettes og prioriteres. Dessverre er det slik at noen av disse valgene er motstridende og i visse tilfeller uforenelige. I slike tilfeller må en drøfte grundig hvordan en vil prioritere. Om virksomheten ønsker et system som skal møte fremtidige krav på beste måte, medfører det vanligvis at en også må velge nyeste maskinteknologi. Grunnen er at de nyeste systemene er større og mer kompliserte enn de gamle, og trenger sterkere maskiner for at systemet skal ha god effektivitet. Det igjen medfører at systemet kan inneholde ukjente svakheter eller feil når det blir levert, og som kan medføre installasjons- og driftsproblemer. Derfor er det viktig å drøfte situasjonen og bevisst velge hva en vil gjøre. Ofte er det tre valgmuligheter: 1. Virksomheten kjøper nyeste teknologi med de fordeler og ulemper det medfører 2. Virksomheten venter med å kjøpe til systemet har vært i drift en stund. Dermed vil de første svakheter og feil være rettet. 3. Virksomheten kjøper det som er velprøvd og en vet fungerer, selv om det er mindre sikkert hvordan systemet takler fremtidige krav. 21

CH5 - Evaluering og brukerperspektiver Kost- Nytte perspektivet Før systemet kjøpes bør den totale eierkostnaden TCO, Total Cost of Ownership bestemmes. TCO skal være sammenlignbare tall som representerer den faktiske kostnaden for bruk av et system over tid - ikke bare når systemet kjøpes. Derfor må TCO inneholde kostnader for både investeringer og drift. Investeringer er kostnaden for opprinnelig system sammen med tilleggskostnader for maskiner, installasjon, opplæring og oppstart og kostnadene for innkjøpsprosessen. Driftskostnader er daglig drift og vedlikehold av installasjonen sammen med retting av feil, videreutvikling, oppgradering og andre tilpasninger fordi arbeidsoppgaver endres. Gevinster og kostnadsreduksjoner Når systemet blir tatt i bruk vil det resultere i både nye inntekter og kostnadsreduksjoner. Gevinstene er først og fremst knyttet til hvilke nye inntekter som systemet kan generere, mens kostnadsreduksjonen er et resultat av nye måter å arbeide på. Det er viktig å dokumentere nytteeffektene av å ta systemet i bruk. Eksempler på målbare nytteeffekter er økonomiske besparelser, økt kapasitet, kortere tid for saksbehandling og lavere bemanning. Eksempler på ikke-målbare nytteeffekter er forbedret kvalitet, service og tilgjengelighet. Kost/nytteeffekt Når TCO er bestemt er tiden inne for å gjennomføre en kost/nytteanalyse, eller ROI - Return of Investment analyse. Den skal vise hvor kostnadseffektivt systemet er. Med kostnadseffektiv menes hvor effektivt den enkelte bruker får gjort arbeidsoppgavene på de forskjellige systemene. Resultatet er en oversikt som viser kostnader og nytte virksomheten vil få ved å innføre de forskjellige systemene. Analysen blir et godt beslutningsgrunnlag for hvilket system som bør implementeres, og for å gjennomføre gevinstrealiseringen når systemet er i bruk. I analysen skal verken tidligere kostnader, besparelser eller effektivitetsgevinster skal være med, bare fremtidige muligheter. Når et system skal velges kan en ta utgangspunkt i tallene fra kost-/nytteanalysen. Fordelene ved å ta systemet i bruk skal overstige kostnadene i systemets livsløp. Et annen mulighet er å implementere systemet som vil gi størst nettogevinst. Det er viktig å følg opp og rapporter i hele systemets levetid. Dermed sikrer en at virksomheten tar ut gevinsten. Kost- Nytte beslutningstabell Skal en sammenligne de forskjellige alternativene kan alle opplysningene registreres i en beslutningsmatrise som ligner på den som er vist nedenfor. Det er viktig at alle alternativer som er med i analysen også er med i tabellen på kost- eller Nyttesiden. Alternativ Kost Nytte Løpende utgifter Programvare Personell Adm. informasjon Bedre tjenester Bedre arbeidsmiljø Mer tilfredse kunder Andre gevinster Ingen endring 1 1 10 1 1 2 1 4 22

Alternativ 1 2 3 12 2 3 3 0 1 Alternativ 2 1 1 12 3 4 3 5 3.. Alternativ n 1 2 8 1 1 2 1 4 Tabellen viser en innbyrdes sammenligning mellom de forskjellige alternativer. Personvern-perspektivet Den vanligste måten å betrakte personvernet på er at det skal verne om den personlige integriteten. Med det menes at den enkelte person selv skal ha kontroll over opplysninger om en selv, særlig opplysninger som oppleves som personlige. Også retten til å være i fred fra andre, er et slags personvern. Sagt på en annen måte: Personvern er individets rett til å verne om sin private sfære og til å forvalte sannheten om seg selv. Personvern er ofte rettet mot elektronisk behandling av personopplysninger for å imøtekomme den enkeltes interesse av at personlige opplysninger tilfredsstiller kvalitetskrav og ikke behandles på en utilbørlig måte. 23