Finansportalen Historiske bankdata

Transkript

1 Bilag 5: Testing og godkjenning For Finansportalen Historiske bankdata

2 Bilag 5 Testing og godkjenning Innholdsfortegnelse 1.1 OMFANG Systemtest Godkjenningsprøve GJENNOMFØRING Krav til Leverandør - testplan Krav til Leverandør dokumentasjon av test GODKJENNINGSKRITERIER OG GODKJENNINGSPROSEDYRER Generelle godkjenningsprosedyrer Definisjon av feil og mangler Godkjenningskriterier for Systemtest Godkjenningskriterier for Godkjenningsprøven ANSVARS- OG ROLLEDELING KRAV TIL LEVERANDØR... 8 Side 2 av 8 Dato 20. juli 2012

3 1.1 OMFANG Leveransen godkjennes formelt av Kunden når resultatet av Systemtest og Godkjenningsprøve er godkjent Systemtest Leverandøren har ansvaret for planlegging og gjennomføring av Systemtest. Kunden kan eventuelt stille ressurser for gjennomføring av Systemtest til rådighet for Leverandøren. Systemtesten skal inneholde både en funksjonell test av løsningen og ikke-funksjonelle tester. Funksjonell test. Test av systemets oppførsel i forhold til den ønskede funksjonaliteten slik den er definert i designdokumenter. Det skal legges vekt på globale tester, dvs. at data flyter fra delsystem til delsystem som forventet. Ikke-funksjonelle tester som skal sikre at alle krav til bl.a. ytelse/responstid, volumhåndtering, sikkerhet, integrasjon og brukeropplevelse er oppfylt. I Systemtesten skal Leverandøren verifisere at implementering av løsningen er ferdigstilt og iht. Bilag 1 og 2 og godkjent detaljert løsningsbeskrivelse (dersom aktuelt). Testen gjennomføres i Kundens testmiljø. Leverandøren skal selv godkjenne resultatet av Systemtesten i tråd med plan for Systemtest med godkjenningskriterier. Resultatene av testen skal fremstilles i en testrapport for Systemtest som skal godkjennes av Kunden. Innhold og omfang av Systemtesten skal avtales mellom partene i god tid før oppstart av testen og inngå i plan for Systemtest Godkjenningsprøve Godkjenningsprøven er den formelle testen for å avklare om kriteriene for godkjenning som Kunden har satt, er oppfylt. Den totale løsningen skal testes med Kundens eget parameteroppsett og Kundens egne data, og systemet skal være satt opp i det aktuelle driftsmiljøet eller et miljø så nært dette som mulig. Godkjenningsprøven er avsluttet når de formelle godkjenningskriteriene er gjennomgått og godkjent av Kunden. I Godkjenningsprøven skal det verifiseres at Leveransen er i henhold til de overordnede godkjenningskriterier, jf. punkt og er Kundens kontrollpunkt før det ferdige systemet kan driftssettes. Innhold og omfang av den funksjonelle verifikasjonen skal avtales mellom partene i god tid før oppstart av Godkjenningsprøven. Kunden utarbeider plan for Godkjenningsprøven, med bistand fra Leverandøren, og godkjenner planen. Den funksjonelle verifiseringen skal omfatte en detaljert gjennomgang av Leveransens funksjonalitet og skal sikre at løsningen fungerer som forutsatt. Innhold og omfang av den ikke-funksjonelle verifikasjonen skal avtales mellom partene i god tid før oppstart av godkjenningsprøven. Godkjenningsprøven skal inneholde både en funksjonell test av løsningen og ikke-funksjonelle tester. Funksjonell test. Test av systemets oppførsel i forhold til den ønskede funksjonaliteten slik den er definert i designdokumenter. Det skal legges vekt på globale tester, dvs. at data flyter fra delsystem til delsystem som forventet. Testene skal ta hensyn til eventuelle endringer av bilag 1. og bilag 2. Ikke-funksjonelle tester som skal sikre at alle krav til bl.a. ytelse/responstid, volumhåndtering, sikkerhet, integrasjon og brukeropplevelse er oppfylt. Side 3 av 8 Dato 20. juli 2012

4 Den ikke-funksjonelle verifikasjonen skal minimum omfatte: Klargjort produksjonsmiljø Dokumentasjon (system-, drifts- og brukerdokumentasjon). Sikkerhet, sporbarhet og kontrollfunksjoner Brukeropplevelse. 1.2 GJENNOMFØRING Leverandørens ytelser i forbindelse med gjennomføringen av Systemtest og Godkjenningsprøve skal anses som en del av Leveransen og godtgjøres i samsvar med Avtalen. Det forutsettes at det som del av Leveransen utarbeides et detaljert utkast til Systemtest og Godkjenningsprøve på basis av de krav som stilles i dette bilaget. Systemtesten gjennomføres i henhold til fremdriftsplan og tidsplan i Bilag 4. Endelig plan for gjennomføring av testene med tilhørende godkjenningskriterier skal utarbeides av Leverandør og Kunde i fellesskap jf. punkt 5.4. Godkjenningsprøven gjennomføres i henhold til fremdriftsplan og tidsplan i Bilag 4. Endelig plan for gjennomføring av testene med tilhørende godkjenningskriterier skal utarbeides av Kunde med bistand fra Leverandør jf. punkt 5.4. Godkjenningsprøven gjennomføres av Kunden etter at Systemtest er gjennomført og godkjent Krav til Leverandør - testplan [Leverandør skal presisere og utdype hvordan understående gjennomføres. Dersom presiseringer og utdypninger skjer i teksten over, skal alle endringer vises i rettemodus. Beskriv deres testplan for de ulike testnivåene: Enhetstest Integrasjonstest Systemtest Akseptansetest I tillegg skal det leveres testplaner for: Installasjonstest Test av Brukeropplevelse Ytelsestest Dersom dette medfører ekstra kostnader for kunden skal dette spesifiseres.] Side 4 av 8 Dato 20. juli 2012

5 1.2.2 Krav til Leverandør dokumentasjon av test [Leverandør skal presisere og utdype hvordan understående gjennomføres. Dersom presiseringer og utdypninger skjer i teksten over, skal alle endringer vises i rettemodus.] Beskriv deres rutine for dokumentasjon av test: Enhetstest automatisert Integrasjonstest Systemtest Godkjenningsprøven Brukervennlighetstest. 1.3 GODKJENNINGSKRITERIER OG GODKJENNINGSPROSEDYRER Generelle godkjenningsprosedyrer Dokumenter som skal godkjennes av Kunden, skal Leverandøren sende til Kunden senest 5 virkedager før godkjenningsdato i henhold til avtalt fremdriftsplan. Dersom dokumentene ikke har avtalt kvalitet, skal Leverandøren i løpet av 5 virkedager korrigere dokumentene i henhold til Kundens merknader og på nytt oversende dokumentene til Kunden for godkjenning. Tilbakemelding fra Kunden skal være skriftlig og angi eventuelle feil og mangler i forhold til avtalt kvalitet og godkjenningskriterier og hva som forutsettes utbedret. Manglende godkjenning av dokument forhindrer ikke nødvendigvis at dokumentet legges til grunn i videre arbeid, dersom feil/mangler er av slik karakter at det ikke er avgjørende for videre arbeid. Se for øvrig kontrakten Definisjon av feil og mangler Følgende kategorier gjelder for definering av feil og mangler i Leveransen: Kritiske feil Feil eller mangler som er vesentlige for Kundes bruk av leveransen og som forhindrer videre testing av berørt funksjonalitet og/eller produksjonssetting av løsningen. Feilen må være rettet, retestet og godkjent før berørte milepæler kan godkjennes. Alvorlige feil Feil eller mangler som er vesentlige for Kundes bruk av leveransen. Feilen forhindrer ikke videre testing av berørt funksjonalitet og/eller produksjonssetting av løsningen. Mindre betydelige feil Feil som ikke påvirker grunnleggende funksjonalitet og datakvalitet i leveransen, men som vil redusere bruksverdien i forhold til avtalte krav Feilen skal rettes, testes på nytt og godkjennes, men er ikke nødvendig for godkjenning av berørte milepæler. Kunden og leverandøren foretar en omforent kategorisering av feil og mangler. Side 5 av 8 Dato 20. juli 2012

6 1.3.3 Godkjenningskriterier for Systemtest Oppstartskriterium: Leverandør skal ha gjennomført programmerers test. Godkjent testplan Avbruddskriterium: Feil eller mangler som forhindrer videre testing, eller et generelt høyt feilnivå kan medføre avbrudd av test. Nivåer spesifiseres i testplanen. Godkjenningskriterium: Kritiske feil: 0 Alvorlige feil: 5 Alle mindre betydelige feil skal være gjennomgått av kunden og leverandør, og skal være prioritert. Tidspunkt før ønskede korreksjoner skal være avtalt Godkjenningskriterier for Godkjenningsprøven Oppstartskriterium: Godkjent systemtest. Godkjent testplan Avbruddskriterium: Kunden kan avbryte Godkjenningsprøven dersom antall åpne feil på noe tidspunkt overskrider: o Kritiske feil: 3 og/eller o Alvorlige feil: 10 Godkjenningskriterium: Kritiske feil: 0 Et generelt høyt feilnivå kan også medføre avbrudd av test. Nivået spesifiseres i testplanen. Alvorlige feil: maks. 3 Utbedring av feil skal skje programutviklingsavtalen Dersom godkjenningsprøven må avbrytes, basert på kriteriene over, må Leverandøren etter retting av feilene foreta regresjonstest av systemet og på nytt dokumentere at oppstartskriteriene for godkjenningsprøven tilfredsstilles. Godkjenningsprøven gjennomføres deretter på nytt. Side 6 av 8 Dato 20. juli 2012

7 1.4 ANSVARS- OG ROLLEDELING En detaljert planlegging av Systemtest og Godkjenningsprøve forutsettes påbegynt ved etablering av prosjektet og er således en del av Leveransen. I tillegg til å spesifisere aktiviteter i en slik plan, skal ansvars- og rollefordeling mellom Kunden og Leverandøren være som følger: Aktivitet Ansvar Rolle Stille testpersonell til disposisjon Utarbeide plan for Systemtest, inkl. godkjenningskriterier Kunde og Leverandør Leverandør Kunden godkjenner Tilrettelegge testdata for Systemtest Leverandør Kunden godkjenner Stille testpersonell til disposisjon Brukermedvirkning Leverandør og kunde Kunde Gjennomføre Systemtest Leverandør Kunden deltar/overvåker. Utarbeide rapport for Systemtest Leverandør Kunden godkjenner. Feilretting etter Systemtest Leverandør Kunden deltar/overvåker og godkjenner resultatet Utarbeide plan for Godkjenningsprøve, inkl. godkjenningskriterier Kunde Kunden godkjenner. Leverandør bistår i utarbeidelsen. Tilrettelegge testdata for Godkjenningsprøve Kunde Kunden godkjenner Stille testpersonell til disposisjon Kunde og Leverandør Gjennomføre Godkjenningsprøve Kunde Kunden godkjenner. Leverandøren må ha personell tilgjengelig. Utarbeide rapport for Godkjenningsprøve Kunde Kunden godkjenner. Feilretting etter Godkjenningsprøve Leverandør Kunden deltar/overvåker og godkjenner resultatet Leverandørens deltagelse og ansvar i dette arbeidet blir en del av Leverandørens ytelser. For alt testarbeid som Leverandøren har ansvaret for, skal det som del av Leveransen utarbeides dokumentasjon hvor det fremgår hva som er testet, hvordan test er gjennomført, hvilke testdata som er brukt, forventede resultater og resultater av testen. Kundens formelle aksept eller underkjennelse av henholdsvis Systemtest og Godkjenningsprøve skal skje gjennom skriftlig tilbakemelding til Leverandøren innen de frister som er oppgitt i Bilag 4. Side 7 av 8 Dato 20. juli 2012

8 1.5 KRAV TIL LEVERANDØR [Leverandør skal supplere og presisere bilaget, samt beskrive mer utførlig hvilke tester som vil bli gjennomført. Supplering må være i samsvar med fremdriftsplanen i bilag 4. Dersom Leverandør foretar suppleringer og presiseringer i foranstående punkter må alle endringer vises i rettemodus.] Side 8 av 8 Dato 20. juli 2012