Velg den beste løsningen evaluering av tilbud og bruk av evalueringsmodeller Anders W. Skumsnes Harald R. Sundlo 13.11.2014
Utgangspunkt Mange ulike evalueringsmodeller i bruk, og at flere av disse modellene har svakheter DIFI-brukerundersøkelse fra viser at mange innkjøpere har et lite bevisst forhold til valg av evalueringsmodell og bruker samme modell uansett hvilken konkurranse som skal evalueres. Vil være til hjelp for innkjøpsmiljøene om Difi lager veiledningsmateriell med noen anbefalinger på dette temaet. Har involvert brukergrupper og referansegruppe i arbeidet Veiledning på anskaffelser.no Evaluering i anskaffelsesprosessen Utforming av tildelingskriterier råd og tips Evalueringsmetodikk og modeller
Evaluering en del av anskaffelsesprosessen Verifisere behov og planlegge anskaffelsen Gjennomføre anskaffelsen Gjennomføre kontrakt
Evaluering en del av anskaffelsesprosessen
Evaluering - fra BEHOV til KONTRAKT
Utforming av tildelingskriterier - motivasjon Gode tildelingskriterier God dialog med markedet Gode tilbud God kontraktsoppfølging Enklere evaluering God kontrakt
Utforming av tildelingskriterier - grunnleggende Tildelingskriterier kan være laveste pris det økonomisk mest fordelaktige tilbud. Tildelingskriteriene må ha tilknytning til kontraktsgjenstanden To generelle forhold ved tildelingskriterier: Deles inn i kvantitative (objektivt målbare) og kvalitative (skjønnsmessig vurderes) kriterier. Kan måles enten i forhold til det beste tilbudet (relativ vurdering) eller i forhold til en referanseramme/ kvalitetsstandard som tilbudene måles mot.
Utforming av tildelingskriterier - sammenheng
Utforming av tildelingskriterier - generelle tips God kjennskap til hva markedet kan levere gir presise kriterier og gode tilbud. Hold antallet tildelingskriterier til et minimum. Definer kriteriene tydelig og gi konkrete krav til dokumentasjon. Få dokumentasjonen av kriteriene på en bestemt måte Tenk over hvilke kvaliteter i et tilbud du vil være villig til å betale ekstra for. Vær bevisst på hvilke kriterier som er gode, kan være upresise og kan være ulovlige.
Utforming av tildelingskriterier - råd og tips Nærmere råd og tips om utforming av kriterier knyttet til: Pris Løsningsforslag eller oppdragsforståelse Leveransetidspunkt Estetikk Miljø Kompetanse Personlig egnethet
Tildelingskriterier eksempel 1 Løsningsforslag eller oppdragsforståelse Tips til hvordan gjøre tildelingskriteriet enklere å evaluere: Del opp i flere underpunkter. Eksempelvis: Beskrivelse av løsningen, eventuelt med svar på konkrete problemstillinger Organisering, planlegging og gjennomføring av oppdraget Sett klare rammer for omfanget av oppdraget Sett begrensninger for beskrivelsen av løsningsforslaget Be om timeforbruk for å vurdere hvor effektivt de har tenkt å løse oppgaven
Tildelingskriterier eksempel 2 Kompetanse Tips til hvordan gjøre tildelingskriteriet enklere å evaluere: Identifiser nøkkelroller hos leverandøren. Vær konkret på hva som skal evalueres (formalkompetanse, antall år erfaring, antall oppdrag etc.) Tips om krav til referanseoppdrag Kort om forholdet tildelingskriterier - kvalifikasjonskrav Utarbeidet: CV-mal som sikrer lik beskrivelse fra tilbyder Skjema for vurdering av kompetansekriterier Skjema for beskrivelse av referanser
Evalueringsmodeller- og metoder Vekting: Vekting må oppgis over terskelverdi, under hvis forhåndsbestemt. Generelt anbefales å informere om vekting uansett Poeng og poengskala: Sjekkliste: Poengberegningen må være objektiv og etterprøvbar Sikres at relevante forskjeller mellom tilbudene gjenspeiles i de poengene tilbudene gis. Poengskala må avspeile forventet spredning i kvalitet og pris Skalaen må heller ikke romme kvalitet eller pris ut over det forventede For liten poengskala kan bety store forskjell i tilbud allikevel like i poeng For stor poeng kan innebærer at for mange tilbud ender i en ende av skalaen Ikke bruke forskjellige skalaer for forskjellige kriterier. Publisere evalueringsmodellen?
Evalueringsmodeller- og metoder Modeller og metoder for evaluering som omtales: Laveste pris Kun kvalitet Relative poengmodeller Prissetting av kvalitet
Laveste pris Brukes hvor kvaliteter/egenskaper utover de angitte minstekravene ikke er av betydning for valg av tilbud. Forutsetter god oversikt leverandørmarkedet ikke behov for å gi markedet mulighet til å presentere løsningsforslag som har større verdi. Kan være utfordrende å komme fram til sammenlignbar pris/kost i tilbudene Kan egne seg ved kjøp av: Standardprodukter til standardiserte leveringsbetingelse: Kjøp av forbruksartikler som kontorrekvisita og renholdsprodukter. Tjenester som fra dag til dag utføres på akkurat samme måte: Kjøp av renholdstjenester for renhold av forhåndsbestemte lokaler med en forhåndsbestemt kvalitetsstandard. Kompetanse, hvor oppdragsgiver kjenner markedet godt og hvor det er tilstrekkelig at det stilles høye krav til tekniske og faglige kvalifikasjoner i kvalifiseringen av leverandøren. Difi anbefaler ikke kjøp etter laveste pris sjelden kriteriene over oppfylt
Høyeste kvalitet (fastpris) Fastpris hvor tilbyderne konkurrerer om å tilby mest mulig kvalitet og/eller volum for denne prisen Egner seg i utgangspunktet for kjøp hvor oppdragsgiver har et fast budsjett til bruk i innkjøpet og hvor kvaliteten i leveransen er viktig. Egner seg ikke ved kjøp av varekjøp og tjenestekjøp hvor man har vansker med å finne markedspris for det man skal kjøpe. Benytt poengmodell for evaluering av de kvalitative kriteriene Eksempel på kjøp hvor høyeste kvalitet er egnet: Ved utførelse av en komplisert tjeneste hvor kvalitet er av særlig stor viktighet Konsulenttjenester Tjenestekjøp hvor pris er en politisk risiko, f.eks. sosiale tjenester, drift av sykehjem. Man skal kjøpe en vare eller tjeneste hvor det er en risiko at for sterkt prisfokus kan medføre en kvalitetsreduksjon som til syvende og sist bæres av oppdragsgiver (f.eks. kjøp av pleie- og omsorgstjenester eller medisinske tjenester). Ved kjøp av et teknologisk produkt hvor det er mulig å inkludere ulike tilleggsytelser. Difi anbefaler kjøp etter fastpris gitt disse forutsetningene
Relative poengmodeller Modellene kjennetegnes ved at priselementene blir gitt poeng, poengene sammenstilles og tilbudet med høyest poengsum vinner. Tilbud vurderes i relasjon til hverandre og ikke i forhold til forhåndsfastsatte kriterier. Mest vanlige modellene: Lineær ( 50 % høyere pris gir halvparten av tilgjengelige poeng ) og forholdsmessig (differansen i poeng blir mindre jo høyere prisforskjellene er). Andre varianter omtales Anbefalinger: Bruk en så enkel modell som mulig Vurder særlig spredning i pris og hva som er forventet valg av evalueringsmodell bør påvirkes av forventet og faktisk prisspredning i tilbudene (det er tillatt så lenge ikke modellen er publisert i kunngjøringen). Rangordningen kan påvirkes av prisnivået på øvrige tilbud og kan legge opp til at noen for eksempel priser taktisk lavt Lineær modell kan brukes hvor priser ikke gir negative poeng og hele poengskalaen for kvalitet brukes. Forholdsmessig modell kan brukes, men vær kritisk ift. tilbudte priser dersom forskjell mellom laveste og høyeste pris er store. Modellen vil da premiere tilbud med høy pris og bruk av modellen kan resultere i for avvikende og uventede poengscorer. Difi anbefaler bruk av lineær og forholdsmessig modell forutsatt at hensynene over ivaretas
Prissetting av kvalitet Modellen poengsetter de((t) kvalitative tildelingskriteriene, deretter omregnes poeng til pris og den tilbudte pris gis et fiktivt fratrekk eller påslag Både de monetære og de ulike kvalitetsaspektene kan sammenligne i monetære former. Modellens fordel: Rangering blir ikke av pris i uaktuelle tilbud på samme måte som relative poengmodeller. Egner seg når man har god kjennskap til markedet og har et bevisst forhold til hvor mye man vil betale for kvalitet Modellen kan egne seg ved: Kjøp innen bygg og anlegg hvis oppdragsgiver gjerne ønsker mer kvalitet, men kun til en gitt pris. Kan benyttes ift. eks. tillegg/opsjoner, raskere byggetid Kjøp av tjenester hvor enkelte kvalitetsfaktorer kan konkretiseres (f.eks.responstid). Ved kjøp av teknologiske produkter som kan ha ulik ytelse og tilleggsfunksjoner. De ulike produktene som tilbys kan alle tilfredsstille et sett minimumskrav, men ulike tilleggsytelser/kvaliteter ved produktet kan tilbys. Slike kvalitetsaspekter kan vurderes ved at man gir dem en verdi i kroner og øre. Difi anbefaler bruk av prissetting av kvalitet Det er en risiko at modellen er lite brukt og dermed lite kjent i markedet. Resultatene fra bruk av modellen kan dermed være lite forutsigbar.
Oppsummering 1 - type kjøp /evalueringsmodell Ulike evalueringsmodeller - prioritert Poengsetting av pris* Relativ til laveste pris Prissetting av kvalitet Prosentvis og absolutt justering Høyeste kvalitet Laveste pris Bygg og anlegg Varekjøp Tjenestekjøp Kontorrekvisita Konsulenttjenester Hotelltjenester Entreprise XXX XXX X X X X Håndverker XXX IKT Rådgivere XXX X XXX XX X =anbefalt =kan brukes =ikke anbefalt - =bør ikke brukes
Oppsummering 2 - kriterium / evalueringsmodell Ulike evalueringsmodeller - prioritert Pris Kvalitet Løsningsforslag/oppgavefors tåelse Leveransetid Estetikk og design Miljø Kompetanse Personlig egnethet XXX XX X =anbefalt =kan brukes =ikke anbefalt - =bør ikke brukes Poengsetting av pris* Relativ til laveste pris Prissetting av kvalitet Prosentvis og absolutt justering Høyeste kvalitet Laveste pris XXX - XXX XXX XXX XXX XX - XXX XX - XXX XXX - XXX XXX - X X XXX -
Kontrakt og oppfølging Kontrakt - Sjekk! BEHOV : EVALUERING : KONTRAKT Sikre at kontrakten fanger opp: krav/kriterier knyttet til å dekke behovet hva leverandøren har lovet og blitt valgt på Behov Behov! Leveranse! Behov? Verktøy: Måling og oppfølging Kontraktsoppfølging www.anskaffelser.no Leveranse Krav/kritier Valgt løsning
Oppsummering Behovet! Prioriter krav og kriterier! Evaluer! Vurder leveranse! Tips! «Åpen og fleksibel» ehandel
Takk for oppmerksomheten! Finn veiledning om temaet her: www.anskaffelser.no Tilbakemeldinger, råd og tips til oss som arbeider med dette mottas med takk! Harald R. Sundlo harald.sundlo@difi.no 90 52 60 11 Viel Sørensen viel.sorensen@difi.no 95 27 63 60 Anders W. Skumsnes aws@difi.no 90 97 50 40