EVALUERING AV AKKREDITERT PRØVETAKING. Jan Fredrik Arnesen

Transkript

1 EVALUERING AV AKKREDITERT PRØVETAKING Jan Fredrik Arnesen

2 MD ved Terje Farestveit tok kontakt sensommeren Ønsket evaluering av uavhengig part. - Hadde hatt det ute på anbud, ingen ønsket å gjøre det. - JFA forespurt sa ja til å være med på å utføre dette. - Utformet spørsmål sammen med MD - Dessverre litt vel mange spørsmål. - Sendt ut til et utvalg. - Fått svar fra 5 driftsassistanser, 10 renseanlegg, 3 tekniske bedømmere og NA. - De fleste har svart, men noen en del mangelfullt på en del av spørsmålene. Spesielt økonomibiten.

3 MD ønsket å evaluere ordningen med akkreditert prøvetaking mhp: - kostnader. - Hva det har gjort med prøvene faglig, representativitet etc. - Arbeidsbelastning og holdninger blant personell som utfører. - Synspunkter fra de forskjellige involverte. Akkrediterte organisasjoner (Driftsassistanser) RA Tekniske bedømmere Norsk akkreditering.

4 Kostnader: Ingen bombe at det er kostbart. - Ganske forskjellig pris på etablering og hvordan man kommer frem til godkjent. - Kostnader drift: Litt forskjellig hva de forskjellige akkrediterte organisasjonene utfører for anleggene, og hvor mye anleggene utfører selv: Derfor vanskelig å sammenligne direkete. - Mangelfulle opplysninger fra en del. (sannsynlige årsaker) - Noen på renseanlegg vet ikke kostnader - Noen ønsker å begrense informasjon om sine kostnader.

5 ØKONOMI: 4 akkrediterte enheter som driftsassistanse svart: Kostnad for å bli akkreditert. Tidsbruk pr år fra 600 til 1900 timer.

6 ØKONOMI: Renseanleggene: Noen renseanlegg ikke svart på økonomibiten. - Mulig de som har svart ikke har hatt forhold til det. - Tid for å ta riktige prøver er det kun kostand akkreditering? - Kostnad for riktig mengdemåling, er det kun kostnad akkreditering? - Totalkost Norge til pr anlegg. Med ca. 300 kap 14 anlegg Kr 27 mill til 54 mill pr år.

7 MOMENTER SOM DE AKKREDITERTE ORGANISASJONENE MENER DET ER VIKTIG Å FREMHEVE: ( = DRIFTSASSISTANSENE) - Svært ressurskrevende og har unødvendig omfattende krav til detaljert dokumentasjon. - Altfor omfattende i forhold til arbeidsomfanget som kun er prøvetaking. Prøvetaking er kun en liten del av det som utgjør driften på renseanleggene. - Et såpass stort fokus på prøvetaking blir feil for anlegg som sliter med avløpsnett med store, ofte udokumenterte, innlekk og driftsproblemer med overløp på nett. - Standarden NS EN ISO og tilhørende dokumentasjon som benyttes er lite hensiktsmessig, altfor omfattende og ikke tilpasset prøvetaking av avløpsvann på renseanlegg. - Det er for hyppige bedømmerbesøk både hos organisasjonene og ute på anleggene. - Generelt inntrykk godt. Imidlertid erfart at det tar lang tid fra organisasjonen starter arbeidet med å godkjenne et avløpsrenseanlegg til NA har implementert avløpsrenseanlegget i organisasjonens akkrediterte organisasjon.

8 - Det er for mye fokus på overordnede ting og detaljer i dokumenter på besøk fra NA. - Driftsassistansene har i flere år før akkreditert prøvetaking ble innført arbeidet med å få anleggene til å ta representative prøver, og det er laget veiledere for dette. Problemet var at det i lovgivningen ikke var stilt formelle krav til kvalitetssikring av prøvetakingen, og nøyaktigheten kunne variere mye i forhold til andre arbeidsoppgaver. Etter innføring av formelle krav til prøvetakingskvaliteten har anleggseiere blitt nødt til å prioritere dette mye høyere, og på et nivå som gjør det meningsfullt å gjøre laboratorieanalyser av kontrollprøvene med så høy nøyaktighet som mulig.

9 Mer positive tilbakemeldinger enn jeg var forberedt på: - Prøvetakingen blir formalisert og representativ. Foregår uavhengig av person. - Det legges vekt på å bevare prøvens kvalitet hele veien frem til analyselaboratoriet tar over ansvaret for prøvene. - Det har blitt større aktivitet rundt prøvetaking og mer fokus på prøvetaking. - Styringssystemet gir klare retningslinjer (prosedyrer) for hvilke krav som stilles for kontrahert personell og til prøvetakingen. - Representativitet på rensegrader og mengdebelastninger blir bedre enn tidligere på flere anlegg. - Ordningen har tvunget frem investeringer ute på anleggene, som har forbedret prøvetakingen, noen anlegg har fått oppgradert utstyr og installasjoner. - Oppmerksomheten som tildeles operatører under innfasing av ordningen synes å være positiv. - Ordningen får frem gode og pålitelige prøvetakingsresultater. Resultatene fra avløpsrenseanlegg som er akkreditert er til å stole på. - Fravær av svært avvikende / utypiske analyseresultater, som ikke skyldes analyse-feil.

10 - Driftspersonell føler de blir mer verdsatt. - Prøvetaking har fått god fokus blant driftspersonellet. - Ordningen gir rådgiveren mer tyngde, og blir lettere hørt av anleggseier. - Stort fokus på bruk av elektronisk prøverapportering har vært en utfordring, men har resultert i kunnskapsheving (i PC bruk) for flere kontraherte personer. - Anleggene som har blitt akkreditert har implementert kvalitetssystem og rutiner godt. - De kontraherte setter pris på sin rolle som kontrahert. - Litt mye detaljer, men det er godt å ha et enhetlig system for alle de store renseanleggene. - Anleggene har fått bedre kontroll med driften med tanke på prøvetakerpunkt, returstrømmer, overløp og mengdemåling. - Personell ute på anleggene viser stolthet av å ha tatt representative prøver, og flere anlegg har gjort en del tekniske oppgraderinger ute på avløpsrenseanleggene rundt prøvepunktene og mengdemålingen. Dette har også bidratt positivt på HMS biten. Dette har også gitt prøvetakingsjobben mer fokus og status ute på anleggene.

11 MOMENTER SOM DRIFTSASSISTANSENE TREKKER FREM SOM NEGATIVT: - For stor ressursbruk og for høye kostnader. - Omfattende dokumentasjonskrav. For rigid. - Omfattende på områder som ikke nødvendigvis betyr så mye for kvaliteten i prøvetakingen. Krav om dokumentasjon på temaer som ikke nødvendigvis hever kvaliteten på prøvetakingen, og som dermed fører til frustrasjon og resignasjon hos enkelte av de kontraherte personene. - Det blir omfattende systemer som for mange anlegg er enkle og går over kort tid. Start og stopp av prøvetaker, samt uttak av prøve to ganger pr måned. - Erfaringen med NA er personavhengig og hva hver enkelt bedømmer legger mest vekt på. - NA sin monopol ordning. Ingen mulighet til å benytte andre akkrediteringsorganisasjoner. - Dyre besøk fra NA. Kostnader på bedømminger oppfattes som urimelig høye sett opp mot andre tilsyn som anleggene har.

12 - Detaljorienterte revisjoner fra NA på overordnede dokumenter i kvalitetssystemet som organisasjonene og anleggseiere ikke kan se har relevans for kvaliteten av prøvetakingen. For stort detaljfokus, spesielt på dokumenter og formuleringer i tekst. - Tekniske bedømmere kan ha ulike meninger om løsninger. En løsning kan vurderes som grei det ene året, og bli sett på som feil løsning under neste besøk. - Det virker noen ganger som om NA må sende en ny bedømmer for å lete etter feil eller mangler som forrige bedømmer ikke fikk med seg. Både organisasjonens ledelse og de kontraherte personene oppfatter det som provoserende. Det stilles spørsmål ved denne ressursbruken. - Besøkene koster svært mye og i tillegg brukes mye av arbeidstiden til både kontrahert personell ved anleggene og ledelse i organisasjonen.

13 En del tilbakemeldlinger på frustrasjoner: - For enkelte organisasjoner var de første møtene med NA et sjokk. Dette var enormt mye mer omfattende og rigid enn noe de hadde vært borti tidligere. En del av kravene som ikke var helt avklart/ på plass i starten har siden kommet inn i NA dok 30a. Alt dette burde vært på plass i forkant av at ordningen ble innført. - Enkelte teknisk bedømmere har til tider vært i overkant firkantet på det tekniske og i møte med kontrahert personell ute på anleggene. Dette har skapt en del frustrasjon hos operatører, da de flere ganger ikke har forstått hva teknisk bedømmer vil frem til. - Tilsvarende også for akkreditert organisasjon da NA tydeligvis har visst hva de ønsker at vi kommer frem til, men ikke ønsker å si det, da de ikke skal veilede. Dette oppfattes som litt vel firkantet og overdreven korrekthet. - Detaljnivået som var nødvendig for å få en del dokumenter godkjent av NA skapte en del frustrasjon i implementeringsfasen, og også delvis i driftsfasen. - - Det er nok en del som har blitt skrevet for å tilfredsstille NA, og ikke for anleggene sitt beste. Dette gjelder mest på overordnede dokumenter som kontrahert personell har lite forhold til.

14 Elementer som ikke går direkte på representative prøver: NS-EN ISO kap 4 inneholder svært mange detaljerte krav til organisasjon, kvalitetspolitikk, forankring til øverste ledelse, styringssystem, dokumentstyring, innkjøp, evaluering, årsaksanalyser, internrevisjon, ledelsens gjennomgang osv. Lite av dette er nyttig eller nødvendig for å få en representativ prøve. Mye av dette på kapittel 4 er mer grunnlag for at kvalitetssystemet holder mål ovenfor NA. Avviksbehandlingen har det derimot vært nyttig å få satt fokus på, og forbedringsarbeid er alltid lurt. Kapittel 5 inneholder et unødvendig stort omfang av detaljerte krav til validering av metoder, og rigide krav til temperatur, oppbevaring og transport. Noen av disse kravene virker meningsløse i denne sammenhengen.

15 På det tekniske oppfattes krav til merking av alt utsyr med egen ID etc som flisespikkeri. En fastmontert prøvetaker forveksles ikke tilfeldigvis med enn annen. Dersom den byttes ut, har det ingenting å si for prøven, så lenge ny prøvetaker er kontrollert for volum, sugehastighet og har riktig innstilling av prøvehyppighet. NA gir avvik på mye som ikke har noe direkte med hvordan man skal få en representativ prøve. Avvik på ordlyd i kvalitetssystemet Detaljstyring rundt lagring av utskrevne loggbøker etc. Det er vanskelig å tolke kravet som ligger til grunn for enkelte avvik som NA gir.

16 Tilsvarende tilbakemeldinger fra renseanleggene: - Synes det er litt mye detaljer, men mange er positive til at det er fastsatte rutiner og regler. - Anlegget hadde gode rutiner og god kontroll på prøvetaking før akkreditering ble innført. - Generelt bra, men omfattende. Godt inntrykk av sin driftsassistanse, men har ikke så godt inntrykk av arbeidet til NA. - Det ser ut til at det er lite samsvar mellom det som ordningen skal gi av data og det som er den virkelige hverdagen. Måleusikkerhet på 10% på mengdemåler, ml nøyaktighet på prøveuttaksvolum, og så +20% eller mer målenøyaktighet på lab metoden. Dette virker ikke logisk for mange, og det kan virke i overkant pirkete på prøvetakingsbiten. - God, men kostbar. - For detaljert regelverk. - Ordningen bærer preg av et regime og en standard overdimensjonert for avløpsrensing og øvrig lov/forskrift innen fagområdet.

17 Positive tilbakemeldinger fra renseanlegg: - Prosedyrer blir fulgt opp og revidert - Alle prøveuttak har samme utgangspunkt. Prøver blir hentet og levert til lab på riktig måte. - Direkte fokus på resultater på operatørnivå. - Resultater mer representative enn tidligere. + Sunt å bli kikket i korta. - Morsommere å arbeide med resultater man vet er mer riktige. - Større fokus på hva resultatene betyr. - Fått implementert avviksbehandling i hele organisasjonen, også på andre avvik enn akkreditert omfang. Det har blitt ufarliggjort å skrive avvik. - Positivt at prøver tas ut på samme måte hos alle som er akkreditert. Fordel når resultater skal sammenlignes.

18 Fylkesmannen: Driftsassistanser og Renseanlegg sin oppfatning - Flere gir tilbakemeldinger på at de synes fylkesmennene er litt passive og lite synlige. - Noen opplever Fylkesmannen som litt fraværende. - Data fra akkreditert prøvetaking utgjør ingen forskjell med tanke på dialogen med FM. - Det er ikke inntrykk av at Fylkesmannen legger mer vekt på prøver som er tatt ut akkreditert. Likevel poengteres det at FM gjennom utslippstillatelser tydeliggjør kravet for akkreditert prøvetaking, og setter tidsfrister for gjennomføring. - Andre påpeker at FM har fokus på om ordningen innfases, og er viktig for at ordningen fases inn. - Fra RA: Ja, fokus fra FM på at prøver er tatt ut akkreditert: 3 Nei, ikke fokus fra FM på at prøver er tatt ut akkreditert: 5 (2 ikke hatt kontakt etter akkreditering oppnådd)

19 NA svært lite konkrete tilbakemeldinger: - NA påpeker at dette er en akkrediteringsordning på lik linje med andre ordninger. - NA har ingen kommentar til noe de vil fremheve, eller noe som har overrasket dem med ordningen positivt eller negativt. - NA har ingen kommentar til om de har noe inntrykk av at organisasjonene ute på anleggene har lært noe av ordningen. - NA påpeker at de ikke godkjenner noen systemer, men gjør en samsvarsvurdering og en kompetansevurdering.

20 Teknisk bedømmere har flere gode innspill: - Ordningen har sin misjon. Ved gjentatte besøk til samme organisasjon ser teknisk bedømmer i mange tilfeller markert kvalitetsheving av både kompetanse, prøvetakingen og mengdemålingen. - Den skarpeste kritikken mot ordningen har helt klart kommet fra organisasjoner og/eller personer som ikke har hatt god nok kunnskap om ordningen, eller fra de som som ikke har tatt imot gode råd fra NA i prosessen. - Samlet sett har ordningen utvilsomt både løftet kvalitet og profesjonalitet i bransjen, men er selvsagt sterkt svekket av at myndighetene ikke har fulgt opp kravet, slik at enkelte har trenert kravene til direkte vinning, mens de som har fulgt opp kravet dermed har fått en økonomisk belastning. - Bransjeforeningen Norsk Vann har dessverre valgt å ikke hjelpe sine medlemmer med maler el. for dette lovpålagte kravet, noe som sannsynligvis har bidratt til den sene etableringen.

21 Teknisk bedømmere har flere gode innspill: POSITIVE SIDER VED ORDNINGEN - God orden og representativitet på prøver fra avløpsrenseanleggene. - Kompetanseheving innen prøvetaking hos kontrahert personell. - Nødvendige tekniske utbedringer for å få representativt prøveuttak og mengdemåling blir gjennomført. - Betydelig økt presisjon når det gjelder representativ prøvetaking og dermed analyseresultater for alle deltagende organisasjoner. - Økt forståelse for kvalitetssikring på medvirkende anlegg. - Økt kvalitet på, og kompetanse om vannmengdemåling.

22 Teknisk bedømmere har flere gode innspill: NEGATIVE: - Det er veldig mange krav i standarden, som kan gi et komplisert styringssystem med mange kontroller, som belaster det systematiske arbeidet. - Årsaken til dette er nok at systemarbeidet ikke er optimalisert i noe særlig grad og at de akkrediterte organisasjonene ikke alltid har erfaring fra å bruke standardkrav til sin fordel og utnytte mulighetene. - En del prosedyrer er skrevet med mye tekst og er ikke brukervennlige for kontrahert personell. Prosedyrene skal ikke være lange og innviklede, men kortfattede og direkte. - Ressursbruken, spesielt i organisasjoner med tynn kompetanse kan være stor. Samtidig ser teknisk bedømmer at organisasjoner med god kompetanse som gjør dette uten for store kostnader.

23 - Manglende oppfølging fra Fylkesmannen. - Enkelte deler av standarden det akkrediteres etter er for streng i forhold til sluttresultatet, og kan være medvirkende til at fullstendig akkreditering ikke lar seg gjennomføre alle steder. Fylkesmannen kan da være for rask med å gi dispensasjon fra hele ordningen, men man burde være flinkere til å gi dispensasjon fra bare det som er vanskelig/umulig, slik at anlegget opprettholdt god kvalitet på resten. Det gis ingen negativ reaksjon på uteblivelse av godkjenning (eks, dagsbøter). Dette fører til at de som er sent i gang med å bli akkreditert mister insitament til å etablere dette, og implementering av ordningen stopper opp. - Ingen mulighet for tekniske bedømmere til å gi dispensasjon for å kompensere for punktet ovenfor. Burde vært del av prosessen at tekniske bedømmere er i dialog med aktuell Fylkesmann når det skal bedømmes. - Enkelte krav til presisjon i akkrediteringen står ikke i forhold til hva som er mulig å oppnå i analysepresisjon. Kravene vil i en slik situasjon fremstå urimelige.

24 DET VAR DET