Måleusikkerhet ved prøvetaking eksempel på en praktisk tilnærming

Transkript

1 Måleusikkerhet ved prøvetaking eksempel på en praktisk tilnærming NAs akkrediteringsdag, 5. desember 2018 Astrid Nordbotten - astridnord9@gmail.com

2

3 Systematisk og tilfeldig påvirkning på usikkerheten ved prøvetaking Systematic effect Sampling uncertainty Random effect

4 The relationship between type of error, performance characteristics and their quantitative expression (figur fra NMKL prosedyre nr 9) Type of error Systematic error No: Systematisk feil Performance characteristic Trueness No: Riktighet Quantitative expression Bias No: Bias eller Avvik fra sann verdi Total error No: (Total) feil Accuracy No: Nøyaktighet Measurement uncertainty No: Måleusikkerhet Random error No: Tilfeldige feil Precision No: Presisjon (Relative) Standard deviation No: (Relativt) Standard avvik

5 Metoder for bestemmelse av måleusikkerhet ved prøvetaking Praktisk hovedtema denne presentasjonen Alternativ praktisk Variografi er spesielt nyttig i tilfeller der det er store avstander (timer) mellom prøvetakingstidspunktene eller midlertidig/periodevis variasjon i konsentrasjonen av kontaminanter som ønskes modellert og kvantifisert (for eks. avløpsvann) - se Nordtest TR 604 Modellering tilnærmelse Identifisere alle kilder til usikkerhet, kvantifisere bidraget fra hver enkelt kilde (fisekbeinsdiagram), for deretter å kombinere alle bidragene (budsjett), for så å estimere den totale måleusikkerheten (basert på Pierre Gy s prøvetakingsteori)

6 Fiske-bein diagram - eksempler på kilder fra prøvetaking som bidrar til måleusikkerheten Fordeling Variasjon i tetthet Variasjon i størrelse Partikkel størrelse og fasong Prøve type Prøve/ analytt stabilitet In-lab betingelser Systematisk frekvens Tilfeldig Stratifisert tilfeldig Antall prøver Prøvetakings strategi Prøve størrelse Kontaminering Egnet for formålet Operator Heterogenitet Prøvetakings utstyr Handtering av prøver Temperatur Fuktighet Type emballasje Tid Transport og konservering

7 Bidrag til måleusikkerhet av systematisk og tilfeldig karakter Tilfeldig (presisjon) Analyse Analytisk variabilitet - inkludert prøvesplitting /preparering og handtering (kombinerte bidrag av tilfeldige karakter) Prøvetaking Prøvetakings variabilitet (dominert av heterogenitet og operatør variasjons) Systematisk (bias) Analytisk bias (kombinerte bidrag fra kilder til bias, som for eks ekstraksjon) Prøvetakings bias (kombinerte bias effekter fra prøvetakingsstrategi, operatør bias etc.)

8 Bakgrunn for NordTest 1 prosjektet I forbindelse med et overvåkningsprogramm i Mattilsynet (på cereal bassert barnemat- pulver) ble det observert stor variasjon av mengden vitamin A (retinol) ved analysene. Selv mellom analyseprøver fra same pakke og mellom pakker fra den samme batchen. (Analysemetoden som ble brukt var EN Foodstuffs determination of vitamin A by HPLC ) Vi så derfor behovet for å finne og deretter minimalisere hovedkilden til måleusikkerheten var det på grunn av Prøvetaking/sekundær prøvetaking?? Hetrogenitet - Analysis?? 1 The NordTest guide TR 604 kan lastes ned fra

9 Casestudie: Beregning av måleusikkerhet ved bestemmelse av retinol (vitamin A) i (cereal basert) grøtpulver for små barn Beregning ved et praktisk design en empirisk duplikat metode (nested design) Beregning ved bruk av ANOVA 1 og RANGE statistikk Ser på effekten av testprøvens størrelse på måleusikkerheten (40 g og 4 g testprøve Analysemetode: EN ). Splitting av prøvene i laboratoriet ved hjelp av en mekanisk prøvedeler (Retsch) 1) Analysis of variance = ANOVA

10 Design med to split levels I prosjektet: Objekt = en batch. 10 batcher ble prøvetatt. Objekt for prøvetaking prøve = 1 pakke Prøve 1 Prøve 2 Analyseprøve 1 Analyseprøve 2 Analyseprøve 1 Analyseprøve 2 Analyse 1 - S2A1 Analyse 2 - S2A2 NordTest guide TR 604 kan lastes ned fra

11 Kommentarer til designet Duplisering av prøvetakingen og analysene Ulempe Kun tilfeldig del av usikkerheten vurderes Fordeler Enkelt og generelt design - basert på standard avvik s. s 2 måling s 2 prøvetaking 2 analyse Systematisk del (info fra produsent) Sann verdi er kjent µg/100 g (retinol) Middelverdi sammenlignet med sann verdi Gjenfinning > 99 % s

12 Repeterbarheten ved målinger (prøvetaking + analyse), retinolanalyser Vanlig innveid mengde er 2 10 g (EN ) Produsent angir at dette er alt for lite å veie inn! Casestudiet viste: Analyseprøve på 4 g ga et relativt standard avvik (RSD(%)) på 37 % (prøvetaking 4,95% + analyse 36,7%) * Analyseprøve på 40 g ga et relativt standard avvik (RSD(%)) på 10 % (prøvetaking 4,95 %+ analyse 8,28) Analyseprøve på 40 g bør velges! * Beregnet fra s 2 measurement s 2 sampling s 2 analysis

13 A1-A2 Resultat, 40 g analyseprøve valideringsstudie Batch S1A1 S1A2 S2A1 S2A2 B B B B B B B B B B Rapportert som Retinol, µg/100 g pulver S1-S2 A1-A2

14 ANOVA-beregninger ved bruk av ROBAN 1 og (nytt etterpå: RANOVA 1 ) (University of Newcastle, Imperial College and University of Sussex) CLASSICAL ANOVA RESULTS barnegrøt, 40 g analyseprøve Mean = 347,85001 (µg/100 g) Standard Deviation (Total) = 39, (µg/100 g) Sampling Analysis Sums of Squares Standard Deviation (µg/100 g) 17,2 28,8 Percentage Variance 18,8 52,6 1) 2) For formler brukt i kalkuleringen ANOVA, se NordTest guide TR 604

15 RANOVA-beregninger ved bruk av ROBAN (vekter ned outliere ) Barnegrøt-pulver, 40 g analyseprøve ROBUST ANOVA RESULTS: Mean = 346,01602 Standard Deviation (Total) = 41, Between Target Sampling Analysis Measurement Standard Deviation 18, , , , Percentage Variance 19, , , , Relative Uncertainty - 12, , , (% at 95% confidence) Classical ANOVA Standard Deviation (µg/100 g)

16 Range beregninger (utført av Bertil Magnusson, SP) Prøve 1 Prøve 2 Range x i11 x i12 Range Mean x i21 x i22 Range Mean Målinger , Mean range for analysen er 33,6 µg/100 g Mean range for målingene

17 Range resultater Analyser (n=1) Parameter Vitamin A µg/100g Mean range fra duplikate analyser 33,6 Stand dev. s estimert fra range 29,8 Kommentarer s = range/1.128 Resultater Målingene (n=2) Parameter Vitamin A µg/100g Mean range fra duplikate målinger 32,1 Standard dev. s estimert fra range 28,5 Kommentarer s = range/1.128

18 Resultat prøvetaking s prøvetaking s 2 måling s 2 analyse Parameter Vitamin A µg/100g Totalt standard dev. 28,5 Analyse standard dev. 29,8 Kommentar Målinger (prøvetaking + analyse, n=2) Analysedel (n=1) Prøvetaking standard dev. 19,1 * ,5 29,8 2 * Comment: Since the analyses are based on a mean of duplicates the standard deviation of analysis is divided by square root of 2 in the formula above standard error of the mean.

19 Sammenligning av resultat fra flere statistiske metoder for kalkulering av måleusikkerhet (samme datagrunnlag) Vitamin A i barnegrøt-pulver (40 g innveid prøve) s anal RSD anal s prøve RSD prøve s totalt RSD totalt μg/ 100 g % μg/ 100g % μg/ 100g % Range ANOVA Robust ANOVA

20 Måleusikkerhet inkludert prøvetaking og bruk av kontrollkort Med data fra valideringsstudiet kan det lages et kontrollkort og måleusikkerheten for hver produkttype følges opp ved at det blir tatt ut 2 tilfeldige prøver fra for eks. hver batch/lot som blir testet. Resultatene føres inn i et kontrollkort (KK) Kontrollkortet kan lages iht beskrivelse i Trollboken - Nordtest teknisk rapport NT TR 569. Denne kan lastes ned fra

21 Design: Kvalitetskontroll (QC) Produkt 1 Produkt 8 S1 S2.. Etc. S2 S1 Prøve P1S1 (1 pakke) Analyseprøve 1 D= x s1 -x s2 Prøve P1S2 (1 pakke) Analyseprøve 1

22 Beregning av grenser og sentral linje i kontrollkort barnegrøt pulver Kalkuleringene er basert på resultatene fra validerings studiet: RSD(%) = u måling = 9,7% Sentral linje: Alarm grense: Aksjons grense: C l = 1,128 9,7% L w = 2,83 9,7% L a = 3,69 9,7% For hver batch som inngår i KK - kontrollen kalkuleres d(%) (D ) 100% x (D= x s1 -x s2 )

23 Kontrollkort måleusikkerhet fra prøvetak og analyse av vitamin A (retinol) i barne- grøtpulver som inneholder cerealer og frukt P1-A1 P2-A1 P3-A1 P4-A1 P5-A1 P6-A1 P7-A1 P8-A1 P1-A2 P2-A2 P3-A2 P4-A2 P5-A2 P6-A2 P7-A2 P8-A2 Difference between results - d(%) Calculated: d (%) Action limit (36 %) Warning limit (27 %) Central line (11%) Product/analyses

24 Casestudie: Nitrat i salat fra drivhus. Studiet er utført av: J. Lyn (FSA, UK) and co-workers. Se eksempel i EuraChem Guide 1 on UFS (Uncertainty From Sampling) 1) Kan lastes ned fra

25 Casestudie salat: Datasett Prøve objekt S1A1 S1A2 S2A1 S2A2 A B C D E F G H Nitrat rapportert som mg/kg

26 Sammenligning mellom forskjellige beregningsmodeller for måleusikkerhet casestudie Nitrat i salat fra drivhus s anal RSD anal s prøve RSD prøve s måling RSD målin mg/kg % mg/kg % mg/kg % Range 167 3, ANOVA 148 3, Robust ANOVA

27 Beregning av måleusikkerhet ved bruk av double split design empirisk modell Forskjellige måter å beregne måleusikkerheten på gir sammenlignbare resultat. Gjør outlier test (ved behov) Dersom det er outliere i datasettet bruk Robust statistikk (for eks Robust ANOVA, vekter ned outliere) Metoden bør kun brukes ved en tilnærmet normalfordeling av måleresultatene Double split design er en enkelt og generelt design, men bare den tilfeldige delen av måleusikkerheten (presisjonen) blir beregnet

28 Dette designet kan også brukes til å se hvilke deler av prosessen som gir størst bidrag til måleusikkerheten (prøvetaking sett i forhold til splitting, opparbeidelse og analyse av prøven) Objekt for prøvetaking Prøve 1 Prøve 2 Analyseprøve 1 Analyseprøve 2 Analyseprøve 1 Analyseprøve 2 Analyse 1 - S1A1 Analyse 2 - S1A2 Analyse 1 - S2A1 Analyse 2 - S2A2

29 Takk til EuraChem og NordTest: arbeidsgruppene for måleusikkerhet fra prøvetaking (UFS) Nestlé (Norge) for deres velvillige samarbeid i planleggingen i tillegg til at de tok ut prøver (iht prosjektgruppens instruksjoner) av sine produkter til prosjektet (til validerings og til kvalitetskontroll studie) Småfolk - Tine Norske Meierier for å skaffe prøver til kvalitetskontroll studiet NIFES (nå del av HI) for å ha analysert prøvene og i tillegg å ha gitt oss data fra laboratoriets kvalitetssikringssystem Studiet var gjennomført med støtte fra Nordic Innovation Centre (NordTest), NIFES, NMKL og Mattilsynet

30 Aktuelle kontaktpersoner Generell guru for praktisk tilnærming estimering av måleusikkerhet ved prøvetaking: Michael H Ramsey, University of Sussex, UK Variografi for estimering av måleusikkerhet ved prøvetaking i avløpsvann: Ulla Lund og Mikael Krysell, Eurofins Environment A/S, Danmark Teoretisk tilnærming, men også god erfaring med praktisk tilnærming for beregning av måleusikkerhet ved prøvetaking. Pentti Minkkinen, Lappeenranta University of Technology, Finland Praktisk tilnærming inkl. Range beregninger: Bertil Magnusson, Technical Research Institute of Sweden (også Trollbok-prosjekt) Leder for prosjektgruppe for NordTest guide TR 604 Christian Grøn, DHI Water & Environment, Denmark. (Byttet arbeidsplass)

31 Takk for oppmerksomheten!!