Måleusikkerhet ved prøvetaking eksempel på en praktisk tilnærming NAs akkrediteringsdag, 5. desember 2018 Astrid Nordbotten - astridnord9@gmail.com
Systematisk og tilfeldig påvirkning på usikkerheten ved prøvetaking Systematic effect Sampling uncertainty Random effect
The relationship between type of error, performance characteristics and their quantitative expression (figur fra NMKL prosedyre nr 9) Type of error Systematic error No: Systematisk feil Performance characteristic Trueness No: Riktighet Quantitative expression Bias No: Bias eller Avvik fra sann verdi Total error No: (Total) feil Accuracy No: Nøyaktighet Measurement uncertainty No: Måleusikkerhet Random error No: Tilfeldige feil Precision No: Presisjon (Relative) Standard deviation No: (Relativt) Standard avvik
Metoder for bestemmelse av måleusikkerhet ved prøvetaking Praktisk hovedtema denne presentasjonen Alternativ praktisk Variografi er spesielt nyttig i tilfeller der det er store avstander (timer) mellom prøvetakingstidspunktene eller midlertidig/periodevis variasjon i konsentrasjonen av kontaminanter som ønskes modellert og kvantifisert (for eks. avløpsvann) - se Nordtest TR 604 Modellering tilnærmelse Identifisere alle kilder til usikkerhet, kvantifisere bidraget fra hver enkelt kilde (fisekbeinsdiagram), for deretter å kombinere alle bidragene (budsjett), for så å estimere den totale måleusikkerheten (basert på Pierre Gy s prøvetakingsteori)
Fiske-bein diagram - eksempler på kilder fra prøvetaking som bidrar til måleusikkerheten Fordeling Variasjon i tetthet Variasjon i størrelse Partikkel størrelse og fasong Prøve type Prøve/ analytt stabilitet In-lab betingelser Systematisk frekvens Tilfeldig Stratifisert tilfeldig Antall prøver Prøvetakings strategi Prøve størrelse Kontaminering Egnet for formålet Operator Heterogenitet Prøvetakings utstyr Handtering av prøver Temperatur Fuktighet Type emballasje Tid Transport og konservering
Bidrag til måleusikkerhet av systematisk og tilfeldig karakter Tilfeldig (presisjon) Analyse Analytisk variabilitet - inkludert prøvesplitting /preparering og handtering (kombinerte bidrag av tilfeldige karakter) Prøvetaking Prøvetakings variabilitet (dominert av heterogenitet og operatør variasjons) Systematisk (bias) Analytisk bias (kombinerte bidrag fra kilder til bias, som for eks ekstraksjon) Prøvetakings bias (kombinerte bias effekter fra prøvetakingsstrategi, operatør bias etc.)
Bakgrunn for NordTest 1 prosjektet I forbindelse med et overvåkningsprogramm i Mattilsynet (på cereal bassert barnemat- pulver) ble det observert stor variasjon av mengden vitamin A (retinol) ved analysene. Selv mellom analyseprøver fra same pakke og mellom pakker fra den samme batchen. (Analysemetoden som ble brukt var EN-12823-1 Foodstuffs determination of vitamin A by HPLC ) Vi så derfor behovet for å finne og deretter minimalisere hovedkilden til måleusikkerheten var det på grunn av Prøvetaking/sekundær prøvetaking?? Hetrogenitet - Analysis?? 1 The NordTest guide TR 604 kan lastes ned fra http://www.nordtest.info/index.php/technical-reports/category/chemistry.html
Casestudie: Beregning av måleusikkerhet ved bestemmelse av retinol (vitamin A) i (cereal basert) grøtpulver for små barn Beregning ved et praktisk design en empirisk duplikat metode (nested design) Beregning ved bruk av ANOVA 1 og RANGE statistikk Ser på effekten av testprøvens størrelse på måleusikkerheten (40 g og 4 g testprøve Analysemetode: EN-12823-1). Splitting av prøvene i laboratoriet ved hjelp av en mekanisk prøvedeler (Retsch) 1) Analysis of variance = ANOVA
Design med to split levels I prosjektet: Objekt = en batch. 10 batcher ble prøvetatt. Objekt for prøvetaking prøve = 1 pakke Prøve 1 Prøve 2 Analyseprøve 1 Analyseprøve 2 Analyseprøve 1 Analyseprøve 2 Analyse 1 - S2A1 Analyse 2 - S2A2 NordTest guide TR 604 kan lastes ned fra http://www.nordtest.info/index.php/technicalreports/category/chemistry.html
Kommentarer til designet Duplisering av prøvetakingen og analysene Ulempe Kun tilfeldig del av usikkerheten vurderes Fordeler Enkelt og generelt design - basert på standard avvik s. s 2 måling s 2 prøvetaking 2 analyse Systematisk del (info fra produsent) Sann verdi er kjent - 349 µg/100 g (retinol) Middelverdi sammenlignet med sann verdi Gjenfinning > 99 % s
Repeterbarheten ved målinger (prøvetaking + analyse), retinolanalyser Vanlig innveid mengde er 2 10 g (EN-12823-1) Produsent angir at dette er alt for lite å veie inn! Casestudiet viste: Analyseprøve på 4 g ga et relativt standard avvik (RSD(%)) på 37 % (prøvetaking 4,95% + analyse 36,7%) * Analyseprøve på 40 g ga et relativt standard avvik (RSD(%)) på 10 % (prøvetaking 4,95 %+ analyse 8,28) Analyseprøve på 40 g bør velges! * Beregnet fra s 2 measurement s 2 sampling s 2 analysis
A1-A2 Resultat, 40 g analyseprøve valideringsstudie Batch S1A1 S1A2 S2A1 S2A2 B1 402 325 361 351 B2 382 319 349 362 B3 332 291 397 348 B4 280 278 358 321 B5 370 409 378 460 B6 344 318 381 392 B7 297 333 341 315 B8 336 320 292 306 B9 372 353 332 337 B10 407 361 322 382 Rapportert som Retinol, µg/100 g pulver S1-S2 A1-A2
ANOVA-beregninger ved bruk av ROBAN 1 og (nytt etterpå: RANOVA 1 ) (University of Newcastle, Imperial College and University of Sussex) CLASSICAL ANOVA RESULTS barnegrøt, 40 g analyseprøve Mean = 347,85001 (µg/100 g) Standard Deviation (Total) = 39,733311 (µg/100 g) Sampling Analysis -------- -------- Sums of Squares 14231 16595 Standard Deviation (µg/100 g) 17,2 28,8 Percentage Variance 18,8 52,6 1) http://www.rsc.org/membership/networking/interestgroups/analytical/amc/software/ 2) For formler brukt i kalkuleringen ANOVA, se NordTest guide TR 604
RANOVA-beregninger ved bruk av ROBAN (vekter ned outliere ) Barnegrøt-pulver, 40 g analyseprøve ROBUST ANOVA RESULTS: Mean = 346,01602 Standard Deviation (Total) = 41,312828 Between Target Sampling Analysis Measurement ----------- -------- ---------- ----------- Standard Deviation 18,13698 21,217979 30,456478 37,118725 Percentage Variance 19,273478 26,377777 54,348744 80,726523 Relative Uncertainty - 12,26416 17,604085 21,454917 (% at 95% confidence) Classical ANOVA Standard Deviation (µg/100 g) 17.2 28.8
Range beregninger (utført av Bertil Magnusson, SP) Prøve 1 Prøve 2 Range x i11 x i12 Range Mean x i21 x i22 Range Mean Målinger 402 325 77 363.5 361 351 10 356 7.5 382 319 63 350.5 349 362 13 355.5 5 332 291 41 311.5 397 348 49 372.5 61 280 278 2 279 358 321 37 339.5 60.5 370 409 39 389.5 378 460 82 419 29.5 344 318 26 331 381 392 11 386.5 55.5 297 333 36 315 341 315 26 328 13 336 320 16 328 292 306 14 299 29 372 353 19 362.5 332 337 5 334.5 28 407 361 46 384 322 382 60 352 32 32,1 36.5 30.7 32.1 Mean range for analysen er 33,6 µg/100 g Mean range for målingene
Range resultater Analyser (n=1) Parameter Vitamin A µg/100g Mean range fra duplikate analyser 33,6 Stand dev. s estimert fra range 29,8 Kommentarer s = range/1.128 Resultater Målingene (n=2) Parameter Vitamin A µg/100g Mean range fra duplikate målinger 32,1 Standard dev. s estimert fra range 28,5 Kommentarer s = range/1.128
Resultat prøvetaking s prøvetaking s 2 måling s 2 analyse Parameter Vitamin A µg/100g Totalt standard dev. 28,5 Analyse standard dev. 29,8 Kommentar Målinger (prøvetaking + analyse, n=2) Analysedel (n=1) Prøvetaking standard dev. 19,1 * 2 2 28,5 29,8 2 * Comment: Since the analyses are based on a mean of duplicates the standard deviation of analysis is divided by square root of 2 in the formula above standard error of the mean.
Sammenligning av resultat fra flere statistiske metoder for kalkulering av måleusikkerhet (samme datagrunnlag) Vitamin A i barnegrøt-pulver (40 g innveid prøve) s anal RSD anal s prøve RSD prøve s totalt RSD totalt μg/ 100 g % μg/ 100g % μg/ 100g % Range 30 8.6 19 5.5 35 10 ANOVA 29 8.3 17 5.0 34 10 Robust ANOVA 31 8.8 21 6.1 37 11
Måleusikkerhet inkludert prøvetaking og bruk av kontrollkort Med data fra valideringsstudiet kan det lages et kontrollkort og måleusikkerheten for hver produkttype følges opp ved at det blir tatt ut 2 tilfeldige prøver fra for eks. hver 8. 10. batch/lot som blir testet. Resultatene føres inn i et kontrollkort (KK) Kontrollkortet kan lages iht beskrivelse i Trollboken - Nordtest teknisk rapport NT TR 569. Denne kan lastes ned fra http://www.nordtest.info/index.php/technicalreports/category/chemistry.html
Design: Kvalitetskontroll (QC) Produkt 1 Produkt 8 S1 S2.. Etc. S2 S1 Prøve P1S1 (1 pakke) Analyseprøve 1 D= x s1 -x s2 Prøve P1S2 (1 pakke) Analyseprøve 1
Beregning av grenser og sentral linje i kontrollkort barnegrøt pulver Kalkuleringene er basert på resultatene fra validerings studiet: RSD(%) = u måling = 9,7% Sentral linje: Alarm grense: Aksjons grense: C l = 1,128 9,7% L w = 2,83 9,7% L a = 3,69 9,7% For hver batch som inngår i KK - kontrollen kalkuleres d(%) (D ) 100% x (D= x s1 -x s2 )
Kontrollkort måleusikkerhet fra prøvetak og analyse av vitamin A (retinol) i barne- grøtpulver som inneholder cerealer og frukt 40 30 20 10 0 P1-A1 P2-A1 P3-A1 P4-A1 P5-A1 P6-A1 P7-A1 P8-A1 P1-A2 P2-A2 P3-A2 P4-A2 P5-A2 P6-A2 P7-A2 P8-A2 Difference between results - d(%) Calculated: d (%) Action limit (36 %) Warning limit (27 %) Central line (11%) Product/analyses
Casestudie: Nitrat i salat fra drivhus. Studiet er utført av: J. Lyn (FSA, UK) and co-workers. Se eksempel i EuraChem Guide 1 on UFS (Uncertainty From Sampling) 1) Kan lastes ned fra http://www.eurachem.org/
Casestudie salat: Datasett Prøve objekt S1A1 S1A2 S2A1 S2A2 A 3898 4139 4466 4693 B 3910 3993 4201 4126 C 5708 5903 4061 3782 D 5028 4754 5450 5416 E 4640 4401 4248 4191 F 5182 5023 4662 4839 G 3028 3224 3023 2901 H 3966 4283 4131 3788 Nitrat rapportert som mg/kg
Sammenligning mellom forskjellige beregningsmodeller for måleusikkerhet casestudie Nitrat i salat fra drivhus s anal RSD anal s prøve RSD prøve s måling RSD målin mg/kg % mg/kg % mg/kg % Range 167 3,8 448 10 478 11 ANOVA 148 3,4 518 12 539 12 Robust ANOVA 168 4 319 7 361 8
Beregning av måleusikkerhet ved bruk av double split design empirisk modell Forskjellige måter å beregne måleusikkerheten på gir sammenlignbare resultat. Gjør outlier test (ved behov) Dersom det er outliere i datasettet bruk Robust statistikk (for eks Robust ANOVA, vekter ned outliere) Metoden bør kun brukes ved en tilnærmet normalfordeling av måleresultatene Double split design er en enkelt og generelt design, men bare den tilfeldige delen av måleusikkerheten (presisjonen) blir beregnet
Dette designet kan også brukes til å se hvilke deler av prosessen som gir størst bidrag til måleusikkerheten (prøvetaking sett i forhold til splitting, opparbeidelse og analyse av prøven) Objekt for prøvetaking Prøve 1 Prøve 2 Analyseprøve 1 Analyseprøve 2 Analyseprøve 1 Analyseprøve 2 Analyse 1 - S1A1 Analyse 2 - S1A2 Analyse 1 - S2A1 Analyse 2 - S2A2
Takk til EuraChem og NordTest: arbeidsgruppene for måleusikkerhet fra prøvetaking (UFS) Nestlé (Norge) for deres velvillige samarbeid i planleggingen i tillegg til at de tok ut prøver (iht prosjektgruppens instruksjoner) av sine produkter til prosjektet (til validerings og til kvalitetskontroll studie) Småfolk - Tine Norske Meierier for å skaffe prøver til kvalitetskontroll studiet NIFES (nå del av HI) for å ha analysert prøvene og i tillegg å ha gitt oss data fra laboratoriets kvalitetssikringssystem Studiet var gjennomført med støtte fra Nordic Innovation Centre (NordTest), NIFES, NMKL og Mattilsynet
Aktuelle kontaktpersoner Generell guru for praktisk tilnærming estimering av måleusikkerhet ved prøvetaking: Michael H Ramsey, University of Sussex, UK Variografi for estimering av måleusikkerhet ved prøvetaking i avløpsvann: Ulla Lund og Mikael Krysell, Eurofins Environment A/S, Danmark Teoretisk tilnærming, men også god erfaring med praktisk tilnærming for beregning av måleusikkerhet ved prøvetaking. Pentti Minkkinen, Lappeenranta University of Technology, Finland Praktisk tilnærming inkl. Range beregninger: Bertil Magnusson, Technical Research Institute of Sweden (også Trollbok-prosjekt) Leder for prosjektgruppe for NordTest guide TR 604 Christian Grøn, DHI Water & Environment, Denmark. (Byttet arbeidsplass)
Takk for oppmerksomheten!!