normalt sett bort fra og vektene behandlet som om den sanne

Transkript

1 TØI rapport 69/003 Forfatter: Peter Chrstensen Oslo 003, 78 sder Sammendrag: Emner fra meta-analyse En ltteraturstude Rapporten oppsummerer en ltteraturstude av metoder for meta-analyse. Formålet med ltteraturstuden har vært å dekke felter nnen meta-analyse hvor det fremdeles er uløste problemer eller hvor det er uenghet om hvordan meta-analyser bør gjennomføres. Feltene som har pekt seg ut er hvordan man skal behandle heterogene resultater, problemet med publkasjonsskjevhet og hvordan de enkelte undersøkelsers kvaltet skal vurderes og tas hensyn tl. Hva er meta-analyse? Ofte fnner ulke undersøkelser forskjellge vrknnger av samme tltak. En meta-analyse er en beregnng av gjennomsnttvrknngen av tltaket med en systematsk metode for nnhentng og bearbedng av nformasjon for skre at data er så komplette som mulg og for å unngå felkonklusjoner. La θ være den sanne vrknng av et tltak. Estmatet for vrknngen den te undersøkelsen betegnes med θˆ og varansen av estmatet med σˆ. Hvs den sanne varansen tl estmatet er kjent er et optmalt estmat for den sanne vrknng θ s gtt σ k wθˆ = ved: ˆ θ =, hvor k er antall undersøkelser og w k =. σ w σ = ˆ σ w ˆ σ Sden er ukjent brukes estmatet vektene, normalt sett bort fra og vektene behandlet som om den sanne =, og uskkerheten σˆ blr er kjent. Dette er kke noen alvorlg fel når undersøkelsene som er med meta-analysen er forholdsvs store. Ford parameteren θ s antatt å være den samme (fxed) alle undersøkelsene kalles dette fxed effects metoden. σ Heterogentet Fxed effects metoden beskrevet ovenfor antar at alle undersøkelser estmerer den samme sanne vrknng, dvs at varasjonen verder mellom undersøkelser kke er større enn at den kan forklares ved uskkerheten de enkelte undersøkelsene. Varasjonen resultatene kan mdlertd være for stor tl at den kan forklares ved standardavvket tl resultatene undersøkelsene. Slk varasjon resultatene kalles heterogentet (Thompson and Sharp, 999), eller mer presst statstsk heterogentet. Rapporten kan bestlles fra: Transportøkonomsk nsttutt, Postboks 60 Etterstad, 060 Oslo Telefon: Telefax: I

2 En ltteraturstude Om det er heterogentet eller kke er kke alltd åpenbart. Det vl alltd være noe varasjon resultatene og spørsmålet er om denne er for stor tl å forklares med uskkerheten de enkelte undersøkelsene. Det er derfor utvklet metoder for å påvse og måle heterogentet. Heterogentet kan påvses både ved bruk av grafske metoder og statstske tester. Påvsnng og målng av heterogentet Grafske metoder for undersøke om det er heterogentet er skogdagram (forest plot), Galbrath dagram, en grafsk metode utvklet av Baujat et al og L Abbé dagram. Dsse er beskrevet hovedteksten. Standardtesten for heterogentet er Cochrans Q-test. Test-observatoren er uttrykt ved: Q = ( ˆ ˆ) θ hvor θˆ er fxed effect gjennomsnttsestmatet av vrknngen som er w θ beskrevet ovenfor og kjkvadratfordelt. θˆ s den estmerte vrknng undersøkelse. Q er tlnærmet Ifølge Hggns og Thompson (00), er det velkjent at testen har lten styrke når det, som vanlg er, er få undersøkelser. Imdlertd er kke andre tester noe bedre. Takkouche, Cadarso-Suarez, and Spegelman (999) undersøkte både type I fel og styrken tl Cochrans Q test og fre andre tester for heterogentet ved smulerng. De konkluderte med at med hensyn på valdtet, styrke og hvor enkelt det er å beregne testobservatoren, er Cochrans Q den beste. De dårlge nyhetene, som de uttrykker det, er at for de utvalgsstørrelser som er vanlg epdemologske meta- analyser har ngen ekssterende tester akseptable styrke, hvs kke heterogenteten er betydelg. Hggns and Thompson (00) nnfører tre ulke mål for å kvantfsere heterogentet. Et av de to målene som de anbefaler er basert på Cohrans Q og er gtt ved: H Q = k Meta-analyse når det er heterogentet Fxed effects metoden tar kke hensyn tl heterogentet. Når det er heterogentet vl derfor fxed effects metoden underestmere uskkerheten det veede gjennomsnttestmatet. En metode som tar hensyn tl den økte uskkerheten er derfor nødvendg. Dessuten vl kke en beregnng av det vede gjennomsnttestmatet når det er heterogentet forklare heterogenteten. Er den reell eller har den metodologske forklarnger? Under hvlke forhold vrker tltaket? En forklarng på heterogenteten er også av nteresse. Det er derfor to ulke analyttske angrepsmåter når det gjelder heterogentet, å bare ta hensyn tl den eller å forsøke å forklare den. Hvordan ta hensyn tl heterogentet Random effects (RE) metoden tar hensyn tl heterogentet men forklarer kke hvorfor den oppstår. RE metoden bygger på en antagelse om at den sanne vrknng θ den te undersøkelsen er tlfeldg valgt fra en normalfordelng av undersøkelser med gjennomsnttlg vrknng θ. Mer presst bygger RE metoden på følgende modell. Den observerte vrknng x den te undersøkelsen er gtt ved: x = θ +e hvor E(e )=0 og Var(e )= σ og θ =θ +u, E(u)=0 og Var(u)= τ. σ er varansen tl resultatet en undersøkelse og τ er varansen mellom undersøkelser. σ Var(x) er nå gtt ved Var(x )= + τ og vektene fxed effects metoden er erstattet II Copyrght Transportøkonomsk nsttutt, 003 Denne publkasjonen er vernet henhold tl Åndsverkloven av 96

3 En ltteraturstude med random effects vekter σ og τ. * w = σ + τ. Bruk av dsse vektene krever estmater for Som nevnt tdlgere for fxed effects metoden, så er estmatene σˆ for σ er antatt å være uten uskkerhet. Denne antagelsen er rmelg hvs antall observasjoner eller tlfeller undersøkelsene er stort. En tlsvarende antagelse for estmatet av τ er mndre rmelg sden antall undersøkelser en meta-analyse vanlgvs er ganske lte. Vanlgvs vl uskkerheten estmatet for τ være betydelg. Lkevel tar kke det mest vanlge estmatet for τ og den mest vanlge varanten av random effects analyse hensyn tl uskkerheten tl estmatet tl τ. I dette tlfellet er varansen tl det vede gjennomsnttet gtt ved:. + ˆ τ τ DL Alternatvt kan beregnes en sannsynlghetsmaksmerngsestmator. I dette tlfellet beregnesτ og det vede gjennomsnttet θˆ smultant. Lgnngene for løsnng er gtt Hardy og Thompson (996). θˆ = σ ( ˆ σ σ antatt å være kjent, dvs at Det langt vanlgste estmatet for τ er DerSmonan og Lard estmatet som bygger på Cochran s Q-test. Det er en moment-basert estmator som fås ved å sette den observerte verden av Q lk forventnngen og er gtt ved: = Q ( k ) w w w τ DL. τ DL Når Q<k-, settes lk null. er derfor et oppad avrundet estmat og følgelg forventnngsskjevt. Denne verden av beregnes. ˆ θ ( ˆ σ + ˆ τ ) + ˆ τ ) τ brukes vektngsformelen over og det vede gjennomsnttet kan og ˆ τ = ( ˆ θ θ ) ( ˆ σ ( ˆ σ standard random effects Verd for θˆ gtt τˆ. σ + ˆ τ ) + ˆ τ ). Det ses at lgnngen for θˆ er Lgnngene løses ved terasjon. Med en startverd for τ kan fnnes en løsnng for θˆ. Brukes den verden den andre lgnngen kan fås en ny verd for τ, osv. Hvs dette estmatet brukes uten å ta hensyn tl uskkerheten estmatet, vl det bl betegnet som enkel sannsynlghetsmaksmerng. Hardy og Thompson (996) bruker profl sannsynlghetsmaksmerng tl å konstruere konfdensntervaller. Den følgende beskrvelsen er hentet fra deres artkkel. Copyrght Transportøkonomsk nsttutt, 003 Denne publkasjonen er vernet henhold tl Åndsverkloven av 96 III

4 En ltteraturstude Profl log-lkelhood to-parameter tlfellet er log-lkelhood for én parameter gtt et * * estmat for den andre, dvs l ( θ ) = l( θ, ˆ τ ( )) og l ( τ ) = l( ˆ( θ ˆ τ ), )). τˆ ( θ ) s θ sannsynlghetsmaksmerngsestmatoren for ˆ τ τ som en funksjon av θ og θ ( τ ) er sannsynlghetsmaksmerngsestmatoren of θ som en funksjon av τ. Et konfdensntervall for τ er gtt ved verdene som tlfredstller * ( τ ) > l ( ˆ τ ) 3.84 /. Konfdensntervallet er kke nødvendgvs symmetrsk. * l Å forklare heterogentet Flere forfattere understreker betydnngen av å forklare heterogentet og kke bare ta hensyn tl den ved å bruke random effect-metoden. Den anbefalte måten å gjøre dette på er å bruke meta-regresjon. Betegnelsen meta-regresjon brukes når de uavhengge varablene beskrver egenskaper ved undersøkelsene, motsetnng tl de regresjonsanalyser som er mulge når data på ndvdnvå er tlgjengelge fra hver undersøkelse (Thompson and Hggns, 00). Meta-regresjon har to vktge egenskaper. For det første, sden undersøkelsene som er enhetene analysen sjelden vl være av samme størrelse, og varansene tl estmatene derfor er forskjellge, er det heteroskedaststet, og vektet regresjon er nødvendg. For det andre, det er lte sannsynlg at regresjon vl forklare all heterogentet og den gjenværende heterogentet må tas hensyn tl den statstske analysen. Den korrekte regresjonsmodell er derfor en random effects modell hvor vekten for hver undersøkelse er lk den nverse av summen av undersøkelsenes varans og den gjenværende varans mellom undersøkelser, analogt med random effects modellen beskrevet ovenfor. Den gjenværende varansen mellom undersøkelser er bare kjent etter at regresjonsanalysen er gjennomført. En metode for å estmere regresjonslgnngen og τ samtdg eller med terasjon er derfor nødvendg. Thompson and Sharp (999) beskrver fre metoder. De er beskrevet hovedteksten. Publkasjonskjevhet Hvs undersøkelser som publseres skller seg fra undersøkelser som kke er publsert med hensyn på hvlken vrknng som er funnet, dvs at resultatene påvrker sannsynlgheten for publserng, vl publserte undersøkelser være et skjevt utvalg av alle undersøkelser. Dette er publkasjonsskjevhet. Flere undersøkelser har vst at publkasjonsskjevhet er vanlg. Noen av dsse er beskrevet hovedteksten. Hovedtemaet denne rapporten er mdlertd metoder for å undersøke om undersøkelsene som nngår en meta-analyse er påvrket av publkasjonsskjevhet. Et verktøy for å undersøke mulg publkasjonsskjevhet er traktdagrammet. I et traktdagram plottes vrknngene som er funnet et utvalg undersøkelser mot et mål for resultatenes pressjon. Et eksempel på et traktdagram er vst fgur. IV Copyrght Transportøkonomsk nsttutt, 003 Denne publkasjonen er vernet henhold tl Åndsverkloven av 96

5 En ltteraturstude Sere Fgur. Traktdagram. Eksempel basert på vlkårlge data. TØI rapport 69/003. I fguren er vrknngen uttrykt ved logartmen tl oddsforholdet og pressjonen er undersøkelsenes vekt, dvs den nverse tl varansen tl logartmen tl oddsforholdet. Årsaken tl betegnelsen traktdagram er at når det kke er publkasjonsskjevhet vl dagrammet se ut som en trakt snudd på hodet. Store undersøkelser vl være mer nøyaktge og vse mndre varasjon enn små undersøkelser. Når det kke er publkasjonsskjevhet vl dagrammet være symmetrsk om gjennomsnttet. Et forhold som skaper publkasjonsskjevhet er hvs resultater som kke er sgnfkante kke blr publsert. Sden små undersøkelser krever en større observert vrknng for å være statstsk sgnfkant vl det være en tendens tl at man fnner større vrknnger for små undersøkelser ford små undersøkelser som fnner lten eller endog en negatv vrknng vl mangle. Det vl da mangle undersøkelser nede tl venstre traktdagrammet. Dette ser ut tl å være tlfellet traktdagrammet ovenfor og kan tolkes som et tegn på publkasjonsskjevhet. Traktdagrammet utnytter forskjellen vrknng mellom store og små undersøkelser. For at et traktdagram skal være egnet er det derfor nødvendg at undersøkelsene varerer størrelse. For testng av publkasjonsskjevhet fnnes statstske metoder som er analoge tl traktdagrammet. Tre metoder beskrves her. To av metodene bygger på antagelsen om at publkasjonsskjevhet leder tl en sammenheng mellom størrelsen på vrknngen som er funnet og standardavvket tl vrknngen. En av metodene tester for en slk sammenheng ved bruk av en rangkorrelasjon test og den andre bruker regresjonsanalyse. Den tredje metoden tester for symmetr traktdagrammet. Beggs test (Begg, 994) er en test for uavhenggheten mellom størrelsen og varansen av vrknngen og bygger på Kendalls tau. Testen er basert på en antagelse om at størrelsen av vrknngene er statstsk uavhengge og dentsk fordelte under nullhypotesen om at det kke er publkasjonsskjevhet. Det er derfor nødvendg å standardsere størrelsen av vrknngene for å kunne utføre testen. Betegnes størrelsen av vrknngen og dens varans Copyrght Transportøkonomsk nsttutt, 003 Denne publkasjonen er vernet henhold tl Åndsverkloven av 96 V

6 En ltteraturstude med henholdsvs x og v, brukes rangkorrelasjon tl å teste sammenhengen mellom x =, ( x x) v hvor x er fxed effects gjennomsntt av vrknngene og hvor varansen tl x x. v = n v v j= er Testen går ut på å beregne P, antallet av alle mulge par hvor de tofaktorene er rangert samme rekkefølge, og Q, antall par hvor de kke er rekkefølge. En normalsert test observator (z score) er da gtt ved: Z = ( P Q) [ n( n )(n + 5) /8] Egger m fl (997) bruker lneær regresjon tl undersøke sammenhengen mellom vrknngens størrelse og varans og på den måten teste for publkasjonsskjevhet. I regresjonen er den avhengge varabelen den standardserte vrknngen og den uavhengge varabelen er den nverse av standardavvket tl vrknngen. Betegnes vrknngen med x og standardavvket med s er regresjonslgnngen: x = a + b s s Testen for publkasjonsskjevhet er basert på koeffsenten a. En sgnfkant verd tyder på publkasjonsskjevhet. Begrunnelsen for testen er følgende. Den nverse av standardavvket er et mål for pressjon. Unøyaktge undersøkelser (vanlgvs små undersøkelser) vl lgge nær orgo på abscssen. Den standardserte vrknng vl da også være lten. Unøyaktge undersøkelser vl derfor ha små verder på begge akser, dvs de vl lgge nær orgo. Nøyaktge undersøkelser vl lgge langt fra orgo på abscssen og hvs der er en vrknng vl ordnatverden også være stor. Regresjonslnjen gjennom de plottede undersøkelsene vl derfor gå tlnærmet gjennom orgo med en vnkelkoeffsent lk den vede gjennomsnttsvrknngen. Dette er stuasjonen når det kke er publkasjonsskjevhet. Når traktdagrammet er asymmetrsk ford det er publkasjonsskjevhet og mndre undersøkelser fnner vrknnger om avvker systematsk fra store undersøkelser vl kke regresjonslgnngen gå gjennom orgo. Konstantleddet, koeffsenten a, vl derfor være et mål for asymmetren. Fortegnet tl a vl avhenge av hvordan vrknngen måles. Når vrknngen måles ved logartmen tl oddsforholdet og en negatve verd betyr en postv vrknng vl koeffsenten være negatv når det er publkasjonsskjevhet. En test for publkasjonsskjevhet fås følgelg ved å teste om koeffsenten a er forskjellg fra null. Da testen har lav styrke anbefaler Egger m fl å bruke er 0 % sgnfkansnvå. Trm and fll -metoden tl Duval and Tweede (000a, 000b) bygger også på traktdagrammet men dette tlfellet er kke utgangspunktet sammenhangen mellom vrknngens størrelse og dens varans men symmetren (eller mangel på symmetr) traktdagrammet. Hvs det kke er publkasjonsskjevhet, vl traktdagrammet være symmetrsk. Trm and fll -metoden fjerner derfor et antall undersøkelser på en sde av dagrammet slk at det blr symmetrsk (trmdelen), beregner et ved gjennomsntt av de resterende undersøkelsene og genererer så et tlsvarende antall undersøkelser på den andre sden. De genererte undersøkelsene er symmetrsk tl de fjernede undersøkelsene rundt det beregnete gjennomsnttet. Et eksempel med dagrammer er vst hovedteksten. VI Copyrght Transportøkonomsk nsttutt, 003 Denne publkasjonen er vernet henhold tl Åndsverkloven av 96

7 En ltteraturstude Kvaltetsvurderng og kvaltetscore Bangert-Drowns, Wells-Parker and Chevllard (997) påpeker at hvs kvalteten på undersøkelsene kke tas hensyn tl, så betyr dette at undersøkelser med store utvalg er overlegne andre undersøkelser på grunnlag av bare denne egenskapen; utvalgsstørrelse. Den eneste uskkerhet ved undersøkelsene som det tas hensyn tl er den statstske, som om det kke er noen metodske problemer. Dette er selvfølgelg meget urealstsk og er alene et argument for å vurdere kvalteten på undersøkelsene. Bruk av kvaltetsvurdernger meta-analyser krever svar på to spørsmål, hvordan kvaltet skal måles og hvordan kvalteten på undersøkelsene skal tas hensyn tl meta-analysen. Svaret på sste spørsmål avhenger av de mulge vrknnger av dårlg kvaltet av undersøkelser. Vrknngen kan være:. En systematsk skjevhet. Økt varans (en større uskkerhet eller mndre pressjon) Flere undersøkelser har funnet at undersøkelser av lav kvaltet har en tendens tl å overvurdere vrknngen. Imdlertd har andre undersøkelser kke funnet at undersøkelser med lav kvaltet leder tl systematske skjevheter. Balk et al (00) gjennomførte en emprsk undersøkelse av korrelasjonen mellom ulke kvaltetsmål og estmatet av vrknngen av behandlng. 4 kvaltetsmål ble analysert for 76 randomserte kontrollerte forsøk fra 6 meta-analyser. Kvaltetsmålene ble omkodet tl dkotome varable, høy kvaltet eller lav kvaltet. Betydnngen av kvaltetsmålet ble estmert ved å beregne det relatve oddsforholdet for hvert mål. Relatve oddsforhold for undersøkelser med høy kvaltet mot undersøkelser med lav kvaltet varerte for de ulke kvaltetsmålene mellom 0.83 og.6. Ingen hadde sgnfkant sammenheng med størrelsen på vrknngen. Hvs resultatene fra undersøkelser av lav kvaltet varerer mer enn resultatene fra gode undersøkelser, ford resultatene fra dårlge undersøkelser er mndre påltelge, vl kvaltet ha samme vrknng på varasjonen resultatene som utvalgsstørrelse. Et plot av størrelsen på vrknngen mot kvaltet vl oppføre seg på samme måte som et traktdagram med størrelsen på vrknngen mot statstsk vekt. Dette er vst fgur hentet fra Bangert-Drowns, Wells-Parker og Chevllard (997). Lave tall betyr høy kvaltet. Copyrght Transportøkonomsk nsttutt, 003 Denne publkasjonen er vernet henhold tl Åndsverkloven av 96 VII

8 En ltteraturstude Fgur. Punktdagram for sammenhengen mellom vrknngen på resdvsme og vurdernger av metodologsk kvaltet av undersøkelser av rehablterngsprogrammer for promlleførere. Fra Bangert-Drowns, Wells-Parker og Chevllard (997). Hvordan ta hensyn tl kvaltet Den større uskkerheten tl dårlge undersøkelser underbygger behovet for å ta hensyn tl undersøkelsenes kvaltet på en eller annen måte. Det fnnes (mnst) fem måte å gjøre dette:. Utelate de dårlgste undersøkelsene, dvs defnere en terskel for kvaltet og bare ta med undersøkelser over denne terskelen meta-analysen.. Stratfsere undersøkelsene med hensyn på kvaltet og gjøre en separat meta-analyse for hvert stratum. 3. Bruke kvaltetscore som vekter på same måte som man nå bruker statstske vekter. 4. Bruke meta-regresjon tl å uttrykke vrknngen som en funksjon av enten kvaltet eller komponentene som nngår kvaltetsmålet 5. Sekvensell sammenveng resultatene fra undersøkelsene basert på kvaltetscore (Detsky et al, 99). Ingen av de to første metodene er tlfredstllende. Enhver terskel vl nødvendgvs være vlkårlg. I tllegg vl kke kvalteten lenger være av betydnng for de undersøkelser som lgger over terskelen. En undersøkelse vl enten ha ngen vekt eller full vekt avhengg av terskelen. Å stratfsere etter kvaltet løser heller kke problemet, det er bare utsettelse. Det gr kke noe svar på spørsmålet om hva som skal gjøres med resultatene fra meta-analysene for hver stratum. Hvs man bare stoler på resultatet fra stratumet med høyest kvaltet er dette ekvvalent med bruk av en terskel. Hvs resultatene fra alle strata skal benyttes gjenstår fremdeles spørsmålet om hvordan resultatene fra de enkelte strata skal vees sammen. Meta-regresjon bygger på den antagelse at det er en systematsk sammenheng mellom en kvaltetsskala eller komponentene tl en kvaltetsskala og resultatene en undersøkelse. Hvs det kke er noen systematsk sammenheng vl meta-regresjonen tyde på at de metodologske varable kke påvrker forskjellen resultater mellom undersøkelser. Lkevel vl varasjoner som skyldes metodologske mangler bdra tl at størrelsen på felleddet øker og følgelg blr konfdensntervallene vdere. Dårlge undersøkelser vl mdlertd påvrke resultatet lke meget som gode undersøkelser. Sekvensell sammenveng av resultatene fra undersøkelsene basert på kvaltetscore kan betraktes som en spesell form for bruk av en terskel for kvaltet og lder derfor av samme svakhet som bruk av en terskel. Kvaltetsscorng har få tlhengere. Jün, Altman and Egger (00a) mener at bruk av kvaltetsscore som vekter mangler statstsk og emprsk begrunnelse og at det er ngen grunn tl at kvaltetsscore skal modfsere estmatets pressjon. Problemene med kvaltestscore kan llustreres ytterlgere av en undersøkelse av Jün et al (999). De evaluerte bruken av 5 forskjellge vurderngsskalaer beskrevet av Moher m fl (995). Dsse skalaene ble brukt på 7 forsøk som sammenlgnet bruk av ulke heparner for å forebygge blodpropp etter operasjoner. Selv om overenstemmelsen for standardserte scorer for de 5 skalaene var betydelg (ntraclass korrelasjonkoeffsent 0.7 (0.59,0.86)) varerte medanen av av kvalteten tl undersøkelsene fra 38.5% tl 8.9% av maksmum score for de ulke skalaene. Ved bruk av kvaltetscore som vekter en meta-analyss, vlle konfdensntervaller basert på ska- VIII Copyrght Transportøkonomsk nsttutt, 003 Denne publkasjonen er vernet henhold tl Åndsverkloven av 96

9 En ltteraturstude laen med den laveste medan score være mer enn to ganger så vde som konfdensntervall basert på skalaen med den høyeste medan score. Resultatet ser ut tl å være et argument mot å bruke kvaltetsscore meta-analyser. Vårt syn er mdlertd at resultatet bare gjenspeler vlkårlgheten ekssterende kvaltetsscore og kan unngås ved å utvkle bedre kvaltetsskalaer. Målng av kvaltet Ulke kvaltetsvurdernger vl avvke dersom de underlggende kvaltetsbegrepene er forskjellge. Arbedet med å vurdere kvaltet må derfor begynne med å avgrense hva som skal lgge begrepet kvalteten av en undersøkelse. I hvlken sammenheng begrepet skal brukes er vktg for defnsjonen av kvaltet. En vurderng av kvalteten av en undersøkelse nnsendt tl et tdskrft for publserng er noe annet en vurderngen av kvalteten tl an undersøkelse når den nngår en meta-analyse. I det første tlfellet er kvaltetsbegrepet meget vdere enn det sste, det omfatter f eks nteresse for leserne, resultatenes orgnaltet osv. En undersøkelse som nngår en metaanalyse kan betraktes som et nstrument for å måle vrknngen av noe. Kvalteten tl undersøkelsen er et mål for hvlken grad man kan stole på resultatene, dvs undersøkelsens relabltet og valdtet. Dette leder tl følgende defnsjon av kvaltet: Den grad en undersøkelse har unngått metodologske svakheter som kan påvrke resultatene. Dette er nesten (men kke helt) det samme som begrepet ntern valdtet hos Shadsh, Cook and Campbell (00). Noen forfattere (Downs and Black 998, Verhagen et al 998) er av den oppfatnng at kvaltetsbegrepet også bør omfatte ekstern valdtet. Vårt syn er at ekstern valdtet må tas hensyn tl gjennom meta-analysen ved å skre at de nkluderte undersøkelsene varerer med hensyn på enheter som nngår undersøkelsene og forholdene de blr utført under. Meta-regresjon kan så benyttes tl å analysere vrknngen av varasjonen. Ekstern valdtet bør kke nngå defnsjonen av kvaltet. Jadad et al (996) nevner tre metoder for å vurdere kvalteten tl klnske forsøk: ndvduelle markører, også kalt elementer eller komponenter, sjekklster og skalaer. Indvduelle markører er de mulge dmensjonene tl kvaltet. Eksempler for randomserte kontrollerte forsøk er randomserngsmetoden og blndngsmetoden. For kvas-ekspermentelle undersøkelser er det vanskelgere å g eksempler på ndvduelle markører. Sjekklster gr et kvaltatvt anslag for kvalteten tl en undersøkelse med utgangspunkt ndvduelle markører eller komponenter for å sammenlgne undersøkelser (Moher, Jadad and Tugwell, 996). For sjekklster beregnes kke noe numersk score. En skala konstrueres ved å g komponentene numerske verder og summere (hvs ønskelg ved) dsse. For å vekte undersøkelser er kvaltetsskalaer å foretrekke. Med den gtte defnsjonen av kvaltet må kvaltetsskalaen være et mål for hvor godt faktorer som kan påvrke resultatet har bltt kontrollert for. En måte å kode undersøkelser er derfor å rangere ulke desgn for deres evne å kontrollere for bakgrunnsvarable og betrakte kvalteten på undersøkelsen høyere jo lavere undersøkelsdesgnet er rangert. Hvor gjennomført desgnet er mplementert bør også tas hensyn tl. Et alternatv er å lage en overskt over mulge bakgrunnsvarable og å sjekke hvor godt undersøkelsen har kontrollert for dem. Jo flere bakgrunnsvarable som er kontrollert for jo høyere er kvalteten på undersøkelsen. Å evaluere valdteten tl en kvaltetsskala er vanskelg. For å verfsere den teoretske valdteten tl en kvaltetsskala er det nødvendg å avlede konsekvenser av kvaltet som kan bekreftes emprsk. En slk konsekvens dskutert ovenfor er at vrknngene funnet undersøkelser av god kvaltet vl varere mndre enn vrknngene funnet undersøkelser Copyrght Transportøkonomsk nsttutt, 003 Denne publkasjonen er vernet henhold tl Åndsverkloven av 96 IX

10 En ltteraturstude av dårlg kvaltet. Dette kan testes et traktdagram med vrknngen langs abscssen og kvaltetsscoren langs ordnaten. Det er to vesentlge forutsetnnger for bruken av kvaltetsvurdernger meta-analyser:. En undersøkelses kvaltet bør ha betydnng for dens vekt meta-analysen. Uskkerheten som skyldes metodologske svakheter bør gjenspeles det vede estmatet for vrknngen. For å oppnå dette er en kvaltetskala nødvendg. X Copyrght Transportøkonomsk nsttutt, 003 Denne publkasjonen er vernet henhold tl Åndsverkloven av 96