Basic Search vs. Advanced Ovid Search i Ovid Medline

Transkript

1 Basic Search vs. Advanced Ovid Search i Ovid Medline Hva gir best fullstendighet og presisjon? Mål og metode Mål: Å undersøke hvor god Basic Search er sammenlignet med Advanced Ovid Search når det gjelder fullstendighet og presisjon. Metode: Identifisering av gullstandard: Artikler søkene burde finne. Fire ulike søk i h.h.v. Advanced Search og Basic Search. Sammenligning av søkeresultater med gullstandard for å måle fullstendighet og presisjon.

2 Utgangspunkt Artikkel av fra JMLA Sammenlignet fullstendighet og presisjon med rent MeSH-søk og rent tekstordsøk. Spesiell problemstilling: Studier om søvn hos friske mennesker (sleep in healthy individuals). Identifisering av gullstandard : Håndsøking av Sleep relevante artikler = Gullstandard Min oppgave: Gjennomgang av titler og abstracts fra Sleep 2007 identifisert ved søk i Medline 35 relevante artikler = Gullstandard

3 Identifisering av gullstandard forts. Inklusjonskriterier En lang rekke begreper for å beskrive søvn. Eksklusjonskriterier: Spedbarn, dyr. Editorials, reviews, practice guidelines, metaanalyses. Søkestrategier MeSH-søk med samme termer som Tekstordsøk med samme tekstord som Enkelt Basic Search med natural language : studies on sleep in healthy individuals Basic Search med samme tekstord som

4 Sammenligning mellom søkeresultater og gullstandard Lagret en tekstfil med alle referanser i gullstandard samt tekstfiler med referanser fra hvert enkelt søk Import til RefMan - nøkkelord for hvert av søkene ble lagt på: Gullstandard MeSHsok Tekstord BasicSearch1 BasicSearch2 Sammenligning forts. Eksport til word med påfølgende fargekoding Alle referanser samlet i ett worddokument og alfabetisert Fargekoding og nøkkelord gjorde det enkelt å se hvilke referanser fra gullstandarden som ble fanget opp av de ulike søkene

5 Sammenligning forts. Alle referanser fra gullstandarden fikk så nøkkelord for de av søkene som hadde funnet den aktuelle referansen Muliggjorde søk som f.eks. Gullstandard AND BasicSearch 1 for å finne ut hvor mange og hvilke referanser fra gullstandarden Basic Search 1 hadde funnet Fullstendighet Evne til å identifisere relevante artikler Presisjon Evne til å utelukke ikke-relevante artikler Antall relevante artikler funnet Antall ikke-relevante artikler utelukket Totalt antall relevante artikler (gullstandard) Totalt antall ikke-relevante artikler

6 Resultater Søkestrategi Totalt antall treff Antall relevante treff Fullstendighet Presisjon MeSH ,6% 43,8% Tekstord ,3% 51,8% BasicSearch ,4% 97,8% Basic Search % 67,9% Kombinasjon MeSH og tekstord % 35,8% Gullstandard (relevante treff): 35 artikler Diskusjon Begrenset utvalg: Sannsynligvis for lite til å trekke sikre konklusjoner Gullstandard identifisert av bibliotekar, ikke ekspert på fagområdet Problemstillingen sannsynligvis ikke egnet for å teste Basic Search etter hensikten

7 Konklusjon Utvalget er sannsynligvis for lite til å trekke sikre konklusjoner MeSH- og tekstordsøk: Samme tendens som hos Problemstillingen var ikke egnet for Basic Search. Det er behov for mer omfattende undersøkelser for å kunne vurdere kvaliteten på Basic Search sammenlignet med Advanced Ovid Search