Basic Search vs. Advanced Ovid Search i Ovid Medline Hva gir best fullstendighet og presisjon? Mål og metode Mål: Å undersøke hvor god Basic Search er sammenlignet med Advanced Ovid Search når det gjelder fullstendighet og presisjon. Metode: Identifisering av gullstandard: Artikler søkene burde finne. Fire ulike søk i h.h.v. Advanced Search og Basic Search. Sammenligning av søkeresultater med gullstandard for å måle fullstendighet og presisjon.
Utgangspunkt Artikkel av fra JMLA 2004. Sammenlignet fullstendighet og presisjon med rent MeSH-søk og rent tekstordsøk. Spesiell problemstilling: Studier om søvn hos friske mennesker (sleep in healthy individuals). Identifisering av gullstandard : Håndsøking av Sleep 1996-2001 137 relevante artikler = Gullstandard Min oppgave: Gjennomgang av titler og abstracts fra Sleep 2007 identifisert ved søk i Medline 35 relevante artikler = Gullstandard
Identifisering av gullstandard forts. Inklusjonskriterier En lang rekke begreper for å beskrive søvn. Eksklusjonskriterier: Spedbarn, dyr. Editorials, reviews, practice guidelines, metaanalyses. Søkestrategier MeSH-søk med samme termer som Tekstordsøk med samme tekstord som Enkelt Basic Search med natural language : studies on sleep in healthy individuals Basic Search med samme tekstord som
Sammenligning mellom søkeresultater og gullstandard Lagret en tekstfil med alle referanser i gullstandard samt tekstfiler med referanser fra hvert enkelt søk Import til RefMan - nøkkelord for hvert av søkene ble lagt på: Gullstandard MeSHsok Tekstord BasicSearch1 BasicSearch2 Sammenligning forts. Eksport til word med påfølgende fargekoding Alle referanser samlet i ett worddokument og alfabetisert Fargekoding og nøkkelord gjorde det enkelt å se hvilke referanser fra gullstandarden som ble fanget opp av de ulike søkene
Sammenligning forts. Alle referanser fra gullstandarden fikk så nøkkelord for de av søkene som hadde funnet den aktuelle referansen Muliggjorde søk som f.eks. Gullstandard AND BasicSearch 1 for å finne ut hvor mange og hvilke referanser fra gullstandarden Basic Search 1 hadde funnet Fullstendighet Evne til å identifisere relevante artikler Presisjon Evne til å utelukke ikke-relevante artikler Antall relevante artikler funnet Antall ikke-relevante artikler utelukket Totalt antall relevante artikler (gullstandard) Totalt antall ikke-relevante artikler
Resultater Søkestrategi Totalt antall treff Antall relevante treff Fullstendighet Presisjon MeSH 101 24 68,6% 43,8% Tekstord 99 33 94,3% 51,8% BasicSearch 1 7 4 11,4% 97,8% Basic Search 2 65 21 60% 67,9% Kombinasjon MeSH og tekstord 123 35 100% 35,8% Gullstandard (relevante treff): 35 artikler Diskusjon Begrenset utvalg: Sannsynligvis for lite til å trekke sikre konklusjoner Gullstandard identifisert av bibliotekar, ikke ekspert på fagområdet Problemstillingen sannsynligvis ikke egnet for å teste Basic Search etter hensikten
Konklusjon Utvalget er sannsynligvis for lite til å trekke sikre konklusjoner MeSH- og tekstordsøk: Samme tendens som hos Problemstillingen var ikke egnet for Basic Search. Det er behov for mer omfattende undersøkelser for å kunne vurdere kvaliteten på Basic Search sammenlignet med Advanced Ovid Search