Fag es say Ung sinn en kunn skaps ba se over virk som me for barn og un ges psy kis ke hel se M Ungsinn er en kunnskapsdatabase som skal bidra til en kvalitetshevning av forebyggende og helsefremmende tiltak overfor barn og unge og deres foreldre. Wil ly-tore Mørch RBUP Nord, Uni ver si te tet i Tromsø Si mon-pe ter Neu mer Region sen ter for barn og un ges psy kis ke hel se, Re gi on Øst/Sør Per Holth Høg sko len i Akers hus Mo ni ca Mar ti nus sen RBUP Nord, Uni ver si te tet i Tromsø Inn led ning Det er en øken de kon sen sus i både prak sismil jø ene og fors ker mil jø ene om at ret tet mot barn og un ges psy kis ke hel se må ha best mu lig evi dens. Også Norsk Psykologforening (2007) har ved tatt en prin sipper klæ ring om evi dens ba sert psy ko lo gisk prak sis. Samtidig kan det være van ske lig å hol de seg ori en tert in nen for en forsk ningslit te ra tur som sta dig øker i om fang. På oppdrag fra Hel se di rek to ra tet har Fore byggings en he ten ved Region sen ter for barn og un ges psy kis ke hel se, nord (RBUP Nord), Uni ver si te tet i Tromsø, etab lert en kunnskaps da ta ba se for fore byg ging, helsefremming og psykososial behandlingsvirksomhet innenfor barn og unges psykiske helse. Den ne da ta ba sen har fått nav net Ung sinn. Unngsinns for mål og mål grup per Hen sik ten med Ung sinn er å bi dra til en kva li tets hev ning av fore byg gen de og hel sefrem men de over for barn og unge og de res for eldre. Ung sinn hå per å bi dra til det te på tre må ter: (1) å sti mu le re til at flere fore byg gen de får do ku men ta sjon på at de er virk som me, (2) å in for me re mål grup pe ne om til gjen ge li ge virk som me fore byg gen de og (3) å bi dra til oversik ter over hvil ke om rå der in nen for psy kisk hel se som tren ger å styr ke sin evi dens. Målgrup pe ne for Ung sinn er pri mært fag per soner og be slut nings ta ke re i tje nes te ap pa ratet, men også fors kere og myn dig he ter. Ung sinn er opp tatt av at kri te rie ne for vur de ring av evi dens ni vå og do ku men tasjons grad sti mu le rer den el ler de som har ut vik let et (tiltaksutvikler) til å skaf fe til veie mer og bed re do ku men ta sjon enn den som måt te fore lig ge til en hver tid. Krite rie ne skal slik in spi re re til yt ter li ge re doku men ta sjon. Da ta ba sen inne hol der dessuten be skri vel ser av hel se frem men de og fore byg gen de som alle pre sen te res i et stan dar di sert for mat med rele vant in forma sjon for mål grup pe ne. For hvert vur de rer Ung sinn også med hvor stor sikker het man kan anta at til ta ket er virk somt. Vur de rin gen ut for mes av Ungsinnpanelet, be stå en de av fors kere, prak ti ke re og be slutnings ta ke re. Vur de rin gen frem kom mer ved at til ta ke ne klas si fi se res i evi dens ni vå og do ku men ta sjons grad. Prosjektets vitenskapelige komité Ung sinns struk tur for klas si fi se ring av evi dens ni vå og do ku men ta sjons grad er ut vik let av pro sjek tets vi ten ska pe lige ko mi té, som er le det av pro fes sor Wil ly-tore Mørch ved RBUP Nord. For øv rig be stod ko mi te en av før s teama nu en sis II Si mon-pe ter Neu mer ved RBUP Nord og pro fes sor Per Holth ved Høg sko len i Akers hus. Struk tu re ne pre sen te res nær me re i den ne ar tik ke len og er ba sert på in terna sjo na le an be fa lin ger om evi dens basert prak sis, rap por ten «Fore byg gen de inn sat ser i sko len» (Hel se di rek to ra tet og Ut dan nings di rek to ra tet, 2006), erfa rin ger fra den ne der land ske da ta basen til Jeugdinstituut, Ut recht og disku sjo ner med fle re ak tø rer i fag fel tet. Bak grunn I det føl gen de gis det en kort frem stil ling av de kil de ne om evi dens som Ung sinn er byg get på. tidsskrift for norsk psykologforening 2009 46 959 964 959
Mørch et al.: Ungsinn Vitenskap og psykologi Målet er å bidra til at den forebyggende og helsefremmende virksomheten får en så god evidensbase som mulig uten å ekskludere tiltak som er i begynnelsen av sin evalueringsprosess For stå el se av evi dens ba sert prak sis Til tross for en øken de kon sen sus om at tiltak in nen for barn og un ges psy kis ke hel se må ha best mu lig forsk nings mes sig evi dens, er det for skjel lige syn på kri te rie ne for slik evi dens. Mens en kelte fors kere leg ger strenge forsk nings de sig ner, som ran do mi ser te og kon trol ler te stu dier (RCT) til grunn for evi dens ba ser te (f.eks. Kazdin & Weisz, 2003), åp ner and re for å in klu de re kunn skap fra kva li ta ti ve stu dier, plau sib le teo rier og in for ma sjon fra klien ter i evidens be gre pet (f.eks. Woody, D Sou za & Darman, 2006). Dis se forsk nings me to dene re pre sen te rer en mer in di rek te evi dens som ut vi der evi dens ba sert prak sis til også å in klu de re som får støt te fra kva li ta tive, teo re tis ke og kli nis ke kunn skaps ba ser (Veerman & van Ypern, 2007). Vi hen vi ser i til legg til den de bat ten som har på gått i Tids skrift for Norsk Psykologforening i de se ne re åre ne, for ek sem pel ap ril ut ga ven av TNPF i 2008, som tematiserte evi dens basert prak sis (Evi dens ba sert prak sis, 2008) og Eke land (1999, 2001, 2007). Da ta ba sen til Ne der lands Jeugdinstituut, Ut recht Jeugdinstituut i Ut recht har alt ut vik let en data base som dek ker om trent det sam me fel tet som Ung sinn er til tenkt. Den be skriver pr. mars 2009 i alt 91 ret tet mot barn og unge. Da ta ba sen ny ter i dag stor aner kjen nel se, og tiltaksutviklere til stre ber å få sine in klu dert i ba sen. Si den Neder land er et lite land med få evi dens ba serte, er det der for vik tig at pro gram utvik le re alt tid lig la ger enk le de sig ner for å kom me i gang med eva lue ring in nen for de res surs ram mer og mulig he ter man har, for så å vel ge mer so fis ti ker te de sig ner se ne re. Da ta ba sen skal in for me re om hele det te spek te ret av forsk ning og mo ti ve re til å sette i gang mer so fis ti ker te forsk nings de signer. Det te kal ler de «en ut vik lings mo dell for ef fek ti vi tet av tje nes ter». (Veerman & van Yperen 2007). Ung sinn har en struk tur som for sø ker å ta hen syn til de for skjel lige opp fat nin ger av evi dens ba sert prak sis. Men må let er like vel, for uten å gi rele vant in for ma sjon om tilgjen ge li ge til bru kerne, å bi dra til at den fore byg gen de og hel se frem men de virk som he ten får en så god evi dens ba se som mu lig uten å eks klu de re som er i be gyn nel sen av sin eva lue rings pro sess. Ung sinns klas si fi se ring av evi dens I lik het med den ne der land ske da ta ba sen har Ung sinn en mo dell med fire evi dens nivå er. Fra det la ves te til det høy es te evi densni vå et er til ta ke ne klas si fi sert som: Po ten sielt, Sann syn lig, Funk sjo nelt og Do ku men tert. I til legg klas si fi se rer Ungsinn til ta ke ne i dokumentasjonsgrader som an gir i hvor stor grad forsk nings me to de ne som er an vendt i eva lue rin gen av til ta ket, er eg net til å do ku men te re hvor virk somt til ta ket er. Klas si fi se rin gen av dokumentasjonsgraden er delt inn i fem ni vå er. Klas si fi se rin gen star ter ved Funk sjo nelt (evidens ni vå 3) for di det er ved det te evi densni vå et de enk leste me to de ne for må ling av ef fek ter be nyt tes. Dokumentasjonsgraden re la te res til forsk nings me to der og vi sua lise res med stjer ner fra * (enk le før- og et termå lin ger) til ***** (for ek sem pel RCT). For prak ti ke ren vil det te på en en kel måte infor me re om hvil ke eva lue rings me to der som er brukt, og med hvor stor sik ker het invervensjonens ef fek ti vi tet er do ku mentert. I det føl gen de be skri ves hva som kreves av evi dens for det en kelte evi dens ni vå, og hvil ken type forsk ning som kan bru kes for å opp nå de for skjel lige dokumentasjonsgradene. Evi dens ni vå 1. Po ten si elt Når et er po ten si elt virk somt, er ets mål set tin ger og mål grup pe be skre vet. Vi de re er det en ty de lig be skri vel se av meto der, tek nik ker og mate riell. Det er fle re forsk nings me to der som kan bi dra til å klargjø re hvil ke kom po nen ter et innehol der, for ek sem pel in ter vju, tekst ana ly se, be skri vel ser, ana ly ser av ob ser va sjo ner, kva li ta ti ve stu dier og ka sus stu dier. Den ne type forsk ning kan hjel pe prak ti ke re og le de re til å få en over sikt over til ta ket og hvil ke ele men ter det inne hol der. I et forsk ningsper spek tiv vil den ne type de skrip tiv evidens være helt nød ven dig for å kun ne gå vi de re med forsk ning som tar sik te på å forstå til ta kets ra sjo na le og om det har ef fekt. I Ne der land ale ne an tar man at over 1500 er for søkt be skre vet i så kal te tiltaksenheter el ler tiltaksmoduler på en måte som til freds stil ler evi dens ni vå 1. (Veerman & van Yperen, 2007). Det er grunn til å tro at et stort an tall også kan be skri ves på det te ni vå et i Nor ge. Man ge prak ti ke re gjen nom fø rer som de har god er faring med, men som ennå ikke er be skre vet i den for men som Ung sinn kre ver. Hvis dis se til ta ke ne be skri ves, vil det re pre sen te re en enorm øk ning av evi dens for som i dag fore går i prak sis, sam ti dig som det danner en so lid base for frem ti dig forsk ning. Evi dens ni vå 2. Sann syn lig Evi dens ni vå 2 kre ver i til legg at det fore ligger en for nuf tig og plau si bel ra sjo na le for at til ta ket har ef fekt. Det må gis en teo ri som gjør det sann syn lig at til ta ket har ef fekt. En slik teo ri kan fore lig ge som en all ment kjent teo ri om år saker til de but av et psy kisk helse pro blem, for ek sem pel teo rien om lært hjel pe løs het (learned helplessness) i forhold til de pre sjon. Det kan også fore lig ge teo re tisk kunn skap på bak grunn av litteraturgjennomgåelser el ler eks pert ut ta lel ser som for ek sem pel Nor ges Forsk nings råds eks pert ut ta lel se om ef fek ter av psy ko so si al be hand ling av barn og unge med at ferdspro ble mer, som før te til im port og im plemen te ring av fle re psy ko so sia le overfor barn og unge med at ferds pro ble mer (PMTO, MST og De utro li ge åre ne). At et er ef fek tivt, kan også sann syn lig gjø res ved at det fore lig ger enk le n=1-stu dier der man har fulgt et lite an tall en kelt sub jek ters ut vik ling ved må lin ger før og etter. Ung sinn ka te go ri se rer i lik het med den ne der land ske da ta ba sen som å være på evi dens ni vå 2 der som in ter na sjo na le 960 tidsskrift for norsk psykologforening 2009 46
Vitenskap og psykologi Mørch et al.: Ungsinn Evi dens ni vå 3. Funk sjo nelt Funk sjo nelt virk som me har alle krite rie ne som er be skre vet for ni vå ene 1 og 2 (de tal jert be skri vel se av til ta ket og en plausi bel teo re tisk ra sjo na le). I til legg har på det te ni vå et sys te ma tiske eva lue rin ger som vi ser at man får de øns ke li ge for andrin gene i mål grup pen. Det be tyr at man gjen nom til ta ket har nådd sine mål, pro blestu dier av til ta ket fore lø pig ikke er fulgt opp av egne na sjo nale stu dier. Med det te øns ker vi å sig na li se re at vi ikke slår oss til ro med in ter na sjo nal forsk ning, men ønsker å sti mu le re til norsk forsk ning. En plau si bel teo ri gir prak ti ke ren hjelp til å be grun ne hvor for til ta ket skul le ha effekt over for en spe siell kli ent. Nivå 2 er der for en es sen si ell platt form for å kom me vi de re i ut vik lings mo del len for effek ti vi sering av kunn skap. En plau si bel teo re tisk rasjo na le er vei le den de for hvil ke ef fek ter man kan for ven te i for skjel lige mål grup per, og hvil ke me ka nis mer som kan føre til forand rin ger. Hvis det ikke fore lig ger noen som helst evi dens for at til ta ket har ef fekt, Pro se dy rer for vur de ring og pre sen ta sjon av vil en plau si bel teo re tisk ra sjo na le like vel kun ne over be vi se be slut nings ta ge re om å av set te res sur ser til å prø ve ut me to den. Til tak på det te ni vå et be teg nes som et sann syn lig. Be skri vel se av til ta ke ne Til ta ke ne be skri ves av en av Ung sinns for fat te re i Ung sinns stan dar di ser te for mat. Ung sinns re dak sjon fore tar re krut te rings ar bei det og inn hen ter all ba sis in for ma sjon fra tiltakseieren. Tiltakseieren fyl ler ut et spør re skje ma med grunn leg gen de in for masjon om til ta ket og ved leg ger rele vant mate riell. Ung sinnfor fat te ren vil bru ke det tilsend te ma te ria let som grunn lag for sin be skri vel se, men kan også søke in for ma sjon gjen nom and re ka na ler. Når Ung sinn-for fat te ren har la get et ut kast til be skri vel se, vil tiltakseieren bli in vi tert til å kvali tets sikre den ne før den pub li se res i ba sen. Det er al li ke vel Ung sinn som er an svar lig for be skri vel sen. Klas si fi se ring av til ta ke ne Klas si fi se rin gen og vur de rin gen av til ta ke ne fore tas av Ungsinnpanelet. Ungsinnpanelet be står av pa ne lets le der, Ung sinns re dak tør, et ut valg av Ung sinn-for fat ter ne samt én re pre sen tant for be slut nings ta ke re i kom mu nen, én fra kom mu nal prak sis og én fra spe sia list hel se tje nes ten. Ung sinn-for fat ter nes kva li fi ka sjo ner Ung sinn-for fat ter ne er tre ne de og høyt kva li fi ser te fag folk. Kva li fi ka sjo ne ne in klu derer kunn skap om fore byg gen de virk som het i psy kisk hel se ar beid, teo re tisk kom petan se som er rele vant for fag fel tet og forsk nings kom pe tan se. Opp da te ring av Ung sinn Ung sinn vil år lig in vi te re alle seiere som har tiltak i da ta ba sen, til å sen de inn even tuelle re vi sjo ner og eva lue rin ger av til ta ke ne med sik te på opp gra de rin ger i basen. Pro gram ut vik ler ne kan også på eget ini tia tiv søke om opp gra de rin ger. me ne er re du sert, og mål per so ne ne er fornøyd. Det fin nes et utall av me to der for å gjø re sli ke eva lue rin ger som brukerfornøydhetsundersøkelser, før- og et ter må lin ger el ler ned gang i re-inn leg gel ser. Det te er eva lue rin ger som vi ser at noe har skjedd etter at ble iverk satt, og at det som skjed de er po si tivt. Sli ke eva lue rin ger kan også bru kes til å for bed re kva li te ten på tilbu det i or ga ni sa sjo nen. På det te evi dens ni vå et åp nes det for at de sig nen kan for bed res ved å leg ge til en el ler an nen form for re fe ran se mål for målopp nå el se. En re fe ran se stu die (bench mark study) kan være å sam men lig ne gjen nomsnitts re sul ta ter fra det ut valg te til ta ket med re sul ta te ne fra et ran do mi sert kontrollgruppestudium (RCT) som vi ser sig ni fikant bed re ef fekt for et lig nen de for det sam me psy kis ke hel se pro ble met. Hvis gjen nom snitts re sul ta tet i til ta ket er bed re enn kon troll grup pen i RCT-stu dien, er dette et vik tig sig nal om at til ta ket har ef fekt. En normreferansestudie be tyr at man sammen lig ner re sul ta tet av til ta ket med en norm, for ek sem pel at en viss an del av klien tene er for nøyd (95%), at 90% av klien tene nåd de mål set tin ge ne for be handlin gen, el ler at 80% av klien tene skå rer i nor mal om rå det målt med et stan dar di sert in stru ment. I Theory of change-stu dier kan ef fek ten av et spe sielt be hand lings elem ent un der sø kes gjen nom kor re la sjons stu dier, mens man i dose re spons-stu dier av kla rer hvil ket mi ni mum av be hand lings ti mer (dose) som må til før man får den øns ke de ef fekt. And re forsk nings de sig ner som hø rer til det te evi dens ni vå et, er kva si eks pe ri men tel le de sig ner og Sing le subject-de sig ner (n=1). Gjen nom dis se de sig ne ne får prak ti ke re sy ste ma tisk til ba ke mel ding om ef fek ter av til ta ket både på in di vid ni vå og grup pe ni vå, noe som mu lig gjør sy ste ma tisk over våkning av til ta ket og mo di fi se rin ger av det. Dis se de sig ne ne kan imid ler tid ikke sannsyn lig gjø re at ef fek te ne pri mært er for år saket av til ta ket. Do ku men ta sjon av år sakssam men hen ger for ut set ter at and re mu li ge år saker til for and ring er eli mi nert el ler kon tidsskrift for norsk psykologforening 2009 46 961
Mørch et al.: Ungsinn Vitenskap og psykologi Ta bell 1. Evi dens ni vå er Evi dens ni vå Evi dens ty per Forsk nings me to der 4. Do ku men tert 3. Funk sjo nelt 2. Sann syn lig 1. Po ten si elt Som i 1, 2 og 3, men det fore ligger sik ker evi dens på at til ta ket for år sa ker for and rin gene Som i 1 og 2, men har de mon strert at til ta ket fø rer til øns ke de re sul ta ter Som i 1, men til ta ket har en teo re tisk ra sjo na le Eks pli sitt be skri vel se av til ta ket (mål, mål grup per, me to der, mate riell) Ta bell 2. Klas si fi ka sjon av do ku men ta sjons grad Do ku men tasjons grad ***** **** *** ** * Forsk nings me to de RCT un der na tur li ge be tin gel ser(effective ness). Stu dien er replikert av minst én uav hen gig fors ker og 1 års opp føl ging. RCT efficacy-stu dium el ler av brut te tids se rie ana ly ser med 1 års opp følging. Lon gi tu di nel le ko hort stu di er. Kva si eks pe ri ment med kon troll grup pe og 6 md. opp føl ging. Re fe ran se stu dier, theory of change, norm stu dier. Enk le før-og-et ter må lin ger, se rier med n=1 (multiple ba se li ne) Ta bell 3. Evi dens ni vå knyt tet til klas si fi ka sjon av do ku men ta sjons grad Ran do mi ser te kontrollgruppedesigner (RCT efficacy og effect ive ness). Av brut te tidsseriedesigner. Lon gi tu di nel le ko hort stu di er Øns ke de til leggs stu dier Kva si eks peri men ter med kon troll grup per, theory of change, re fe ran se stu dier, normstu dier. Før-og-et ter må lin ger, se rier med n=1-stu dier (multiple ba se li ne). Reviewer, litteraturgjennomgåelser, eks pertut ta lel ser, enk le n=1 med få sub jek ter. Ba serer seg bare på in ter na sjo nal forsk ning De skrip ti ve stu dier, ob ser va sjo ner, do kument ana ly se, in ter vju er, kva li ta ti ve stu dier, ka sus be skri vel ser Øns ke de til leggs kva li te ter for Do ku men ta sjons grad 5 ***** Lang tids opp føl ging >3 år, kost nad nytte-ana ly ser, in si dens be reg ning, «pro gram fi del ity»-forsk ning, elementanalyser, kvali ta ti ve ana ly ser, or ga ni sa sjons ana ly ser, meta-ana ly ser. Evi dens ni vå Forsk nings me to de Do ku men ta sjons grad 4. Do ku men tert virk somt 3. Funk sjo nelt virk somt 2. Sann syn lig virk somt 1. Po ten si elt virk somt RCT un der na tur li ge be tin gel ser (effect iveness), replikert av minst én uav hen gig fors ker og 1 års opp føl ging. RCT-la bo ra to rie stu die (efficacy) el ler av brutte tidsseriedesigner med 1 års opp føl ging. Lon gi tu di nel le ko hort stu di er. Kva si eks pe ri ment med kon troll grup per Theory of change-stu dier, re fe ran se stu dier, norm stu dier. Enk le før-og-et ter må lin ger, se rier med n=1 (multiple ba se li ne). Reviewer, litteraturgjennomgåelser, ekspert ut ta lel ser, enk le n=1 med få sub jek ter. Ba se rer seg bare på in ter na sjo nal forsk ning De skrip ti ve stu dier, ob ser va sjo ner, do kument ana ly ser, in ter vju er, kva li ta ti ve stu dier, ka sus stu dier ***** **** *** ** * trol lert for. De sig ner på evi dens ni vå 3 gir like vel fors ke ren en sterk in di ka sjon på at til ta ket på vir ker re sul ta tet slik at in for masjo nen man får, gir en fore lø pig evi dens på ef fek ti vi tet. Det te gjel der spe sielt hvis en de sign på evi dens ni vå 3 er gjen tatt un der man ge for skjel lige be tin gel ser og replikert av uli ke fors ker grup per. Til tak på evi dens ni vå 3 skal også ha en klar im ple men te rings stra te gi som tar hensyn til tilbudsorganisasjonens struk tur og res sur ser. En slik stra te gi in klu de rer for eksem pel søk nads- og god kjen nings pro se dyre, opp læ rings- og kva li tets sik rings sy stem og kost na der. Funk sjo nelt virk som me blir klas sifi sert i do ku men ta sjons grad *, ** og *** avhen gig av forsk nings me to de. For ek sem pel vil enk le før- og et ter må lin ger få klas si fi kasjo nen *. Hvis til ta ket også er eva lu ert med re fe ran se stu die el ler «theory of change»- stu die, gis klas si fi ka sjo nen **, og en kva sieks pe ri men tell kon troll grup pe de sign med oppfølgingsmålinger etter 6 må ne der el ler se rier med n=1- stu dier får klas si fi ka sjo nen ***. Evi dens ni vå 4. Do ku men tert Til tak på evi dens ni vå 4 til freds stil ler kravene til evi dens ni vå 1 (be skri vel se), 2 (teore tisk ra sjo na le) og 3 (de mon stra sjon av at tiltaker le der til øns ket re sul tat). For at et skal bli be dømt som å være do ku men tert ef fek tivt, trengs det en forsk nings de sign som sann syn lig gjør at resul ta tet av et er for år sa ket av til ta ket. Det er tre de sig ner som til freds stil ler det te kra vet. Ran do mi sert kon troll grup pe de sign (RCT) kjen ne teg nes ved at me to den for valg av del ta ge re til grup pe ne som skal sam men lig nes, sik rer at grup pe ne er sammen lign ba re på vik ti ge va ri ab ler. Det te sikrer en høy in tern va li di tet. Av brut te tids serie ana ly ser inne bæ rer at det tas en se rie da ta punk ter som av bry tes gjen nom ett eller fle re (så kal te A-B-, ABA-, ABCde sig ner, der A er ba se li ne og B, C osv. repre sen te rer for skjel lige ). Hvis det fram kom mer sys te ma tiske for and rin ger på re sul tat må le ne som føl ge av til ta ke ne på en stor se rie av n=1-stu dier (minst 9 sub jekter), er det te en sterk evi dens for at det er til ta ket som for år sa ker re sul ta te ne, og kan som ef fek ti vi tets mål sam men lig nes med en RCT-de sign. Av brut te tidsseriedesigner 962 tidsskrift for norsk psykologforening 2009 46
Vitenskap og psykologi Mørch et al.: Ungsinn Med Ungsinns utvidelse av evidensbegrepet til å romme flere forskningsmetoder og design enn den tradisjonelle RCT, ønsker vi å komme videre i en fastlåst debatt vil også være et nyt tig sup ple ment når tidsseriestudier gjø res i for hold til grup per av in di vi der, for ek sem pel sko le klas ser. Lon gitu di nel le ko hort stu di er inne bæ rer at en kohort (eks. en al ders grup pe barn) ut gjør kon troll be tin gel se ne for en an nen ko hort for sam me aldergruppe på et se ne re tidspunkt. Stu dier un der spe sielt til ret te lag te betin gel ser (efficacy-stu dier) kjen ne teg nes ved at de ut fø res i universitetskontekst med spe sielt tre ne de te ra peu ter og med kli ent ut valg med «rene dia gno ser», ofte rekrut tert gjen nom an non ser el ler ak tiv selek tiv re krut te ring av fors ker ne. Det er vanlig vis pro gram ut vik le re som gjen nom fø rer efficacy-stu dier som den før s te test på om til ta ket er år sak til re sul ta te ne. Da er den eks terne va li di te ten lav (ge ne ra li ser barhet). Dokumentasjonsgraden ved evi densni vå 4 øker be ty de lig når stu di et er ut ført un der na tur li ge be tin gel ser og av uav hen gige fors kere, og der med øker også den eksterne va li di te ten (effect ive ness-stu dier). Det te inne bæ rer at forsk nin gen fore går i en or di nær kli nikk el ler et an net prak sis sted (nor mal res surs til gang) med et kli ent ut valg som er re pre sen ta tivt for de hen vis te klientene (med nor mal ko mor bi di tet), og at tilta ket er gjen nom ført av kli nik kens or di nære prak ti ke re. Prak ti ker ne vil ha nyt te av eva lue rin ger på evi dens ni vå 4 for å få et bed re bil de av hvil ke som er virk somme på hvil ke kli ent grup per. Den ne type kunn skap kan hjel pe til med å til pas se et til klientkarakteristika. For fors ke ren er eva lue ring på nivå 4 nød ven dig for å va lide re til ta kets teo re tis ke basis og der ved bidra til å få mer ge ne rell kunn skap om meka nis me ne bak de te ra peu tis ke ef fek te ne. Do ku men tert virk som me vil få klas si fi ka sjo ne ne **** el ler *****. RCT- (efficacy-)stu dier, av brutt tidsseriedesign og fort lø pen de eva lue ring av im ple men terings pro ses sen vil få klas si fi ka sjo nen ****. Hvis stu dien i til legg er replikert av minst én uav hen gig fors ker un der na tur li ge betin gel ser (effect ive ness- stu dium), klas si fise res til ta ket med *****. KVALITETSHEVING: Kunnskapsdatabasen Ungsinn gir fagpersoner og beslutningstagere en oversikt over tilgjengelige virksomme tiltak rettet mot barn og unge, og skal stimulere til økt dokumentasjon av tiltakets virkning. tidsskrift for norsk psykologforening 2009 46 963
Mørch et al.: Ungsinn Vitenskap og psykologi Øns ke de til leggs kva li te ter ved eva lue rin gen Til tak som er plas sert på evi dens ni vå 4 og do ku men ta sjons grad *****, mø ter alle krite rie ne for ni vå ene 1 til 4. Det vil si at de er godt be skre vet (1), har en plau si bel teo ri (2), har de mon strert at til ta ket fø rer til mål opp nå el se (3), og har do ku men tert at til ta ket er an svar lig for re sul ta te ne (4), inklu dert rep li ka sjon av minst én uav hen gig fors ker og un der na tur li ge be tin gel ser. Til tross for en eva lue ring av den ne høye standar den er det øns ke lig at et ut set tes for yt ter li ge re forsk ning som gir oss mer kunn skap om ef fek te ne av til ta ket. Det er også øns ke lig med kunn skap om kon sekven ser av im ple men te ring av til ta ket i et gitt mil jø. Det er så le des øns ke lig, men ikke nød ven dig, at føl gen de spørs mål er be svart gjen nom forsk ning: Hva er lang tids ef fek tene av til ta ket (mer enn ett år)? Hva er nytten av til ta ket i for hold til kost na de ne (kost nad nyt te-ana ly ser). Er det en la ve re in si dens av det psy kis ke hel se pro ble met som skal fore byg ges etter lang tids bruk av til ta ket (for ek sem pel etter 5 10 år)? Opprett hol des til ta ket over tid med høy in tegri tet og kva li tet (pro gram fi del ity)? Er det spe sielle ele men ter ved til ta ket som er kritisk vik ti ge for å få op ti mal ef fekt (elementanalyse)? Har im ple men te rin gen av et hatt ef fek ter på or ga ni sa sjo nens arbeids for mer, orga ni se ring og res surs bruk (kva li ta ti ve ana ly ser)? Inn går eva lue ring av til ta ket i me ta ana ly ser, som der ved sammen hol der ef fek te ne av til ta ket med effekt må ling av and re? Sli ke tilleggsevalueringer styr ker ets va li di tet og blir eks pli sitt be skre vet i da ta ba sen som en del av vur de rings grunnla get for kvalitetsklassifikasjonen. Kunn skaps ba sert og forsk nings ba sert prak sis Til tak på evi dens ni vå ene 1 og 2 vil an ta gelig re pre sen te re det man kal ler kunn skapsba sert prak sis, mens på evi dens ni vå 3 an ta ge lig vil kun ne kal les forsk nings ba sert prak sis. Gjen nom kon strue rin gen av Ungsinn øns ker vi imid ler tid å vise at evi dens kan skaf fes til veie på man ge for skjel lige nivå er og med man ge for skjel lige forsk ningsme to der. Vi vel ger der for å kal le på evi dens ni vå ene 1 og 2 for som har evi dens, og ikke re ser ve re evi dens ba ser te bare for på evi dens ni vå ene 4 og fem stjer ners do ku men ta sjons grad. Etter vårt syn av spo rer en slik be grens ning evidens de bat ten og ska per unø dig kon flikt i fag mil jø ene. Ung sinn øns ker imid ler tid gjen nom sin struk tur å vi sua li se re både kom pleksi te ten i forsk ning på høyt nivå og overkommeligheten av å gjø re ver di ful le eva lue rin ger med me to der og de sig ner som er enk lere, og som brin ger et høye re opp i evi dens ni vå ene. Til tak med nega tiv ef fekt Ung sinn har også ka te go ri en «Nega tiv effekt», for di det en gang imel lom pub li se res eva lue rin ger som, på et høyt evi dens ni vå, på vi ser at en kelte har nega tiv ef fekt på til ta kets ho ved mål. Kra vet fra prak sisfel tet om at tids skrif te ne i stør re grad til later å pub li se re 0-ef fekt-stu dier og stu dier med nega tiv ef fekt, til sier at det kan bli en øken de publiseringsrate med sli ke stu dier. Det er et al vor lig etisk pro blem at med på vist nega tiv ef fekt an ven des i praksis fel tet (Petrosino, Turpin-Petrosino & Finckenauer, 2000; Werch & Owen, 2002). Til tak i den ne ka te go ri en skal minst ha et forsk nings grunn lag som til sva rer do kumen ta sjons grad *** på evi dens ni vå 3 (kvasi eks pe ri men tell kon troll grup pe de sign med 6 må ne ders opp føl ging). Av slut ning Ung sinn skal ikke bare være en ka ta log over evi dens ba ser te og be skri vel ser av evidens ni vå er og dokumentasjonsgrader. Ungsinns opp byg ning og funk sjon er også ment å vir ke mo ti ve ren de på tiltaksutviklere og fors kere til å be gyn ne å eva luere el ler å fort set te å eva luere dem, slik at til ta ke ne får enda bed re do ku men ta sjon. Med Ungsinns ut vi del se av evi dens be gre pet til å rom me fle re forsk nings me to der og de signer enn den tra di sjo nelle RCT, øns ker vi å kom me vi de re i en fast låst de batt om beret ti gel sen av evi dens ba ser te ba sert på en sne ver for stå el se av evi dens. Den ne ut vi del sen må imid ler tid ikke for stås dit hen at det er til strek ke lig med eva lue rin ger på de la ve re ni vå ene i Ung sinn for å hev de at et har do ku men tert ef fekt. Fremde les vil det høy es te evi dens ni vå et (Til tak med do ku men tert ef fekt) være nød ven dig for å kun ne do ku men te re at til ta ket med stor grad av sik ker het har ef fekt. Eva lue ringer med enk lere deisgner som vil klas si fi sere til ta ket på la ve re evi dens ni vå er, er imid ler tid svært ver di ful le i seg selv og vil være et godt ut gangs punkt for yt ter li ge re evalue rin ger. For bru kerne av da ta ba sen vil det være nyt tig å få ny an sert in for ma sjon om hvil ken forsk ning som er gjort på et og, ikke minst, kun ne føl ge ut vik lin gen av forsk nings ak ti vi te ten. Ung sinn er lagt ut på In ter nett un der do me ne nav net ungsinn.uit.no og inne holder i skri ven de stund syv. Yt ter li ge re ni vil bli lagt ut i lø pet av året. Ungsinns ka pa si tet for å vur de re nye antas å være ca. 10 pr. år. Willy-Tore Mørch RBUP Nord Uni ver si te tet i Tromsø Tlf 77 64 58 54 E-post willy-tore.morch@uit.no Re fe ran ser APA Presidential Task Force on Evidence Based Prac ti ce (2006). Ame ri can Psychologist, 61, 271 285. Eke land, T (1999) Evi dens ba sert be hand ling: kva li tets sik ring el ler in stru men ta li stisk mistak. Tids skrift for Norsk Psykologforening, 11, 1036 1047 Eke land, T. (2001). Evi dens ba ser te illusjonar? Tids skrift for Norsk Psykologforening, 5, 441 445 Eke land, T. (2008). Evi dens ba sert prak sis. Tidsskrift for Norsk Psykologforening, 4, 406 407. Evi dens ba sert prak sis. (2008). Tids skrift for Norsk Psykologforening, 45, 4. Fore byg gen de inn sat ser i sko len (2006), Oslo: Helse depar te men tet og Ut dan nings de par temen tet. Oslo Kazdin, A.E. & Weisz, J.R. (2003). Evidencebased psychotherapies for chil dren and adolescents. N.Y: Guild ford Press. Petrosino, A., Turpin-Petrosino, C. & Finckenauer, J. O. (2000). Well-meaning pro grams can have harmful effects! Les sons from experiments of pro grams such as scared straight. Crime & Delinquency, 46, 354 379. Prin sipp er klæ ring om evi dens ba sert psy ko lo gisk prak sis (2007). Tids skrift for Norsk Psykologforening, 9, 1127 1128. Veerman, J.W. & van Yperen, T.A. (2007). Degrees of freedom and de grees of certainty: A developmental model for the es tab lish ment of evidence-based youth care. Evalu ation and Pro gram Planning, 30, 212 221. Werch, C. E. & Owen, D. M. (2002). Iatrogenic effects of alcohol and drug pre ven tion programs. Jour nal of Stu dies on Alcohol, 63, 581 590. Woody, J.D., D Sou za, H.J. & Dartman, R. (2006). Do mas ter s in social work pro grams teach empirically sup ported interventions? A survey of deans and directors. Re search on Social Work Prac ti ce, 16. 469 479. 964 tidsskrift for norsk psykologforening 2009 46