Beyond gruppedesign og randomisering? N=1-designens muligheter utover gruppedesignen i evidenssammenheng Mange betegnelser: Single subject, N = 1, single case, intrasubject replication, intensive, own control, tids-serie design, tids-serie eksperimentering, single case design, single case research designs + IDD? A B A B 3 2 1 1 3 5 7 11 13 15 17 1 21 23 25 27 2 31 Beyond... Ebbinghaus 1885 & It would be some 70 years before a new approach, called the experimental analysis of behavior, was to employ repeated measurement in individuals to study complex animal and human behaviors (Barlow, Nock & Hersen, 200 s.) So while the general preference that both of us and many others give to the synthesis of randomized designs is based on sound statistical theory and the practical demands of large-scale synthesis (Shadish, 2005), the forefront of developments must extend well beyond that to exploring and justifying the synthesis of methods like single-subject designs in the evidence-based practice movement (Shadish & Rindskopf, 2007 s. 105). Beyond på hvilke måter? 1. Metodebidrag til evidensforskningen og evidenshierarkiene; IDD er en familie kausale design med god til utmerket kontroll på trusler mot indre validitet - replikasjoner kan redusere trusler mot ytre validitet Evidenshierarkiene er i stor grad en sortering av metoder etter i hvilken grad trusler mot indre validitet er usannsynliggjort 2. Empirisk bidrag til evidensbasene; metaanalyser av IDD/N=1 3. Bidrag til studier av komponenter og prosesser i terapi og miljøarbeid (fleksibilitet, mange datapunkter). Bidrag til overgangen fra evidensforskningen til klinisk anvendelse; overvåkning og dokumentasjon av tiltak som allerede har god empirisk støtte (pluss effectiveness bidrag) 5. Bidrag til atferdsanalysens konkretisering & utbredelse: IDD/N=1 kan oppfattes som et bidrag i utviklingen og anvendelsen av empirisk støttede sformer & i takt med tradisjonell kausal metodologi (validitetstypologi) 6. Noen implikasjoner 1
1a. Metodebidrag til evidensforskningen og evidenshierarkiene (kausal metodologi) Et evidenshierarki (Rubin, 2008): 1 Metaanalyser & systematiske oversikter (reviews) 2 Replikasjoner av RKE på flere steder (Multi-site replication RCT) 3 Randomiserte eksperimenter (RCT) Kvasi-eksperimenter 5 N=1 6 Korrelasjonsstudier 7 Andre: - Case rapporter - Pretest/posttest uten kontrollgruppe - Estimering før og etter Eksperimentell logikk (nullifisering av andre plausible årsaker ved at de dundrer og går like mye i begge grupper) Eksperimentgruppe N=50 Pretest 0 score Posttest 80 score Pretest N=100 klienter Randomisert fordeling Kontrollgruppe N=50 Pretest 0 score Posttest 0 score 1. Metodebidrag til evidensforskningen Samme person kan ikke samtidig få og ikke få, på samme tid. Vi er imidlertid interessert i hvordan det ville gått uten det faktiske tiltaket altså den kontrafaktiske betingelsen. Kontrollgruppen er en god tilnærming til en kontrafaktisk betingelse. Randomisering sørger for god oversikt over andre variabler som påvirker uansett tiltak eller ikke (mao er trusler mot indre validitet variabler som påvirker hele tiden). Randomisering er et kontrollelement, men det er også basislinjen, reverseringen, de multiple basislinjene. Den kontrafaktiske kvaliteten kan vurderes. Randomisering ikke viktig per se. Fire typer slutninger og tilhørende katalog over feil (X Y) og N=1/IDD kan på sitt beste nullifisere mange trusler mot IV Statistisk konklusjons validitet Målingsproblemet Statistikkproblemet Indre validitet Årsaksproblemet (andre mer plausible X er?) Historie Modning Syklisitet Statistisk regresjon Begrepsvaliditet Ytre validitet Generaliseringsproblemet (generalisering til andre P, S, T?) Har det vært en urepresentativ interaksjon som medfører Y - endringer interaksjon? Hvilke validitetstrusler er minimert? Flere trusler mot indre validitet er aktuelle i denne AB-designen (men, PND=100 % & PZD=100 % ) 3 2 1 A B A B 1 3 5 7 11 13 15 17 1 21 23 25 27 2 31 2 1 1 A 1 2 3 5 6 7 8 10 11 12 13 1 15 16 17 18 1 20 2
2a. Empiriske bidrag til evidensbasene & metaanalyser av IDD/N=1; ikke-regresjonsbaserte metoder (1) PND: Percentage of Nonoverlapping Data; prosentandel datapunkter i B som ikke overlapper A antall ikke overlappende punkter delt på alle punkter i B x 100 Inndeling: 50 % til 70/80 % tvilsom, >70/80 % til 0 % moderat, >0 % effektiv Problemer ved ekstreme basislinjeverdier, trend i data og komplekse design, men er i tråd med visuelle analyser som fremgangsmåte 2b.Ikke-regresjonsbaserte metoder forts. (2) PZD: Percentage Zero Data; prosentandel 0 datapunkter i B etter første 0. Inndeling: <18 % ineffektiv, 18 % - 5 % tvilsom, 55 % - 80 % bra, > 80 % effektiv Problemer: Ekstreme basislinjenivåer, små svingninger i B (3) SD: Standardized Difference; d = (Mt-Mb)/sb Problemer: Trender (sammenlikner bare nivå); inndeling eller normer ikke kjent 2c.Ikke-regresjonsbaserte metoder... () MBLR: Mean BaseLine Reduction; (Mb-Mt)/ Mb x 100 Problemer: Trender (sammenlikner bare nivå); inndeling ikke kjent 2 1 1 A Gjennomsnitt A = 16.6 Gjennomsnitt B = Standardavvik A = 2.875 PND: 100 % PZD: 5 av 5 fra første 0 = 100 % SD: (t6.6b)/2.875b =.38 MBLR: 16.6 =12.6/16.6=0.75 x 100= 76 % 1 2 3 5 6 7 8 10 11 12 13 1 15 16 17 18 1 20 Data fra hver studie kan inngå i deskriptive statistiske beregninger Eksempel 1 på metaanalyse av N=1/IDD (a) Campbell, J. M. (2003). Efficacy of behavioral interventions for reducing problem behavior in persons with autism: a quantitative synthesis of single-subject research. Research in Developmental Disabilities, 2, 120 138. Metode: 117 artikler fra 15 tidsskrifter/n=181; MBLR/PND/PZD. Konklusjon: Forsterkningsprosedyrer og straffeprosedyrer omtrent like effektive. Eksperimentelle funksjonelle analyser, mer data i intervensjonsfaser og god (reliabilitet) sintegritet fører til større PZD. Eksempel 2 på metaanalyse av N=1/IDD (b) Shogren, K. A., Faggella, M. N., Bae, S. J., & Wehmeyer, M. L. (200). The effect of choice-making as an intervention for problem behavior. Journal of Positive Behavior Interventions, 6, 228 237. Metode: 13 artikler fra 6 tidsskrifter/n=30; PND/PZD. Konklusjon: Gjennomsnitt for PND var 67.5 % & PZD 3.2 % - begge i tvilsom kategorien (men, stor variasjon - fra 0 % til 100 %). Totalt var 2/3 av datapunktene forskjellige fra basislinjen. Det kan være at valg er viktig også av andre grunner enn reduksjon av problematferd. 3
Eksempel 3 på metaanalyse av N=1/IDD (c) Xin, Y. P., Grasso, E., Dipi-Hoy, C. M., & Jitendra, A. (2005). The effects of purchasing skill instruction for individuals with developmental disabilities: A metaanalysis. Exceptional Children,71,37 00. Metode: 28 artikler/n=115; PND. Konklusjon: Moderat positiv effekt (median PND = 87.5 %). Gjenkjenning av penger og enkel addisjon og subtraksjon (komponentatferder/prerekvisitter) bør øves både simulert og in vivo, bruk av betalingsmaskiner krever ekstra trening. Kliniske spørsmål Virker en? Er det elementer innenfor en som virker som er spesielt virksomme? Innen serie A/B/A/B B/A/B/A A/B B Kriterieendringsdesign B/B+C/B B+C/B/B+C C/B+C/C B+C/C/B+C Mellom serier Sammenlikner datapunkter i betingelse A og B som sammenlikner eksempelvis B og /B+C/ Kombinerte serier (innen + mellom sammenlikninger) Multiple baseline på tvers av settinger, atferder og personer. Multiple basislinjer over personer er svært godt egnet i klinisk praksis både konfirmerende & monitorerende Multiple baseline med sammenlikning av B og /B+C/ og C og /B+C/ Hvilket nivå på en er optimalt? Parametrisk analyse Ascending/ descending design A/B /B/B med Sammenlikning av B og B Multiple baseline med sammenlikning av B og B og kontroll med rekkefølge a. Overgang fra evidensforskningen til klinisk anvendelse The way in which treatment is evaluated in the tradition of quantitative research and hypothesis testing has no useful parallel in evaluating whether a particular patient seen in treatment gets better or has improved (Kazdin, 2006 s. 15). 1. Vi kan ikke anta at en evidensbasert vil være effektiv i alle tilfeller endringer foregår idiosynkratisk 2. Systematisk empiri har sine feil, men de er lettere å rette på enn klinisk skjønn systematisk datainnsamling bør finne sted av hensyn til klienten 3. Systematisk empiri understøtter kliniske avgjørelser; navigert praksis. Akkumulering av effectiveness studier, praktiske demonstrasjoner og replikasjoner er vesentlig for å bygge opp basen av empirisk støttede sformer og for å informere terapeutene 1) Hvilket spørsmål ønsker du svar på? 2) Evidens søk i tråd med hierarki (metaanalyser først - om de finnes, så reviews, så...). Cochrane Collaboration, Campbell Collaboration, American Psychological Association, Google Scholar, PsychINFO, AcademicSearchElite, Ungsinn.no, JABA... Søkeord; lag en liste med utgangspunkt i søk og treff + litteraturlister fra treff + kombinasjoner revider listen Lag en mappe; lagr pdf er med talende navn 3) Kritisk vurdering hvilke tiltak virker med størst sannsynlighet? ) Underrett klienten, sett i gang tiltak dersom klienten fortsatt er interessert. Lær tiltakene søk veiledning 5) Overvåk den kliniske prosessen med IDD Overvåkningsstrategi Andre fase (B empirisk guidet tiltaksgjennomføring): 1: Ingen endring a: Vente b: Endre intervensjon c: Legge til eller trekke fra i den opprinnelig intervensjon 2: Forverring a: Trekk tilbake 3: Bedring a: Lagre data (A/B) + kanskje multiple baseline over personer? b: Lagre data (A/B) + kanskje multiple baseline over situasjoner eller atferder for denne personen? c: Reversering og eventuelt enda større tillit til slutningene? Reversering fremstilles ofte som problematisk, men...
... I: Naturlig reversering kan være vesentlig og viktig II: Reversering trenger ikke være lang III: Rasjonale for reversering kan være god IV: Reversering kan gjøre klienten/andre personer motiverte (oppdage betingelser for egen atferd) V: Reversering vil noen ganger føre til redusert forbedring, men ikke helt tilbakefall VI: Reversering kan gi hint om kronisk 5. Utbredelse Criteria for Evidence-Based Treatments*: 1. There must be at least two-peer reviewed between-group, within-group, single-case design studies (or a combination) with: minimum 30 deltakere, samme aldersgruppe, samme, samme kliniske problem, prospektive design og randomisert fordeling 2. Behandlingen må være: Bedre enn kontroll eller sammenlikningsgruppe og lik eller bedre enn allerede etablert 3. Majoriteten av de inkluderte studiene må støtte en. Prosedyrene må ha god sintegritet *Yon, A., & Scogin, F. (2007). Procedures for identifying evidence-based psychological treatments for older adults. Psychology and Aging, 22, 7. Appendix (s. 7) Hvorfor ikke (i utgangspunktet) invitert og heiet på her heller? I Under-undervist II For vanskelig & for lettvint (Baer, 177)* III Assosiert kun med atferdsanalyse & få publikasjonskanaler IV Gruppedesign er forskning.god evidens krever ikke gruppedesign med mengder av aggregerte data V Lite vektlagt i klinisk orienterte institusjoner VI Dårlig utviklet teknologi for å syntetisere studier med N=1;...works that currently goes untapped (Shadish & Rindskopf, 2007 s. 7) og ikke med på evidenslasset http://faculty.ucmerced.edu/wshadish/index.htm * Few would lobby for the use of statistical significance in clinical application with individual patients. Yet some means of identifying whether the change is reliable is needed (Kazdin, 2006 s. 160). 6. Noen implikasjoner Mer vekt på evidenbaserte terapier (systematisk empiri) & forskningsbasert undervisning kan medføre økt interesse for både N=1 & atferdsanalytiske studier: a) NAFO som utdanningspolitisk aktør med sine 1000 medlemmer? Bidra med elegant stimulering for mer om systematiske og empirisk støttede sformer, IDD (og dermed atferdsanalyse) i høgere utdanning? b) Når kommer den første metaanalysen på norsk? c) Systematisk empiri, kritisk tenkning & design som en fast forelesning på seminaret? 5