Designstandarder Børge Strømgren
Designstandarder N=1 design Eksperimentelle design er en sentral del av atferdsanalyse. I anvendt atferdsanalyse er det utviklet mange ulike varianter, og de har standarder som må være være oppfylt for at de skal anses som gode nok til å påvise en funksjonell relasjon mellom uavhengig og avhengig variabel. I de senere år har det blitt foreslått nye, og til dels strengere, standarder som bør oppfylles før man kan kalle designen god ("good design"). De nye standardene har relevans til utviklingen av en god atferdsanalytisk empiribase for effekten av ulike intervensjoner overfor forskjellige problemstillinger. De foreslåtte standardene vil bli gjennomgått.
Baer (1977, pp. 170-171) PERHAPS IT WOULD BE BETTER NOT TO KNOW EVERYTHING Individual-subject-design practitioners, operating without calculation of the pertinent probabilities, necessarily fall into very low probabilities of Type 1 errors and very high probabilities of Type 2 errors, relative to their groupparadigm colleagues. As a result, they learn about fewer variables, but these variables are typically more powerful, general, dependable, and-very important-sometimes actionable. These are exactly the variables on which a technology of behavior might be built.
Baer (1977, pp. 170-171) PERHAPS IT WOULD BE BETTER NOT TO KNOW EVERYTHING Thus, it is no coincidence that the individual-subject design practitioners proved to be foremost in the development of behavioral technologies-considering the methods under which they usually operated, there was little else they could discover. Furthermore, they were comfortable in their method: their interest, when technological, was to solve social and personal problems. If a problem has been solved, you can see that; if you must test for statistical significance, you do not have a solution. This, after all, was the major conclusion to be made, not whether an experimental effect had been uncovered.
Gruppeforskning og N=1 Gruppeforskning (klinisk) Efficacy er starten påvise effekt under kontrollerte betingelser, god indre validitet, beskrive og benytte antatt virksom(me) komponent(er), og konklusjonsvaliditet det er disse som virker Gjøres ofte i universitetsklinikker, høyt skolerte terapeuter, RCT, klare inkluderings- og ekskluderingskrav, osv. Kan dette overføres til vanlig klinikk / tjenesteyting? Efficiency Finnes slike pasienter i virkeligheten?, kan terapeuter bare drive med dette og bli flinke nok i virkeligheten?, er vanlig kontekst tilstrekkelig?, osv Effekt i vanlig klinikk er selve lakmustesten Så man må se på implementering (eller iverksettelse), FRIN
Gruppeforskning og N=1 Gruppeforskning (klinisk) Det er mange faktorer man må se på ved Efficiency; Opplæring og veiledning av terapeuter/behandlere Aksept blant terapeuter og behandlere Aksept blant deltagere/pasienter Gjennomføring av behandling Adherence/fidelity, drift Attrition Inntak og rekruttering av deltagere/pasienter Eligibility Frivillighet, motivasjon
Gruppeforskning og N=1 N=1 Hvor mye er klinikk? Hvor mye er service delivery? Hva med overgangen? Hvordan er ABA vurdert? Beavers, G. A., Iwata, B. A., & Lerman, D. C. (2013). Thirty years of research on the functional analysis of problem behavior. Journal of Applied Behavior Analysis, 46, 1-21. doi: 10.1002/jaba.30 Klassikere: Iwata, B. A., Dorsey, M. F., Suifer, K. J., Baumann, K. E., & Richman, G. S. (1994). Toward a Functional Analysis of Self-Injury. Journal of Applied Behavior Analysis, 27(2), 197-209. doi: 10.1901/jaba.1994.27-197 Iwata, B. A., Pace, G. M., Cowdery, G. E., & Miltenberger, R. G. (1994). What Makes Extinction Work: An Analysis Of Procedural Form And Function. Journal of Applied Behavior Analysis, 27, 131-144. doi: 10.1901/jaba.1994.27-115
Gruppeforskning og N=1
Noen hovedkilder Horner, R. H., Swaminathan, H., Sugai, G., & Smolkowski, K. (2012). Considerations for the Systematic Analysis and Use of Single-Case Research. Education and Treatment of Children (West Virginia University Press), 35(2), 269-290. Kratochwill, T. R., Hitchcock, J. H., Horner, R. H., Levin, J. R., Odom, S. L., Rindskopf, D. M., & Shadish, W. R. (2013). Single-Case Intervention Research Design Standards. Remedial and Special Education, 34(1), 26-38. doi: 10.1177/0741932512452794 Kratochwill, T. R., Hitchcock, J. H., Horner, R. H., Levin, J. R., Odom, S. L., Rindskopf, D. M., & Shadish, W. R. (2010). Single-case designs technical documentation. Retrieved from What Works Clearinghouse website: http://ies.ed.gov/ncee/wwc/pdf/ Nugent, W. R. (2010). Analyzing Single System Design Data. New York: Oxford University Press, Inc. Smith, J. D. (2012). Single-Case Experimental Designs: A Systematic Review of Published Research and Current Standards. Psychological Methods, 17, 510 550. doi: 10.1037/a0029312
Utgangspunkt Ønske om å lage noen kriterier for Good experimental design eller a high standard for å kunne bidra til å etablere en solid database som kan sammenlignes med gruppe-design Kriteriene bør kunne brukes til å standardisere review Ingen konsensus om kriteriene, dette er er et forsøk på et bidrag til Design Standards og Evidence Criteria Design som holder Standard (Meet Standards) Design som holder Delvis Standard (Meet Standards with Reservation) Design Under Standard (Does not Meet Standards) Strong Evidence a Causal Relation Moderate Evidence a Causal Relation No Evidence of a Causal Relation
Design som holder Standarden Fire kriterier En uavhengig variabel MÅ manipuleres systematisk Forskeren må styre manipuleringen, ikke andre omstendigheter Avhengig variabel MÅ måles systematisk av mer enn en observatør MÅ ha akseptabel IOA (80%-90%)/Kappa >.60 på minimum 20% av datapunktene i hver fase MÅ være minst tre demonstrasjoner av effekt på tre ulike tidspunkter (ABAB, MB/CC med tre basel. bet., AT 5 tidsp.) replikasjon av effekt som ellers er usannsynlig korrelert med manipulering av uavhengig variabel funksjonell relasjon AB/ABA ubrukelig, MB to basel. ubrukelig MÅ være minimum 5 datapunkter i hver fase (ikke AT) responsmønster OG trend/retning
ABAB (Reversering) Standard Minimum fire faser Minimum fem datapunkter i hver fase Delvis Standard Minimum fire faser Minimum tre datapunkter i hver fase Under Standard En eller flere faser med mindre enn tre datapunkter
Multiple Baseline Standard Minimum seks faser (Tre A og tre B) Minimum fem datapunkter i hver fase Delvis Standard Minimum seks faser (Tre A og tre B) Minimum tre eller fire datapunkter i hver fase Under Standard En eller flere faser med mindre enn tre datapunkter Kriterier utarbeides Concurrent/non-concurrent MB Multiple Probe
ATD Standard Minimum fem gjentakelser av alterneringssekvensen ABABBABAABBA, BCBCBCBCBC, AABBAABBAABB Delvis Standard Minimum fire gjentakelser av alterneringssekvensen Under Standard Under fire gjentakelser av alterneringssekvensen
Visuell analyse/inspeksjon Foretrukket måte å analysere data på, fordi Standard måte å gjøre det på i SCD, utgangspunktet, lang tradisjon, stor nok effekt til at det vises Det finnes ennå ikke fullgode statistiske modeller Bl. a. uavhengighet av målefeil i data/autokorrelasjon Det er også uenighet om hvordan effektstørrelse skal kalkuleres Analysen består av fire trinn Stabil basislinje, forutsigbart atferdsmønster Stabile data/forutsigbart atferdsmønster i de andre fasene Sammenlign data i en fase med data i nærliggende fase, sees en effekt? Er det tre demonstrasjoner av effekt på tre ulike tidspunkt.. og seks ulike forhold som må vurderes
Seks seks ulike forhold som må vurderes Effekt vurderes ut fra dataenes /atferdsmønsterets; Nivå Trend Variabilitet Umiddelbarhet i endring/effekt Overlapp Konsistens i data/mønster i like faser
Nivå og Trend
Variabilitet Overlapp Umiddelbarhet
Konsistens i data/mønster i ulike faser
Cooper, Heron & Heward, 2007 Har 7 sider om tolkning av grafisk framstilte data (149-155) Antall datapunkter, må være nok datapunkter, kan være færre hvis betingelse gjentas, også færre ved replikasjon enn ved første gangs studie Vektlegger variabilitet, nivå og trend i tolkningen
Cooper, Heron & Heward, 2007
Hvor mange good designs trengs Anbefaler en 5-3-20 terskel for å ta inn en SDC i en systematisk bevisgjennomgang for å benevnes empiriske støtet/evidensbasert praksis 1. Minimum 5 SCD-studier som holder Standard eller eller delvis standard 2. Studiene er gjort av minst tre forskjellige forskningsmiljøer og ingen overlappende forfatterskap 3. Det totale kombinerte antallet cases (eks deltakere) må være minst 20. Kan være 5 ulike deltager der man jobber med samme atferd Ikke fem ulike atferder hos samme deltaker
Tolkning av data i eksperimentelle design. Vurdering av Evidens for Design med Standard/Delvis Standard Børge Strømgren
Tolkning av data i eksperimentell design Det finnes mange beskrevne fremgangsmåter for tolkning av data i N=1 design. Utgangspunktet har alltid vært visuell inspeksjon, og det har vært et poeng at forskjellen mellom fasene bør være så stor at den er lett å se med det blotte øye. Situasjonen er ikke alltid slik i de studiene som er publisert i atferdsanalytisk litteratur. Det er derfor foreslått flere fremgangsmåter til støtte for den visuelle inspeksjonen. Det vil bli gitt en gjennomgang av de ulike fremgangsmåtene
Vurdering av Evidens for Design med Standard/Delvis Standard Strong Evidence Minst to fagfeller som er sertifisert i visuell inspeksjon må verifisere at det er demonstrert en funksjonell relasjon, ved å peke på; Minst tre demonstrasjoner av intervensjonseffekt, på tre ulike tidspunkt og ingen demonstrasjon av nulleffekt*, dokumenter ved; konsistens av nivå, trend, og variabilitet (mønster) i hver fase og mellom faser umiddelbarhet i effekt, andelen dataoverlapp og eksterne faktorers mulig påvirkning, anomalier * man kan ha én slik i MB, da har vi Moderate Evidence
Nivå Umiddelbar endring
Trend og endring i nivå
Variabilitet
Overlapp
Endring i snitt Umiddelbar vs. forsinket
Permanent vs. kortvarig endring
Gjennomsnitt i faser og overlapp
Hvordan finne trend regresjonslinje med statistikk
Cooper, Heron & Heward, 2007