Fra statistisk konklusjonsvaliditet til dataevalueringsvaliditet

Transkript

1 Fra statistisk konklusjonsvaliditet til dataevalueringsvaliditet - og tilbake til validitetstypologien Jon A. Løkke (dosent i atferdsanalyse ved Høgskolen i Østfold)

2 Varighet i minutter Latenstid før elevene er inne etter pause 12 A 1 B 1 A 2 B Dager

3

4 Kort sagt I Validitetstypologien («Oversikt over 4 typer feil») til Cook & Campbell er et utmerket rammeverk for å analysere effekter av tiltak (og planlegge). Med gruppedesign blir effekten, forskjellen mellom det vi kan kalle betingelse A (kontroll eller kontrafaktisk betingelse) og betingelse B (eksperimentgruppe), analysert med statistiske prosedyrer. Statistiske prosedyrer og validitetstypen statistisk konklusjonsvaliditet (SKV) har vært lite aktuell i anvendt atferdsanalyse. Atferdsanalytikere har vært negative til statistiske prosedyrer og dermed også litt negative til generell kausal metodologi det er nok ikke lurt.

5 Kort sagt II Alternativet til statistiske prosedyrer og SKV er visuelle analyser og dataevalueringsvaliditet (DEV). Spørsmålet er: Hva skal til for at vi, ved å se på data, kan ha begrunnet tro på at et tiltak er effektivt? Hvilke validitetstrusler er aktuelle? Med dataevalueringsvaliditet kan vi takke «ja» til resten av validitetstypologien og nyte godt av kunnskap om kjente validitetstrusler. Atferdsanalyse kan knytte seg til vanlig epistemologi der det er mulig og lurt for atferdsanalysen.

6 Validitetstyper TYPER INDRE VALIDITET YTRE VALIDITET BEGREPS- VALIDITET? ÅRSAK; ER DET X 1, X 2 som fører til Y? Trusler HISTORIE MODNING INSTRUMENT- ERING TESTING STATISTISK REGRESJON SYKLISITET.. GENERALISERING MÅLING; operasjonalisering STATISTISK KONKLUSJONS- VALIDTITET RELASJON; ER B FORSKJELLIG FRA A? Grunner til at slutninger om samvariasjon mellom to variabler (X og Y) kan være feil a) Brudd på statistiske forutsetninger b)

7

8 Type-I & Type-II feil Nullhypotesen = ingen effekt (litt depressivt anlagt)... er sann... er falsk... og aksepteres Ok; korrekt godtakelse Type-II-feil; feilaktig godtakelse og vi oppdager ikke effekter som kan være viktige... og forkastes Type-I-feil; feilaktig avvisning og vi påstår effekt uten grunner Ok; korrekt avvisning

9

10 Mecca Chiesa (1994) og veien til «Radical Behaviorism» «When we were instructed, on the basis of a significance test, to assert, «Event x affects behavior in this way,» I protested that measures from some of the subjects in the group (often including my own) contradicted this assertion. How could I claim to have demonstrated a scientific fact when I could see in my own data that it did not hold, that it simply did not apply to some of the individuals involved in the experiment?» (s. vi)

11

12 Author Guidelines PREPARATION OF MANUSCRIPTS FOR JABA SUBMISSION INFORMATION Manuscripts should be submitted electronically in Word (.doc) format to the ScholarOne website: Research Articles The primary focus of JABA continues to be Research Articles of social importance. Both individual and group designs are appropriate, but in intervention studies, data on individual variation should be included. Further, the clinical significance of the effect on individuals should be discussed. In most cases, direct measures of behavior will be critical for acceptance, but in some instances, self-reports (e.g., headaches) will be acceptable, especially when such studies bear on issues relevant to types of interventions that might be used in applied behavior analysis. Use the following guidelines when preparing research articles (adapted from the APA manual, 6th Ed):

13 RCT

14 Varighet i minutter Latenstid før elevene er inne etter pause 12 A 1 B 1 A 2 B Dager

15 Dataevalueringsvaliditet (DEV) og trusler For mye variasjon i data Andre variabler enn X Slingrefeil (reliabilitet) Dårlig behandlingsintegritet Biologisk variasjon Sykluser av ulik art Trender i data Andre variabler enn X; reaktivitet Ønsket eller uønsket Utilstrekkelig med data Ett punkt kan være nok, men hva med fem? Uklare mønster Kan skyldes variasjon, trending og utilstrekkelig med data Mønsterproblemet: «Jeg elsker deg på en måte»

16 Hvor skal vi se I? Innen enkeltfaser; A & B Antall datapunkter (5)? Stabilitet eller variasjon? (Sentraltendens (snitt, median + variasjonsbreddeliner) Trend innen faser? (mer data)

17 Hvor skal vi se II? Over (sml.) ulike faser; A 1, B 1 Nivå (stor forskjell ønsket) Latens Trend (god effekt ved dramatisk endring) Konsistens (konsistens i «minireplikasjoner» indikerer effekt) Grad av overlapp

18 Hvor skal vi se III? Mellom (sml.) like faser; A 1, A 2 Konsistens innen like faser (eksperimentell kontroll)

19 Fritidsaktivitet (oppgaveanalyse) 1. Henter radio og blad 2. Sitter i lenestolen 3. Skrur på radio 4. Velger stasjon 5. Setter på hodetelefoner riktig vei* 6. Leser 7. Stopper på signal 8. Tar av hodetelefoner 9. Skrur av radio 10. Legger vekk radio og blad*

20

21

22 Fordeler med den mer avanserte visuelle fremstillingen Kan identifisere feil; steg 2 trenger ikke trening steg 6 kan bli vanskelig i fremtiden Funksjonell gjennomføring kan skje ved 80 % mestring (- steg 5 & 10) Mønsteret hjelper til å kartlegge vanskelige steg (feilmønster) Et funksjonelt kriterium kan anlegges

23 Syv deskriptive og preskriptive dimensjoner med relevans for måling i anvendt atferdsanalyse 1. Anvendt 2. Atferdsorientert (BV) 3. Analytisk (IV) 4. Teknologisk (BV) 5. Konseptuelt systematisk (BV/YV) 6. Effektiv (DEV) 7. Generaliserbar (YV)