Det er alltid feil i registreringer

Transkript

1 Indre validitet (i anvendt atferdsanalyse): Er data vi produserer gode nok når det gjelder slutninger; X Y? Er det virkelig tiltakene som virker - og ikke andre forhold? plausible rival hypothesis (Cook & Campbell, 1979) Symposium (420 f.kr.), andronitis, aulos, aulist, symposiaster (gynaeceum) 1

2 Det er alltid feil i registreringer Sansefeil; Müller-Lyer optisk illusion Tenkefeil (Kahneman, 2011) A bat and a ball cost $1.10 in total. The bat costs $1 more than the ball. How much does the ball cost? An individual has been described by a neighbor as follows: Steve is very shy and withdrawn, invariably helpful but with little interest in people or in the world of reality. A meek and tidy soul, he has a need for order and structure, and a passion for detail. Is Steve more likely to be a librarian or a farmer? 2

3 Heltebøker I Kazdin (2011) Shadish, Cook & Campbell (2001) Heltebøker II 3

4 To viktige saker i forskningsmetode (regler for å minimere feil) Reliabilitet er viktig (IOA/MOE), men validitet er viktigere og hva er validitet (kort sagt)? Fire typer validitet og det dreier seg om slutninger og feilslutninger: Indre validitet med tilhørende trusler Ytre validitet med tilhørende trusler Begrepsvaliditet med tilhørende trusler Dataevalueringsvaliditet (kalt statistisk konklusjonsvaliditet i Shadish, Cook, & Campbell, 2001) med tilhørende trusler Anvendt atferdsanalyse med i det gode metodologiske selskap! 4

5 Dermed: To typer feil Registreringer vi har = registreringer uten feil + usystematisk fordelte feil (reliabilitet) + systematiske fordelte feil (validitet) De usystematisk fordelte feilene (reliabilitet) kan bøtes på med: IOA/MOE Trening Bedre operasjonaliseringer Bedre registreringsskjemaer og rutiner for plotting og oppsummering av data Trusler mot indre validitet & N=1 Fire på topp Historie; en annen «historie» enn X Modning; biologisk endring som et plausibelt alternativ til X Instrumentering; reaktivitet, drift, komplekse registreringer Testing; mange pkt. i A Noen til Statistisk regresjon Frafall; punkter eller eksperimentelle påvisninger i mbd Flere trusler som virker sammen eksempelvis modning og dårlig behandlingsintegritet 5

6 Behandlingsintegritet God BI Dårlig BI God effekt Alt vel Hva virket? Trusler mot indre validitet Dårlig effekt Seleksjon EST? Påvisning av eksperimentell kontroll (påvirkning) x 3; prediksjoner og validering 49 A B A B

7 Flere trusler mot indre validitet er aktuelle i denne AB-designen, og begrepsvaliditet er relevant (1 påvisning av ex. kontroll er problematisk p.g.a. plausible alternative hypoteser) 24 A B Historie, modning *, instrumentering, testing, statistisk regresjon, frafall, seleksjon & dårlig behandlingsintegritet i bestemte retninger 24 A B

8 Hvilke validitetstrusler er minimert? Historie, modning *, instrumentering, testing, statistisk regresjon, dårlig behandlingsintegritet i bestemte retninger 49 A B A B Indre validitet og tiltak (i korte trekk) 1. «Problem» oversikt & analyse; kan noe gjøres? (EST) 2. Basislinje (kontrafaktisk betingelse) 3. Design (trusler mot indre validitet kan «roes») 4. Visuelle analyser (vi ser etter «trusselbilder») 5. Konklusjon: Er det tiltaket som har virket? Svaret avhenger mye av hvor godt vi kjenner til temaer om indre validitet og såkalte trusler mot indre validitet 8

9 9

10 HK px?sid=229 Designkriterier (metodologisk logikk) Den uavhengige variabelen (X) blir systematisk manipulert. Uten kriteriet møtes ikke standardene. Den avhengige variabelen (Y) måles over tid med MOE i alle faser og i 20 % (80 90 %). Uten kriteriet møtes ikke standardene. Minst 3 forsøk på å vise eksperimentell kontroll (A BAB). Uten kriteriet møtes ikke standardene. For å tilfredsstille standardene må det være minst 5 punkter i hver fase. Med 3 punkter møtes standardene med reservasjon. Vi legger til at det også bør være mål på behandlingsintegritet; alle behandlingsfaser og i 20 % (90 % enighet i snitt). 10

11 Empiri/evidenskriterier Sterk evidens innebærer: Tre påvisninger av eksperimentell kontroll Konsistens i nivå, trend og variabilitet innen faser Påvist umiddelbar effekt, lite overlapp mellom faser, konsistens på tvers av faser Utelukk trusler mot indre validitet Hvilken datakvalitet? Synsing? Case historie 11

12 RCT Ebbinghaus 1885 & It would be some 70 years before a new approach, called the experimental analysis of behavior, was to employ repeated measurement in individuals to study complex animal and human behaviors (Barlow, Nock & Hersen, 2009 s.4) 12

13 Konklusjon Det er ikke ressurser til RCT i stort omfang RCT er heller ikke særlig praktisk N=1 er praktisk og billig N=1 kan bidra til EvidensBaserte Intervensjoner N=1 er «overgangen» fra RCT til praksis N=1 er egnet for prosesstudier Men, kvaliteten må være slik at data kan benyttes; validitetsproblematikk og reliabilitetsproblematikk må være godt kjent 13