PSY 1002 Statistikk og metode. Frode Svartdal April 2016

Transkript

1 PSY 1002 Statistikk og metode Frode Svartdal April 2016

2 GANGEN I HYPOTESETESTING 1. Formuler en hypotese «Man får bedre karakterer hvis man leser pensum» 2. Formuler motstykket, nullhypotesen H 0 «Man får IKKE bedre karakterer hvis man leser pensum» 3. Innhent relevante data a) En gruppe som har lest pensum gjennomsnitt 2,4 (skala 1-4, 1 best) b) En gruppe som ikke har lest pensum gjennomsnitt 3,4 Forskjell 3,4 2,4 = 1,0 4. Beregn sannsynligheten, p, for at en slik forskjell kan inntreffe, gitt H 0 Hvis de to gruppene som undersøkes kommer fra samme populasjon, hva er sannsynligheten for at en forskjell på 1,0 kan inntreffe? 5. Hvis lav sannsynlighet, forkast H 0

3 What s wrong with NHST? Well, among other things, it does not tell us what we want to know, and we so much want to know what we want to know that, out of desperation, we nevertheless believe that it does! What we want to know is, Given these data, what is the probability that H 0 is true? But as most of us know, what it tells us is Given that H 0 is true, what is the probability of these (or more extreme) data? These are not the same (Cohen, 1994)

4 Så, hva er problemet?

5

6 1 Hypotesetesting er vanskelig å skjønne, vanskelig å praktisere, lett å misforstå 80 % 5 %

7 2 NHST er ulogisk Sunn logikk fra fakta NHTS er probabilistisk If the null hypothesis is correct, then this test statistic is highly unlikely This test statistic has occurred Therefore, the null hypothesis is highly unlikely Cohen, 1994

8 3 0,05-grensen er vilkårlig valgt, og det er enten-eller Field Cohen, 1990

9 Fisher Pearson Neyman Lang kontrovers Paul Meehl Jocob Cohen Robert Rosentahl Gerd Gigerenzer

10 I dag

11 Hva gjør vi? Bruk signifikanstest, men med vett Oppgi effektstørrelse Vurderer vitenskapelig/praktisk betydning av resultatet Vurderer power i undersøkelsen Oppgi konfidensintervaller Vise data grafisk

12 Hva gjør vi? Bruk signifikanstest, men med vett Oppgi effektstørrelse Vær orientert om diskusjonen Vit hva du gjør Kritisk bruk Alternativer Vurderer vitenskapelig/praktisk betydning av resultatet Vurderer power i undersøkelsen Oppgi konfidensintervaller Viser data grafisk

13 Effektstørrelse finnes i mange varianter Hva gjør vi? d mye brukt Bruk signifikanstest, men med vett Liten: 0,20 Oppgi effektstørrelse Medium: 0,50 Vurderer vitenskapelig/praktisk Stor: betydning0,80 av resultatet Vurderer power i undersøkelsen Oppgi konfidensintervaller Viser data grafisk

14 Hva gjør vi? Bruk signifikanstest, men med vett Oppgi effektstørrelse Vurderer vitenskapelig/praktisk betydning av resultatet Vurderer power i undersøkelsen Oppgi konfidensintervaller Viser data grafisk Flere andre mål på effektstørrelse (ES) Korrelasjon: r t-test: d Variansanalyse:

15 Hva gjør vi? Signifikans Hvor sikre er vi på at resultatet gjenspeiler populasjonen? Har vi hele populasjonen, er vi helt sikre! Signifikant er ikke det samme som viktig! Trivielt funn kan være signifikant pga høy N Viktig funn med stor ES kan være ns. pga lav N Bruk signifikanstest, men med vett Oppgi effektstørrelse Vurderer vitenskapelig/praktisk betydning av resultatet Vurderer power i undersøkelsen Oppgir konfidensintervaller Viser data grafisk

16 Power I hvilken grad er undersøkelsen i stand til å oppdage en effekt Hva gjør vi? Analogi Bruk signifikanstest, men med vett Oppgi effektstørrelse Vurderer vitenskapelig/praktisk betydning av resultatet Vurderer power i undersøkelsen Oppgir konfidensintervaller Viser data grafisk Power Sample (N) Effektstørrelse (ES) Spredning (SD) Du ber en venn finne en sag du mener er i kjelleren En venn går ned i kjelleren for å lete Kommer opp og sier «det er ikke noen sag der» En slik konklusjon er avhengig av tre forhold: Hvor lenge lette hun? Hvor stor er sagen? Hvor mye rot er det i kjelleren?

17 Power I hvilken grad er undersøkelsen i stand til å oppdage en effekt Power: 0 1 Hva gjør vi? Power 0,2: Lav power, liten sjans (20%) Bruk signifikanstest, men med for vett å finne en effekt hvis den er der Oppgi effektstørrelse Power 0,8: Høy power, stor (80%) sjans Vurderer vitenskapelig/praktisk for å betydning finne en effekt av resultatet hvis den er der Vurderer power i undersøkelsen Oppgi konfidensintervaller Viser data grafisk Faktorer av betydning for power Effektstørrelse: Svake effekter er vanskelig å oppdage Alfanivå: 0,01 0,05 Antall deltakere (N): Flere = større mulighet for å oppdage effekt Design: Samme deltakere i flere betingelser = mindre støy

18 Power Online demo!

19 Power Online demo!

20 Power. Hva gjør vi? Bruk signifikanstest, men med vett Oppgi effektstørrelse Vurderer vitenskapelig/praktisk betydning av resultatet Vurderer power i undersøkelsen Oppgi konfidensintervaller Vis data grafisk

21 Effektstørrelse og konfidensintervaller Hva gjør vi? Bruk signifikanstest, men med vett Oppgi effektstørrelse Vurderer vitenskapelig/praktisk betydning av resultatet Vurderer power i undersøkelsen Oppgi konfidensintervaller Vis data grafisk

22 God graf Vis spredning Hva gjør vi? Bruk signifikanstest, men med vett Oppgi effektstørrelse Vurderer vitenskapelig/praktisk betydning av resultatet Vurderer power i undersøkelsen Oppgi konfidensintervaller Vis data grafisk

23 Grafer supre for egen læring også!

24 Grafer supre for egen læring også!

25 Grafer supre for egen læring også!

26 Et signifikant resultat (p <.05) inneærer en 5 % sjanse for en falsk positiv. Flere tester i samme undersøkelse øker sjansen