Introduksjon til statistikk og dataanalyse. Arild Brandrud Næss TMA4240 Statistikk NTNU, høsten 2013

Transkript

1 Introduksjon til statistikk og dataanalyse Arild Brandrud Næss TMA4240 Statistikk NTNU, høsten 2013

2 Introduksjon til statistikk og dataanalyse

3 Hollywood-filmer fra filmer Samla budsjett: $ Samla billettsalg: $

4 Datasettet vårt Filmene er delt i 8 sjangere: Action Animation Comedy Drama Fantasy Horror Romance Thriller Har data for 13 variabler, blant annet: Kritikerscore Publikumsscore Budsjett Billettsalg Inntjeningsfaktor 4

5 Statistics = Observatorer En observator er et tall som er regnet ut fra et datasett Statistikk handler mye om å beregne og tolke observatorer På engelsk heter en observator: a statistic faget statistikk: statistics 5

6 Observator nr. 1: Gjennomsnitt Den mest brukte, og best kjente, observatoren er gjennomsnittet. Angir senteret som observasjonene (tallene) er spredt rundt 6

7 Gjennomsnitt, Hollywood-filmer Gjennomsnitt Sjanger Antall Budsjett (millioner $) Billettsalg (millioner $) Action 32 89,63 249,05 Animation ,92 286,58 Comedy 27 38,50 107,53 Drama 21 25,33 44,63 Fantasy 2 62,60 664,72 Horror 17 25,79 73,23 Romance 11 38,40 135,95 Thriller 13 30,79 86,91 Alle ,48 150,74 7

8 Observator nr. 2: Median Median = den midterste observasjonen En annen måte å angi senteret som observasjonene er spredt rundt kan være mer beskrivende enn gjennomsnittet F.eks. en arbeidsplass med 10 ansatte Alder: Gjennomsnitt: 31 Median: 22 8

9 Utliggere Datapunkter som skiller seg tydelig fra resten av datasettet kaller vi utliggere (outliers). Gjennomsnittet kan bli sterkt påvirket av utliggere, mens medianen ikke blir det. F.eks. en arbeidsplass med 10 ansatte Alder: Gjennomsnitt: 31 Median: 22 9

10 Gjennomsnitt vs. median Gjennomsnitt Sjanger Antall Budsjett (millioner $) Billettsalg (millioner $) Action 32 89,63 249,05 Animation ,92 286,58 Comedy 27 38,50 107,53 Drama 21 25,33 44,63 Fantasy 2 62,60 664,72 Horror 17 25,79 73,23 Romance 11 38,40 135,95 Thriller 13 30,79 86,91 Alle ,48 150,74 10

11 Gjennomsnitt vs. median Billettsalg (millioner $) Sjanger Antall Median Gjennomsnitt Action ,15 249,05 Animation ,56 286,58 11

12 Observator nr. 3: Empirisk varians Den empiriske variansen er et mål på hvor mye spredning det er rundt gjennomsnittet i et datasett 12

13 Varians, Hollywood-filmer Empirisk varians Sjanger Antall Budsjett Billettsalg Action Animation Comedy Drama Fantasy Horror Romance Thriller Alle

14 Én utligger kan gi høy varians Antall 11 Gjennomsnitt 136 Median 60 Empirisk varians

15 Budsjett, Drama vs. Horror Budsjett (millioner $) Sjanger Antall Gjennomsnitt Median Empirisk varians Drama Horror

16 Kvartiler 1. kvartil = den minste verdien som én fjerdedel av dataene er mindre enn eller lik 2. kvartil = den minste verdien som to fjerdedeler av dataene er mindre enn eller lik 3. kvartil = den minste verdien som tre fjerdedeler av dataene er mindre enn eller lik = median

17 Kvartiler På samme måte som median er et alternativ til snitt for å se på senteret til et datasett, gir kvartilene en alternativ måte å se på spredninga Kvartilbredden (interquartile range, IQR): Avstanden mellom øverste og nederste kvartil

18 Boksplott 18

19 Levetiden til pattedyr 19

20 Levetiden til pattedyr 20

21 Hva er en utligger? I prinsippet: Et datapunkt som skiller seg tydelig fra resten av datasettet. I praksis: Tallet 1,5 er vanlig å bruke, men kan variere 21

22 22

23 Vanlig situasjon: Vi har noen data og lurer på om de passer med en sannsynlighetsfordeling. >> mean(weights) ans = >> var(weights) ans =

24 Hvor godt passer fordelinga? >> mean(weights) ans = >> var(weights) ans =

25 Normalfordelinga Sannsynlighetsfordelinger er en sentral del av statistisk modellering. Og den desidert mest brukte sannsynlighetsfordelinga er normalfordelinga også kalt gausskurven 25

26 Normalfordelinga Normalfordelinga har to parametere: forventningsverdi (μ) og varians (σ 2 ) kvadratroten av variansen gir standardavviket (σ) 26

27 Normalfordelinga og standardavvik 68% av dataene vil ligge innenfor μ ± σ 95% av dataene vil ligge innenfor μ ± 2σ 99,7% av dataene vil ligge innenfor μ ± 3σ 27

28 Andre sannsynlighetsfordelinger Noen vanlige former: 28

29 Gjennomsnitt vs. median Symmetrisk fordeling => gjennomsnitt median Venstreskjev fordeling => gjennomsnitt < median Høyreskjev fordeling => gjennomsnitt > median 29

30 Eksponensialfordelinga En vanlig venstreskjev fordeling Kan brukes til å modellere f.eks. tid mellom mål i en håndballkamp tid mellom 911-oppringninger avstand mellom mutasjoner i en DNA-tråd 30

31 Q-Q-plott Vi kan undersøke om et datasett er normalfordelt ved hjelp av et kvantil-kvantilplott også kalt quantile-quantile plot eller Q-Q-plott Hvis datapunktene følger sannsynlighetsfordelinga, vil de ligge på ei rett linje 31

32 32

33 33

34 Avhengighet og uavhengighet Uavhengighet kommer til å bli viktig i dette kurset For et datasett: Hvis ett sett av målinger (f.eks. høyden til en person) ikke forteller oss noen ting som et annet sett av målinger (f.eks. IQ-en til personen), så er de to variablene vi har målt uavhengige. Ellers er de avhengige 34

35 Hvordan undersøke avhengighet? Vi kan lage et spredningsplott (scatter plot) Vi kan også regne ut en såkalt determinasjonskoeffisient, R 2 men denne sier bare noe om lineær avhengighet 35

36 Hollywood-filmer R 2 = 0,77 36

37 Lineær regresjon Når vi tror har en høy lineær avhengighet kan vi prøve å tilpasse en lineær regresjonsmodell Vi finner da den rette linja som ligger nærmest så mange datapunkter som mulig vi minimerer summen av de kvadrerte avstandene Determinasjonskoeffisienten R 2 er et mål på hvor mye av variasjonen i dataene denne linja forklarer 37

38 Er sammenhenger signifikante? Stiger regresjonslinja! Eller er det tilfeldig variasjon? Får jagerflygere flere jenter enn andre menn. Utfra datasett av 65 jagerflygere: P(gutt) = 0.37 Blant 900 kommersielle flygere: P(gutt) = 0.52 Er det slik? Eller kun tilfeldig variasjon? 38

39 Kontinuerlige vs. diskrete data Så langt har vi sett på kontinuerlige data på den reelle tallinja i prinsippet uendelig mange mulige verdier Vi har også diskrete data som regel heltall et tellbart antall mulige verdier Satt på spissen: desimaltall vs. heltall målinger vs. telling 39

40 Kontinuerlige vs. diskrete data Kontinuerlige data temperatur i Trondheim en sprinter sin tid på 100-meteren avstand mellom jorda og månen Diskrete data antall seksere på 100 terningkast antall stjerner i universet antall solgte billetter 40

41 Terninger og sannsynlighet Terningkast er et klassisk eksempel på diskrete data Sannsynlighetsregning Hva er sannsynligheten for å slå minst én sekser på fem kast? Hva er sannsynligheten for at man får det samme myntkastet fem ganger på rad i løpet av 300 kast? Ikke så lett å regne ut... Kan simulere på datamaskin. 41

42 10000 simuleringer av 300 myntkast. Fordeling til lengste streak av mynt! Tilfeldighet gir lengre streaks enn man skulle tro! 42