Introduksjon til statistikk og dataanalyse

Transkript

1 Introduksjon til statistikk og dataanalyse

2 Hollywood-filmer fra filmer Samla budsjett: $ Samla billettsalg: $

3 Datasettet vårt Filmene er delt i 8 sjangere: Action Animation Comedy Drama Fantasy Horror Romance Thriller Har data for 13 variabler, blant annet: Kritikerscore Publikumsscore Budsjett Billettsalg Inntjeningsfaktor 3

4 Statistics = Observatorer En observator er et tall som er regnet ut fra et datasett Statistikk handler mye om å beregne og tolke observatorer På engelsk heter en observator: a statistic faget statistikk: statistics 4

5 Observator nr. 1: Gjennomsnitt Den mest brukte, og best kjente, observatoren er gjennomsnittet. Angir senteret som observasjonene (tallene) er spredt rundt Med 10 observasjoner: 1 x x x... x

6 Gjennomsnitt, Hollywood-filmer Gjennomsnitt Sjanger Antall Budsjett (millioner $) Billettsalg (millioner $) Action 32 89,63 249,05 Animation ,92 286,58 Comedy 27 38,50 107,53 Drama 21 25,33 44,63 Fantasy 2 62,60 664,72 Horror 17 25,79 73,23 Romance 11 38,40 135,95 Thriller 13 30,79 86,91 Alle ,48 150,74 6

7 Observator nr. 2: Median Median = den midterste observasjonen En annen måte å angi senteret til observasjonene kan være mer beskrivende enn gjennomsnittet F.eks. en arbeidsplass med 10 ansatte Alder: Gjennomsnitt: 31 Median: 22 7

8 Uteliggere Datapunkter som skiller seg tydelig fra resten av datasettet kaller vi uteliggere (outliers). Gjennomsnittet kan bli sterkt påvirket av uteliggere, mens medianen ikke blir det. F.eks. en arbeidsplass med 10 ansatte Alder: Gjennomsnitt: 31 Median: 22 8

9 Gjennomsnitt vs. median Gjennomsnitt Sjanger Antall Budsjett (millioner $) Billettsalg (millioner $) Action 32 89,63 249,05 Animation ,92 286,58 Comedy 27 38,50 107,53 Drama 21 25,33 44,63 Fantasy 2 62,60 664,72 Horror 17 25,79 73,23 Romance 11 38,40 135,95 Thriller 13 30,79 86,91 Alle ,48 150,74 9

10 antall antall Gjennomsnitt vs. median Billettsalg (millioner $) Sjanger Antall Median Gjennomsnitt Action ,15 249,05 Animation ,56 286,58 10 Billettsalg, Action 3 Billettsalg, Animation millioner $ millioner $ 10

11 Observator nr. 3: Empirisk varians Den empiriske variansen er et mål på hvor mye spredning det er rundt gjennomsnittet i et datasett 11

12 Varians, Hollywood-filmer Empirisk varians Sjanger Antall Budsjett Billettsalg Action Animation Comedy Drama Fantasy Horror Romance Thriller Alle

13 antall Én uteligger kan gi høy varians 6 Billettsalg, Romance Antall 11 Gjennomsnitt 136 Median 60 Empirisk varians millioner $ 13

14 Kvartiler 1. kvartil = medianen til nederste halvpart av datapunktene 2. kvartil = medianen til alle datapunktene 3. kvartil = medianen til øverste halvpart av datapunktene

15 Kvartiler På samme måte som median er et alternativ til snitt for å se på senteret til et datasett, gir kvartilene en alternativ måte å se på spredninga Kvartilbredden (interquartile range, IQR): Avstanden mellom øverste og nederste kvartil

16 Boksplott 16

17 Levetiden til pattedyr 17

18 Levetiden til pattedyr 18

19 Vanlig situasjon: Vi har noen data og lurer på om de passer med en sannsynlighetsfordeling. >> mean(weights) ans = >> var(weights) ans =

20 antall Hvor godt passer fordelinga? 3500 Vekt av amerikanske barn (0 18 år) >> mean(weights) ans = >> var(weights) ans = vekt (pund) 20

21 Normalfordelinga Sannsynlighetsfordelinger er en sentral del av statistisk modellering. Og den desidert mest brukte sannsynlighetsfordelinga er normalfordelinga også kalt gausskurven 21

22 Normalfordelinga Normalfordelinga har to parametere: forventningsverdi (μ) og varians (σ 2 ) kvadratroten av variansen gir standardavviket (σ) 22

23 Normalfordelinga og standardavvik 68% av dataene vil ligge innenfor μ ± σ 95% av dataene vil ligge innenfor μ ± 2σ 99,7% av dataene vil ligge innenfor μ ± 3σ 23

24 Andre sannsynlighetsfordelinger Noen vanlige former: 24

25 Gjennomsnitt vs. median Symmetrisk fordeling => gjennomsnitt median Venstreskjev fordeling => gjennomsnitt < median Høyreskjev fordeling => gjennomsnitt > median 25

26 Eksponensialfordelinga En vanlig venstreskjev fordeling Kan brukes til å modellere f.eks. tid mellom mål i en håndballkamp tid mellom 911-oppringninger avstand mellom mutasjoner i en DNA-tråd 26

27 Q-Q-plott Vi kan undersøke om et datasett er normalfordelt ved hjelp av et kvantil-kvantilplott også kalt quantile-quantile plot eller Q-Q-plott Hvis datapunktene følger sannsynlighetsfordelinga, vil de ligge på ei rett linje 27

28 Kvantiler i datasettet 180 Q Q plott for vekt av amerikanske barn Kvantiler i standard normalfordeling 28

29 Kvantiler i datasettet 250 Q Q plott for budsjett av Hollywood filmer Kvantiler i standard normalfordeling 29