Datastrukturer. Kevin Thon. 25 april 2017

Transkript

1 Datastrukturer Kevin Thon 25 april 2017

2 Innledning De fleste som er involvert med registerdata på et eller annet plan vil et et tidspunkt måtte forholde seg til hvordan dataen er strukturert. Dette gjelder f.eks. ved: Utvikling/design av register Eksport/import av registerdata Analyse av registerdata Validering av registerdata

3 Avgrensing Denne forelesningen vil i stor grad ha fokus på data ut og kun i liten grad berøre temaer som omhandler databaser og effektiv datalagring.

4 Avgrensing Denne forelesningen vil i stor grad ha fokus på data ut og kun i liten grad berøre temaer som omhandler databaser og effektiv datalagring. Det betyr fokus på et bredere tema nemlig vasking/rydding av data for å etablere analyseklare datasett. Praktiske eksempler vil benytte statistikkprogrammet R men fokus vil være på underliggende konsepter.

5 Avgrensing Denne forelesningen vil i stor grad ha fokus på data ut og kun i liten grad berøre temaer som omhandler databaser og effektiv datalagring. Det betyr fokus på et bredere tema nemlig vasking/rydding av data for å etablere analyseklare datasett. Praktiske eksempler vil benytte statistikkprogrammet R men fokus vil være på underliggende konsepter. Disclaimer: Innholdet er sterkt inspirert av Hadley Wickham sin artikkel Tidy Data og eksemplene er hentet direkte derfra.

6 Definisjoner De fleste statistiske datasett er rektangulære tabeller bestående av rader og kolonner. Table 1: En tabell med behandlingsresultatet av to metoder i et fiktivt eksperiment treatmenta treatmentb John Smith - 8 Jane Doe Mary Johnson 17 12

7 Definisjoner forts. Et datasett er en samling verdier, typisk numeriske eller tekstlige. Hver verdi tilhører en variabel og en observasjon.

8 Definisjoner forts. Et datasett er en samling verdier, typisk numeriske eller tekstlige. Hver verdi tilhører en variabel og en observasjon. En variabel inneholder alle verdier som måler samme underliggende atributt på tvers av enheter. Eksempler: Høyde, blodtrykk, O 2 -opptak.

9 Definisjoner forts. Et datasett er en samling verdier, typisk numeriske eller tekstlige. Hver verdi tilhører en variabel og en observasjon. En variabel inneholder alle verdier som måler samme underliggende atributt på tvers av enheter. Eksempler: Høyde, blodtrykk, O 2 -opptak. En observasjon inneholder alle verdier målt på samme enhet (f.eks person, operasjon, dag) på tvers av atributter.

10 Oppgave treatmenta treatmentb John Smith - 8 Jane Doe Mary Johnson Oppgave: Hva er variablene i dette datasettet?

11 Oppgave treatmenta treatmentb John Smith - 8 Jane Doe Mary Johnson Oppgave: Hva er variablene i datasettet? Løsningsforslag: 1. person med verdiene John Smith, Mary Johnson, and Jane Doe 2. behandling med verdiene a og b 3. resultat med verdiene 8, 15 14, 17, 12 (og én missing)

12 Hva er god datastruktur? Avhengig av formålet

13 Hva er god datastruktur? Avhengig av formålet God struktur for lagring er ikke nødvendigvis god struktur for analyse

14 Hva er god datastruktur? Avhengig av formålet God struktur for lagring er ikke nødvendigvis god struktur for analyse Forskjellige typer analyse kan forusette forskjellig struktur

15 Hva er god datastruktur? Avhengig av formålet God struktur for lagring er ikke nødvendigvis god struktur for analyse Forskjellige typer analyse kan forusette forskjellig struktur Forskjellig programvare kan forutsette ulik struktur for samme analyser...

16 Ryddig (tidy) data Et datasett er ryddig når: 1. Hver variabel utgjør en kolonne 2. Hver observasjon utgjør en rad (noe forenklet... )

17 Ryddig versjon av Tabell 1. name trt result John Smith a - Jane Doe a 15 Mary Johnson a 17 John Smith b 8 Jane Doe b 14 Mary Johnson b 12

18 Rotete data Datasett man treffer på i villmarken vil ofte bryte med prinsippene for ryddige datasett, og det på alle mulige måter. F.eks.: Kolonnenavn kan være verdier (ikke variabelnavn)

19 Rotete data Datasett man treffer på i villmarken vil ofte bryte med prinsippene for ryddige datasett, og det på alle mulige måter. F.eks.: Kolonnenavn kan være verdier (ikke variabelnavn) Flere variabler kan være lagret i én kolonne

20 Rotete data Datasett man treffer på i villmarken vil ofte bryte med prinsippene for ryddige datasett, og det på alle mulige måter. F.eks.: Kolonnenavn kan være verdier (ikke variabelnavn) Flere variabler kan være lagret i én kolonne Variabler kan være lagret i både rader og kolonner

21 Kolonnenavn kan være verdier religion <$10k $10-20k $20-30k $30-40k Agnostic Atheist Buddhist Catholic Don t know/refused Evangelical Prot Hindu Historically Black Prot Jehovah s Witness Jewish

22 Ryddig form religion income freq Agnostic <$10k 27 Agnostic $10-20k 34 Agnostic $20-30k 60 Agnostic $30-40k 81 Agnostic $40-50k 76 Agnostic $50-75k 137 Agnostic $75-100k 122 Agnostic $ k 109 Agnostic >150k 84 Agnostic Don t know/refused 96 Atheist <$10k 12 Atheist $10-20k 27 Atheist $20-30k 37 Atheist $30-40k 52

23 Flere variabler kan være lagret i én kolonne country year m014 m1524 m2534 m3544 m AD AE AF AG AL AM AN AO AR AS

24 Opprydding country year column cases AD 2000 m014 0 AD 2000 m AD 2000 m AD 2000 m AD 2000 m AD 2000 m AD 2000 m65 0 AE 2000 m014 2 AE 2000 m AE 2000 m AE 2000 m AE 2000 m AE 2000 m AE 2000 m65 10 AE 2000 f014 3

25 Opprydding country year sex age cases AD 2000 m AD 2000 m AD 2000 m AD 2000 m AD 2000 m AD 2000 m AD 2000 m AE 2000 m AE 2000 m AE 2000 m AE 2000 m AE 2000 m AE 2000 m AE 2000 m AE 2000 f

26 Variabler kan være lagret i både rader og kolonner id year month element d1 d2 d3 d4 d5 MX tmax MX tmin MX tmax MX tmin MX tmax MX tmin MX tmax MX tmin MX tmax MX tmin

27 Opprydding id date element value MX tmax 27.8 MX tmin 14.5 MX tmax 27.3 MX tmin 14.4 MX tmax 24.1 MX tmin 14.4 MX tmax 29.7 MX tmin 13.4 MX tmax 29.9 MX tmin 10.7

28 Opprydding id date tmax tmin MX MX MX MX MX MX MX MX MX MX

29 Ryddige data - hva så? Ryddige verktøy: Ryddig input -> ryddig output Forenkler en sammensatt analyse siden output fra ett verktøy kan gis som input til et annet

30 Ryddige data - hva så? Ryddige verktøy: Ryddig input -> ryddig output Forenkler en sammensatt analyse siden output fra ett verktøy kan gis som input til et annet Kan potensielt forenkle de vanligste operasjoner på data: Manipulering (filtrering, transformering, aggregering, sortering) Plotting/visualisering (ggplot2) Modellering (f.eks regresjonsanalyse)

31 Oppsummering Vær bevisst hva du ønsker å bruke dataen til

32 Oppsummering Vær bevisst hva du ønsker å bruke dataen til Ingen fasit, bli kjent med mulighetene i ditt foretrukne verktøy

33 Oppsummering Vær bevisst hva du ønsker å bruke dataen til Ingen fasit, bli kjent med mulighetene i ditt foretrukne verktøy En konsistent måte å tenke dataorganisering og struktur gjør at man slipper å begynne fra scratch for hvert datasett

34 Oppsummering Vær bevisst hva du ønsker å bruke dataen til Ingen fasit, bli kjent med mulighetene i ditt foretrukne verktøy En konsistent måte å tenke dataorganisering og struktur gjør at man slipper å begynne fra scratch for hvert datasett Struktur bare én av mange utfordringer Takk for meg!