Datastrukturer. Kevin Thon. 25 april 2017

Transkript

1 Datastrukturer Kevin Thon 25 april 2017

2 Innledning De fleste som er involvert med registerdata på et eller annet plan vil et et tidspunkt måtte forholde seg til hvordan dataen er strukturert. Dette gjelder f.eks. ved: Utvikling/design av register Eksport/import av registerdata Analyse av registerdata Validering av registerdata

3 Avgrensing Denne forelesningen vil i stor grad ha fokus på data ut og kun i liten grad berøre temaer som omhandler databaser og effektiv datalagring.

4 Avgrensing Denne forelesningen vil i stor grad ha fokus på data ut og kun i liten grad berøre temaer som omhandler databaser og effektiv datalagring. Det betyr fokus på et bredere tema nemlig vasking/rydding av data for å etablere analyseklare datasett. Praktiske eksempler vil benytte statistikkprogrammet R men fokus vil være på underliggende konsepter.

5 Avgrensing Denne forelesningen vil i stor grad ha fokus på data ut og kun i liten grad berøre temaer som omhandler databaser og effektiv datalagring. Det betyr fokus på et bredere tema nemlig vasking/rydding av data for å etablere analyseklare datasett. Praktiske eksempler vil benytte statistikkprogrammet R men fokus vil være på underliggende konsepter. Disclaimer: Innholdet er sterkt inspirert av Hadley Wickham sin artikkel Tidy Data og eksemplene er hentet direkte derfra.

6 Definisjoner De fleste statistiske datasett er rektangulære tabeller bestående av rader og kolonner. Table 1: En tabell med behandlingsresultatet av to metoder i et fiktivt eksperiment treatmenta treatmentb John Smith - 8 Jane Doe Mary Johnson 17 12

7 Definisjoner forts. Et datasett er en samling verdier, typisk numeriske eller tekstlige. Hver verdi tilhører en variabel og en observasjon.

8 Definisjoner forts. Et datasett er en samling verdier, typisk numeriske eller tekstlige. Hver verdi tilhører en variabel og en observasjon. En variabel inneholder alle verdier som måler samme underliggende atributt på tvers av enheter. Eksempler: Høyde, blodtrykk, O 2 -opptak.

9 Definisjoner forts. Et datasett er en samling verdier, typisk numeriske eller tekstlige. Hver verdi tilhører en variabel og en observasjon. En variabel inneholder alle verdier som måler samme underliggende atributt på tvers av enheter. Eksempler: Høyde, blodtrykk, O 2 -opptak. En observasjon inneholder alle verdier målt på samme enhet (f.eks person, operasjon, dag) på tvers av atributter.

10 Oppgave treatmenta treatmentb John Smith - 8 Jane Doe Mary Johnson Oppgave: Hva er variablene i dette datasettet?

11 Oppgave treatmenta treatmentb John Smith - 8 Jane Doe Mary Johnson Oppgave: Hva er variablene i datasettet? Løsningsforslag: 1. person med verdiene John Smith, Mary Johnson, and Jane Doe 2. behandling med verdiene a og b 3. resultat med verdiene 8, 15 14, 17, 12 (og én missing)

12 Hva er god datastruktur? Avhengig av formålet

13 Hva er god datastruktur? Avhengig av formålet God struktur for lagring er ikke nødvendigvis god struktur for analyse

14 Hva er god datastruktur? Avhengig av formålet God struktur for lagring er ikke nødvendigvis god struktur for analyse Forskjellige typer analyse kan forusette forskjellig struktur

15 Hva er god datastruktur? Avhengig av formålet God struktur for lagring er ikke nødvendigvis god struktur for analyse Forskjellige typer analyse kan forusette forskjellig struktur Forskjellig programvare kan forutsette ulik struktur for samme analyser...

16 Data i flere tabeller Et register sin database vil typisk bestå av flere tabeller, f.eks.: Pasientinfo Behandlerskjema/intervensjon Oppfølging Som regel ønsker registerfolk/forskere data i én fil - kobling overlates til IT leverandør Ikke alltid praktisk mulig f.eks. for kronikerregister med vilkårlig antall oppfølginger

17 Kobling av data - prinsipper Hver tabell vil ha én eller flere koblingsnøkler Pasient-ID Foløps-ID Ved en kobling matcher man rader med samme koblingsnøkkel Forskjellige måter å koble data: Inner join: Behold rader med koblingsnøkkel i begge tabeller Left outer join: Behold alle rader i venstre tabell, de som ikke har matchende koblingsnøkkel i høyre tabell blir tomme Full outer join: Behold alle rader, ikke-matchede (venstre eller høyre) blir tomme Right outer join: Behold alle rader i høyre tabell, de som ikke har matchende koblingsnøkkel i venstre tabell blir tomme

18 Kobling av data - eksempler Eksempeldata: PART PRODNR SUPPLIER WIRE 10 ACWF OIL 160 WESTERN_CHEM MAGNETS 10 BATEMAN PLASTIC 30 PLASTIK_CORP BLADES 205 ACE_STEEL PRODUCT PRODNR PRICE SCREWDRIVER RELAY SAW GENERATOR

19 Kobling av data - eksempler Inner join: PRODNR PART SUPPLIER PRODUCT PRICE 10 WIRE ACWF GENERATOR MAGNETS BATEMAN GENERATOR PLASTIC PLASTIK_CORP RELAY BLADES ACE_STEEL SAW 18.90

20 Kobling av data - eksempler Figure 1

21 Ryddig (tidy) data Et datasett er ryddig når: 1. Hver variabel utgjør en kolonne 2. Hver observasjon utgjør en rad (noe forenklet... )

22 Ryddig versjon av Tabell 1. treatmenta treatmentb John Smith - 8 Jane Doe Mary Johnson name trt result John Smith a - Jane Doe a 15 Mary Johnson a 17 John Smith b 8 Jane Doe b 14 Mary Johnson b 12

23 Rotete data Datasett man treffer på i villmarken vil ofte bryte med prinsippene for ryddige datasett, og det på alle mulige måter. F.eks.: Kolonnenavn kan være verdier (ikke variabelnavn)

24 Rotete data Datasett man treffer på i villmarken vil ofte bryte med prinsippene for ryddige datasett, og det på alle mulige måter. F.eks.: Kolonnenavn kan være verdier (ikke variabelnavn) Flere variabler kan være lagret i én kolonne

25 Rotete data Datasett man treffer på i villmarken vil ofte bryte med prinsippene for ryddige datasett, og det på alle mulige måter. F.eks.: Kolonnenavn kan være verdier (ikke variabelnavn) Flere variabler kan være lagret i én kolonne Variabler kan være lagret i både rader og kolonner

26 Kolonnenavn kan være verdier religion <$10k $10-20k $20-30k $30-40k Agnostic Atheist Buddhist Catholic Don t know/refused Evangelical Prot Hindu Historically Black Prot Jehovah s Witness Jewish

27 Ryddig form religion income freq Agnostic <$10k 27 Agnostic $10-20k 34 Agnostic $20-30k 60 Agnostic $30-40k 81 Agnostic $40-50k 76 Agnostic $50-75k 137 Agnostic $75-100k 122 Agnostic $ k 109 Agnostic >150k 84 Agnostic Don t know/refused 96 Atheist <$10k 12 Atheist $10-20k 27 Atheist $20-30k 37 Atheist $30-40k 52

28 Flere variabler kan være lagret i én kolonne country year m014 m1524 m2534 m3544 m AD AE AF AG AL AM AN AO AR AS

29 Opprydding country year column cases AD 2000 m014 0 AD 2000 m AD 2000 m AD 2000 m AD 2000 m AD 2000 m AD 2000 m65 0 AE 2000 m014 2 AE 2000 m AE 2000 m AE 2000 m AE 2000 m AE 2000 m AE 2000 m65 10 AE 2000 f014 3

30 Opprydding country year sex age cases AD 2000 m AD 2000 m AD 2000 m AD 2000 m AD 2000 m AD 2000 m AD 2000 m AE 2000 m AE 2000 m AE 2000 m AE 2000 m AE 2000 m AE 2000 m AE 2000 m AE 2000 f

31 Flere variabler i én kolonne: Norsk register Figure 2

32 Variabler kan være lagret i både rader og kolonner id year month element d1 d2 d3 d4 d5 MX tmax MX tmin MX tmax MX tmin MX tmax MX tmin MX tmax MX tmin MX tmax MX tmin

33 Opprydding id date element value MX tmax 27.8 MX tmin 14.5 MX tmax 27.3 MX tmin 14.4 MX tmax 24.1 MX tmin 14.4 MX tmax 29.7 MX tmin 13.4 MX tmax 29.9 MX tmin 10.7

34 Opprydding id date tmax tmin MX MX MX MX MX MX MX MX MX MX

35 Ryddige data - hva så? Ryddige verktøy: Ryddig input -> ryddig output Forenkler en sammensatt analyse siden output fra ett verktøy kan gis som input til et annet

36 Ryddige data - hva så? Ryddige verktøy: Ryddig input -> ryddig output Forenkler en sammensatt analyse siden output fra ett verktøy kan gis som input til et annet Kan potensielt forenkle de vanligste operasjoner på data: Manipulering (filtrering, transformering, aggregering, sortering) Plotting/visualisering (ggplot2) Modellering (f.eks regresjonsanalyse)

37 Oppsummering Vær bevisst hva du ønsker å bruke dataen til

38 Oppsummering Vær bevisst hva du ønsker å bruke dataen til Ingen fasit, bli kjent med mulighetene i ditt foretrukne verktøy

39 Oppsummering Vær bevisst hva du ønsker å bruke dataen til Ingen fasit, bli kjent med mulighetene i ditt foretrukne verktøy En konsistent måte å tenke dataorganisering og struktur gjør at man slipper å begynne fra scratch for hvert datasett

40 Oppsummering Vær bevisst hva du ønsker å bruke dataen til Ingen fasit, bli kjent med mulighetene i ditt foretrukne verktøy En konsistent måte å tenke dataorganisering og struktur gjør at man slipper å begynne fra scratch for hvert datasett Struktur bare én av mange utfordringer Takk for meg!