BEGYNNERKURS I R OG RSTUDIO. Anne Schad Bergsaker 5. april 2018

Transkript

1 BEGYNNERKURS I R OG RSTUDIO Anne Schad Bergsaker 5. april 2018

2 FØR VI BEGYNNER...

3 LÆRINGSMÅL 1. Kjenne til de ulike vinduene i RStudio, og vite forskjellen på dem 2. Kunne skrive inn data, og kombinere enkeltvariabler til et sett 3. Kunne importere data i ulike formater 4. Beskrive data ved hjelp av statistikk regnet ut i R 5. Vise frem data ved hjelp av grafer laget i R 6. Manipulere data (kode om variabler, lage ny variable fra rådata, etc.) 7. Kunne effektivt dokumentere hva du har gjort i R, og gjenbruke egne metoder 1

4 TEKNISKE FORUTSETNINGER Hvis du ikke har R og RStudio nå, bruk remote desktop: kiosk.uio.no Data som brukes til eksempler og oppgaver kan lastes ned i en.zip-fil på kurssiden. Filen gapminder.txt er hentet fra via Software Carpentry sine kurssider. Prøv å gjøre og følge de samme stegene som jeg gjør underveis. Har du spørsmål eller problemer, rop ut! 2

5 INTRODUKSJON TIL RSTUDIO

6 NÅR DU ÅPNER RSTUDIO R er selve programvaren som løser problemene, RStudio er det grafiske grensesnittet hvor du skriver. Du trenger begge deler. RStudio uten R er egentlig bare en litt rar Notepad. 3

7 NÅR DU ÅPNER RSTUDIO Første gang du åpner RStudio ser det slik ut. På venstre side kan du gjøre utregninger og skrive kommandoer. På høyre side har du flere muligheter, de nyttigste er Environment øverst og Help, Plots og Packages nederst. 4

8 DEN INNEBYGDE HJELPE-FUNKSJONEN Her kan du søke etter enkeltfunksjoner. Hvis du ikke aner hva du skal gjøre eller hva funksjonen du trenger heter, bør du begynne med å google. 5

9 BRUKE CONSOLE Konsollen fungerer litt som en kalkulator, bare at den kan gjøre mye mer. Variabler defineres ved å bruke <-, dvs. x <- 5 betyr at x får verdien 5. Pass på at det ikke er mellomrom mellom < og -. Vi kan regne/gjøre operasjoner med variabler på samme måte som med tall. Se at variablene du definerer dukker opp i en liste i Environment på høyre side. 6

10 ÅPNE ET NYTT SKRIPT File > New File > R script (Ctrl+Shift+N) Skriptet er der vi helst jobber. Her kan man skrive kommandoer, kommentarer, etc. Da kan vi lettere gå tilbake og sjekke hva vi gjorde, men også gjøre de samme tingene på nytt uten å måtte skrive noe nytt. Dette er også veldig viktig for etterprøvbarhet. 7

11 BRUKE SCRIPT ISTEDENFOR CONSOLE DIREKTE Alt du kan gjøre i konsollen kan du også gjøre ved å skrive i skriptet ditt og trykke på Ctrl+Enter for å kjøre det. Trykker du bare Enter skjer det ingenting. Ctrl+Alt+R kjører hele skriptet fra start til slutt. Alle kommandoer du kjører blir også skrevet ut i console. 8

12 HVORDAN DATA REPRESENTERES I R Som regel har vi mer enn ett målepunkt per variabel. Ved hjelp av c(...) kan vi lage variabler som består av flere tall/målinger. Disse omtales gjerne som vektorer. c står for concatenate, dvs å knytte elementer sammen. 9

13 HVORDAN DATA REPRESENTERES I R Du kan velge ut enkeltverdier i en variabel, ved å skrive x[i] (velger verdi nr i). Det må være firkantparentes her, runde vil ikke virke. Velg flere verdier ved å bruke c(...) til å kombinere de ulike verdiene, og skriv x[c(i, j, k)]. Velg alle unntatt verdi nr i ved å skrive x[ i]. 10

14 HVORDAN DATA REPRESENTERES I R Få R til å lage sekvenser av tall for deg vha kolon (eks. 1:5 er det samme som 1, 2, 3, 4, 5) eller seq(i, j, k), der i er start, j er slutt og k er intervall (default er at k er 1). seq(1, 7, 2) gir sekvensen 1, 3, 5, 7, seq(2,6,3) gir 2, 5. 11

15 ULIKE TYPER VARIABLER Character - Ord eller enkeltbokstaver. Som regel vil en slik variabel måtte kodes om til å være en faktor (se under). Dato - R kan håndtere datoer, så lenge du forteller R hva slags format datoene er angitt i, f.eks. 30/01/18 eller 1. jan Faktor - Ord eller enkeltbokstaver som R tolker som kategorier, f.eks. kjønn (mann, kvinne), nasjonalitet (norsk, svensk, dansk,...). Kalles gjerne en kategorisk variabel Ordnet faktor - Ord, enkeltbokstaver eller tall som R tolker som kategorier som lar seg sortere i en bestemt rekkefølge, f.eks. grad av enighet (helt uenig, delvis uenig, delvis enig, helt enig) Numerisk - tall, f.eks. alder, blodtrykk, inntekt 12

16 HVORDAN DATA REPRESENTERES I R Logiske påstander representeres også som 0 og 1, der 0=FALSE og 1=TRUE. Derfor kan tall og logiske variabler kombineres, men tall eller logiske variabler kan ikke legges sammen med variabler som består av ord, som faktor eller character-variabler. 13

17 FRA ENKELTVARIABLER TIL ET DATASETT Vi kan kombinere enkeltvariabler til et datasett ved å bruke kommandoen data.frame(variabel1, variabel2,...). En data frame er omtrent som et regneark. Legg merke til at variablene status og diabetes har blitt konvertert til factor. 14

18 FAKTOR-VARIABLER R skjønner noen ganger at en variabel som består av ord er en faktor, men ikke om den er ordnet, så det må man angi manuelt, og hva som er rekkefølgen. Hvis ikke rekkefølgen angis, vil R velge å rangere kategoriene alfabetisk. 15

19 VELGE UT VARIABLER FRA ET DATASETT Du kan velge ut enkeltvariabler fra et datsett vha $, ved å skrive datasett$variabel, f.eks. patientdata$age. Man kan også bruke patientdata[2], eller om man ønsker å velge flere variabler patientdata[c(2, 4)]. patientdata[1,3] gir data fra rad 1, variabel 3. 16

20 IMPORTERE/ÅPNE DATAFILER

21 ENDRE ARBEIDSMAPPE For å gjøre livet enklere kan det være lurt å bestemme R hvor filene vi skal jobbe med ligger. Session > Set Working directory > Choose directory 17

22 IMPORTERE EN DATAFIL For å importere en datafil, trykk på Import Dataset > From Text (readr)/from CSV, og velg riktig fil. Dette kan brukes for filer av typen.txt,.csv,.tab,.dat 18

23 IMPORTERE EN DATAFIL Velg en fil som skal åpnes. Filen bør være en enkel tekstfil, f.eks..txt eller.csv. 19

24 IMPORTERE EN DATAFIL I Data Preview får du opp datafilen. Sjekk at alt ser fornuftig ut. 20

25 IMPORTERE EN DATAFIL Det er en fordel å kopiere de linjene med kommandoer som dukker opp i konsollen over i skriptet. Neste gang du jobber med filen vil importen skje av seg selv når du kjører disse kommandoene. 21

26 IMPORTERE EN DATAFIL Faktorer blir ikke importert helt riktig av seg selv. Du kan se i Environment at faktorene har blitt kodet som Character. For å gjøre om på dette bruk variabel <- as.factor(variabel). Hvis man bruker Import Dataset From Text (base) blir kategoriske variabler automatisk kodet som faktorer. 22

27 IMPORTERE EN DATAFIL - XLS/XLSX For å importere datasett fra Excel gå til Import Dataset > From Excel 23

28 IMPORTERE EN DATAFIL - XLS/XLSX Her kan du angi om andre tegn skal brukes for å angi manglende datapunkter, om noen rader skal hoppes over eller om bare et utvalg av filen skal importeres. 24

29 IMPORTERE EN DATAFIL - XLS/XLSX Sjekk at dataimporten har gått bra, og kopier kommandoer over i skriptet. Dataimport av filer fra SPSS, SAS, Stata, etc. er tilsvarende. 25

30 IMPORTERE EN DATAFIL - XLS/XLSX Her må også faktorer kodes om fra Character til Factor. For å gjøre om på dette bruk variabel <- as.factor(variabel). 26

31 IMPORTERE EN DATAFIL - XLS/XLSX Gjør det samme for alle kategoriske variabler som har blitt kodet som char. 27

32 SJEKK DATASETT Sjekk at datasettet ditt er importert som en data frame. Hvis ikke, er det mange analyser som ikke vil fungere. Bruk funksjonen as.data.frame(datasett) om datasettet ditt ikke er en data frame. 28

33 SE PÅ DATASETT Ulike funksjoner for å se på datasettet. str(datasett) gir informasjon om de ulike variablene, hva slags typer de er. Kan også fås ved å klikke på symbol ved siden av variabelnavn i Environment. View(datasett) åpner et regneark som viser datasettet. Kan også fås ved å klikke på datasettnavnet i Environment. 29

34 SE PÅ DATASETT For å se på de n første radene: head(datasett, n). For å se på de n siste radene: tail(datasett, n). Hvis du skriver head(datasett) får du automatisk de første 6 radene. 30

35 SE PÅ DATASETT summary(datasett) gir en del oppsummerende deskriptiv statistikk. For kategoriske variabler får du faktornivåer med frekvens. For numeriske variabler (num eller int) får du gjennomsnitt, median, kvartiler, max og min. 31

36 DESKRIPTIV STATISTIKK

37 FORSKJELLEN PÅ UTVALG OG POPULASJONER Vi bruker statistikk til å si noe generelt om en populasjon, basert på resultater fra et utvalg. Selv om utvalget er tilfeldig og representativt vil det alltid være små variasjoner mellom individer, som kan gi litt forskjellig resultater. Det betyr at våre resultater kan være litt feil. Jo større utvalg, jo mindre feil. Tommelfingerregel er å alltid ha minst 30 individer/caser per gruppe, helst flere 32

38 VIKTIGE STATISTISKE STØRRELSER Frekvens og relativ frekvens - hvor mange har svart ja, hvor mange nei, e.l. Gjennomsnitt, også kalt forventningsverdi. Gjennomsnittet trenger ikke være en verdi vi faktisk kan måle. Median - midterste målepunkt når dataene er i stigende rekkefølge Mode - vanligste måleverdi, den som forekommer flest ganger. Det kan godt være mer enn en mode 33

39 VIKTIGE STATISTISKE STØRRELSER Standardavvik - spredningen til dataene, avvik fra gjennomsnittet Skjevhet - avvik fra symmetri Kurtose - lange haler, og spiss fordeling, eller data klumpet sammen rundt midten Persentiler - andeler av datasett, f.eks. 25%-persentilen. Interquartile Range (IQR) - den midterste halvparten av dataene Konfidensintervall - intervallestimat istedenfor punktestimat. 95% konfidensintervall for gjennomsnitt sier at det er 95% av tilfellene der man utfører eksperimentet, vil populasjonens gjennomsnitt ligge innenfor dette intervallet. 34

40 INNEBYGDE FUNKSJONER R har mange funksjoner som kan regne ut deskriptiv statistikk. mean(variabel) gir gjennomsnitt. For å finne gjennomsnitt av en numerisk variabel for ulike grupper innenfor datasettet kan man bruke aggregate(variabel, by=list(kategoriskvariabel), FUN=mean). Da får du gjennomsnitt av en variabel for alle gruppene gitt av den kategoriske variabelen. 35

41 HÅNDTERE MANGLENDE VERDIER Hvis det mangler verdier, må dette tas hensyn til når man gjør analyse. F.eks. mean(variabel) med manglende verdier vil gi NA som svar. Må da bruke mean(variabel, na.rm=true), som ser bort fra alle manglende punkter. Noen funksjoner krever na.omit eller na.exclude. 36

42 INNEBYGDE FUNKSJONER Tilsvarende finnes funksjonene sd(variabel) for standardavvik, median(variabel), range(variabel) for å finne rekkevidde. Alle kan kombineres med aggregate på samme måte som mean(). 37

43 INNEBYGDE FUNKSJONER var(variabel) gir varians, quantile(variabel, persentil) gir persentilene du ber om. Hvis du bare skriver quantile(variabel) får du 0%, 25%, 50%, 75% og 100% persentilene automatisk. Flere funksjoner er f.eks. sum(variabel), min(variabel), max(variabel) 38

44 SUMMARY summary-funksjonen gir litt enkelt deskriptiv informasjon om alle variablene i et sett. Den skiller mellom numeriske variabler og faktorer/kategoriske variabler. 39

45 SUMMARY - GRUPPERT Også denne funksjonen kan deles opp etter grupper ved hjelp av aggregate, slik at du får sammendrag for enkeltgrupper innenfor datasettet. Dette kan være nyttig om det er grupper som skiller seg mye fra resten av dataene. 40

46 INSTALLERE NYE BIBLIOTEK Mye kan gjøres i R med basis-pakkene, men det finnes mange flere muligheter. For å installere en ny pakke gå til Tools > Install Packages. Skriv inn navnet på pakken du ønsker, og trykk på Install. 41

47 BRUKE NYE BIBLIOTEK For å ta den nye pakken i bruk kan du enten skrive library("pakkenavn"), eller gå inn i listen av pakker på høyre side, finne pakken i listen, og hake den av. 42

48 ENDA FLERE STATISTISKE STØRRELSER: E1071-BIBLIOTEKET For å regne ut skjevhet og kurtose kan man f.eks. bruke pakken e1071 som har disse funksjonene bygget inn. skewness(variabel), kurtosis(variabel) 43

49 PSYCH-BIBLIOTEKET OG DESCRIBE describe(data) i psych-biblioteket gir antall målepunkter, gjennomsnitt, standardavvik, median, trimmet gjennomsnitt, median absolutt avvid (MAD), min, max, rekkevidde, skjevhet, kurtose og standardfeil, men den skiller ikke mellom kontinuerlige og kategoriske variabler. 44

50 LAGE NYE VARIABLER data$nyvariabel <- ett eller annet uttrykk lager en ny variabel i datasettet. På den måten kan man f.eks. regne ut nye variabler basert på de man allerede har. re 45

51 REKODE VARIABLER Kode om fra kontinuerlig til kategorisk variabel. var kont >x vil kun velge ut de punktene i den kontinuerlige variablen var kont som er større enn en verdi x. var kat [var kont >x]<- "kode 1" setter da verdien til den kategoriske variablen var kat til å være "kode 1" i alle tilfeller der den kontinuerlige er større enn x. 46

52 REKODE VARIABLER For å endre kodene i en kategorisk variabel til noe annet enn de allerede er brukes samme metode. Var2[Var1=="kode 2"] <- "annen kode". Da får vi en ny kategorisk variabel Var2 som har andre koder enn den kategorisk variabelen Var1. 47

53 FREKVENSTABELLER Antall forekomster av datapunkter i ulike kategorier kan vises for en eller flere kategoriske variabler med table(var1,..). Hvis du bruker tre variabler får du en tabell for hver kategori i den tredje variablen. Det er ikke lurt å bruke mer enn tre variabler av gangen. 48

54 FREKVENSTABELLER addmargins(table(variabel)) legger til sum bortover og nedover. 49

55 FREKVENSTABELLER prop.table(table(variabel1, variabel2)) gir relativ frekvens, fremfor frekvens. Hvis du ønsker prosent, kan du bruke prop.table(table(variabel1, variabel2))*

56 FREKVENSTABELLER table, prop.table og addmargins kan fint brukes i kombinasjon alle sammen. 51

57 HÅNDTERING AV DATASETT

58 SORTERE DATA order(variabel) gir rekkefølgen. data[order(variabel1)] gir hele datasettet sortert slik at variabel1 er i stigende rekkefølge. order(var1, var2) vil først sortere med hensyn på variabel 1, og så 2. 52

59 VELGE UNDERSETT - VELGE UT TILFELLER data[variabel1==x] gir bare målinger der variabel1 tilfredsstiller kravet om å være lik x. F.eks. kan vi kreve at vi bare skal ha året 2007, og skrive gapminder[gapminder$year==2007]. Legge merke til to likhetstegn. 53

60 VELGE UNDERSETT - VELGE UT VARIABLER Man kan velge undersett bestående av et utvalg variabler ved å skrive data[,c(1, 3)] (velger ut variabel nr 1 og 3), eller ved å velge bort de man ikke vil ha med, data[,-3] (velger bort variabel nr 3). Legg merke til komma først i firkantparentesen. 54

61 JOBBE MED DATOER Format angis ved hjelp av koder som R forstår, f.eks. %m - måned i tall; %d - dag i tall, %y - år; kun to siste siffer; %Y - år, fire siffer; %b - måned, tre første bokstaver. 55

62 JOBBE MED DATOER Dette må gjøres med alle dato-variabler. Det kan også gjøres manuelt etter import ved hjelp av funksjonen variabel <- as.date(variabel, format), der formatet angis på samme måte som under import av data. 56

63 JOBBE MED DATOER difftime(dato2, dato1, unit) gir tid mellom to datoer. Enhet (unit) kan være sekunder ("secs"), minutter ("mins"), timer ("hours"), dager ("days") eller uker ("weeks"). 57

64 SETTE SAMMEN TO DATASETT - LEGGE TIL RADER For å kunne sette sammen to filer, der vi skal legge til ekstra rader, MÅ begge filer ha de samme variablene. Derfor må tomme variabler lages der hvor det er variabler som kun finnes i ett av settene. Bruk rbind(fil1, fil2) for å lage et nytt sett med alle radene fra hvert av settene. 58

65 SETTE SAMMEN TO DATASETT - LEGGE TIL VARIABLER merge(fil1, fil2, by="id") angir at fil1 og fil2 skal kobles sammen til ett sett, og at ID er det som skal brukes til å koble riktig rader i hver av filene sammen. Kun de IDene som forekommer i begge filer blir inkludert. 59

66 SETTE SAMMEN TO DATASETT - LEGGE TIL VARIABLER Ved å skrive merge(fil1, fil2, by="id", all=true) vil man få med alle IDer, selv om de kun forekommer i ett av settene. Variabler der data mangler blir kodet som NA. 60

67 LAGE GRAFER OG FIGURER

68 PLOT-KOMMANDOEN Den aller enkleste måten å vise sammenheng mellom to variabler er med kommandoen plot(variabel1, variabel2). Minst en av variablene bør være kontinuerlig. 61

69 REDIGERE PLOT Legge til tittel: main = "<Tittel>" Tekst på x-aksen: xlab = "<Merkelapp på x-aksen>" Tekst på y-aksen: xlab = "<Merkelapp på y-aksen>" Alle legges inni plot-kommandoen, slik at plot(var1, var2, main = "...", xlab = "...", ylab = "...") 62

70 REDIGERE PLOT For å endre område som vises på grafen kan man bruke xlim og ylim. Måten det angis på er ved xlim = c(start, slutt), som skrives inni plot-kommandoen. 63

71 REDIGERE PLOT Endre farge på punkter: col = "red"/"blue"/"green"/etc. Endre punkt-type: pch = tall mellom 1 og 25, eller utvalgte symboler (se neste slide) Endre punkt-størrelse: cex = tall. Standardverdi er 1, så cex=2 gir dobbelt så store punkter, cex=0.5 gir halvparten så store. 64

72 REDIGERE PLOT Oversikt over de mulig typene punkter man kan bruke. 65

73 REDIGERE PLOT Det er veldig mange farger å velge mellom. Ved å skrive colours() i konsollen kan du få en oversikt. Det er for eksempel over 100 forskjellige grå-farger. 66

74 REDIGERE PLOT Endre type representasjon: punkt, linje eller noe helt annet. Dette angir du ved å bruke kommandoen type = "<bokstav>". F.eks. type="h" gir et slags histogram der alle datapunkter representeres med en vertikal linje. 67

75 REDIGERE PLOT De ulike typene som kan brukes "p" - punkt (standard) "l" - linje "b" - linjestykker mellom punktene "c" - linjestykker mellom punkter, men uten punktene "o" - linjer og punkter oppå hverandre "h" - histogram -aktige vertikale linjer "n" - ingenting (brukes vanligvis for mer avansert plotting med flere grafer i samme plott) 68

76 REDIGERE PLOT Dersom type er satt til type = "l", "b", "o" eller "c", kan linjen endres, ved å bruke lty = et tall mellom 1 og 6. Standard er lty=1. 69

77 REDIGERE PLOT Tykkelsen på linjen kan endres med lwd. Standard er lwd=1. lwd=2 gir en dobbelt så tykk linje, lwd=0.5 gir en halvparten så tykk linje. Totalt vil da type="b", lty=3, lwd=2 gi punkter med linjer mellom, linjen vil være av prikker og den er dobbelt så tykk som standard. 70

78 HISTOGRAM For å vise hvordan dataene i en enkelt kontinuerlig variabel fordeler seg, kan man bruke hisogram. Kommandoen er hist(variabel). 71

79 HISTOGRAM Tittel og aksetekst legges til på samme måte som i plot(...). 72

80 HISTOGRAM breaks = < tall > lar deg bestemme omtrent hvor mange søyler du skal ha. R kan overstyre litt her for å få det til å se fornuftig ut. 73

81 HISTOGRAM Fargen på søylene kan endres på samme måte som punkter og linjer i plot(...), dvs ved hjelp av col=< farge >. 74

82 BOXPLOT En annen måte å vise fordelingen til en kontinuerlig variabel, sammen med median, og kvartiler på er med et boxplot. Kommandoen er boxplot(variabel). 75

83 BOXPLOT Tittel og aksetekst på y-aksen legges til som vanlig, med main og ylab. 76

84 BOXPLOT boxplot(var1 kategoriskvar, data=datasett) lager et boxplott, der hver gruppe i den kategoriske variablen får sin boks. Merkelapper på x-aksen kommer automatisk, basert på navn på kategorier. 77

85 BOXPLOT boxplot(var1 var2*var3, data=datasett) gir dobbel gruppering, først grupperes det m.h.p. variabel 2, så m.h.p. variabel 3. 78

86 SØYLEDIAGRAM For å vise fordeling av data innenfor ulike kategorier kan man bruke søylediagram. Brukes gjerne sammen med frekvenstabellfunksjonen counts<-table(variabel), og så barplot(counts). Navn på søylene kommer automatisk. 79

87 STABLET SØYLEDIAGRAM Stablet søylediagram viser fordeling innenfor to kategoriske variabler. barplot(counts). Navn på søyler kommer automatisk, men navn på omrpder i hver søyle angis med legend.text=rownames(counts). args.legend brukes for å velge plassering og skriftstørrelse for infoboksen. 80

88 SØYLEDIAGRAM Ved å legge til en ekstra kommando inni barplot(...), kan man få søylene ved siden av hverandre i undergrupper, istedenfor å ha et stablet søylediagram. Bruk beside=true. 81

89 SØYLEDIAGRAM Søylediagram kan også brukes for å vise gjennomsnitt av en kontinuerlig variabel innenfor ulike grupper. Regn først ut gjennomsnitt i hver gruppe med aggregate-funksjonen. Legg merke til at dataene som aggregate produserer ligger i to vektorer som heter Group.1 (navn på kategorier/grupper) og x (gjennomsnittene). 82

90 EKSPORTERE DATA Lagre et datasett til fil med write.table(...). Inni parentesen angis datasettet, filnavn (file=), hvilket tegn som skal separere kolonner (sep=), hva som indikerer manglende data. append=false bestemmer at dette ikke skal legges til en eksisterende fil, quote=false betyr at det ikke kommer "" rundt ord i filen. 83

91 VEIEN VIDERE

92 NYTTIGE BØKER ETC. R in action: Data analysis and graphics with R - Robert I. Kabacoff (online: The Art of R Programming: A Tour of Statistical Software Design - Norman Matloff Introductory Statistics with R - Peter Dalgaard (gratis på Springer: Ellers finnes mange bra bøker innenfor spesifikke fagfelt. 84

93 HJELP MED R VIDERE Workshop for bruk av R i data-analyse i regi av Carpentry (Universitetsbiblioteket). Mer info finnes her > Spør Google Be om hjelp til enkeltprosjekter ved å sende mail til statistikk@usit.uio.no 85