Matematisk institutt STAT200 Anvendt statistikk Universitetet i Bergen 3. mars 2004 Dataøvelse 4 Kjikvadratfordeling A. Formål med øvelsen Øvelsen skal vise hvordan SAS-systemet kan brukes til å generere tilfeldige verdier som kan danne grunnlag for studium av mer kompliserte fordelinger. På denne måten skal man sette opp empiriske histogrammer for variable som følger kjikvadratfordelinger med ulike antall frihetsgrader. Formen på histogrammene skal så sammenlignes med diagrammer som viser forløpet av de tilhørende sannsynlighetstetthetene. Øvelsen skal slik gi en slags empirisk begrunnelse for det vanlige uttrykket for kjikvadrattettheten. Samtidig skal histogrammene bidra med inntrykk av hvor store sprang man må regne med å få i frekvensfordelinger for variable som følger en glatt sannsynlighetsfordeling, til og med i ganske store datamaterialer. B. Løkker i data-steg Programteknisk utgjør ordinære data-steg automatisk en løkke, som gjennomløpes én gang for hver observasjon i datasettet. I enkelte situasjoner har vi også bruk for å definere løkker internt i et data-steg. Dette foregår ved DO-setninger av forskjellig type. En løkke blir dannet av en DO group, innledet ved en DOsetning, etterfulgt av andre setninger som vanlig i et data-steg, og avsluttet av en spesiell END-setning. Løkkene kan om ønskelig bli nøstet inni hverandre. DO-setninger blir beskrevet på egne manualsider på Internett under Base SAS Software. Det enkleste kan være å lete etter DO ved hjelp av Search. Eventuelt kan man bevege seg innover i systemet ved å gå til SAS Language Reference: Dictionary og deretter til Dictionary of Language Elements og Statements. Listen med mulige grunnleggende setninger i SAS kan være nyttig også i mange andre situasjoner. Den formen av DO-setningen som særlig er aktuell, kan illustreres ved følgende eksempel: DO I = 3 TO 25 BY 2; Løkken vil i dette tilfellet gjennomgås først for verdien 3 av variabelen I, så for verdien 3+2=5, deretter for 5+2=7, osv., inntil den siste verdien I = 25 blir nådd. Legg spesielt merke til at indeksvariabelen I blir tatt med i det ferdige datasettet som produseres, med mindre det gis uttrykkelig beskjed om det motsatte.
4.2 C. Generering av nye observasjoner inne i et data-steg I mange situasjoner vil antallet observasjoner (datalinjer) i et SAS-datasett være gitt ved antallet linjer lest fra en ytre fil, forutsatt at data-steget inneholder en INFILE-setning. Blir et SAS-datasett dannet på grunnlag av et tidligere SASdatasett, vil antallet observasjoner normalt være likt i de to datasettene. I spesielle tilfeller ønsker man imidlertid å danne nye observasjoner etter et mønster som ikke følger oppsettet for dataene slik de leses inn. Dette er særlig aktuelt dersom man definerer alle verdiene av variablene i det nye SAS-datasettet ved regneforskrifter gitt inne i data-steget. I slike situasjoner kan man benytte en OUTPUT-setning på en bestemt plass i data-steget, etter at alle de aktuelle verdiene er definert. Denne setningen er beskrevet nøyere på egne manualsider på Internett. Det enkleste er å gå til samme liste over aktuelle setninger som angitt ovenfor for DO-setningen og så velge OUTPUT. Alternativt kan man også her søke etter ordet OUTPUT, men akkurat dette uttrykket brukes også i så mange andre sammenhenger i SAS at det lett kan bli forvirrende. I oppsett for data-steg som ikke inneholder noen OUTPUT-setning, blir nye observasjoner automatisk lagt til datasettet hver gang man kommer til slutten av steget. Forekommer det derimot minst én OUTPUT-setning, blir nye observasjoner generert bare hver gang man støter på en slik setning. Ofte er det aktuelt å kombinere OUTPUT-setninger med DO-løkker. Hvis regningene inne i løkken viser hvordan de aktuelle variablene skal regnes ut, er det naturlig at den aktuelle observasjonen (datalinjen) virkelig blir generert på slutten av løkken, dvs. like foran END-setningen. LSB behandler slike problemstillinger på side 146. Selve OUTPUT-setningen blir omtalt på side 144 i LSB. Som vist der, kan man også skrive ut datalinjer til flere datasett i samme data-steg ved å angi navnet på datasettet like etter OUTPUT-setningen. Vi har tidligere generert nye datasett ved hjelp av DO-løkker og OUTPUT i siste del av Øvelse 1 (ved utregning av Poisson-sannsynligheter) og i Øvelse 2 (ved generering av mange observasjonssett bestående av 3 normalfordelte verdier). D. Utregning av nye verdier i et data-steg I mange situasjoner ønsker vi å innføre nye variable underveis i et data-steg, eller vi vil forandre på verdiene til variable som allerede er innført. I slike tilfeller kan vi ganske enkelt sette opp tilordningssetninger inne i datasteget med det aktuelle variabelnavnet til venstre for et likhetstegn. Til høyre for likhetstegnet kan vi skrive inn et passende regneuttrykk, der det inngår konstanter eller verdier av variable som allerede er definert. Hvis vi fører opp samme variabelnavn i uttrykket på høyresiden som vi har på venstresiden, gjelder den gamle verdien på høyresiden (mens den nye verdien på venstresiden kan være noe helt annet). Kompliserte regneuttrykk på høyresiden kan være satt sammen ved addisjon (angitt ved +), subtraksjon ( ), multiplikasjon ( ) og divisjon (/). Rekkefølgen av de ulike regneoperasjonene kan angis ved parenteser. Egne manualsider
4.3 viser hvordan slike uttrykk kan bygges opp. Velg SAS Language Reference: Concepts, så SAS System Concepts og deretter Expressions. Spesielt er opplysningene under SAS Operators in Expressions nyttige. På mange måter kan disse reglene minne om tilsvarende regler i vanlige programmeringsspråk (og andre statistikkprogrammer), men legg likevel merke til at SAS følger enkelte spesielle konvensjoner. F. eks. betegnes potensering med to stjerner. LSB gir på side 66 eksempler på tilordningssetninger med regneuttrykk. Ofte er det bruk for verdier av bestemte funksjoner i slike regneuttrykk. SAS har svært mange standardfunksjoner tilgjengelig. Dette er forklart på side 68 71 i LSB, selv om listen som er gitt der, bare omfatter et lite utvalg av de aktuelle funksjonene. F. eks. er eksponensialfunksjonen e x utelatt. Den betegnes som EXP(X) i SAS. Kvadratroten x skrives som SQRT(X) (eller den kan uttrykkes som x 1/2, dvs. som X 0.5). En mer omfattende liste kan finnes på Internett ved å velge etter tur SAS Language Reference: Concepts, SAS System Concepts og Functions and CALL Routines. Her er funksjonene ordnet i forskjellige kategorier, avhengig av anvendelsestypen, f. eks. med matematiske funksjoner samlet for seg. I Øvelse 1 anvendte vi tilordning ved hjelp av regneuttrykk i siste del med funksjonen POISSON(M,X) for kumulative Poissonsannsynligheter. I Øvelse 2 genererte vi på denne måten variable som fulgte en generell normalfordeling (µ, σ) på grunnlag av standardnormalfordelte variable. E. Tittellinjer i utskrift fra SAS Vi har hittil brukt en setning innledet med ordet TITLE for å vise i utskriften hvem resultatene tilhører. I prinsippet kan man på denne måten naturligvis oppgi en vilkårlig tekst som kommer som overskrift på sidene i Output-vinduet. I mange situasjoner kan det være aktuelt med flere linjer av denne typen. F. eks. kan vi fortsatt ønske å anvende første tittellinje til å vise studentnavnet i hele utskriften, mens vi i tillegg vil bruke undertitler som veksler etter hvert som SAS går gjennom ulike prosedyrer. Dette kan lett oppnås med tilsvarende setninger som blir innledet med ordene TITLE2, TITLE3, osv. På denne måten kan vi definere inntil 10 ulike tittellinjer. Her tilsvarer TITLE1 den gamle angivelsen TITLE. En bestemt av titlene kan skiftes ut i løpet av en SAS-kjøring ved å angi TITLE-setningen på nytt. Dette er forklart nøyere i manualsidene for TITLE. Disse sidene kan velges ut på listen over mulige Statements som forklart ovenfor for DO-setningen. (Også begrepet TITLE benyttes i mange sammenhenger i SAS, så det er vanskelig å søke på riktig uttrykk.) Det finnes også et tilsvarende sett med kommandoer FOOTNOTE. Se også LSB side 91.
4.4 F. Flere plott i samme diagram Som forklart i øvelse 3 kan man bruke proc plot eller proc gplot til å sette opp spredningsdiagrammer for gitte x- og y-variable. Flere plott kan genereres med samme PLOT-setning med flere spesifikasjoner av typen Y X. Vanligvis vil dette gi et nytt plott for hvert variabelpar. Oppgir man imidlertid opsjonen OVERLAY til slutt i en bestemt PLOT-setning, etter en skråstrek, vil de tilhørende plottene bli stilt opp i et felles koordinatsystem. Muligheten er beskrevet på side 117 i LSB (som riktignok bare omtaler proc plot ). I plott produsert av proc gplot er det av og til rimelig å tegne opp glatte forbindelseslinjer mellom de aktuelle punktene. Dette kan oppnås ved setningen SYMBOL INTERPOL = SPLINE; før den aktuelle PLOT-setningen. G. Generering av verdier fra en normalfordeling I data-steget i SAS er det tilgjengelig en rekke funksjoner som produserer verdier fra stokastiske variable med oppgitte sannsynlighetsfordelinger. I oversikten Function categories er dette kategorien Random Number Functions. Spesielt gir funksjonen RANNOR verdier fra en standardnormalfordeling. I virkeligheten blir disse verdiene beregnet ut fra en bestemt matematisk forskrift, men poenget er at en følge med slike verdier oppfører seg statistisk som om vi trakk uavhengige observasjoner fra normalfordelingen. Egentlig er hele følgen med verdier bestemt automatisk når vi fastlegger hvordan første verdi skal beregnes. Vi spesifiserer hvordan følgen skal innledes ved å oppgi et eget frø ( seed ). Dette er argumentverdien som blir skrevet opp i SAS-programmet sammen med funksjonsnavnet RANNOR. Man kan her skrive opp et vilkårlig positivt heltall. Men som forklart på manualsidene for Random number functions blir dette frøet bare utnyttet første gangen funksjonen kalles opp. Dette er altså det første stedet i data-steget der det blir referert til funksjonen, for første observasjon. Man kan godt generere flere stokastiske variable fra samme fordeling etter hverandre innenfor for samme observasjon, men disse verdiene stammer i så fall fra senere ledd i samme følge med tilsynelatende tilfeldige verdier. Argumentverdiene som oppgis for funksjonen RANNOR etter første kall har prinsipielt ingen betydning. RANNOR ble utnyttet allerede i siste del av øvelse 2. H. Øvelsesopplegg Vi har generelt definert kjikvadratfordelingen ved å stille opp uttrykk for en tilsvarende variabel W, gitt ved hjelp av standardnormalfordelte variable Z i. Vil vil nå utnytte denne sammenhengen til å generere tilfeldige verdier fra aktuelle kjikvadratfordelinger.
4.5 1. Bruk SAS til å generere et datasett som inneholder tre variable W1, W2 og W3 som er kjikvadratfordelt med henholdsvis 1, 2 og 3 frihetsgrader. Datasettet skal inneholde i alt 500 datalinjer med verdier for W1, W2 og W3. Hver linje skal bli dannet ved først å trekke tilfeldige verdier for 3 uavhengige standardnormalfordelte variable. Sett opp et passende data-steg som leder til et datasett av denne typen. Titt på toppen av datasettet i VIEWTABLE etter at data-steget er kjørt for å kontrollere at resultatene ser rimelige ut. 2. La proc gchart konstruere histogrammer for de tre fordelingene for W1, W2 og W3, med klasseinndeling (0.0,0.2], (0.2,0.4],..., (7.8,8.0], (8.0, ). Bruk også proc univariate for å studere de tre fordelingene. Ta utskrift av Log-vinduet og Output-vinduet, og start SAS på nytt hvis alt er i orden. Sannsynlighetstettheten for kjikvadratfordelingen med k frihetsgrader kan skrives på denne formen: f(x) = 1 2 k/2 Γ(k/2) x(k/2) 1 e x/2, x > 0. Her står Γ for den såkalte gammafunksjonen (definert ved integraluttrykket Γ(y) = t y 1 e t dt). Funksjonen er tilgjengelig som standard Mathematical 0 Function i SAS. Vi ønsker nå skisser av sannsynlighetstettheten for k = 1, k = 2 og k = 3. Vi kan da anse ulike sammenhørende verdipar (x, y) med y = f(x) som om de stammet fra forskjellige observasjoner i et SAS-datasett. 3. Still opp et data-steg som skal produsere et SAS-datasett der hver observasjon inneholder fire variable X, Y1, Y2, Y3. Størrelsene Y1, Y2, Y3 skal angi verdiene av tettheten f(x) når vi har henholdsvis 1, 2 og 3 frihetsgrader. De ulike observasjonene i datasettet skal f. eks. tilsvare X-verdiene 0.0, 0.1, 0.2,..., 7.9, 8.0. Utfør data-steget og kontroller at verdiene i datasettet ser rimelige ut (spesielt for første observasjon!). 4. Bruk proc plot til å tegne opp aktuelle skisser av de tre tetthetene i hvert sitt diagram i Output-vinduet. Lag dessuten et diagram i et grafikkvindu med proc gplot der alle tre tetthetene er tegnet inn oppå hverandre med glatting. Ta utskrift av resultatene og av Log-vinduet. Under kjøringene med SAS skal det hele veien brukes passende titler og undertitler. I. Spørsmål som skal besvares ved innleveringen a) Hvilke estimater for forventning og varians i de tre kjikvadratfordelingene fører simuleringene til? Sammenlign med de tilsvarende teoretiske verdiene. b) Betrakt Table B.1 for kjikvadratfordeling i læreboken av J. H. Zar (på side App12). Se spesielt på verdiene i tabellen for α = 0.05 og α = 0.01 tilsvarende ν = 1, 2 og 3. Utnytt resultatene fra simuleringen til å finne estimater for de samme størrelsene. Er det god overensstemmelse?