En introduksjon i statistiske metoder for offisiell statistikk

Transkript

1 Notater Documents 06/3 Jan F. Bjørnstad En ntroduksjon statstske metoder for offsell statstkk

2

3 Notater 3/06 Jan F. Bjørnstad En ntroduksjon statstske metoder for offsell statstkk Statstsk sentralbyrå Statstcs Norway Oslo Kongsvnger

4 Notater I denne seren publseres dokumentasjon, metodebeskrvelser, modellbeskrvelser og standarder. Statstsk sentralbyrå Ved bruk av materale fra denne publkasjonen skal Statstsk sentralbyrå oppgs som klde. Publsert september 06 ISBN (elektronsk) ISSN Emne: Vrksomheter, foretak og regnskap Trykk: Statstsk sentralbyrå Standardtegn tabeller Symbol Tall kan kke forekomme. Oppgave mangler.. Oppgave mangler foreløpg Tall kan kke offentlggjøres : Null - Mndre enn 0,5 av den brukte enheten 0 Mndre enn 0,05 av den brukte enheten 0,0 Foreløpg tall * Brudd den loddrette seren Brudd den vannrette seren Desmaltegn,

5 Notater 3/06 Statststske metoder for offsell statstkk Forord Dette kompendet er utarbedet for SSB-kurset KLAR 3 Introduksjonskurs statstske metoder. Det gr en nnførng Planleggng av utvalgsundersøkelser, både for person/husholdnngs- og bedrftsundersøkelser Bass statstkkbegreper og de vktgste estmerngsmetodene desgnbasert tlnærmng utvalgsundersøkelser Teoretske og vtenskapelge betraktnnger rundt modell-basert og desgnbasert tlnærmng Modellbaserte estmerngsmetoder Tre forskjellge varansmål Behandlng av frafall ved vektng og mputerng Multppel mputerng for frafall Matematske utlednnger og formelbruk er holdt tl et mnmum, men noe formelbruk er uunngåelg for å tlegne seg en vss bass forståelse av sannsynlghet, vktge statstkkbegreper og det statstske språket. Kompendet nkluderer noe mer, delvs avansert, materale som kke er med kurset. Dsse temaene er stjernemerket. Kapttel 7 om økonomske undersøkelser er basert på SSB-kurset av Tora Löfgren og Svetlana Badna. Appendkset om funksjoner R er skrevet av Melke Ogus Alper. Statstsk sentralbyrå, Bjørnar Gundersen Statstsk sentralbyrå 3

6 Statststske metoder for offsell statstkk Notater 3/06 Innhold Forord... 3 Innhold Innlednng European Statstcs Code of Practce og SSBs Vrksomhetsmodell Statstske metoder SSB Eksempel på tolknng og presentasjon av statstkk, og enkel bruk av statstsk metode Innførng bassbegreper utvalgsundersøkelser..... Populasjon og utvalg..... Estmerng Felklder utvalgsundersøkelser To SSB eksempler på utvalg og utvalgsplaner Sannsynlghet en kort nnførng To eksempler på bruk av sannsynlghet* Estmerngsteor enkelt tlfeldg utvalg (ETU) Eksempel Kvaltetsndeks Calforna skoler Estmerng av populasjonsandel p med en vss egenskap/kjennemerke A Estmerngsmetoder utvalgsundersøkelser Bestemme utvalgsstørrelse basert på konfdensntervall, for populasjonsandel Bestemme utvalgsstørrelse basert på varasjonskoeffsenten, for populasjonsandel* Bestemme utvalgsstørrelse basert på varasjonskoeffsenten, generelt Rate-estmatoren Horvtz-Thompson estmator ulke trekkesannsynlgheter En modfsert H-T estmator* Ikke-eksstens av optmale estmatorer Stratfserng og flertrnnsutvalg Stratfserte utvalgsplaner Estmerng stratfsert enkel tlfeldg utvalg Allokerng (fordelng) av utvalgsenhetene Optmal allokerng Klyngeutvalg og flertrnnsutvalg Frafall person- og husholdnngsundersøkelser Innlednng Årsaker tl frafall Frafallsmekansmer Tre frafallseksempler Effekt av frafall, en enkel analyse Etterstratfserng Justerngsceller og kalbrerng Imputerng Standard mputerngsmetoder, mye brukt statststske sentralbyråer Deknngsgrad for konfdensntervall med mddel mputerng og hot-deck mputerng* Multppel mputerng for varansestmerng Mer avanserte modellbaserte mputerngsmetoder* Utvalgsplaner og estmerng for økonomsk statstkk. Bedrfts- og foretaksundersøkelser SSBs økonomske utvalgsplaner Utvalgsplan og allokerng for bedrftsundersøkelser Bruk av stratfsert rate-estmator SSBs ordrestatstkk ndustren Alternatve tlnærmnger for statstsk nferens basert på utvalgsundersøkelser Alternatve tlnærmnger Lkelhood og lkelhoodprnsppet (LP), generell modell Lkelhoodfunksjon og lkelhoodprnsppet desgn-basert nferens Modell-basert statstsk nferens utvalgsundersøkelser Modell-basert tlnærmng Modellbaserte optmale estmatorer Metodevarans Statstsk sentralbyrå

7 Notater 3/06 Statststske metoder for offsell statstkk Øvelser for KLAR 3 Introduksjonskurs statstske metoder... 5 Løsnnger tl øvelser KLAR Appendks A*. Utlednng av resultatene for eksemplene Appendks B. Functons most commonly used n R Fgurregster Tabellregster Statstsk sentralbyrå 5

8 Statststske metoder for offsell statstkk Notater 3/06. Innlednng Hovedtemaer dette kompendet er: Bassbegreper og bassestmatorer offsell statstkk Stratfserng Frafall Økonomsk statstkk Modellbasert statstsk nferens Begrepet statstkk hva betyr det? En enkel beskrvelse er å s at det er vtenskapen om analyse og tolknng av data. Mer detaljert, kan v s Vtenskapen for planleggng av undersøkelser, nnsamlng og presentasjon av tallmaterale, og metoder for analyse og beslutnnger ut fra nnsamlede data. Data kan f.eks. være et utvalg fra en populasjon av personer, bedrfter eller andre enheter, eller observasjoner av fysske fenomener. Ordet statstkk brukes også om de nnsamlede og analyserte dataene. Opprnnelg ble statstkk brukt om beskrvelser av stats- eller samfunnsforhold, første gang European Statstcs Code of Practce og SSBs Vrksomhetsmodell Statstske metoder for offsell statstkk er nnenfor rammen av europeske prnspper for kvaltet alle aspekter når det gjelder statstkk. European Statstcs Code of Practce er europeske retnngslnjer (kvaltetsprnspper) for offsell statstkk. Den er basert på 5 prnspper som danner en ramme for kvaltet statstkken, delt nn tre hovedtemaer. Insttusjonelle forhold o Faglg uavhengghet o Mandat for datannsamlng o Tlstrekkelge ressurser o Kvaltetsbevssthet o Konfdensaltet o Upartskhet og objektvtet Statstske prosesser o Gode metoder o Egnede statstske prosedyrer o Rmelge krav tl oppgavegverne o Kostnadseffektvtet Statstske produkter o Relevans o Nøyaktghet og påltelghet o Aktualtet og punktlghet o Sammenheng og sammenlgnbarhet o Tlgjengelghet og klarhet Det sste hovedtema er for kvaltet selve de publserte offselle statstkkene. Her er statstske metoder sentrale for andre og fjerde punkt. Vrksomhetsmodellen SSB er en detaljert overskt over hva som nngår statstske prosesser: 6 Statstsk sentralbyrå

9 Notater 3/06 Statststske metoder for offsell statstkk Vrksomhetsmodellen er basert på en nternasjonal standard og det er en referanse for: Dokumentasjon Systemer og metoder: Standardserng! Arbedsrutner Ressursbruk Rskovurdernger (f.eks. for fel) Modellen lgger nternt SSB på Den europeske Code of Practce utgjør sammen med vrksomhetsmodellen et kvaltetsrammeverk for SSB og andre europeske statstkkbyråer. Tonvå versjonen av vrksomhetsmodellen ndkerer hva hovednvåene nneholder. Fargene ndkerer hvor bra punktene ovenfor er oppfyllt SSB pr. dags dato. Rød har mangler Grønn er bra Gul kan bl bedre.. Statstske metoder SSB Offsell statstkk er statstkk som publseres for allmenheten av SSB eller annet statlg organ. Statstske metoder er sentral og nødvendg for forståelse av statstkken kvaltetsskrng: nøyaktghet og påltelghet effektvserng av statstkkproduksjonen I SSBs strateg presseres det at de beste statstske metoder skal benyttes for å skre effektvtet og kvaltet. I denne sammhengen er det vktg med en bass forståelse av statstske begrep og statstske metoder Statstsk sentralbyrå 7

10 Statststske metoder for offsell statstkk Notater 3/06 statstkkproduksjons- seksjonene. Henskten med dette kompendet er å g en nnførng statstske prnspper og metoder statstkkproduksjonen for å: lære bassbegreper og tolknnger den statstske vtenskapen få en bedre forståelse av det statstske språket Temaer hvor den statstske vtenskapen er mest sentral nnen statstkkproduksjon av offsell statstkk er: Teoretsk utdypng nnen utvalgsundersøkelser Speselt gjelder det planleggng og de vktgste utvalgsplanene, både nnen person/husholdnngs- og bedrft/foretaks-undersøkelser bass statstkkbegreper og de vktgste estmerngsmetodene vanlg tradsjonell desgnbasert tlnærmng tl utvalgsundersøkelser modellbaserte estmerngsmetoder frafall og statstske metoder for å rette opp skjevheter på grunn av frafall statstsk nferens: generelt om analyse av en populasjon basert på et utvalg.3. Eksempel på tolknng og presentasjon av statstkk, og enkel bruk av statstsk metode V skal se på SSBs sykefraværsstatstkk for 4.kvartal 04. Den publseres etter kjønn, alder, bostedskommune og nærng. Sykefraværet er basert på både egenmeldnger (utvalgsundersøkelse) og legemeldnger (regster). Sykefraværet angs som antall arbedsdager som er tapt eller antall syke en bestemt arbedsdag. Tabell. Tapte arbedsdager. Fordelt på kvnner og menn etter meldngstype, prosent Kjønn Totalt sykefravær Egenmeldt Legemeldt Begge 6,4 0,9 5,5 Kvnner 8,, 7, Menn 4,9 0,8 4, Legemeldt sykefravær utgjør hoveddelen av totalt sykefravær. Neste fgur vser sykefraværet etter forskjellge yrkesgrupper. Fgur. Tapte arbedsdager. Egenmeldt og legemeldt fravær etter standard for nærngsgrupperng. For eksempel, A= jordbruk, skogbruk og fske, P=undervsnng, Q=helse og sosaltjeneste Neste fgur vser legemeldt sykefravær etter alder. 8 Statstsk sentralbyrå

11 Notater 3/06 Statststske metoder for offsell statstkk Fgur. Tapte arbedsdager. Legemeldt fravær etter alder Neste fgur vser legemeldt sykefravær etter kjønn og alder. Fgur.3 Tapte arbedsdager. Legemeldt sykefravær etter kjønn og alder Statstsk sentralbyrå 9

12 Statststske metoder for offsell statstkk Notater 3/06 Tabellen nedenfor vser hvordan sykefraværet fordeler seg på fylkene. Tabell. Tapte arbedsdager-fylkesvs Fylke Sykefravær Fylke Sykefravær Østfold 6,6 Rogaland 4,5 Akershus 5, Hordaland 5,6 Oslo 4,6 Sogn og Fjordane 4,9 Hedmark 5,6 Møre og Romsdal 5,4 Oppland 5,9 Sør-Trøndelag 5,5 Buskerud 5,7 Nord-Trøndelag 6, Vestfold 5,4 Nordland 6, Telemark 5,7 Troms 6,3 Aust-Agder 5,8 Fnmark 6,8 Vest-Agder 5,3 Etter denne gjennomgangen vet v følgende: De fleste sykefraværene er legemeldte, og kvnner har høyere sykefravær enn menn Sykefraværet varerer med nærng (yrke). Høyest helse og sosaltjenester Sykefraværet varerer med alder Ungdom og de over 67 har lavest sykefravær Sykefraværet er klart høyest fra 60 tl 66 år Sykefraværet varerer fylkesvs Lavest Rogaland Høyest Nord-Norge og Østfold, Det er kke tlfeldg, 95 % konfdensntervall for Fnmark er 6,77-6,83. 0 Statstsk sentralbyrå

13 Notater 3/06 Statststske metoder for offsell statstkk. Innførng bassbegreper utvalgsundersøkelser I dette kaptlet behandles følgende tema: Populasjon, utvalg, utvalgsplan Estmerng Felklder To SSB eksempler på utvalg og utvalgsplaner Egenmeldt sykefravær og levekår Helse 0 Hvorfor utvalg, representatvtet Estmerng ved enkelt tlfeldg utvalg estmator, estmat forventnng og forventnngsretthet, mål for skjevhet varans, standardfel konfdensntervall.. Populasjon og utvalg Populasjonen, også kalt målpopulasjon, er alle enhetene av nteresse for en gtt statstkk. Den betegnes, med størrelse N, U = {,,..., N}. U for unvers. Alle enhetene kan dentfseres og merkes. Noen eksempler er poltsk menngsmålng alle voksne som har stemmerett arbedsledghet Norge alle personer Norge, 5 år og eldre forbruksundersøkelsen: enhet = husholdnng Utvalget betegnes med s (for engelsk sample ) og er, de enhetene som trekkes ut, den delen av populasjonen som skal observeres. For eksempel, s = {3,7, 55,70} hvs enhetene 3, 7, 55, 70 er trukket ut. Utvalget bør være representatvt for populasjonen. Det betyr forskjellg for personutvalg og bedrftsutvalg. Utvalgsplanen beskrver hvordan utvalget velges. Utvalget er et sannsynlghetsutvalg hvs alle enhetene utvalget trekkes med vsse sannsynlgheter, og slk at hver enhet populasjonen har en postv sannsynlghet for å trekkes ut tl utvalget. Sannsynlghet for en begvenhet er lk andel ganger begvenheten nntreffer hvs v trekker utvalget «uendelg» mange ganger, dvs. sannsynlghet er langtdsfrekvenen for begvenheten. V skal kun betrakte sannsynlghetsutvalg. Den enkleste utvalgsplanen er: Enkelt tlfeldg utvalg (ETU). La n være utvalgsstørrelsen. Da har alle utvalg med n enheter samme sjanse å bl trukket ut. Det medfører at alle enhetene populasjonen samme trekkesannsynlghet n/n. Eksempel. Anta N=4 slk at U = {,, 3, 4}. La n =. Da er det 6 mulge utvalg: {,}, {,3}, {,4}, {,3}, {,4} og {3,4}, som alle har samme sannsynlghet /6 for å bl trukket. Noen grunner tl å ta et utvalg fra populasjonen er: Et utvalg reduserer kostnader for akseptabelt nvå på nøyaktghet (penger, arbedskraft, td tl bearbedelse...) Kan samle nn mer nformasjon for hver person utvalget V får resultatene mye raskere. Et naturlg kvaltetskrav tl personundersøkelser er representatvtet på vktge demografske varable, for eksempel, balanse på kjønn og alder: Andel kvnner utvalget er lk andelen populasjonen Andeler aldersgrupper utvalget er lk andelene populasjonen Et deelt representatvt utvalg er en mnatyr versjon av populasjonen og mplserer at hver enhet utvalget representerer egenskaper/trekk tl et kjent antall enheter populasjonen. Passende sannsynlghetsutvalg skrer et representatvt utvalg gjennomsnttlg Det grunnleggende statstske problem er estmerng som gs en kort nnlednng neste seksjon... Estmerng En typsk undersøkelse har mange varabler av nteresse. Formålet med en undersøkelse er vanlgvs å få nformasjon om totaler og gjennomsntt for dsse varablene for hele populasjonen. Et eksempel: Arbedsledghet Norge Ønsker å estmere det totale antall arbedsledge t. Statstsk sentralbyrå

14 Statststske metoder for offsell statstkk Notater 3/06 For hver person (mnst 5 år gammel) Norge så kan v defnere følgende bnære varabel: y = hvs person er arbedsledg, og 0 ellers. Da er det totale antall arbedsledge lk t y y... yn y Generelt, varabel av nteresse betegnes y med y lk verden tl y for enhet populasjonen, og totalen betegnes med N t y. Det typske problemet er å estmere t eller populasjonsgjennomsnttet t/n. Noen ganger er v også nteressert å estmere forholdet mellom to totaler. Eksempel - estmerng av andel arbedsledge. I tllegg tl y varabelen som ndkerer om en person er arbedsledg så trenger v følgende varabel: x = hvs person er arbedsstyrken, og 0 ellers. Arbedsstyrken = alle sysselsatte + arbedssøkere (ledge). La totalene for de to varablene betegnes med t y, t x. Arbedsledghetsandel blr t y /t x..3. Felklder utvalgsundersøkelser Grovt sett kan v dele opp felkldene fre grupper.. N. Målpopulasjon U mot Regsterpopulasjon U F Tlgang tl populasjonen er va en lste av enheter et regster U F. U and U F kan være forskjellge, tre mulge fel U F (speselt bedrftsundersøkelser) er: Underdeknng: Noen enheter U er kke U F Overdeknng: Noen enheter U F er kke U Dubletter: en enhet U er lstet mer enn en gang U F U F kalles av og tl utvalgsrammen (samplng frame). I dette kompendet så antas at U = U F. Frafall - manglende data Noen personer kan kke bl kontaktet Noen nekter å delta undersøkelsen Noen kan være syke og ute av stand tl å svare I postale surveys: Kan være så mye som 70 % frafall I telefon surveys: 50 % frafall er kke uvanlg Mulge konsekvenser: Utvalgsskjevhet, kke lenger representatvt for populasjonen. Estmerng blr mer unøyaktg 3. Målefel måler kke korrekt verd av y Vanlgst bedrftsundersøkelser: f.eks.000-fel (oppgr gal måleenhet) I ntervju-undersøkelser: Intervjuereffekt: folk kan s hva de tror ntervjueren ønsker å høre- underrapporterng av alkoholbruk, tobakkbruk Msforstår spørsmålet, husker kke rktg () Utvalgs«fel» (Utvalgstoleranse) Felen(uskkerhet, avvk) forårsaket av at v observerer et utvalg og kke hele populasjonen. V bruker begrepet utvalgsfel ford det er en vanlg betegnelse, om enn noe msvsende. For å anslå denne felen måler v felmargnen: Den måler varasjonen fra utvalg tl utvalg hvs v trekker utvalget mange ganger. Ett slkt mål er 95 % konfdensntervall Sannsynlghetsutvalg medfører at v kan estmere utvalgsfel og beregne konfdensntervall. De første tre felene kalles kkesamplng-fel, og kan være mer betydelge enn utvalgsfelen I dette kompendet behandles kun frafall av kkesamplng-fel..4. To SSB eksempler på utvalg og utvalgsplaner V skal se på Egenmeldt Sykefravær for 4. kvartal 04 og Levekår Helse for 0. Statstsk sentralbyrå

15 Notater 3/06 Statststske metoder for offsell statstkk Utvalgsplanen og utvalg for egenmeldt sykefravær Et tlfeldg utvalg av0 000 bedrfter velges ut, stratfsert etter nærng og størrelse Postal undersøkelse, spørreskjema sendes tl bedrftene utvalget sste uke hvert kvartal Oppgaveplkt, svarprosent er over 90 Alle bedrfter nnenfor samme nærngs-og størrelsestratum har samme sannsynlghet for å bl trukket ut Trekksannsynlgheten øker med størrelsen Ingen små bedrfter (3 eller færre ansatte) skal trekkes ut Alle store bedrfter (flere enn ca. 50 ansatte) blr trukket ut Undersøkelsen dekker 36 prosent av ansatte ved å trekke ut 5,5 prosent av bedrftene Mer om utvalgsplaner for bedrftsundersøkelser kapttel 6 (??) Utvalgsplanen for Levekår Helse 0 Det ble trukket et tlfeldg utvalg på personer alderen 6 år og eldre, bosatt prvate husholdnnger Stratfsert (representatvt) etter kjønn, aldersgrupper og landsdel Intervju-undersøkelse, telefon (99,5 %) og besøk Tabell. Utvalget for Levekår Helse 0 Antall Utvalget Avgang (døde, bosatt utlandet/nsttusjon) 9 Prosent Bruttoutvalg Frafall 4 4 Nettoutvalg (personer oppnådd ntervju med) Besøksandel 9 0,5 Intervjutd: 33 mnutter.5. Sannsynlghet en kort nnførng Formålet med å samle nn data er å trekke konklusjoner om populasjonen som data er observert fra. Fundamentet for å kunne gjøre dette er sannsynlghetsteoren, som er en teor om mekansmen som genererer data. I (desgn-basert) utvalgsundersøkelser er det trekkng av utvalget som genererer data. Sannsynlghetspråket er det matematske verktøy v trenger for å utføre statstsk analyse på data, dvs., statstsk nferens. Sannsynlghetsbegrepet er knyttet tl sjansen for at en (uskker) begvenhet nntreffer, for eksempel at gjennomsnttlg personnntekt fra et enkelt tlfeldg utvalg er større enn en spesell verd. Hvs v generelt lar A være en begvenhet, så er sannsynlgheten for begvenheten A, betegnet med P(A), defnert som grenseverden tl andel (det relatve antall) ganger A nntreffer ved gjentatte trekknger av utvalget. Eller mer generelt, hvs A er en begvenhet som kan nntreffe et stokastsk forsøk, dvs. v kan kke på forhånd s hva utfallet av forsøket blr, så er P(A) det relatve antall ganger A nntreffer det lange løp ved gjentatte forsøk. Som et enkelt eksempel, kan v betrakte kast med mynt. Når v ser at P(Kron) = ½, så mener v at gjentatte forsøk med å kaste mynten så vl Kron nntreffe 50 % av kastene det lange løp. Et annet eksempel er kast med ternng hvor v noterer X = antall øyne. Hvs ternngen er «rettferdg» så vl alle verder -6 ha sannsynlghet /6, P(X= x) =/6 for x =,, 6. Nå kan v snakke om forventnngen tl X, som kke er det samme som forventet verd, men heller lk forventet verd av gjennomsnttet av X ved gjentatte kast av ternngen. Det betyr at forventnngen tl X er lk summen av verder sannsynlghet, ford sannsynlghet for verd x angr andel ganger x nntreffer det lange løp. Presst kan det beskrves på følgende måte: Anta m gjentatte kast med ternng med X-verder: x,, x m m x = antall ganger verden x nntreffer, x =,, 6 m 6 x x + +x m = m + m + +6 m 6 = x mx x Statstsk sentralbyrå 3

16 Statststske metoder for offsell statstkk Notater 3/ mx Gjennomsnttet: x x m x x m m 6 ( ) når x x x P X x m x Forventnngen betegnes med E(X) (engelsk: expected value eller expectaton). V har altså at E(X) = P(X = ) + P(X = ) + +6 P(X = 6) = (++..+6)/6 = 3,5..6. To eksempler på bruk av sannsynlghet* Spll med tre dører Et TV-show dreer seg om å tppe bak hvlken av tre dører premen («bl») er. Hver gang en deltaker tpper en dør, la oss s nr., så vl TV-verten (som vet hvor blen er) åpne en av dørene som gjenstår som kke nneholder premen, f.eks. nr. 3. Deretter får deltakeren et valg mellom å beholde stt første tps eller bytte tl den gjenværende døren, her nr.. Spørsmålet er: Bør deltakeren bytte dør, spller det ngen rolle eller bør man kke bytte dør? Dette problemet skapte en stor debatt amerkanske avser på 90-tallet. Mange matematkere og statstkere tok fel! La oss se på et ntutvt svar: Anta spllet ble gjentatt 90 ganger. Hver gang ble blen plassert tlfeldg bak en av dørene, slk at blen er bak dør 30 ganger, bak dør 30 gange og bak dør 3 30 ganger. Anta det er to deltakere: Deltaker A valgte dør hver gang og beholdt dette valget etter at TV-verten har åpnet en dør. Deltaker B valgte dør først og byttet deretter tl den døren som sto gjen etter åpnngen av en dør. Dvs., hvs dør åpnes så velger B dør 3, og hvs dør 3 åpnes velger B dør. V ser da: Deltaker A vnner 30 av 90 ganger: A har /3 sjanse for å vnne. Deltaker B vnner hver gang A taper, dvs. 60 av 90 ganger (hver gang blen er bak dør eller dør 3): B har /3 sjanse for å vnne. Konklusjon: Det lønner seg å bytte dør. Sjansen tl å vnne blr dobbelt så stor! Du kan sjekke dette ved å splle et lgnende spll for to personer med tre kort. La ess = «bl» og velg to vlkårlge kort (kke ess), f.eks. to jokere. Den ene personen spller, mens den andre er «TV-vert». Ved hvert spll legges kortene tlfeldg rekkefølge, og splleren velger et av kortene. «TV-verten» snur et kort som kke er ess, og splleren bytter deretter tl det kortet som kke først ble valgt. Spll dette et par hundre ganger og se hva som skjer. Et matematsk bevs er gtt Appendks A. Fnaler fotball Fnalen EM 06 var Frankrke mot Portugal (som Portugal vant 0). Her ble Frankrke regnet som ganske stor favortt. Mye av nteressen en slk fnale er at en enkel kamp er det absolutt kke skkert at det beste laget vnner. Alt kan skje, slk at det svakeste laget kan vnne. La oss nå prøve å lage et opplegg som skrer at det beste laget blr europamester. Det betyr at EM-fnalen må bestå av flere kamper, og Europamester blr laget som vnner majorteten av dsse kampene. (Hver kamp avgjøres med, om nødvendg, ekstraomganger og straffe). For eksempel hvs det bestemmes at 5 kamper skal splles så må Frankrke vnne tre av dsse for å bl europamester. Det skal splles så mange kamper at v er 95 % skkerˮ på at det beste laget blr EM-mester, dvs. sannsynlgheten for at det beste laget vnner skal være 0,95. Spørsmålet er nå: Hvor mange kamper må splles? Svar: Det avhenger av styrkeforholdet mellom lagene. La n betegne antall kamper som må splles. La oss s at Frankrke vlle slått Portugal 60 % av gjentatte møter. Dvs., Frankrke vlle vunnet 6 av 0 kamper mot Portugal. Hva er nå n? Svaret er 7. Hvs Frankrke antas å slå Portugal 3 av 4 kamper så er n =. En utlednng er gtt Appendks A. Fra tabell A har v: Frankrke styrke n 55 % % 7 4 Statstsk sentralbyrå

17 Notater 3/06 Statststske metoder for offsell statstkk 65 % 3 70 % 7 75 % 80 % 7 For eksempel, hvs Frankrke og Portugal er ganske jevnbyrdge, la oss s at Frankrke antas å vnne 55 % av kampene så er n = 79. Et alternatvt opplegg: Tllat uavgjorte kamper. Må da vnne majorteten av de kampene som kke ender uavgjort. Det er også da mulg å beregne n. To eksempler: Hvs fordelngen av sere, uavgjort og tap for Frankrke antas å være: 60, 0, 0 prosent: n = 4. Hvs fordelngen av sere, uavgjort og tap for Frankrke antas å være: 70, 0, 0 prosent: n = Estmerngsteor enkelt tlfeldg utvalg (ETU) Som nevnt Seksjon., hvert utvalg s med størrelse n har samme sannsynlghet for å bl trukket. I prnsppet kan trekkngen utføres ved å trekke en og en enhet tlfeldg uten tlbakeleggng. La oss se på estmerng av populasjonsmddelverden av varabelen y: y / N. En naturlg estmator er gjennomsnttet utvalget: y ( summen av alle y verdene utvalget s) / n y / n. s Estmatet er den beregnede verden av estmatoren når utvalget er observert, slk at en estmator er selve funksjonen av data. For å beskrve egenskaper tl en estmator trenger v å beregne forventnngen: Forventnngen tl en estmator er den gjennomsnttlge verden av estmatoren ved (uendelg mange) gjentatte observasjoner av estmatoren. Forventnngen betegnes med E(ˆ ) for en estmator ˆ. Denne fortolknngen av forventnngsbegrepet llustreres øvelse. Formelt er forventnngen lk summen av estmatverd sannsynlghet (for verden). For eksempel, hvs ˆ kan ta verdene,, 3 med sannsynlghetene 0,5, 0,3 og 0, henholdsvs, så er E (ˆ ) = 0,5 + 0, , =,4. En estmator er forventnngsrett (engelsk: unbased) hvs E ( ˆ). Skjevheten (engelsk: bas) tl en estmator er E ( ˆ). Det kan vses at y s er forventnngsrett for ETU desgn. Det betyr altså at hvs utvalgstrekkngen gjentas mange ganger (på samme td, dvs. hypotetske gjentakelser) så vl gjennomsnttsverden av estmatoren bl lk. Uskkerheten tl en forventnngsrett estmator måles med den estmerte utvalgsvaransen eller den estmerte standardfelen (SE for engelsk: standard error). N s Var ( ˆ) E( ˆ ), hvs E( ˆ). Dvs., Var(ˆ ) er gjennomsnttlg verd ved hypotetske gjentakelser av ( ˆ ). Standardfelen er da Var(ˆ). Hvs ˆ kke er forventnngsrett så defneres varansen tl å være Var( ˆ) E( ˆ E( ˆ)). La V ˆ ( ˆ ) være et (helst forventnngsrett) estmat av Var (ˆ ). Den estmerte standardfelen er da SE( ˆ) Vˆ( ˆ ). For enkelthets skyld bruker v kun betegnelsen standardfel for den estmerte standardfelen. Noen resultater for enkelt tlfeldg utvalg: () La være sannsynlgheten for at enhet er utvalget, trekkesannsynlgheten. Da er =n/n, utvalgsandelen. () E ( y s ). (3) La N være populasjonsvaransen, ( y ). N N Her er ( y ) er summen av alle ( y ) populasjonen. Statstsk sentralbyrå 5

18 Statststske metoder for offsell statstkk Notater 3/06 n Da er Var ( ) ( ). Faktoren (- n/n) kalles endelg populasjonskorreksjon. y s n N er et mål på hvor stor varasjon det er populasjonen, dvs. hvor mye y varerer mellom enhetene, f.eks., hvor forskjellg egenmeldt sykefravær er for de forskjellge bedrftene. Populasjonsvaransen estmeres ved utvalgsvaransen ˆ ( ). y s ys n Hvor ( y y ) summerer, for alle enheter utvalget s, ( y ). s s ˆ n Estmert varans: Vˆ( y s ). n N Vanlgvs rapporterer v standardfelen tl estmatet: SE( ys ) Vˆ( ys ). For å llustrere beregnngen av varansestmat og standardfel, anta y er egenmeldt sykefravær prosent og at populasjonen består av 0 bedrfter. Utvalget er på 4 bedrfter med s = (,4,7,8) med y-verdene 4,0 6,7 9,0 3,5. Da er y s ( y y4 y7 y8) / 4 3, / 4 5, 8 og ( y ) ( s ) ( 4 s ) ( 7 s ) ( 8 s ),8 0,9 3,,3 9,58. s ys y y y y y y y y Det gr at ˆ 9,58 / 3 6, 57 og estmert varans blr Vˆ ( ) 6,57 ( 4 /0) / 4 0, 979 og y s y s SE ( y s ) 0,979 0,989. Felmargnen er defnert som SE( y ), som kan forklares ved begrepet konfdensntervallˮ: s Et konfdensntervall er et ntervall som med stor skkerhet nneholder den størrelsen v ønsker å estmere. Det mest vanlge er å beregne et 95 % konfdensntervall: Da er v 95 % skkerˮ på at ntervallet nkluderer den sanne verden. Konkret tolknng av begrepet skkerˮ: Hvs v trekker utvalget 00 ganger så vl det beregnede ntervallet nneholde den sanne verden 95 ganger. Konfdensntervallet for ved ETU er basert på sentralgrenseteoremet: For store n, N n så er normalfordelt. Av dette får v at 95 % konfdensntervall for er gtt ved: ys,96 SE( ys ), ys,96 SE( ys ) ys,96 SE( ys ). Derav ser v hvorfor SE( y ) betegnes som felmargnen. s y s (tlnærmet).8. Eksempel Kvaltetsndeks Calforna skoler Academc Performance Index (API) for alle Calforna skoler Basert på standardsert testng av elevene Data fra alle skoler med mnst00 elever Enhet populasjon = skole (Grunnskole/Ungdomsskole/Vderegående) Populasjonen består av N = 694 observasjoner Ser på varabelen: y = ap00 = API 000 Mddel(y) = med mn(y) =346 og max(y) =969 Datasett R: appop og y= appop$ap00 For ett utvalg av størrelse n = 00 fkk v følgende resultater: y s 654,5 og SE( ys ),6. Et tlnærmet 95 % konfdensntervall blr: 654,5,96,6 654,5 4,7 (69,8 679,). R-kode (engelsk tegnsettng) som ble brukt: s=sample(:694,00) ybar=mean(y[s]) se=sqrt(var(y[s])*(694-00)/(694*00)) ybar [] var(y[s]) [] se [] Statstsk sentralbyrå

19 Notater 3/06 Statststske metoder for offsell statstkk Her er var(y[s])= ˆ. Verden av utvalgsfelen er lte nformatv hvs den kke er relatert tl selve estmatet. For eksempel, SE = er lten hvs estmatet er 000, men meget stor hvs estmatet er 3. Varasjonskoeffsenten for estmatet er et mål på den relatve varasjonen tl estmatet og er defnert ved: CV( ys ) SE( ys ) / ys. I dette eksemplet så er CV ( y s ),6/ 654,5 0,09,9 %. CV er uavhengg av måleenhet og mer stabl over gjentatte undersøkelser. CV kan brukes planleggng, for eksempel tl å bestemme utvalgsstørrelsen. Den er speselt menngsfull ved estmerng av andeler. V gjentok trekkngen 0 ganger tl. Resultatene er vst tabell.. Tabell. T konfdensntervall fra t enkle tlfeldge utvalg på n = % konfdensntervall Inkluderer sann verd 664,7. 644,9 69, ja. 668,9 76, ne 3. 66,7 670,3 ja 4. 67, 7,9 ne , 70,9 ja 6. 63,3 667, ja 7. 65,3 699,0 ja 8. 69,0 675,5 ja 9. 65,6 669,8 ja 0. 63, - 680,6 ja.9. Estmerng av populasjonsandel p med en vss egenskap/kjennemerke A La p = (antall enheter populasjonen med A)/N. Defner varabelen y ved y = hvs enheten har kjennemerke A, 0 ellers. Da er p populasjonsgjennomsnttet av y ene. La X være antall enheter utvalget med kjennemerke A. Da kan utvalgsgjennomsnttet uttrykkes som pˆ ys X / n. Med enkelt tlfeldg utvalg så har v at E( pˆ) p, og estmatet av varansen tl estmatoren blr pˆ( pˆ) n Vˆ( pˆ) ( ). n N Eksempel: I en poltsk menngsmålng med et tlfeldg utvalg på 000 stemme-berettgede personer Norge, ser 80 de vl stemme på AP. Den estmerte andel av AP stemmer Norge er gtt ved: p ˆ 80/000 0,8. pˆ( pˆ) n 0,80,7 Standardfelen er SE ( pˆ) ( ) 0, 04, og 95 % konfdensntervall: n N 999 p ˆ,96 SE( pˆ) 0,80 0,08 (0,5 0,308). Statstsk sentralbyrå 7

20 Statststske metoder for offsell statstkk Notater 3/06 3. Estmerngsmetoder utvalgsundersøkelser Dette kaptlet omfatter følgende: Planleggng av utvalgsstørrelse Bassestmator for utvalgsundersøkelser: Rate-estmatoren Bassestmator for utvalgsundersøkelser. Horvtz-Thompson estmatoren Modfsert Horvtz-Thompson estmator Ikke-eksstens av optmale estmatorer 3.. Bestemme utvalgsstørrelse basert på konfdensntervall, for populasjonsandel Utvalgsstørrelsen har avgjørende effekt på undersøkelsens kostnad og tdsbruk. Hvor stor n bør være avhenger av formålet med undersøkelsen. I en menngsmålng for å estmere partpreferanse så er n = 000 typsk nok. I kvartalsvs AKU så er n = 4000, speselt på grunn av ønsket påltelghet for endrngstall. Det er hovedsakelg tre faktorer som bør betraktes/vurderes:. Ønsket nøyaktghet på estmater for mange varabler. Fokusere på en eller to varabler av prmær nteresse. Homogentet populasjonen. Behøver mndre utvalg hvs lten varasjon populasjonen 3. Estmerng for delgrupper, «domener», populasjonen. Det er ofte faktor 3 som setter det høyeste kravet på undersøkelsen. Det bør da tas et stratfsert utvalg, et utvalg fra hvert domene (stratum). Anta problemet er å estmere en populasjonsandel p for et vsst stratum, og v bruker utvalgsandelen fra stratumet tl å estmere p. La n være utvalgsstørrelsen for dette stratumet, og anta at n/n er ubetydelg. La oss s at ønsket nøyaktghet for dette stratumet er at 95 % KI for p skal være ±5 %. V har da tlnærmet 95 % KI for p : pˆ,96 pˆ( pˆ) / n slk at nøyaktghetskrav blr nå:,96 pˆ( pˆ) / n 0,05 / 0 n,96 0 pˆ( pˆ) 3, ,5 0, () Dette kommer av at pˆ ( pˆ) 0,5 0,5 for alle verder av pˆ. Estmatet er ukjent planleggngsfasen. V kan bruke den konservatve størrelsen 384 eller en plannngsverd p 0 med n = 536 p 0 (- p 0 ). For eksempel, med p 0 = 0, så blr n = Bestemme utvalgsstørrelse basert på varasjonskoeffsenten, for populasjonsandel* Et alternatvt mål på nøyaktghet er å bruke varasjonskoeffsenten CV, CV( pˆ) c. Det betyr at pˆ SE( pˆ) / pˆ c n. c pˆ Det følger av at SE( pˆ ) / pˆ ( pˆ ) / pˆ slk at SE( pˆ) / pˆ c n ( pˆ) / pˆ. n c p0 Med planleggngsverd p 0 : n. c p0 For en gtt planleggngsverd p 0 og CV = c, så er SE=c p 0. Med c = 0, så blr utvalgsstørrelsen og tlhørende konfdensntervall: Med p 0 = 0,5: n = 00 og tlnærmet 95 % konfdensntervall = p ˆ SE( pˆ) pˆ 0, p0 pˆ 0, 0 Med p 0 = 0,: n = 900 og tlnærmet 95 % konfdensntervall = p ˆ SE( pˆ) pˆ 0, p0 pˆ 0, 0 Eksempel: Månedlg arbedsledghet Det er vktg å oppdage endrnger arbedsledghet fra måned tl måned, La oss bruke en planleggngs-verd p 0 = 0,05. La d være ønsket nøyaktghet på felmargnen. Da har v, fra (): 8 Statstsk sentralbyrå

21 Notater 3/06 Statststske metoder for offsell statstkk,96 SE( pˆ) d,96 p ( p 0 0 ) / n d,96 p ( p 0 0 ) / n d n 3,84 p0 ( p0 ) / d 0,84 / d Noen utvalgte verder av d: d = 0,00 (felmargn = 0, %) gr n = 8400 d = 0,00 : n = d = 0,005: n = 7300 Merk at d = 0,005 SE ( pˆ) d /,96 0,0055og CV( pˆ) 0,0055/ 0,05 0,05 5, % Bestemme utvalgsstørrelse basert på varasjonskoeffsenten, generelt Generelt, hvs v skal estmere et populasjonsmddel, så vl n avhenge av hvor stor y-varasjonen er populasjonen. Hvs v bruker utvalgsmddel som estmat så er varasjonskoeffsenten populasjonen, / n CV, (N er så stor at endelg populasjonskorreksjon kan neglsjeres). Med CV som mål på nøyaktghet så blr / n CV Tabellen vser hvordan n varerer med / for et gtt krav CV. Tabell 3. Utvalgsstørrelse som funksjon av CV og populasjonens relatve varasjon CV 0, 0,5 0,5 0, , ,0 7 5 I de neste kaptlene 3. og 3.3 skal v se på to bass estmatorer utvalgsundersøkelser, rate-estmatoren og Horvtz-Thompson estmatoren. V skal betrakte rate-estmatoren for enkelt tlfeldg utvalg. Horvtz-Thompson estmatoren er utvklet for generelle sannsynlghetsutvalg hvor trekksannsynlghetene kan være ulke Rate-estmatoren Anta v har kjent tlleggsnformasjon for hele populasjonen, x ( x, x,..., xn ). La X x. For eksempel, x kan være: I personundersøkelser: alder, kjønn, nntekt I økonomske undersøkelser: omsetnng, antall ansatte tl en bedrft/vrksomhet Rate-estmatoren er vanlgst for bedrftsundersøkelser. Hvs målet er å estmere en populasjonstotal t for en varabel y, så er rate-estmatoren er defnert ved ˆ y s ys tr X X. x s x s V kan uttrykke rate-estmatoren på følgende form: ˆ X tr ( Nys ). Nxs Den vanlge estmatoren, tˆ e Nys, kalles ekspansjonsestmatoren. V ser at rate-estmatoren justerer ekspansjonsestmatoren de tlfeller hvor x-verdene utvalget er for små eller for store. Dette er rmelg hvs det er en postv korrelasjon mellom x og y. En modellbegrunnelse for rate-estmatoren Hvs det er en proporsjonal sammenheng mellom x og y, for eksempel forbruk forhold tl nntekt, så kan v uttrykke det på følgende måte: y x dvs., t X N y og N x N y / N x R. N Statstsk sentralbyrå 9

22 Statststske metoder for offsell statstkk Notater 3/06 Hvs R hadde vært kjent så kunne v estmert t med R X. I enkelt tlfeldg utvalg kan v bruke rateforholdet utvalget tl å estmere R: ˆ y s ys R og tˆ Rˆ X tˆ R. x x s s Eksempel: datasettet «trees» R. Populasjonen består av 3 trær (sorte krsebær trær), og det er foretatt målnger av: dameter (cm), høyde (m) og volum (m 3 ). Det er vanskelg å måle volum så v skal estmere totalt volum for de 3 trær ved å trekke et tlfeldg utvalg på 0 trær. Dvs., v skal estmere 3 t y hvor y er volum tl tre. ET enkelt tlfeldg utvalg på 0 trær ga følgende observasjoner som vst sprednngsplottet nedenfor. Fgur 3. Sprednngsplott for dameter mot volum for et enkelt tlfeldg utvalg på 0 trær x[s] Tlsvarende har v sprednngsplott for hele populasjonen. Fgur 3. Sprednngsplott for dameter mot volum for alle 3 trær y y[s] x 0 Statstsk sentralbyrå

23 Notater 3/06 Statststske metoder for offsell statstkk Sden v kjenner volumet tl alle trær populasjonen, så kan den sanne verden beregnes, og verden er t = 6,48. Rateestmatet blr: t ˆ R 8,40. Hvs v kke hadde tlleggsnformasjonen om dameter så hadde v estmert med t ˆ N y 8,9. e For å llustrere varasjonen estmatene har v trukket 5 utvalg tl. Resultatene er gtt tabell 3.. s Tabell 3. Resultater fra fem enkle tlfeldge utvalg. Sann t = 6,48 Utvalg nr Rate-estmat Ekspansjons-estmat 5,0 4,90 3 0,77 8,5 4 5,5 6,3 5,04 0, ,4 34,37 Merk at med utvalg 4 får v et bedre estmat ved kun å bruke gjennomsnttet. Noen egenskaper for rate-estmatoren: E( tˆ R ) t, for store n, tlnærmet forventnngsrett. Varansen er gtt ved n N Var( tˆ R ) N ( ) ( y Rx ). N n N V merker oss følgende vktge egenskaper: Rate-estmatoren er meget press når populasjons-punktene (y, x ) lgger nær en rett lnje gjennom orgo. Rate-estmatoren er mer nøyaktg enn ekspansjonsestmatoren hvs Rx predkerer y bedre enn hva y gjør: N N Var(ˆ t ) Var( Ny ) ( y Rx ) ( y ). R s I økonomske bedrftsundersøkelser er det ganske vanlg å bruke en rate-estmator, med omsetnng eller antall ansatte som tlleggsvarabel. Estmert varans for rate-estmatoren: N ( y Rx ) Varansestmatet blr: x V (ˆ t ) R xs /( N ) er estmert ved f n n s ( y Rx ˆ ) ˆ N ( ˆ ) y s Rx. /( n ). Merk at hvs xs er veldg lten, da er Rˆ mer uskker og varansestmatet blr større for å gjenspele det. Standardfelen tl rateestmatoren: SE( tˆ ) Vˆ ( tˆ ) og 95 % konfdensntervall er gtt ved R tˆ R,96 SE(ˆ t R ). I dette sjette utvalget med rateestmat lk 30,4 så er SE( tˆ R ),4 og konfdensntervallet blr ( 6, 34,60). Ekspansjonsestmatet har standardfel lk 4,7. R 3.5. Horvtz-Thompson estmator ulke trekkesannsynlgheter V ser på (lneære) estmater på formen tˆ w y hvor w kke avhenger av s. Det kan vses at tˆ er s forventnngsrett for alle verder av y hvs og bare hvs w = /. y tˆ HT s. y Statstsk sentralbyrå

24 Statststske metoder for offsell statstkk Notater 3/06 Den eneste vekten som gr forventnngsretthet er /, den nverse trekksannsynlgheten. I enkelt tlfeldg utvalg så er = n/n og dermed ˆ N t HT y. s n Nys Horvtz-Thompson estmatoren er en vanlg brukt estmator offsell statstkk. Varansen er lten hvs trekkesannsynlghetene bestemmes slk at y / er tlnærmet lke, dvs., øker med økende y. V kjenner selvsagt kke verden tl y når v planlegger en survey, så v bruker steden kjent tlleggs-nformasjon x og velger sden summen av alle er lk n. I øvelse x llustreres nx det / X som er hovedproblemet med en generell anvendelse av Horvtz-Thompson estmatoren, nemlg at varansen kan bl så stor at estmatoren blr unteressant og kan kke brukes En modfsert H-T estmator* Betrakt først estmerng av populasjonsmddel y t / N. Et opplagt valg av estmator er yˆ ˆ HT t HT / N. Alternatvt s å kan v også estmere N, uansett om N er kjent eller kke. Nˆ (her er y for alle) s For enkelt tlfeldg utvalg, = n/n ˆ N N N. s n Den modfserte HT-estmatoren er da y s / yˆ w tˆ HT / Nˆ tˆ w Nyˆ w / tˆ w er ofte bedre enn tˆ HT, og tlnærmet forventnngsrett. Den har vanlgvs mndre varans. Så tˆ w er vanlgvs estmatoren som bør brukes, uansett om N er kjent eller kke. V ser at den er en type rate-estmatorˮ. Hvs utvalgsstørrelsen varerer så vl rate-estmatorenˮ fungere bedre enn H-T estmatoren, raten er mer stabl enn telleren. s Illustrasjon y = c, for =,, N. Utvalgsplan er Bernoull samplng; hver enhet populasjonen velges med sannsynlghet en etter en. Da er utvalgsstørrelsen n en stokastsk varabel og har en bnomsk (N,) fordelng med E(n) =NDe to estmatorene blr nå: n tˆ HT c nc tˆ / w N Nc t n / H-T estmatoren varerer sden n varerer, mens den modfserte H-T er perfekt stabl Ikke-eksstens av optmale estmatorer I vanlge statstske modeller så fnnes det optmale estmatorer, forventnngsrette med mnst varans blant alle forventnngsrette estmatorer. Det gjelder for eksempel lneær regresjonsanalyse. Der er de estmerte regresjonskoeffsentene optmale denne forstand, blant alle lneære estmatorer hvs det kke antas noen fordelng på resdualene, og blant alle estmatorer hvs resdualene antas normalfordelte. En særegenhet ved desgn-basert nferens utvalgsundersøkelser er at det kke fnnes slke «beste» estmatorer. «Vanlge» grunnleggende estmatorer har kke samme egenskaper desgn-basert utvalgsteor som de har vanlge statstske modeller. V har faktsk et mye sterkere resultat (som også medfører at uansett hvor lten populasjon og utvalg er, så nytter det kke å lete etter en forventngsrett estmator med mnst varans): Teorem: Anta en hvlken som helst utvalgsplan. Anta hver y kan ha mnst to verder. Da ekssterer det ngen unformt best (mnmum varans) desgn-forventnngsrett estmator for totalen t. Statstsk sentralbyrå

25 Notater 3/06 Statststske metoder for offsell statstkk 4. Stratfserng og flertrnnsutvalg Dette kaptlet tar oppfølgende temaer: Utvalgsplan med begrunnelse Estmerng av populasjonstotaler og andeler stratfserte utvalg Fordelng av utvalg mellom strataene. Proporsjonal og optmal allokerng Andre utvalgsplaner Klyngeutvalg -trnnsutvalg 4.. Stratfserte utvalgsplaner Gunnleggende dé er å dele opp populasjonen U H delpopulasjoner, kalt strata. Størrelsen på stratum h betegnes med N h og antas kjent. Fra hvert stratum trekkes et separat utvalg s h av størrelse n h, uavhengg mellom strata. Stratfserte utvalgsplaner krever at man har tlgang på god regster-nformasjon. I person-undersøkelser er det vanlg å stratfsere etter geografske regoner, aldersgrupper, kjønn, mens bedrftsundersøkelser så er det vanlg å stratfsere ved å bruke nærng og antall sysselsatte som stratfserngsvarable. For eksempel, SSBs Levekår Helse 0 er det stratfsert etter kjønn 5 aldersgrupper 7 landsdeler slk at det totale antall strata = x5x7 = 70. Noen begrunnelser for stratfserng er:. at strata danner domener av nteresse hvor separate estmater av gtt pressjon er ønsket. For eksempel, strata = geografske regoner.. å spre utvalget over hele populasjonen. Det blr lettere å få et representatvt utvalg. 3. å få mer nøyaktge estmater av populasjonstotaler, dvs., redusere utvalgsvarans. 4. at det kan brukes forskjellge datannsamlngsmetoder forskjellge strata, for eksempel telefon noen strata og besøksntervjuer andre. 4.. Estmerng stratfsert enkel tlfeldg utvalg Dette er den mest vanlge stratfserte utvalgsplan. Fra hvert stratum trekkes et enkelt tlfeldg utvalg. V trenger ltt notasjon: Fra stratum h: utvalg s h av størrelse n h H Total utvalgsstørrelse n n h h Gjennomsnttet s h : y h Utvalgsanden stratum h : n h /N h H Populasjonstotalen er t t, h h hvor t h = y-total for stratum h. V ser på det tlfelle at v har ngen tlleggsnformasjon utenom stratfserngsvarablene og estmerer t h med tˆ h N h yh. Med ekstra tlleggsnformasjon kunne v brukt en rate-type estmator for t h. Den stratfserte estmatoren av t er da summen av t h estmatorene t H H ˆ ˆ st t. h h N y h h h Estmerng av populasjonsmddel t/n er stratfsert mddelverd: H y ˆ st tst / N ( N / ). h h N y h V ser at denne estmatoren er et vektet gjennomsntt av utvalgsmddel-verdene. Egenskaper tl den stratfserte estmatoren følger fra egenskaper tl ETU-estmatorer. V nnfører følgende notasjon: Populasjonens mddelverd stratum h er h og stratumvarans betegnes med. V har da følgende h Statstsk sentralbyrå 3

26 Statststske metoder for offsell statstkk Notater 3/06 Et ( ˆ ) t, tˆ er forventnngsrett st st Vart H ( ˆ ) Vart H ( ˆ ) N h nh st ( ) h h h h n N h h Estmert varans oppnås ved estmerng av stratum varans med stratum utvalgsvarans, ˆ h ( y yh) sh n h Vt ˆ ˆ ( ˆ ) N n st ( ) n N H h h h h h h Og 95 % konfdensntervall blr: tˆ,96 ˆ(ˆ st V t st ). Dette forutsetter at estmatoren er tlnærmet normalfordelt, dvs., utvalgsstørrelsene n h kan kke være for små. Estmerng av populasjonsandel stratfsert enkelt tlfeldg utvalg Andel stratum h med et vsst kjennemerke A betegnes med p h, estmert ved stratum h har kjennemerke A, og 0 ellers. Populasjonens mddelverd er slk at stratum mddelestmator er H p t / N N pˆ st y st H h h ( N p h h / h N / N) pˆ h pˆ y. Her er y = hvs enhet h h 4.3. Allokerng (fordelng) av utvalgsenhetene Det er vktg å ha gode krterer for å bestemme størrelsene på stratumutvalgene, gtt totalt utvalg på n enheter og gtt stratanndelngen. Dvs., hvordan v vl allokere utvalgsenhetene tl strataene. Den mest vanlge allokerngen er proporsjonal allokerng: Et representatvt utvalg bør spele populasjonen Strata andeler: W h =N h /N Strata utvalgsandeler bør være de samme: n h /n = W h Proporsjonal allokerng: Nh nh n nh n for alle h. N Nh N Trekkesannsynlghetene stratum h er nh / Nh n / N. Dvs., lk for alle enheter populasjonen, men det er kke enkelt tlfeldg utvalg. Den stratfserte estmatoren blr da tˆ st N y s. Det ses på følgende måte: ˆ Nh N tst N s. h h yh y h s y h s N y n h h n h Et lke-vektet utvalgsmddel, v ser at utvalget er selv-veende: Hver enhet utvalget representerer det samme antall enheter populasjonen, N/n. La oss nå sammenlgne denne estmatoren med estmatoren enkelt tlfeldg utvalg, tˆetu Ny s. Under proporsjonal allokerng, tˆ ˆ st tetu, samme estmator, men varansene er forskjellge: Under enkelt tlfeldg utvalg: ( ˆ n Var t ) N ( ) n N Under proporsjonal allokerng: ˆ n H Var( tst) N ( ) W. h h h n N V har følgende uttrykk for den totale populasjonsvaransen: H H W ( ). h h h W h h h Total varans = varans nnen strata + varans mellom strata. Noen mplkasjoner er: ETU ETU 4 Statstsk sentralbyrå

27 Notater 3/06 Statststske metoder for offsell statstkk. Uansett stratfserngsopplegg : Proporsjonal allokerng gr mer nøyaktge estmater for populasjonstotalen enn enkelt tlfeldg utvalg.. Velg strata med lten varasjon, mndre strata varanser. Da vl strata mddelverdene varere mer og mellomvaransen blr større og pressjonen tl estmatene øker sammenlgnet med enkelt tlfeldg. Eksempel Calforna skolenes kvaltetsndkator fra delkapttel.8 Ser på estmerng av gjennomsnttlg API 000. Stratfserngsvarabel er «schooltype». Det blr da tre strata: Stratum: Elementary schools N = 44 Stratum : Mddle schools N = 08 Stratum 3: Hgh schools N 3 = 755 Et 5 % stratfsert utvalg, n = 30, med proporsjonal allokerng gr følgende utvalgsstørrelser: n = n = 5 n 3 = 38 Estmerng av populasjonsmddel t/n ved stratfsert mddelverd ga følgende resultater: 3 y ˆ st tst / N N 66,9 h h y h N SE 7,5 95 % konfdensntervall: 647,7 676, (sann verd er 664,7). Tl sammenlgnng, et enkelt tlfeldg utvalg på 30 skoler ga som resultat et estmat lk 65, med SE = 7,4. I en vanlg undersøkelse er selvsagt populasjonssnttet ukjent, og v må bruke standardfelen for å s noe om uskkerheten på estmatet Optmal allokerng Hvs det eneste v ønsker å betrakte er estmerng av en populasjonstotal t så vl naturlgvs: velge n h slk at varansen tl stratfsert estmator er mnmum Det vser seg at løsnngen avhenger av ukjente stratum varanser hvs stratum varansene er omtrent lke, så vl proporsjonal allokerng mnmere varansen tl stratfsert estmator Det kan vses at optmal allokerng er gtt ved: N h h N h h nh n n. H N N N N H H k k... k Den kalles Neyman allokerng (ble vst av Neyman en artkkel fra 934). Fortolknng av resultatet er: Ta mange observasjoner stratumet hvs stratum utgjør en stor del av populasjonen stratumvarans er stor Hvs stratumvaransene er lke så er dette proporsjonal allokerng Problemet, selvsagt, er at stratumvaransene er ukjente. En måte få nformasjon om stratumvaransene er å ta et lte prelmnært utvalg (plot). Samtdg er varansen tl den stratfserte estmatoren kke veldg følsom for avvk fra optmal allokerng. V trenger derfor bare grove tlnærmnger tl stratum varansene. Noen andre temaer ved allokerng: Vanlgvs er det mange studevarabler en undersøkelse, og varablene leder tl forskjellge optmale løsnnger. Man kan da velge en eller to nøkkelvarabler eller bruke proporsjonal allokerng som et kompromss. Det er mulg å trekke nn kostnader for forskjellge typer nnsamlnger som telefon, besøk, web. Hovednteressen er noen ganger estmerng av stratumtotaler og mndre nteresse pressjonen tl estmatet for populasjonstotalen. Da bør n h bestemmes for å oppnå ønsket nøyaktghet for estmatet av t h, som nevnt tdlgere. Hvs v har bestemt oss for proporsjonal allokerng utgangpunktet, så kan det bety små strata (små N h ) at utvalgsstørrelsen n h må økes. V skal nå kort beskrve noen andre typer av utvalgsplaner. Statstsk sentralbyrå 5

28 Statststske metoder for offsell statstkk Notater 3/ Klyngeutvalg og flertrnnsutvalg Utvalgsplanene v så langt har nevnt er drekte trekkng av enheter ett trnn. Av økonomske og praktske hensyn så kan det være nødvendg å modfsere dsse utvalgsplanene. For eksempel, Det ekssterer kke noe populasjonsregster, og det er umulg eller veldg kostbart å produsere et slkt regster. Populasjonsenheter er spredt over et stort område og et drekte utvalg vl også være veldg spredt. Hvs det skal foretas besøksntervjuer så vl resekostnader bl høye og det vl kke være mulg å besøke alle enhetene utvalget. En modfsert utvalgstrekkng kan gjøres ved å:. velge utvalget ndrekte grupper, kalt klynger (engelsk:clusters); klyngeutvalg Populasjonen er gruppert klynger Utvalget består av et utvalg av klynger og alle enheter utvalget av klynger For eksempel, AKU er klynger = husholdnnger og enheter = personer.. velge utvalget flere trnn. Eksempler. Klyngeutvalg. Man skal ha et utvalg av elever vderegående skole (vg) et vsst område, for å undersøke røykng og alkoholbruk. Hvs en lste av vg klasser er tlgjengelg så kan v velge et utvalg av vg klasser og g spørreskjema tl hver elev de valgte klassene. Dette er et klyngeutvalg med vg klasser som klynger.. Totrnns klyngeutvalg. Hvs en lste av klasser kke er tlgjengelg så kan v først velge vg- skoler, deretter klasser og tlslutt alle elvene de utvalgte klassene. Da har v et totrnns klyngeutvalg med PU = vderegående skole SU = klasser Enheter = elever Enkelt tlfeldg klyngeutvalg Estmatoren for populasjonens mddelverd er her y s. Følgende egenskaper er vktge å merke seg: Estmatorens varans er sterkt påvrket av hvordan klyngene er konstruert. Varansen blr mndre jo mer y varasjon det er klyngene, slk at det meste av y varasjonen lgger klyngene. Det betyr at mddelverdene klyngene blr lknende. Merk at det er motsatt stratfserte utvalg. Typsk så dannes klyngene av nærlggende enheter som husholdnnger, skoler, sykehus på grunn av økonomske og praktske grunner, med lten varasjon nnen klyngene: o Enkelt tlfeldg klyngeutvalg vl derfor medføre mye mndre presse estmater sammenlgnet med vanlg enkelt tlfeldg utvalg, men tl gjengjeld så får v store kostnadsreduksjoner. To-trnnsutvalg En begrunnelse er at med homogene klynger og et gtt budsjett så er det kke nødvendg å samle nn nformasjon fra alle enheter klyngene - kan steden velge flere klynger. Populasjonen delt nn N prmære utvalgsenheter (PU) Trnn : Velg et utvalg s I of PU, ofte geografske regoner Trnn : For hver valgte PU s I : Velg et utvalg s av enheter (sekundære utvalgsenheter, SU) Klyngetotaler t må estmeres fra utvalget. 6 Statstsk sentralbyrå