Pilot folkehelseundersøkelser i fylkene statistiske utfordringer. Rune Johansen, Nasjonalt folkehelseinstitutt Kristiansand 4.

Transkript

1 Pilot folkehelseundersøkelser i fylkene statistiske utfordringer Rune Johansen, Nasjonalt folkehelseinstitutt Kristiansand 4. september 2014

2 Rune Johansen, forsker, Nasjonalt folkehelseinstitutt, divisjon for psykisk helse. Helseundersøkelser, analyse av helsedata. Prosjektleder for pilot for folkehelseundersøkelser i fylkene. Stor gruppe med medarbeidere i FHI og fylkene. Skal fokusere på ulike statistiske utfordringer. Overordnede problemstillinger.

3 Sammendrag Bakgrunn Hva skal piloteres? Organisasjonsmodell Felles anbud en utfordring? Spørreskjemaet Telefonintervju vs internett Responsrate og selektivt frafall Utvalgsstørrelse og representativitet.

4 Bakgrunn Høsten 2012 fikk FHI i oppdrag fra HOD å utarbeide maler for FHUS blant voksne, jfr folkehelseloven. Forbedring av datagrunnlaget for folkehelsearbeid i fylkene. Forslag til maler, inkl spørreskjema ferdig våren Viktig å pilotere!

5 Hva kan man få ut av en pilot? Kunnskap om gjennomføring av FHUS, bedre kvalitet? Design, spørreskjema, utvalg osv. Konkret deskriptiv statistikk, resultater som kan brukes her og nå. Data egnet til forskning?

6 Hva skal piloteres? Samarbeid på tvers av fylkene anbudsprosessen. Samarbeid mellom fylkene og FHI. Spørreskjemaet - reliabilitet og validitet. Sammenlikne telefonintervju med internettundersøkelse. Responsrate - selektivt frafall. Utvalg størrelse og fordeling.

7 Pilotundersøkelser et dilemma? Hold så mange variable som mulig konstant! Dermed lettere å tilskrive effekter og observerte forskjeller. I motstrid til ønsket om å teste ut så mye som mulig. Man har verken tid eller ressurser til å teste ut bare en ting.

8 Organisasjonsmodell FHI koordinator for pilot. Fylkene sender ut anbud i fellesskap. Ekstern aktør gjennomfører datainnsamling. FHI analyserer datafil.

9 Felles anbud fylkene imellom en utfordring? Ulike fylker kan ha ulikt (økonomisk) handlingsrom, forskjellige ambisjoner og prioriteringer? Vanskelig å enes om en felles aktør? Ikke gitt at alle fylker vil akseptere de løsninger og anbefalinger man kommer frem til? Hvilke(t) fylke(r) skal ha ansvaret for å gjennomføre anbudsrunden på vegne av resten? Hvordan skal kvalitet og kostnader vektes? Forskjeller i utvalgsstørrelse - hvor mye skal de enkelte fylkene betale?

10 Markedsføring Samordnet informasjonskampanje? Informasjonsbrosjyre? Annonsere i lokalaviser? Kommunenes nettsider? Vanskelig å koordinere? Liten kontroll på hva enkeltkommuner gjør? Kan forskjeller i resultater (for eksempel responsrate) skyldes ulikheter i markedsføring?

11 Rekruttering Uttrekning av utvalg. Representativitet? Alternativ for å takle lav responsrate: trekke til man har fått mange nok? Seleksjon. Invitasjonsbrev til de som blir trukket ut. SMS med telefonnummer? Gulrot? Flax-lodd, sydentur etc?

12 Gjennomføring Gjennomføre i samme periode i alle fylker for å unngå sesongeffekter parallelle intervjusesjoner heller enn å ta for seg fylkene sekvensielt. Ikke spre undersøkelsen for langt ut i tid (max 1 mnd?) den som skal gjennomføre datainnsamlingen må ha et stort nok apparat (intervjukorps).

13 Omfattende prosess Spørreskjemaet Intern prosjektgruppe på FHI, med representanter for divisjonene. Referansegruppe med representanter fra fylkene. Hard prioritering!

14 Spørreskjemaet - lengde Færre spørsmål, mer pålitelige svar? Viktigst ved postale skjema? Kostnader; ca 15 minutter per intervju. Bedre responsrate med kortere skjema? Snaue 30 spørsmål i hovedmodul. Ingen tilleggsmodul i pilot.

15 Spørreskjemaet - innhold Validitet og reliabilitet? Bruke godt etablerte spørsmål? Norge eller internasjonalt? Spørsmål for intervju eller postal spørreundersøkelse? Privat helse eller informasjon relevant for fylkenes folkehelsearbeid? Trivsel, trygghet, sosial støtte, muligheter for helsebringende atferd osv.

16 Tilkopling av registeropplysninger Kortere spørreskjema. Sosiodemografi; kjønn, alder, utdanning, arbeid, inntekt, trygd, fødeland, kommunenummer. Må søke REK/datatilsynet - helseforskning? Lite kontroversielle opplysninger? Fjerner likevel kommunenummer fra små kommuner. Får (representative) data om store kommuner?

17 Telefon vs internett Postale undersøkelser stor nedgang i responsrate? Skjevhet mhp alder, kjønn eller utdanning? Hvordan påvirker det responsraten totalt sett? CATI (Computer-Assisted-Telephone-Interview) slipper scanning av skjemaer, men svarene må jo uansett kvalitetssikres.

18 Responsrate - selektivt frafall Forventet responsrate 40-50%? Jevnt synkende de siste årene. Seleksjon mhp alder, utdanning, kjønn? Eldre, høyt utdannete kvinner de som helst svarer. Statistisk kraft (power)?

19 Utvalgsstørrelse Bruttoutvalg minst 5000 i hvert deltagende fylke? 18 år og eldre, ikke i institusjon. Død, utflyttet eller ikke i målgruppen ikke med i bruttoutvalget. Frafallsanalyse. Utgjør vanligvis ca 3% av det trukkede utvalget (LKUS - SSB).

20 Regioninndeling Nedbryting på kommuner urealistisk. Krever for store utvalg. Regioner kommuner med felles «attributter»; geografi (by/land kyst/innland). Fylkesrepresentativitet vs statistisk kraft (power)? Nettoutvalg minst 400 omtrent det som trengs for aktuelle variable i slike undersøkelser, gitt normale effektstørrelser og et signifikanskrav på 5%-nivå. Forventet responsrate på 50% gir et bruttoutvalg på 800. Må oversample tynt befolkede regioner? Vekte tilbake etterpå for å få representative tall på fylkesnivå.

21 Agderfylkene Fem regioner, skjev befolkningsfordeling. Region Innbyggere Teoretisk utvalg Foreslått utvalg

22 Deskriptiv statistikk Krysstabeller; epidemiologiske variable vs grunnleggende sosio-demografi; alder, kjønn, utdanning. Må begrense seg? Signifikanstesting? Regresjoner? Statistisk gangsyn, og evne til å tolke data, og sette de inn i en sammenheng er viktigere enn å beherske alle mulige avanserte statistiske metoder. (?)

23 «Do it as simple as possible, but not simpler.» (Albert Einstein)

24 Fisketur i data? Ser på mange indikatorer samtidig. Vil finne noen signifikante sammenhenger bare av ren tilfeldighet? Forsiktig med hvordan informasjonen brukes? Greit til kartleggingsformål, mer problematisk i forskning? Hva med planleggingsarbeid? Godt grunnlag for videre undersøkelser?

25 Takk for oppmerksomheten!