Eksamensoppgave i PSY2022 forskningsdesign

Transkript

1 Institutt for psykologi Eksamensoppgave i PSY2022 forskningsdesign Faglig kontakt under eksamen: Ute Gabriel Tlf.: Eksamensdato: 18. mai 2017 Eksamenstid: 09:00-13:00 Hjelpemiddelkode/Tillatte hjelpemidler: Ingen Målform/språk: bokmål Antall sider (uten forside): 3 Antall sider vedlegg: 1 Informasjon om trykking av eksamensoppgave Originalen er: 1-sidig 2-sidig sort/hvit farger skal ha flervalgskjema Dato Kontrollert av: Sign Merk! Studenter finner sensur i Studentweb. Har du spørsmål om din sensur må du kontakte instituttet ditt. Eksamenskontoret vil ikke kunne svare på slike spørsmål.

2 Eksamen består av 13 oppgaver. Alle oppgaver skal besvares. Oppgavene vektes med den %-satsen som er oppgitt bak hver oppgave (Oppgave 1 til Oppgave 10 utgjør til sammen 30%, Oppgave 11, 12 og 13 utgjør til sammen 70%, Totalt: 100%). I oppgave 1 og 2 skal svar skrives på oppgavesettet. Legg ved oppgavesettet sammen med besvarelsen din. Oppgave 1. En forsker formulerer en hypotese om at det vil være en betydelig forskjell i bekymringene uttrykt av gravide i løpet av første, andre eller tredje trimester av svangerskapet. Hva er den avhengige variabelen i denne hypotesen? (0.5%) (a) Forskjell i bekymringene (b) Uttrykk av bekymringer (c) Gravide (d) Trimester av svangerskapet Oppgave 2. En forsker har utviklet et skåringsskjema for sosiale ferdigheter hos barnehagebarn. Forskeren har invitert et panel (barnehagelærer, skolepsykologer, foreldre) til å inspisere og diskutere skjemaet. Panelet konkluderer med at skjemaet er valid. Hvilket målebegrep indikerer den validiteten? (0.5%) (a) Inter-rater reliabilitet (b) Face validitet (c) Test-retest reliabilitet (d) Kriterievaliditet Oppgave 3. Kort forklart: Hva betegnes som intern validitet? (2%) Oppgave 4. Kort forklart: Hva betegnes som ekstern validitet? (2%) Oppgave 5. Kort forklart: Hva er et randomisert utvalg og hva er en randomisering av betingelser? (6 %) Oppgave 6. Kort forklart: Hva er en Cover Story (dekkhistorie) i et eksperiment og hva brukes det til? (4 %) Oppgave 7. Kort forklart: Hva menes med at en person gir sitt frivillige, uttrykkelige og informerte samtykke? (3%)

3 Oppgave 8. Kort forklart: Nevn tre utfordringer vi står overfor ved måling av atferd med et spørreskjema. (3%) Oppgave 9. I forberedelse til en studie ønsker en av dine medstudentene å vite hvor mange deltagere studien burde ha. Medstudenten ber deg om å gjennomføre en a priori power analysis. Kort forklart: For at du kan gjennomføre den analysen, hvilken informasjon trenger du fra medstudenten din? (5 %) Oppgave 10. Medstudenten din kunne ikke vente lenger. Hun har gjennomført datainnsamlingen sin og klarte å samle inn data på to variabler fra 45 personer. Hun ønsker å se om det er en signifikant (punkt-biserial) korrelasjon mellom disse to variablene. a) Bruk resultatet fra den statistiske styrkeanalysen som vises i Figur 1 og bestem den minste påviselige effektstørrelsen hvis styrken (power) på testen skal være.80. (2%) b) Om medstudenten din hadde ønsket å kunne påvise en liten effekt, burde hun har samlet inn data fra færre enn 45, flere enn 45 eller akkurat 45 personer? (2%) Figur 1: Graph - Resultat fra en a priori statistisk styrkeanalyse (Oppgave 10)

4 Oppgave 11. (15%, likt fordelt mellom alle deloppgaver). Følgende spørsmål gjelder metoden (s. 337) til Experiment 1 i Velasco et al (2013), beskrevet i vedlegg (Appendiks). a) Hvor mange eksperimentelt manipulerte variabler brukes i eksperimentet og hva er de(n)? b) Hva er verdiene i de(n) manipulerte variabelen(e) du nevnte ovenfor? c) Hva er de(n) avhengig(e) variabelen(e)? d) Hvor mange blocks er det? e) Hvilke "events" er det i hver trial? Hvor lang tid får deltagerne til å respondere? f) Eksperimentet har en "repeated measures" design. Hvor mange trials er presentert til hver deltager? Forklar hvordan det stemmer med ditt svar i spørsmål (b)? g) Hvordan ble randomisering implementert i dette eksperimentet? h) Beskriv hvordan randomisering kunne vært brukt for å kontrollere for hendthet. Oppgave 12. Tenk deg at du skal utvikle et nytt skjema for måling av folks holdninger til seksuelle minoriteter. Beskriv hvordan du vil utforme et slikt spørreskjema med tanke på (1) hvilke ord man bruker ved utforming av utsagn eller spørsmål, (2) om holdningene varierer for undergrupper av seksuelle minoriteter, og (3) hvordan valg av svaralternativer kan påvirke graden av aksept for disse gruppene. (15%) Oppgave 13. (40%, likt fordelt mellom alle fem deloppgaver) En forskergruppe ønsker å vite om et dataspill forbedrer eldre voksnes (personer 60 år eller mer) kognitive evner. Mer spesifikt forventer de at å spille World of Warcraft øker eldre voksnes romlige orienteringsevne og oppmerksomhetskontroll (på grunn av de høye krav til disse evnene i spillet). a) Hvordan ville du undersøke spørsmålet med et korrelasjonsdesign? b) Hvordan ville du undersøke spørsmålet med et eksperimentelt design? Ta utgangspunkt i a) eller b) ovenfor, og besvar følgende spørsmål (c, d, e) basert på ditt valg: c) Forklar hvorfor du valgte dette designet framfor det andre designet. d) Hvilke etiske forhold bør du være klar over, og hvordan ville du håndtere dem? e) Forklar din utvalgsstrategi (sampling strategy).

5

6 Eksamen PSY2022 (Våren) Eksamen består av 13 oppgaver. Alle oppgaver skal besvares. Oppgavene vektes i samsvar med %- poeng som er oppgitt bak hver oppgave (Oppgave 1 til Oppgave 10 utgjør til sammen 30%, Oppgave 11, 12 og 13 utgjør til sammen 70%, Totalt: 100%). Det foreslås å bruke NTNUs prosentvurderingsmetoden (dvs. C:70%, F: 40%) Oppgave 1. En forsker formulerer en hypotese om at det vil være en betydelig forskjell i bekymringene uttrykt av gravide i løpet av første, andre eller tredje trimester av svangerskapet. Hva er den avhengige variabelen i denne hypotesen? (0.5%) (a) Forskjell i bekymringene (b) Uttrykk av bekymringer (c) Gravide (d) Trimester av svangerskapet Riktig svar: (b) uttrykk av bekymringer Oppgave 2. En forsker har utviklet et skåringsskjema for sosiale ferdigheter hos barnehagebarn. Forskeren har invitert et panel (barnehagelærer, skolepsykologer, foreldre) til å inspisere og diskutere skjemaet. Panelet konkluderer med at skjemaet er valid. Hvilket målebegrep indikerer den validiteten? (0.5%) (a) Inter-rater reliabilitet (b) Face validitet (c) Test-retest reliabilitet (d) Kriterievaliditet Riktig svar: (b) Face validitet Oppgave 3. Kort forklart: Hva betegnes som intern validitet? (2%) Internal validity refers to the confidence with which we can draw cause-and-effect conclusions from our research results. To what extent are we certain that the independent variable, or treatment, manipulated by the experimenter is the sole source or cause of systematic variation in the dependent variable? (Wilson et al., 2010, p. 53) Oppgave 4. Kort forklart: Hva betegnes som ekstern validitet? (2%) This term refers to the robustness of a phenomenon: the extent to which a causal relationship, once identified in a particular setting with particular research

7 participants, can safely be generalized to other times, places, and people. (Wilson et al., 2010, p. 53) Oppgave 5. Kort forklart: Hva er et randomisert utvalg og hva er en randomisering til betingelser? (6 %) Randomisert utvalg (fra en populasjon) er en prosedyre som sikrer at alle i populasjonen har lik sjanse til å bli med i et utvalg. Randomisering til betingelser er en prosedyre som sikrer at hver deltaker (i et eksperiment) har lik sjanse til å havne i eksperimentets ulike betingelser. (Randomisering (men ikke randomisert utvalg) er et ufravikelig krav til eksperimenter; randomisert utvalg muliggjør generalisering til populasjonen) Oppgave 6. Kort forklart: Hva er en Cover Story i et eksperiment og hva brukes det til? (4 %) A cover story falsely describes the purpose of the study or camouflages the true purpose of the study. (It is used when the researcher expects that knowing the purpose of the study would have an influence on participants behaviour.) Many experiments involve deception; if deception is used, the setting must include a sensible, internally consistent pretext or rationale for the research as well as a context that both supports and enhances the collection of the data and reduces the possibility of detection. This false rationale is often referred to as a cover story. Wilson et al., p. 14 Oppgave 7. Kort forklart: Hva menes med at en person gir sitt frivillige, uttrykkelige og informerte samtykke? (3%) frivillig: person decides voluntarily no press (neither direct nor indirect) to participate and may end participation at any time uttrykkelig: active consent (in contrast to opt out ) informert: in general: purpose of the study, what participation involves (probable risks involved), what happens to the data; information that participation is voluntary; contact details; (additional information depends on the kind of study ) Oppgave 8. Kort forklart: Nevn tre utfordringer vi står overfor ved måling av atferd med et spørreskjema. (3%) Relevant pensum Nardi (s ). Annen relevant litteratur: Schwarz (1999) How the questions shape the answers.

8 Mål på atferd handler om hva folk sier de gjør og har gjort, ikke nødvendigvis hva de faktisk gjør og har gjort. Utfordringer knyttet til måling av egenrapportert atferd er (a) gjenhenting av relevant atferd fra hukommelsen. Dette kan underlettes ved å spesifisere tidsperioden for gjenhenting, (b) responsbias eller motivert, sosialt ønskverdig respondering, hvor folk enten overestimerer eller underestimerer bestemte typer atferd, og (c) utforming av svaralternativer for rapportering knyttet til frekvens og kvantitet. Disse kan være åpne (for eksempel, angi med et tall hvor mange ganger du har ) eller lukkede ( en gang, 2-5 ganger, 6-10 ganger, etc.) eller arbitrære (for eksempel, av og til, ofte, alltid ). Nardi p. 86: Selective memory, selective perception, willingness to be candid. (Alternative: selective encoding, selective retrieval) Oppgave 9. I forberedelse til en studie ønsker en av dine medstudentene å vite hvor mange deltagere studien burde ha. Medstudenten ber deg om å gjennomføre en a priori power analysis. Kort forklart: For at du kan gjennomføre den analysen, hvilken informasjon trenger du fra medstudenten din? (5 %) - Ønsket alpha-feil - ønsket beta-feil (eller ønsket teststyrke 1-beta); - forventet effektstørrelsen - informasjon om planlagte statistiske analyser eller design spesifikasjoner (for eksempel om det er en en-rettet eller to-rettet hypotese, hvor mange faktorer, hva slags IV / UV, samme antall deltagere per betingelse ) Oppgave 10. Medstudenten din kunne ikke lengre vente. Hun har gjennomført data innsamlingen sin og klarte å samle inn data på to variabler fra 45 personer. Hun ønsker å se om det er en signifikant (punkt-biserial) korrelasjon mellom disse to variablene. a) Bruk resultatet fra den statistiske styrkeanalysen som vises i Figur 1 og bestem den minste påviselige effekt størrelsen hvis test styrken (power) skal være.80. (2%) r =.35 (medium effekt) b) Om medstudenten din hadde ønsket å kunne påvise en små effekt, burde hun har samlet inn data fra færre enn 45, flere enn 45 eller akkurat 45 personer? (2%) flere enn 45 personer

9 Figur 1: Graph - Resultat fra en a priori statistisk styrkeanalyse (Oppgave 10) Oppgave 11. (15%, lik fordelt mellom alle deloppgaver). Følgende spørsmål gjelder metoden (s. 337) til Experiment 1 i Velasco et al (2013), beskrevet i vedlegg (Appendiks). a) Hvor mange eksperimentelt manipulerte variabler brukes i eksperimentet og hva er de(n)? Antall manipulerte variabler: 2 Manipulerte variabler: Vann temperatur og beholdernes materiale ("recepticles") b) Hva er verdiene i de(n) manipulerte(n) variabelen(e) du nevnte ovenfor? Vann temperatur: varm og kalt Materialer: glas, porselen, papir og plast c) Hva er de(n) avhengig(e) variabelen(e)? Dependent variable: oppfattet temperatur (kalt eller varmt) d) Hvor mange blocks er det?

10 1 block = alt presenteres i en "block" e) Hvilke "events" er det i hver trial? Hvor lang tid får deltagerne for å respondere? Events = 1 av 8 audio signaler (5000 ms) + eventuelt ekstra tid til deltagerens response (opp til 5000 ms) Maksimal responstid= 10000ms f) Eksperimentet har en "repeated measures" design. Hvor mange trials er presentert til hver deltager? Forklar hvordan det stemmer med ditt svar i spørsmål (b)? Antall trials presentert til hver deltager: 32 Forklaring for 32 trials: De 2 nivåer av temperatur er brukt med hver av de 4 beholder materiellene. Hver av disse 8 betingelsene presenteres 4 ganger. g) Hvordan ble randomisering implementert i dette eksperimentet? Randomisert: Rekkefølgen av de 32 trials h) Beskriv hvordan randomisering kunne vært brukt for å kontrollere for hendthet. Kontroll for hendthet: "l" knappen som ville trykkes med høyrehand brukes altid for "cold" responser. Siden en større prosent av befolkningen er høyrehet, ville dette sannsynlig føre til flere "cold"("l" knapp) enn "hot"("a" knapp) responser. Dette kunne unngåes med å randomisere koblingen mellom responsknappene og responsene alternativene (cold, hot) Oppgave 12. Tenk deg at du skal utvikle et nytt skjema for måling av folks holdninger til seksuelle minoriteter. Beskriv hvordan du vil utforme et slikt spørreskjema med tanke på (1) hvilke ord man bruker ved utforming av utsagn eller spørsmål, (2) om holdningene varierer for undergrupper av seksuelle minoriteter, og (3) hvordan valg av svaralternativer kan påvirke graden av aksept for disse gruppene. (15%) Relevant pensum: Nardi (s , men også s kan trekkes inn) Seksuelle minoriteter er ingen ensartet gruppe og det vil være viktig å ta hensyn til dette ved utforming av holdningsspørsmål. Holdninger til mannlige homoseksuelle kan for eksempel være forskjellige fra kvinnelige biseksuelle, eller panseksuelle. Ved utforming av et spørreskjema om holdninger til seksuelle minoriteter er det viktig å kunne identifisere ulike spesifikke undergrupper i denne populasjonen. Ved å benytte utsagn som er spesifikke for identifiserte grupper av seksuelle minoriteter kan man oppnå et mer finmasket mål på holdninger til denne gruppen enn ved mer generelle utsagn. Et finmasket mål gir mulighet til å teste om holdninger til ulike undergrupper av seksuelle minoriteter varierer eller ikke (og om det er like eller ulike prediktorer for grad av aksept for ulike undergrupper).

11 Det er viktig at kandidaten kjenner til at bruk av ord ved utforming av spørsmål eller påstander vesentlig kan påvirke hvordan respondenten svarer og dermed i hvilken grad han/hun synes å akseptere eller være avvisende overfor ulike seksuelle minoriteter. I regelen anbefales det å unngå bruk av negative utsagn, som for eksempel: Seksuelle minoriteter bør ikke ha de samme rettighetene til adopsjon som heteroseksuelle. Kandidaten bør kjenne til hvordan bruken av personlig pronomen ( Jeg ) kan påvirke respondentens tilbøyelighet til å uttrykke sitt syn, og mulige problemer knyttet til jeg-utsagn i forkant av mer generaliserte utsagn som i eksemplet over. I en en god besvarelse bør man kjenne til og problematisere bruken av ledende og emosjonelt ladde spørsmål/påstander, utformingen av retningen på disse (om de leder til at respondenten i stor grad sier seg enig eller uenig, og viktigheten av å blande utsagn med vekslende retning for å unngå bias og avdekking av respons set). Andre forhold som kan trekkes inn er tilpasning av ordlyd til respondentens alder og rangering (av hvilke av disse gruppene liker du best, nest best, etc.) vs. rating av utsagn (angi for hver gruppe hvor god du liker ). Svaralternativer kan reflektere grad av aksept (fra 1=i svært liten grad 7=i svært stor grad) eller reflektere aksept på den ene siden eller fordømmelse på den andre (1=misliker sterkt, 7=liker svært godt). Den første er one-directional, den andre two-directional og vil kunne gi ulike resultater ved måling av holdninger til seksuelle minoriteter. Oppgave 13. (40%, lik fordelt mellom alle fem deloppgaver) En forskergruppe ønsker å vite om et dataspill forbedrer eldre voksnes (personer 60 år eller mer) kognitive evne. Mer spesifikt forventer de at å spille World of Warcraft øker eldre vosknes romlige orienteringsevne og oppmerksomhetskontroll (på grunn av de høye krav til disse evnene i spillet). a) Hvordan ville du undersøke spørsmålet med et korrelativt design? b) Hvordan ville du undersøke spørsmålet med et eksperimentelt design? Bestem deg for a) eller b) og besvar de følgende spørsmål (c, d, e) basert på ditt valg: c) Forklar hvorfor du valgte dette design overfor det andre designet. d) Hvilke etiske bekymringer bør du være klar over, og hvordan ville du håndtere dem? e) Forklar ditt utvalgsstrategi (sampling strategy). a) and b): A good answer contains the following parts: Students need to identify that the independent/predictor variable playing the game can either be measured (predictor; suggestion of how to measure) or manipulated (independent variable; notion of randomisation). The dependent/criterion variable(s) are measures of cognitive abilities. Age of participant is a variable that needs to be assessed in either case as it is used to restrict the sample. In better answers, students additionally refer to the possibility of age-related cognitive decline, which should be taken care of e.g. by defining an upper age limit, by including age as an additional variable, by setting up the experimental design as a pre-post design (or even as a four-group design). In better answers, students include control variables (e.g. asking for other activities) / control conditions (e.g. playing a computer game that is not expected to lead to any improvement). In better answers, students specify their answers (e.g. what randomization technique; how to measure gaming behavior validly and reliably) to fit the example.

12 c) A good answer mentions issues of both internal and external validity linked to either (correlational and experimental) approach. In better answers, students provide a richer discussion and make design suggestions to remedy the disadvantages of the chosen method. d) In a good answer, the candidate shows awareness that the study population might include vulnerable adults. Age does not intrinsically make one vulnerable but physical and social changes correlated with age might put participants at risk to coercion (for example, age related changes in hearing and vision, access to social support, health status). This should be reflected in the recruitment, information and consent procedures. Source: e) Depending on the chosen research method, the candidate should explain the reason for choosing a specific sampling method. The candidate s judgment of the chosen methods should reflect the advantages and disadvantages of probability and nonprobability sampling methods. Whitlock, L. A., McLaughlin, A. C., & Allaire, J. C. (2012). Individual differences in response to cognitive training: Using a multi-modal, attentionally demanding game-based intervention for older adults. Computers in Human Behavior, 28(4),