Problemer med å lage og lese prognoser. Karl Halvor Teigen Psykologisk institutt, UiO og Simula Research Laboratory

Transkript

1 Problemer med å lage og lese prognoser Karl Halvor Teigen Psykologisk institutt, UiO og Simula Research Laboratory Norsk Logopedlag 2015

2 Vi er omgitt av prognoser i dagligliv og vitenskap Hvordan blir klimaet i år 2100? Hva er sjansen for terroranslag i Norge i 2015 Er det fare for gjentagelse av straffbare handlinger? Hvor lenge vil streiken vare? Hvem vinner Melodi Grand Prix? Vil regjeringspartiene lykkes bedre med budsjettforhandlingene neste år? Er dette et tiltak som vil gi resultater? Hvor lang tid vil jeg bruke på å komme à jour? Vil jeg ha utbytte av konferansen? Vil jeg rekke et tidligere fly om jeg dropper siste innlegg? Norsk Logopedlag 2015

3 Hvorfor vi er avhengig av dem Prognoser reduserer usikkerhet Gjør det mulig å ta gleder og sorger på forskudd (antesipatorisk funksjon) Forberedende funksjon (også når det går annerledes enn man tror) bereder grunnen for skuffelser og gledelige overraskelser Påvirker tingenes gang (Selvoppfyllende og selvopphevende profetier) Norsk Logopedlag 2015

4 Prognoser innebærer usikkerhet Presisjonsparadokset: Eksakte prognoser er alltid feil Men kan høres riktige ut Upresise prognoser er mindre feil Men høres ikke riktige ut Norsk Logopedlag 2015

5 Hvordan vi kan komme til å tro på prognoser Fordi vi har en sterk tro på forutsigbarhet og determinisme (årsak-virkningsprinsippet) Fordi de ofte formuleres i etterkant (etterpåklokskap) Fordi de testes selektivt (eller ikke i det hele tatt) Fordi de stadig modifiseres Fordi avvik gis status av å være «unntak» fra regelen Fordi de baserer seg på «Barnum»-utsagn (påstander som passer på alle; påstander som er tolkbare; påstander som er heldekkende; påstander vi liker å høre) Norsk Logopedlag 2015

6 Barnum-effekten (etter Forer, 1949) Du har et stort behov for å bli likt og beundret av andre Du har en tendens til å være selvkritisk Du har ubrukte evner som du ikke har fått fullt utbytte av Du har noen personlige problemer som du generelt klarer å kompensere for Seksuallivet har til tider bydd på problemer Du fremtrer som disiplinert og selvkontrollert, men er ofte bekymret og usikker innvendig Til tider har du hatt alvorlig tvil om du har foretatt riktige beslutninger eller gjort det rette Du foretrekker en viss grad av forandring og variasjon, og blir utilfreds når du hemmes av begrensninger og mangel på muligheter Du har uavhengige meninger og aksepterer ikke andres påstander uten tilstrekkelig bevis Du har funnet det uklokt å være for åpen og fortelle for meget om deg selv til andre Til tider er du utadvendt og sosial, mens du til andre tider er innadvendt, forsiktig og reservert Noen av dine målsettinger har vist seg å være temmelig urealistiske Trygghet er et av dine viktigste mål i livet

7 Slagsider i prognoser Planleggingsfeilen Kahneman: Innvendig vs. utvendig perspektiv Forankringseffekter Urealistisk høye eller lave verdier drar prognosene opp eller ned Overoptimisme Forveksler idealtilfelle med praksis Overkonfidens Selvsikkerheten større enn treffsikkerheten

8 Forankringseffekter Hvordan dumme spørsmål påvirker eksperters prognoser av egen arbeidstid (Løhre & Jørgensen) Kontrollgruppe: Prosjekt 1 vil ta ca 40 timer Vil det ta mindre enn 1000 timer? Ja Hvor lang tid vil Prosjekt 1 ta? Ca 150 timer Kontrollgruppe: Prosjekt 2 vil ta ca 112 timer Vil det ta mer enn 20 timer? Ja Hvor lang tid vil Prosjekt 2 ta? Ca 50 timer

9 Årsaker til overkonfidens Spørsmålene kan være vanskelige (villedende) Vi har interesse av å fremstå som sikre og kunnskapsrike (virker mer overbevisende) Vi søker grunner og observasjoner som viser Vi mangler ofte feedback og fører sjelden statistikk over treffsikkerheten Hver ny prediksjon betraktes som unik Vi tror at hendelser bør kunne forutsies (jf. Hindsight) Vi mener at økt kunnskap bør føre til økt sikkerhet

10 Gir erfaring / ekspertise bedre prognoser? Bare mulig i «kind environments» (Hogarth) Som er relativt stabile og forutsigbare Hvor man gjør gjentatte prediksjoner Får feedback på dem Og fører statistikk over feedbacken Men vi befinner oss ofte i «wicked environments» Som er variable og uregelmessige Gjør unike prediksjoner Mangler feedback Fører ikke regnskap over treff og miss Likevel tror vi at erfaring/ekspertise hjelper Men ekspertene vet ofte for mye (Recognition heuristic) Og er oftere overkonfidente Norsk Logopedlag 2015

11 De fleste er bedre enn gjennomsnittet Hvilken sommermåned får flest soldager? Denne måneden har mye større sjanser enn de andre i gruppen Denne måneden har samme sjanser som de andre i gruppen Denne måneden har mye mindre sjanser enn de andre i gruppen Mai Juni Juli August

12 Vi bryter 100%-grensen! Gjennomsnittlige sannsynlighetsanslag for land i kvalifiseringsgruppe H til fotball-em Sannsynlighet for å bli: nr 1 nr. 2 nr. 1 eller Norge Danmark Portugal Kypros Island

13 Fire regjeringsprognoser, fra Aftenposten Rød-grønn Ren Ap (mindretall) Høyre + FrP Høyre, KrF + Venstre 13

14 Estimerte vinnersjanser for deltagere i Melodi Grand Prix 2010 Jo Røislien i Siffer (NRK-Teddy TV) 14

15 Like sjanser kan være små, men høres gode ut Tom har nettopp levert inn søknad på en ledig stilling. Ved siden av Tom er det fire andre søkere, og så vidt du forstår ligger alle fem søkere temmelig likt mht. kvalifikasjoner og tidligere erfaring. [Hvor sannsynlig er det at Tom får stillingen? 1/5 = 20 % sannsynlig] Hvis du skulle uttale deg om Toms situasjon, hvilke uttrykk ville være passende å bruke? Det er tvilsomt at han får stillingen passer ikke Det er usannsynlig at han får stillingen passer ikke Han har en god sjanse til å få stillingen passer Det er ikke usannsynlig at han får stillingen passer [Men p=.20 betraktes ellers ikke som en god sjanse!]

16 Meehls paradoks Paul E. Meehl (1954): Clinical vs.statistical predictions Prognoser basert på statistikk er dårlige Legger vi til skjønnsmessige vurderinger (av enkelttilfellet) blir de ennå dårligere Det statistiske grunnlaget var ment å danne et utgangspunkt (et gulv) for prediksjonene Men gulvet viste seg å være et tak

17 Det vil helst gå galt (Berg & Teigen, 2003) Vi spør 19 psykologer: En person gir uttrykk for selvmordstanker Hvor mange slike personer gjør faktisk selvmordsforsøk 12% Vi innhenter opplysninger som kan indikere selvmordsfare (psykisk lidelse, tidligere forsøk, stoffmisbruk, sosialt nettverk) Hva er sanns. for forsøk hvis opplysningene er negative? 65% Hva er sanns. for ikke forsøk hvis opplysningene er positive? 29%

18 Hvordan skal vi kommunisere (usikre) prognoser? Som tallmessig sannsynlighet: «70% sjanse» Med positive «sannsynlighetsord»: Ganske sikkert, svært sannsynlig, stor mulighet, en sjanse, et håp Med negative uttrykk: «Ikke helt sikkert, usikkert, noe tvilsomt» Gir informasjon om tilråding/fraråding i tillegg til sannsynlighetsgraden Som grenseverdier (min/maks): «Det vil ta minst en uke» «Det vil koste maks 1000 kr» Gir også kvalitativ informasjon (anbefaling, holdning) i tillegg til det kvantitative Norsk Logopedlag 2015

19 Hva bør Marianne gjøre? (Teigen & Brun, 1999) Marianne har i perioder vært nokså plaget av migrene, og lurer nå på om hun skal prøve en ny behandlingsmetode basert på akupunktur. Behandlingen er nokså kostbar og langvarig. Marianne spør deg om du synes hun bør gjøre et forsøk. Heldigvis kjenner du et par leger med gode kunnskaper om migrenebehandling som du kan spørre til råds. De drøfter ditt spørsmål og kommer frem til at det er en viss mulighet for at [ganske usikkert om] behandlingen vil hjelpe i hennes tilfelle. På denne bakgrunn, vil du tilrå Marianne å prøve den nye behandlingsmetoden? En viss mulighet: 92% tilrår Ganske usikkert: 32% tilrår Men: en viss mulighet = 30-40% sannsynlig = ganske usikkert NHH september

20 Slankeprognose Et slankeprodukt Taremare basert på sjøgress viser følgende resultater for ti menn og kvinner som fulgte dietten over 3 måneder Ut fra disse resultatene, hva er rimelig å si? (a) Med Taremare-programmet vil man gå ned med kilo (b) Med Taremare-programmet kan man gå ned med.. kilo ID før etter vekttap #1 91 kg 82 kg 9 kg #2 88 kg 80 kg 8 kg #3 82 kg 77 kg 5 kg #4 102 kg 96 kg 6 kg #5 73 kg 66 kg 7 kg #6 75 kg 70 kg 5 kg #7 96 kg 90 kg 6 kg #8 85 kg 81 kg 4 kg #9 80 kg 70 kg 10 kg #10 78 kg 75 kg 3 kg NHH september

21 Risikoprognoser Sannsynlighet x alvorlighet Liten skade Middels skade Større skade Svært omfattende skade

22 Hvordan oppfattes reviderte prognoser? Oppgradert risiko (fra grønt til gult) gir mer bekymring enn nedgradert risiko (fra rødt til gult), til tross for samme risikograd Økende risiko antas å fortsette å øke, fallende risiko antas å fortsette å falle

23 Den gylne regel for prognoser (Armstrong & Green; Einhorn) Vær konservativ! Benytt flere anslag (ikke bare «det siste») Benytt uavhengige anslag Gjennomsnittet er bedre enn de mest ekstreme Aksepter at du tar feil, for å gjøre færre feil Vær på vakt når prognosen inneholder ord som «kan» og «mulig»

24 Takk for oppmerksomheten!