Skjønn og skivebom: Hvordan vi bedømmer usikkerhet Karl Halvor Teigen Psykologisk institutt Universitetet i Oslo Beskrivelse av usikkerhet I tall: Det er en 50% sjanse for regn Med ord: Det er en mulighet for regn I usikkerhetsintervaller: Det vil komme 0-10 mm. nedbør 1
Subjektive sannsynligheter i tall Følger ikke regnereglene for sannsynligheter Selvsikkerheten overgår treffsikkerheten (overkonfidens) 50/50-feilen Summeres ikke til 100% Revideres ikke tilstrekkelig Et scenario kan bli bedømt som sannsynligere enn elementene som inngår i det (konjunksjonsfeil, presisjonsparadokset) Bygger ofte på enkle heuristikker (nærhet, tilgjengelighet osv) Sannsynligheten for en varm søndag (Fox & Rottenstreich, 2001) a) Neste uke vil den høyeste temperatur for uken inntreffe på søndag..% a) Temperaturen på søndag vil bli høyere enn på de andre dagene i neste uke..% b) Neste uke vil den høyeste temperatur for uken ikke inntreffe på søndag..% b) Temperaturen på søndag vil ikke bli høyere enn på de andre dagene i neste uke..% 2
Fred venter på bussen (Teigen & Keren, 2006) Fred tar en buss hver morgen som går hver hele time fra nærmeste stoppested (dvs. kl 7:00, kl. 8.00 osv). Basert på lang erfaring konstaterer han at bussen kommer i 1 av 10 tilfeller for tidlig (før ruten) i 8 av 10 tilfeller 0-10 minutter etter ruten i 1 av 10 tilfeller mer enn 10 minutter for sent. En dag kommer Fred presis kl 8:00 og begynner å vente. Han venter i 10 minutter uten å se noe til bussen. Hva er sannsynligheten for at han rekker bussen denne dagen? a) Det er 10% sjanse for at bussen kommer b) Det er 90% sjanse for at bussen kommer c) Det er 50% sjanse for at bussen kommer Subjektive sannsynligheter i tall Følger ikke regnereglene for sannsynligheter Selvsikkerheten overgår treffsikkerheten (overkonfidens) 50/50-feilen Sannsynlighetene summeres ikke til 100% Sannsynlighetene revideres ikke tilstrekkelig Et scenario kan bli bedømt som sannsynligere enn elementene som inngår i det (konjunksjonsfeil, presisjonsparadokset) Bygger ofte på enkle heuristikker (nærhet, tilgjengelighet osv) 3
Verbale sannsynligheter Er uforpliktende Er vage og variable (ikke lett å tilordne tall) Er kontekstavhengige Er tolkbare Oppfattes mer forskjellig enn vi tror Er positive eller negative Dirigerer oppmerksomhet gir uttrykk for stillingtagen Subjektive sannsynligheter i ord Positive formuleringer Helt sikkert Svært sannsynlig Sannsynlig Fullt mulig Ikke usannsynlig Gode sjanser En viss mulighet En sjanse En liten mulighet / et håp Negative formuleringer Ikke helt sikkert Ikke sikkert Usikkert Nokså usikkert Noe tvilsomt Ikke sannsynlig Usannsynlig Umulig 4
Tannbeviset er svekket Ekspert modererer tidligere konklusjoner Aftenposten Morgen 29.03.2006 Torgersen Hans O. Rettsodontolog David K. Whittaker rådet i går Kommisjonen for gjenopptagelse av straffesaker til å legge mindre vekt på tannbeviset i Torgersen-saken. Samtidig modererte den anerkjente, britiske eksperten sine konklusjoner etter studiene av bittmerkene i det ene brystet til Rigmor Johnsen (16), som Fredrik Fasting Torgersen i 1958 ble dømt for å ha drept. Whittaker uttalte i 2001 til Høyesteretts kjæremålsutvalg at det var meget trolig at det var Torgersen som avsatte bittmerket. - Jeg har ikke endret posisjon, men jeg velger nå å si at det er fra mulig til sannsynlig at bittmerket stammer fra Torgersen, sa Whittaker. Senere i sin forklaring la han til: - Jeg kan ikke være sikker på at han gjorde det. Jeg er langt unna det. - Jeg vil råde Kommisjonen til ikke å legge for stor vekt på tannbeviset, sa Whittaker, og beklaget at hans fag ikke kan bidra mer. Aftenposten Hva bør Marianne gjøre? (Teigen & Brun, 1999) Marianne har i perioder vært nokså plaget av migrene, og lurer nå på om hun skal prøve en ny behandlingsmetode basert på akupunktur. Behandlingen er nokså kostbar og langvarig. Marianne spør deg om du synes hun bør gjøre et forsøk. Heldigvis kjenner du et par leger med gode kunnskaper om migrenebehandling som du kan spørre til råds. De drøfter ditt spørsmål og kommer frem til at det er en viss mulighet for at [ganske usikkert om] behandlingen vil hjelpe i hennes tilfelle. På denne bakgrunn, vil du tilrå Marianne å prøve den nye behandlingsmetoden? Ja, absolutt 1 2 3 4 nei, absolutt ikke 5
Tom P. søker en stilling (Teigen, 1988) Tom P. har nettopp levert inn søknad på en ledig stilling. Ved siden av Tom er det fire andre søkere til stillingen, og så vidt du forstår ligger alle fem søkere temmelig likt mht. kvalifikasjoner og tidligere erfaring. Hvis du skulle uttale deg om Toms situasjon, hvilke uttrykk ville være passende å bruke? Det er tvilsomt at han får stillingen Det er usannsynlig at han får stillingen Han har en god sjanse til å få stillingen Det er ikke usannsynlig at han får stillingen [Hvor sannsynlig er det at Tom får stillingen? % sannsynlig] Problemer med intervaller Konfidensintervaller er (nesten) alltid for trange 98% min-maks intervaller for arbeidstid ga 60% treff (Connolly & Dean, 1997) 90% konfidensintervall for kunnskaper ga 23.5% treff (Teigen & Jørgensen, 2005) Grad av konfidens påvirker ikke intervallbredden Grupper som skulle oppgi 50%, 70%, 90% og 99% intervaller for arbeidstid oppga like store intervaller (Jørgensen, Teigen & Moløkken, 2004) 6
Årsaker til trange intervaller Vanskelig å ta høyde for det uforutsette (vi forutsetter normale situasjoner) Vi har interesse av å fremstå som sikrere enn vi er og love mer enn vi kan Vi mangler ofte feedback og fører sjelden statistikk over treffsikkerheten Hver ny prediksjon betraktes som unik Vi ønsker å være informative og ikke komme med intetsigende prediksjoner Vi prøver å forestille oss realistiske (sannsynlige) minmaks verdier, og forankres i ventet verdi Kan noe gjøres? Erstatte skjønnet med enkle mekaniske regler Velge et utvendig fremfor et innvendig perspektiv La personer som ikke er involvert anslå feilmarginene Produsere grunner til hvorfor det ikke vil gå slik man tror Føre statistikk over treffsikkerheten 7
Nye måter å spørre på Separate spørsmål om øvre og nedre grenseverdi (Soll & Klayman, 2004) Ikke: Mellom og Spørre etter usannsynlige (ekskluderende) verdier Ikke: Minimum.., Maksimum.. Men: Mer enn (over).. Mindre enn (under) (Teigen & Jørgensen, 2005; Teigen, Halberg & Fostervold,2006) Anslå konfidens til slutt Ikke be om 90% konfidensintervall Men oppgi intervall (øvre grense og/eller nedre grense) og be om sannsynlighet Eller spør om intervall først og sannsynlighet etterpå (Teigen & Jørgensen, 2005) 8
Personlig konklusjon Usikkerhet er morsommere å studere enn å håndtere - (men jeg er ikke helt sikker) 9