UNIVERSITETET I OSLO

Transkript

1 UNIVERSITETET I OSLO Det matematisk-naturvitenskapelige fakultet Eksamen i: STK2100 Maskinlæring g statistiske metder fr prediksjn g klassifikasjn Eksamensdag: Trsdag 15. juni Tid fr eksamen: Oppgavesettet er på 7 sider. Vedlegg: Tillatte hjelpemidler: Ingen Gdkjent kalkulatr g frmelsamlinger fr STK1100/STK1110 g STK2100 Kntrller at ppgavesettet er kmplett før du begynner å besvare spørsmålene. Oppgave 1 I denne ppgaven skal vi se på et datasett fr bligpriser i frsteder til Bstn. Sm respnsvariabel vil vi ha MEDV Median verdi av blig innenfr et mråde (i $1000) Det er 11 frklaringsvariable. Det er ikke viktig å frstå hva disse er i de etterfølgende spørsmål, men en beskrivelse av disse er gitt nedenfr. Alle variable, brtsett fra CHAS (binær) g RAD (kategrisk med 9 nivåer) er numeriske. CRIM Kriminalitetsrate per innbygger ZN Andelen bligmråder ver kvadrat ft. CHAS Binær variabel, lik 1 hvis mråde grenser til Charles River NOX Nitrgrenksidknsentrasjn (del av 10 milliner) RM Gjennmsnittelig rm per blig AGE Andel bliger bygget før 1940 DIS Vektet avstand til fem Bstn sysselsetting sentre RAD Indeks fr tilgjengelighet til mtrveier (kategrisk) PTRATIO Elev-lærer frhldet i byen B 1000(Bk 0.63) 2 der Bk er andel av mørkhudede (Frtsettes på side 2.)

2 Eksamen i STK2100, Trsdag 15. juni Side 2 LSTAT % med lavere status i beflkningen Det er ttalt n = 506 mråder (bservasjner), men all analyse nedenfr er basert på ppdeling i et treningsset g et testsett. Oppdelingen i trenings- g testsett er gjrt ved å trekke tilfeldig 253 bservasjner sm brukes til trening g de resterende til test. Sm referanse videre vil vi bruke resultater fra en lineær regresjnsmdell. Tilpasning med minste kvadraters metde ga følgende regresjnstabell: Estimate Std. Errr t value Pr( > t ) ( I n t e r c e p t ) e 06 CRIM ZN CHAS NOX RM e 05 AGE DIS e 05 RAD RAD RAD RAD RAD RAD RAD RAD PTRATIO e 06 B LSTAT < 2e 16 Lg-likelihd verdien fr denne lineære mdellen er Gjennmsnittlig feilrate fr testdata basert på denne mdellen var (a) Hvrfr er det lurt å dele pp i trenings- g testsett tilfeldig i frhld til andre strategier? Gitt denne tabellen, argumenter fr hvrfr det kan være rimelig å fjerne AGE fra mdellen. (b) Nedenfr er en regresjnstabell gitt der AGE er fjernet Estimate Std. Errr t value Pr( > t ) ( I n t e r c e p t ) e 06 CRIM ZN CHAS NOX RM e 05 DIS e 06 (Frtsettes på side 3.)

3 Eksamen i STK2100, Trsdag 15. juni Side 3 RAD RAD RAD RAD RAD RAD RAD RAD PTRATIO e 06 B LSTAT < 2e 16 Lg-likelihd verdien fr denne mdellen er mens gjennmsnittlig feilrate fr testdata basert på denne mdellen var Hvis du ser brt i fra testdataene, utfør en prsdyre fr mdelvalg mellm de t lineære regresjnsmdeller. Hva blir knklusjnen av dette? Virker det rimelig i frhld til hva sm km ut av testdataene? Basert på utskriften, kunne du tenke deg en ytterligere frenkling av mdellen? (c) En alternativ mdell er GAM. Plttene nedenfr viser de ikke-lineære funksjner sm inngikk i denne mdellen. Lg-likelihd verdien fr denne mdellen er mens estimert antall frihetsgrader er Frklar hvrdan antall frihetsgrader blir beregnet i dette tilfellet. Bruk dette til å sammenlikne denne mdellen med de tidligere mdeller. Kmmenter resultatet. Gjennmsnittlig feilrate fr testdata basert på denne mdellen var Er dette i samsvar med de mdell sammenlikninger du har gjrt? (Frtsettes på side 4.)

4 Eksamen i STK2100, Trsdag 15. juni Side 4 s(crim,2.8) s(nox,8.28) s(rm,3.36) CRIM NOX RM s(dis,8.38) s(b,5.6) s(lstat,5.44) DIS B LSTAT (d) Nk en alternativ mdell kan fås ved å bruke regresjnstrær. Nedenfr er et plt av et regresjnstre basert på 9 endender. Diskuter hvrfr regresjnstrær gir mulighet fr å inkludere interaksjner mellm frklaringsvariable. Frklar hvrfr en rimelig likelihd funksjn i dette tilfellet er L(θ) = n i=1 1 2πσ e 1 2σ 2 (y i µ i ) 2 der µ i = c m hvis x i R m. Hva slags antagelser bygger en slik likelihd på? Hvr mange parametre må spesifiseres fr å tilpasse et tre med 9 endender? Vurdér denne mdellen mt tidligere mdeller når du får ppgitt at lg-likelihd verdien (med estimerte verdier fr θ) i dette tilfellet blir (Frtsettes på side 5.)

5 Eksamen i STK2100, Trsdag 15. juni Side 5 LSTAT < RM < LSTAT < AGE < RM < RM < CRIM < NOX < (e) Alternative metder sm Bagging, Randm Frest g Bsting ga følgende resultater (der Feil er estimert kvadratisk feil på testsett): Metde Feil Regresjnstre Bagging Randm Frrest Bsting Beskriv krt disse tre metdene g kmmenter resultatene. Diskuter spesielt frbedringene i frhld til GAM mdellen. Oppgave 2 Vi vil her se på en klassifikasjnssetting. La Y {1,..., G} være variabelen av interesse g anta at vi bserverer x R p. Vi har sm vanlig data {(y i, x i ), i = 1,..., n} der y i {1,..., G} mens x i R i. Vi ønsker å predikere Y basert på x. (a) Anta vi ønsker å bruke K-nærmeste nab metden fr klassifikasjn. Frklar hvrdan denne metden fungerer. Hva er styrker g svakheter med denne metden? (Frtsettes på side 6.)

6 Eksamen i STK2100, Trsdag 15. juni Side 6 (b) Nedenfr vises 3 plt av nærmeste nab metden fr G = 2 g K = 1, 10 eller 100 (men ikke nødvendigvis i denne rekkefølgen). Her gir den heltrukne linjen klassifikasjnsgrensen mellm de t klassene mens den stiplede linjen gir den ptimale grensen (data her er simulerte slik at vi vet den underliggende sanne mdell). Fargene på punktene g mrådene angir klasseverdier fr bservasjner g klassifikasjner, henhldsvis. Spesifiser hvilke figurer sm tilhører de ulike K verdier. Hvilken verdi av K vil du fretrekke? Begrunn svaret. X1 X2 KNN: K=10 KNN: K=1 KNN: K=100 KNN: K=1 KNN: K=100 a b c Anta nå vi innfører en tapsfunksjn L(y, ŷ) = { 1 hvis ŷ y; 0 ellers. sm sier ne m hvr alvrlig vi måler feil sm gjøres. (c) Vis at den ptimale prediktr i denne situasjnen er Ŷ (x) = arg max g Pr(Y = g x). Frklar hvrfr det dermed er viktig å estimere f g (x) = E[I(Y = g) x] fr g = 1,..., G der I(A) = 1 hvis begivenheten A er tilfredsstilt g 0 ellers. (d) Frklar hvrdan man kan bruke regresjnsmetder fr å estimere f g (x) g dermed bruke regresjnsmetder fr å knstruere klassifikasjnsmetder. (e) Diskuter ulike metder fr å estimere frventet tap i denne klassifikasjnssettingen. Ta spesielt pp styrker g svakheter med ulike metder. (f) Anta nå ˆf g (x) er et estimat på f g (x). Vis at E[(f g (x 0 ) ˆf g (x 0 )) 2 x 0 ] =(f g (x 0 ) E[ ˆf g (x 0 ) x 0 ]) 2 + E[( ˆf g (x 0 ) E[ ˆf g (x 0 ) x 0 ]) 2 x 0 ] Gi en frtlkning av de t hvedleddene på høyre side av likhetstegnet. (Frtsettes på side 7.)

7 Eksamen i STK2100, Trsdag 15. juni Side 7 (g) La nå ˆf g,1 (x) være et estimat på f b (x) basert på en ganske restriktiv metde/mdell mens ˆf g,2 (x) er basert på en mer fleksibel tilnærming. Diskuter de ulike leddene i likningen venfr i denne settingen. Oppgave 3 I Ridge regresjn ønsker vi å minimere mhp β h(β) = ( n y i β 0 i=1 ) 2 p β j x ij + λ j=1 Vi vil anta frklaringsvariablene er sentrerte slik at n i=1 x ij = 0 fr alle j. (a) Frklar hvrfr det kan være hensiktsmessig gså å skalere x ij -ene slik at 1 n n i=1 x2 ij = 1 fr alle j. (b) Vis at ˆβ ridge 0 =ȳ ˆβ ridge = ˆβ = (X T X + λi) 1 X T y p j=1 fr passende spesifisering av X. Her er β = (β 1,..., β p ). (c) Anta nå at alle x-ene er ukrrelerte slik at X T X = I. Anta gså at den sanne mdell er Y i = β 0 + p j=1 β jx ij + ε j der ε 1,..., ε p er uavhengige g alle har frventning 0 g varians σ 2. Utled i dette tilfellet både frventningsvektren g kvariansmatrisen til ˆβ ridge. Diskuter disse resultatene i frhld til de avveininger vi fte må gjøre i regresjnssammenhenger. Hint: Vis først at E[Y ] = β Xβ der 1 er en vektr bestående av 1-ere samt at X T 1 = 0. β 2 j