Dimensjonalitetsproblemer (3)
|
|
- Hans-Petter Carlsen
- 7 år siden
- Visninger:
Transkript
1 Dimensjonalitetsproblemer Dimensjonalitetsproblemer (3) Ved å inkludere flere uavhengige egenskaper der µ i1 6= µ i2 i egenskapsvektoren vil r 2 øke og P(e) avta, slik at: P d+1 (e) apple P d (e). Dette forutsetter imidlertid kjent statistikk (uendelig stort treningssett)! I praksis er statistikken ukjent og må estimeres vha. et endelig treningssett. Estimert feilrate som funksjon av d vil da typisk avta opp til en gitt dimensjon, og deretter øke. Dette er tegn på overtrening, der klassifikatoren blir stadig mer spesialisert til gjenkjenning av treningssamplene, og mister evnen til å generalisere til nye data. Feilraten estimert ved hjelp av treningssettet vil derimot som regel gå mot null. Dette beskrives nærmere under Problemmidlet feilrate i lærebøkene.
2 Dimensjonalitetsproblemer Estimert feilrate som funksjon av antall egenskaper Feilrate Testsett Treningssett d Estimert feilrate for treningssett og testsett som funksjon av dimensjonen d på egenskapsrommet. Feilraten for testsettet vil ofte begynne å øke med voksende d. Dette er et tegn på overtrening.
3 Dimensjonalitetsproblemer Sampler i generell posisjon Datasett med sampler i generell posisjon (ingen delmengde av d + 1samplerskalliggei et d 1dimensjonaltunderrom).
4 Dimensjonalitetsproblemer Lineær separabilitet Anta et toklasseproblem med n sampler i treningssettet. Det er 2 n mulige måter å fordele samplene på de to klassene. La funksjonen f (n,d) være den andelen (fraksjonen) av oppdelingene som danner lineært separable sett, slik at klassene kan skilles med et hyperplan. Det kan vises at: 8 >< 1 n apple d + 1 f (n,d)= d 2 n 1 >: 2 n n > d + 1 i  i=0
5 Dimensjonalitetsproblemer Lineær separabilitet (2) Andelen lineært separable oppdelinger som funksjon av n og d.
6 Aktuelle løsninger Skal her se på noen metoder for å omgå eller redusere problemer med overtrening: Utvelging av de beste kandidatene fra et stort sett av mulige egenskaper, Redesign av egenskapsuttrekkeren, Transformasjon av egenskapsrommet til lavere dimensjon. Kort om hver av disse mulighetene i det følgende.
7 Egenskapsutvelging Egenskapenes diskrimineringsevne kan vurderes manuelt, f.eks. vha. éndimensjonale histogrammer. Ulike separasjonsmål kan også benyttes for å automatisere utvelgingen. Det finnes mange slike mål for både to og flere klasser. Eksempler for toklasseproblemer: Z J 1 (w 1,w 2 )= [p(x w 1 ) p(x w 2 )]ln p(x w 1) p(x w 2 ) dx (Divergens) J 2 (w 1,w 2 )= lnz p p(x w1 )p(x w 2 )dx (Bhattacharyya distansen). Estimater av tetthetsfunksjonene inngår i slike separasjonsmål, som her har høy verdi for god separasjon og verdien null ved fullstendig overlapp mellom klassene. Den enkleste løsningen består i å beregne separasjonen for én og én egenskap om gangen, med tetthetsfunksjonene representert ved éndimensjonale histogrammer. Deretter rangeres egenskapene ut fra verdien og et antall av de beste velges ut. Ulempen er at gode kombinasjoner kan gå tapt.
8 Kombinasjon av egenskaper Sampler fra to klasser med stor overlapp for hver av egenskapene x 1 og x 2, når de brukes enkeltvis. I kombinasjon blir klassene lineært separable. Den stiplede linjen er en mulig separerende desisjonsgrense.
9 Redesign av egenskapsuttrekkeren Figuren til venstre viser et datasett der klassene kan separeres med en kvadratisk diskriminantfunksjon (f.eks. en sirkulær desisjonsgrense). Ved å kombinere de to egenskapene x 1 og x 2 kan problemet reduseres til et éndimensjonalt lineært separabelt tilfelle, der klassene kan skilles ved terskling av den kombinerte egenskapen x 3.
10 Lineære transformasjoner De opprinnelige egenskapsvektorene x kan transformeres til lavere dimensjon vha. projeksjonen: 2 3 a t 1 6 y = Ax der A = 4. a t d og d 0 < d Her er y den nye egenskapsvektoren i det d 0 -dimensjonale y-rommet, funnet ved å projisere x ned på aksene gitt ved vektvektorene a 1,a 2,...,a d 0. Transformasjonsmatrisen A finnes fra treningssettet, og bør være slik at den diskriminerende informasjonen i størst mulig grad blir bevart, mens redundant informasjon fjernes. To muligheter beskrives her.
11 Prinsipalkomponentanalyse (PCA) Her finnes vektvektorene ved å løse egenverdiproblemet: der estimatet av kovariansen er: ˆ = 1 n ˆ a i = l i a i,i = 1,...,d n  k=1 (x k ˆµ)(x k ˆµ) t. Legg merke til at denne matrisen er estimert for hele treningssettet (alle klasser under ett). Forøvrig er egenvektorene innbyrdes ortogonale og egenverdiene er større eller lik null: a t i a j = 0, i 6= j l i 0
12 Prinsipalkomponentanalyse (2) Egenverdiene sorteres slik at l 1 l 2,..., l d 0, mens de respektive egenvektorene normaliseres slik at ka i k = 1. De første d 0 egenvektorene i den sorterte listen utgjør linjene i transformasjonsmatrisen A. Egenvektorene representerer hovedaksene i hyperellipsoidene med: dvs. konstant Mahalanobisavstand. r 2 =(x ˆµ) t ˆ 1 (x ˆµ)=konstant Ved å velge aksene med største egenverdier oppnås en projeksjon ned i et underrom med mest mulig spredning i datasettet. Håpet er at størst mulig separasjon mellom klassene er å finne i det samme underrommet. Svakheten med PCA er at den kjente klassetilhørigheten til samplene ikke utnyttes.
13 Prinsipalkomponentanalyse (3) a 1 a 2 Datasett, ellipse med konstant Mahalanobisavstand og egenvektorene a 1 og a 2 til kovariansmatrisen. Egenvektorene er ortogonale.
14 Fishers lineære diskriminant Lineær transformasjon fra et generelt d-dimensjonalt rom til et én-dimensjonalt underrom gitt ved w: w = gs 1 W (m 1 m 2 ) der m i, i = 1,2 er samplemidlene for hver klasse og S W = er spredningsmatrisen innen klasser. 2 Â i=1 Â x2x i (x m i )(x m i ) t Her utnyttes klasseinformasjonen til å finne retningen w slik at spredningen mellom klassene er maksimalisert. Metoden kan generaliseres til flere dimensjoner der dimensjonen på underrommet er > 1. Klassifikatorer som er trenet opp i et slikt laveredimensjonalt rom kan ofte vise seg å være mer robuste (mindre fare for overtrening, bedre generalisering til nye data) enn klassifikatorer som er trent opp i et høydimensjonalt rom.
15 Fishers lineære diskriminant (2) w Fishers lineære diskriminant for datasett med to klasser. Samplene projiseres ned i et éndimensjonalt underrom gitt ved vektoren w, der separasjonen mellom klassene er maksimalisert mens redundant informasjon er fjernet.
16 Oversikt Innhold i kurset Beslutningsteori (desisjonsteori) Parametriske metoder Ikke-parametriske metoder Lineære og generaliserte diskriminantfunksjoner Feilrateestimering og evaluering av klassifikatorer Ikke-ledet læring Klyngeanalyse.
17 Maksimum likelihood metoden Likningssystem for maksimum likelihood løsning Trening av klassifikator uten merket treningssett. Antakelser (i første omgang): Antall klasser c er kjent, ÁpriorisannsynligheteneP(w i ), i = 1,...,c er kjente, Tetthetsfunksjonene p(x w i, q i ), i = 1,...,c har kjent form (funksjoner av q i ). En nødvendig betingelse for maksimum av L er gitt ved likningssystemet: n  P(w i x k, q) q i lnp(x k w i, q i )=0, i = 1,...,c. k=1
18 Eksempel Eksempel - multivariate normalfordelinger med ukjent forventning Antar at fordelingene er gitt ved N(µ i, i ),i = 1,...,c der forventningsvektoren er ukjent. Løsningen blir her: ˆµ i = n  k=1 µ =(µ t 1,...,µ t c )t P(w i x k, ˆµ)x k n, i = 1,...,c.  P(w i x k, ˆµ) k=1 Dette er et tilfredsstillende resultat, der samplene veies med áposteriorisannsynlighetene for hver klasse, dvs. den mest sannsynlige klassen gis størst vekt. Dette er imidlertid en implisitt løsning for forventningsvektoren (ingen eksplisitt løsningen).
Generalisering til mange klasser - feilrettingsmetodene
Mange klasser Generalisering til mange klasser - feilrettingsmetodene Kesslers konstruksjon - omskriving av c-klasseproblemet til et toklasseproblem. Her innføres en sammensatt vektvektor a og et sett
DetaljerInnledning Beslutningsteori Parametriske metoder Ikke-parametriske metoder Diskriminantfunksjoner Evaluering Ikke-ledet læring Klyngeanalyse Oversikt
Oversikt Innhold i kurset Beslutningsteori (desisjonsteori) Parametriske metoder Ikke-parametriske metoder Lineære og generaliserte diskriminantfunksjoner Feilrateestimering og evaluering av klassifikatorer
DetaljerInnledning Beslutningsteori Parametriske metoder Ikke-parametriske metoder Diskriminantfunksjoner Evaluering Ikke-ledet læring Klyngeanalyse Oversikt
Oversikt Innhold i kurset Beslutningsteori (desisjonsteori) Parametriske metoder Ikke-parametriske metoder Lineære og generaliserte diskriminantfunksjoner Feilrateestimering og evaluering av klassifikatorer
DetaljerNormalfordelingen. Univariat normalfordeling (Gaussfordelingen): der µ er forventningsverdien og σ 2 variansen. Multivariat normalfordeling:
Normalfordelingen Univariat normalfordeling (Gaussfordelingen): p(x µ,σ 2 ) = 1 µ)2 (x e 2σ 2 = N(µ,σ 2 ) 2πσ der µ er forventningsverdien og σ 2 variansen. Multivariat normalfordeling: [ 1 p(x µ,σ) =
DetaljerUnik4590/Unik9590/TTK Mønstergjenkjenning
Sammendrag og eksempler Universitetssenteret på Kjeller Høsten 2016 (17. august 2016) Hva er mønstergjenkjenning? Formålet med mønstergjenkjenning Gjenkjenne objekter - tilordne objekter til én av flere
DetaljerUnik4590/Unik9590/TTK Mønstergjenkjenning
Sammendrag og eksempler UiO : Institutt for teknologisystemer Høsten 2017 (14. august 2017) Hva er mønstergjenkjenning? Formålet med mønstergjenkjenning ˆ Gjenkjenne objekter - tilordne objekter til én
DetaljerTEK5020/TEK Mønstergjenkjenning
Sammendrag og eksempler Innledning UiO : Institutt for teknologisystemer Høsten 2018 (18. august 2018) Hva er mønstergjenkjenning? Formålet med mønstergjenkjenning Gjenkjenne objekter - tilordne objekter
DetaljerIkke-separable problemer
Feilrettingsmetoder Ikke-separable problemer Feilrettingsmetodene konvergerer under gitte betingelser til løsningsvektorer for lineært separable problemer, men kan også gi gode resultater på ikke-separable
DetaljerUnik4590/Unik9590/TTK Mønstergjenkjenning
Sammendrag og eksempler Universitetssenteret på Kjeller Høsten 2016 (15. oktober 2016) Hva er mønstergjenkjenning? Formålet med mønstergjenkjenning Gjenkjenne objekter - tilordne objekter til én av flere
DetaljerDiskrete egenskaper. Egenskapsvektoren x antar kun diskrete verdier: v 1,v 2,...,v m. Endringer fra det kontinuerlige tilfellet er at:
Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Diskrete egeskaper Diskrete egeskaper Egeskapsvektore x atar ku diskrete verdier:
DetaljerTEK5020/TEK Mønstergjenkjenning
Sammendrag og eksempler Lineære diskriminantfunksjoner (Gradientsøk, perceptronmetoden) UiO : Institutt for teknologisystemer Høsten 2018 (22. oktober 2018) Diskriminantfunksjoner Utvidet egenskapsrom
DetaljerBayesisk estimering. Tettheten i punkt x er her gitt ved: der p(q X ) er áposterioriparameterfordelinggitt ved: p(q X )=
Bayesisk estimering Bayesisk estimering Tettheten i punkt x er her gitt ved: Z p(x X )= p(x q)p(q X )dq der p(q X ) er áposterioriparameterfordelinggitt ved: p(q X )= p(x q)p(q) R p(x q)p(q)dq og p(x q)
DetaljerEKSAMEN I MA1202 LINEÆR ALGEBRA MED ANVENDELSER
Norges teknisk naturvitenskapelige universitet Institutt for matematiske fag Side 1 av 10 Faglig kontakt under eksamen: Truls Fretland (73 55 89 87) EKSAMEN I MA1202 LINEÆR ALGEBRA MED ANVENDELSER LØSNINGSFORSLAG
DetaljerUNIVERSITET I BERGEN
UNIVERSITET I BERGEN Det matematisk-naturvitenskapelige fakultet BOKMÅL Løsningsforslag eksamen MAT - Lineær algebra H Med forbehold om skrivefeil. Oppgave. Betrakt A = 6 5, b = 6 b (a) (b) Finn den reduserte
DetaljerEmne 10 Litt mer om matriser, noen anvendelser
Emne 10 Litt mer om matriser, noen anvendelser (Reelle) ortogonale matriser La A være en reell, kvadratisk matrise, dvs. en (n n)-matrise hvor hvert element Da vil A være ortogonal dersom: og Med menes
DetaljerMAT-1004 Vårsemester 2017 Prøveeksamen
MAT-4 Vårsemester 7 Prøveeksamen Contents. Forord................................. OPPGAVE OPPGAVE OPPGAVE 7 4 OPPGAVE 8 OPPGAVE 6 OPPGAVE 7 OPPGAVE 8 OPPGAVE 9 Formatering av svarene 4 9. Rasjonale tall.............................
DetaljerMAT-1004 Vårsemester 2017 Prøveeksamen
MAT-1004 Vårsemester 017 Prøveeksamen Contents 0.1 Forord................................. 1 1 OPPGAVE OPPGAVE OPPGAVE 6 4 OPPGAVE 7 5 OPPGAVE 10 6 OPPGAVE 11 7 OPPGAVE 11 8 OPPGAVE 1 9 Formatering av
DetaljerEkstraoppgaver for STK2120
Ekstraoppgaver for STK2120 Geir Storvik Vår 2011 Ekstraoppgave 1 Anta X 1 og X 2 er uavhengige med X 1 N(1.0, 1.0) og X 2 N(2.0, 1.5). La X = (X 1, X 2 ) T. Definer c = ( ) 2.0 3.0, A = ( ) 1.0 0.5 0.0
DetaljerEKSAMENSOPPGAVER FOR TMA4110/TMA4115 MATEMATIKK 3
Norges teknisk naturvitenskapelige universitet Institutt for matematiske fag Side av 25 2. januar 25 EKSAMENSOPPGAVER FOR TMA4/TMA45 MATEMATIKK 3 Oppgave A- a) Finn kvadratrøttene til det komplekse tallet
DetaljerEksamen i ELE Matematikk valgfag Torsdag 18. mai Oppgave 1
Eksamen i ELE79 - Matematikk valgfag Torsdag 8. mai 07 LØSNINGFORSLAG Oppgave (a) Den utvidede matrisen til likningssystemet er 6 Gausseliminasjon: ganger rad I legges til rad II: 0 0 Rad I trekkes fra
Detaljer5.8 Iterative estimater på egenverdier
5.8 Iterative estimater på egenverdier Det finnes ingen eksplisitt formel for beregning av egenverdiene til en kvadratisk matrise. Iterative metoder som finner (ofte) en (meget god) approksimasjon til
DetaljerLineær uavhengighet og basis
Lineær uavhengighet og basis NTNU, Institutt for matematiske fag 19. oktober, 2010 Lineær kombinasjon En vektor w sies å være en lineær kombinasjon av vektorer v 1, v 2,..., v k hvis det finnes tall c
Detaljer(3/2)R 2+R 3 R 1 +R 2,( 2)R 1 +R 3 ( 2)R 1 +R 4 6/5R 3 +R 4 1/5R 3
NTNU Institutt for matematiske fag TMA4115 Matematikk 3 våren 2009 Løsningsforslag - Øving 10 Fra Edwards & Penney, avsnitt 4.4 5 Vi bruker Algoritme 1 og 2 i EP på sidene 190 og 193 for å finne en basis
DetaljerLO510D Lin.Alg. m/graf. anv. Våren 2005
TF Høgskolen i Sør Trøndelag Avdeling for informatikk og e læring LO5D Lin.Alg. m/graf. anv. Våren 5 Løsningsforslag Eksamen a) Setter α = og β = i ligningssystemet og gausseliminerer totalmatrisen til
Detaljer9 Lineærtransformasjoner TMA4110 høsten 2018
9 Lineærtransformasjoner MA4 høsten 8 I forrige kapittel begynte vi å formulere lineær algebra på en generell måte, ved å gi en abstrakt definisjon av vektorrom For å beskrive sammenhenger mellom forskjellige
DetaljerOppgave 1 (25 %) - Flervalgsoppgaver
Oppgaver og løsningsforslag for 4t eksamen 10.mai 006 i LO510D Lineær algebra med grafiske anvendelser. Fra og med oppgave skal alle svar begrunnes. Oppgave 1 (5 %) - Flervalgsoppgaver Denne oppgaven består
DetaljerUNIVERSITETET I OSLO
UNIVERSITETET I OSLO Det matematisk-naturvitenskapelige fakultet Eksamen i: MAT 1120 Lineær algebra Eksamensdag: 9. desember 2014. Tid for eksamen: 14.30 18.30. Oppgavesettet er på 6 sider. Vedlegg: Tillatte
DetaljerGENERELLE VEKTORROM. Hittil har vi bare snakket om vektorrom av type
Emne 8 GENERELLE VEKTORROM Hittil har vi bare snakket om vektorrom av type og underrom av dette. Vi definerte en mengde V som et underrom av hvis det inneholdt og var lukket under addisjon og skalar multiplikasjon.
DetaljerLikningssystem for maksimum likelihood løsning
Maksimum likelihood metode Likigssystem for maksimum likelihood løsig Treig av klassifikator ute merket treigssett. Atakelser (i første omgag): Atall klasser c er kjet, ÁpriorisasyligheteeP(w i ), i =
DetaljerNORMALFORDELINGER, KOVARIANSMATRISER OG ELLIPSOIDER
NORMALFORDELINGER, KOVARIANSMATRISER OG ELLIPSOIDER SIE 3080 STOKASTISKE OG ADAPTIVE SYSTEMER Oddvar Hallingstad 0. februar 00 Vi skal her utlede noen nyttige formler for arbeidet med kovariansmatriser
DetaljerEksamensoppgave i TMA4267 Lineære statistiske modeller
Institutt for matematiske fag Eksamensoppgave i TMA4267 Lineære statistiske modeller Faglig kontakt under eksamen: Tlf: Eksamensdato: August 2014 Eksamenstid (fra til): Hjelpemiddelkode/Tillatte hjelpemidler:
Detaljer3.9 Teori og praksis for Minste kvadraters metode.
3.9 Teori og praksis for Minste kvadraters metode. Vi fortsetter med minste kvadraters problem. Nå skal vi se nærmere på noen teoretiske spørsmål, bl.a. hvordan normallikningene utledes. Minner om MK problemstillingen:
DetaljerTMA4110 Eksamen høsten 2018 EKSEMPEL 1 Løsning Side 1 av 8. Løsningsforslag. Vi setter opp totalmatrisen og gausseliminerer: x 1 7x 4 = 0
TMA4 Eksamen høsten 28 EKSEMPEL Løsning Side av 8 Løsningsforslag Oppgave Vi setter opp totalmatrisen og gausseliminerer: 2 2 2 4 2 6 2 4 2 6 2 2 Dette gir likningene og 2 2 4 2 6 7 2. x 7x 4 = x 2 + 2x
DetaljerPrøveeksamen STK2100 (fasit) - vår 2018
Prøveeksamen STK2100 (fasit) - vår 2018 Geir Storvik Vår 2018 Oppgave 1 (a) Vi har at E = Y Ŷ =Xβ + ε X(XT X) 1 X T (Xβ + ε) =[I X(X T X) 1 X T ]ε Dette gir direkte at E[E] = 0. Vi får at kovariansmatrisen
DetaljerHøgskolen i Oslo og Akershus. a) Finn den deriverte av disse funksjonene: b) Finn disse ubestemte integralene: c) Finn disse bestemte integralene:
Oppgave 1 a) Finn den deriverte av disse funksjonene: i) f(x) = x x 2 + 1 ii) g(x) = ln x sin x x 2 b) Finn disse ubestemte integralene: i) (2x + ) dx ii) 6 cos(x) sin 5 (x) dx c) Finn disse bestemte integralene:
DetaljerMA1201/MA6201 Høsten 2016
MA/MA6 Høsten 6 Norges teknisk naturvitenskapelige universitet Institutt for matematikk Med forebehold om feil Hvis du finner en, ta kontakt med Karin Kapittel 4 8 Vi benevner matrisen vi skal frem til
DetaljerKap. 6 Ortogonalitet og minste kvadraters problemer
Kap. 6 Ortogonalitet og minste kvadraters problemer vanlig indreprodukt (prikkprod.) i IR n, egenskaper. ortogonalitet i IR n Pythagoras teorem: u og v i IR n er ortogonale hvis og bare hvis u + v 2 =
DetaljerForelesning 14 Systemer av dierensiallikninger
Forelesning 14 Systemer av dierensiallikninger Eivind Eriksen 9. april 010 Dierensiallikninger En dierensiallikning inneholder en avhengig variabel (typisk y ) og en uavhengig variabel (typisk x), som
DetaljerKap. 6 Ortogonalitet og minste kvadrater
Kap. 6 Ortogonalitet og minste kvadrater IR n er mer enn bare et vektorrom: den har et naturlig indreprodukt, nemlig prikkproduktet av vektorer. Dette indreproduktet gjør det mulig å tenke geometrisk og
Detaljer6.4 (og 6.7) Gram-Schmidt prosessen
6.4 (og 6.7) Gram-Schmidt prosessen La W {0} være et endeligdimensjonalt underrom av et indreprodukt rom V. Man kan starte med en vanlig basis for W og konstruere en ortogonal basis for W. Ønskes det en
DetaljerRang og Vektorrom. Magnus B. Botnan NTNU. 4. august, 2015
Rang og Vektorrom Magnus B. Botnan NTNU 4. august, 2015 Lineær Uavhengighet La v (1),..., v (m) være vektorer av samme størrelse. Vi sier at vektorene er lineært avhengige hvis det finnes konstanter c
DetaljerSuffisient observator
Iledig Beslutigsteori Parametriske metoder Ikke-parametriske metoder Diskrimiatfuksjoer Evaluerig Ikke-ledet lærig Klygeaalyse Suffisiete observatorer Suffisiet observator Statistisk størrelse s som ieholder
DetaljerSTK Oppsummering
STK1110 - Oppsummering Geir Storvik 11. November 2015 STK1110 To hovedtemaer Introduksjon til inferensmetoder Punktestimering Konfidensintervall Hypotesetesting Inferens innen spesifikke modeller/problemer
DetaljerLineær algebra-oppsummering
Kapittel 9 Lineær algebra-oppsummering Matriser 1 Matriser er et rektangulært sett av elementer ordnet i rekker og kolonner: a 11 a 12 a 1n a 21 a 22 a 2n A = = [a ij m n a m1 a n2 a mn 2 Kvadratisk matrise:
DetaljerUniversitet i Bergen. Eksamen i emnet MAT121 - Lineær algebra
Universitet i Bergen Det matematisk-naturvitenskapelige fakultet Bokmål Eksamen i emnet MAT - Lineær algebra Onsdag 5 september, 0, kl. 09.00-4.00 Tillatte hjelpemidler. kalkulator, i samsvar med fakultetets
DetaljerMAT Onsdag 7. april Lineær uavhengighet (forts. 1.8 Underrom av R n, nullrom, basis MAT Våren UiO. 7.
MAT 2 april 2.7 Lineær.8 Underrom MAT 2 Våren 2 UiO 7. april 2 / 23 MAT 2 april 2.7 Lineær.8 Underrom Minner om:.7 Lineær (fortsettelse) Definisjon. To vektorer u og v i R n kalles lineært avhengige dersom
DetaljerEksamensoppgave MAT juni 2010 (med løsningsforslag)
Eksamensoppgave MAT-4 juni (med løsningsforslag) Contents OPPGAVE OPPGAVE 4 OPPGAVE 5 4 OPPGAVE 6 5 Fasit 7 5 Oppgave 7 5 Oppgave 7 5 Oppgave 8 54 Oppgave 8 6 Løsningsforslag 9 6 Oppgave 9 6 Oppgave 6
Detaljer7.4 Singulærverdi dekomposisjonen
7.4 Singulærverdi dekomposisjonen Singulærverdi dekomposisjon til en matrise A er en av de viktigste faktoriseringene av A (dvs. A skrives som et produkt av matriser). Den inneholder nyttig informasjon
Detaljer(a) For regresjon brukes vanligvis kvadratisk tap: L(y, ŷ) = (y ŷ) 2. Den optimale prediktor basert på input variable x er da Ŷ = E[Y x].
FORMELSAMLING TIL STK2100 (Versjon Mai 2017) 1 Tapsfunksjoner (a) For regresjon brukes vanligvis kvadratisk tap: L(y, ŷ) = (y ŷ) 2. Den optimale prediktor basert på input variable x er da Ŷ = E[Y x]. (b)
DetaljerLineære likningssystemer og matriser
Kapittel 3 Lineære likningssystemer og matriser I dette kapittelet skal vi sette sammen Kapittel 1 og 2. 3.1 Den utvidede matrisen til et likningssystem Vi starter med et lineært likningssystem med m likninger
DetaljerBasis, koordinatsystem og dimensjon
Basis, koordinatsystem og dimensjon NTNU, Institutt for matematiske fag 22.-24. oktober 2013 Basis Basis for vektorrom: En endelig mengde B = {b 1, b 2,..., b n } av vektorer i et vektorrom V er en basis
DetaljerUNIVERSITETET I OSLO
UNIVERSITETET I OSLO Det matematisk-naturvitenskapelige fakultet Eksamen i: MAT Lineær algebra Eksamensdag: Mandag,. desember 7. Tid for eksamen: 4. 8.. Oppgavesettet er på 8 sider. Vedlegg: Tillatte hjelpemidler:
DetaljerNorges teknisk naturvitenskapelige universitet Institutt for matematiske fag Side 1 av 7 L SNINGSFORSLAG TIL EKSAMEN I SIF5009 MATEMATIKK 3 Bokmål Man
Norges teknisk naturvitenskapelige universitet Institutt for matematiske fag Side av 7 L SNINGSFORSLAG TIL EKSAMEN I SIF59 MATEMATIKK Bokmål Mandag. desember Oppgave a) Karakteristisk polynom er + = ;
DetaljerSTK Oppsummering
STK1100 - Oppsummering Geir Storvik 6. Mai 2014 STK1100 Tre temaer Deskriptiv/beskrivende statistikk Sannsynlighetsteori Statistisk inferens Sannsynlighetsregning Hva Matematisk verktøy for å studere tilfeldigheter
DetaljerA.3.e: Ortogonale egenfunksjonssett
TFY4250/FY2045 Tillegg 2 1 Tillegg 2: A.3.e: Ortogonale egenfunksjonssett Ikke-degenererte egenverdier La oss først anta at en operator ˆF har et diskret og ikke-degeneret spektrum. Det siste betyr at
DetaljerMinste kvadraters løsning, Symmetriske matriser
Minste kvadraters løsning, Symmetriske matriser NTNU, Institutt for matematiske fag 19. november 2013 Inkonsistent ligningsystem Anta at Ax = b er et inkonsistent ligningsystem, da er b ikke i Col(A).
DetaljerStatistisk inferens: 9.14: Sannsynlighetsmaksimeringsestimatoren 8.5: Fordeling til gjennomsnittet 9.4: Konfidensintervall for µ (σ kjent)
TMA440 Statistikk H010 Statistisk inferens: 9.14: Sannsynlighetsmaksimeringsestimatoren 8.5: Fordeling til gjennomsnittet 9.4: Konfidensintervall for µ (σ kjent) Mette Langaas Foreleses mandag 11.oktober,
DetaljerForelesning 4 STK3100
! * 2 2 2 Bevis : Anta Forelesning 4 STK3 september 27 S O Samuelsen Plan for annen forelesning: Likelihood-egenskaper 2 Konsistens for ML 3 Tilnærmet fordeling for ML 4 Likelihoodbaserte tester 5 Multivariat
DetaljerEmne 9. Egenverdier og egenvektorer
Emne 9. Egenverdier og egenvektorer Definisjon: Vi starter med en lineær transformasjon fra til, hvor Dersom, hvor, sier vi at: er egenverdiene til A er tilhørende egenvektorer. betyr at er et reelt eller
DetaljerHvorfor er lineær algebra viktig? Linear
Lineær Algebra Hvorfor er lineær algebra viktig? Linear y = ax + b linje y = f(x) funksjon Taylor utvikling f(x) =f(x 0 )+f 0 (x 0 )(x x 0 )+ 1 2 f 00 (x 0 )(x x 0 ) 2 + f(x) f(x 0 )+f 0 (x 0 )(x x 0 )
DetaljerLøsningsforslag. Oppgave 1 Gitt matrisene ] [ og C = A = 4 1 B = 2 1 3
Prøve i Matematikk BYFE DAFE Dato: 27. mai 26 Hjelpemiddel: Kalkulator og formelark Alle svar skal grunngis. Alle deloppgaver har lik vekt. Løsningsforslag Oppgave Gitt matrisene [ 2 A 4 B [ 2 og C [ 2
DetaljerEmne 7. Vektorrom (Del 1)
Emne 7. Vektorrom (Del 1) Første del av dette emnet innholder lite nytt regnemessig, men vi innfører en rekke nye begreper. Avbildning (image). R m T R n n image(t) Vi kan starte med samme skjematiske
Detaljer(a) R n defineres som mengden av kolonnevektorer. a 1 a 2. a n. (b) R n defineres som mengden av radvektorer
5 Vektorrom Et vektorrom er en mengde V med tre algebraiske operasjoner (addisjon, negasjon og skalærmultiplikasjon) som tilfredsstiller de 10 betingelsene fra Def. 4.1.1. Jeg vil ikke gi en eksamensoppgave
Detaljer6.4 Gram-Schmidt prosessen
6.4 Gram-Schmidt prosessen La W {0} være et endeligdimensjonalt underrom av R n. (Senere skal vi mer generelt betrakte indreprodukt rom; se seksjon 6.7). Vi skal se hvordan vi kan starte med en vanlig
DetaljerLineær algebra. 0.1 Vektorrom
Lineær algebra Siden dette temaet er alt for stort til å kunne gjennomgås på en halvtime, med alle de teoremene og denisjonene som skal til, har jeg laget dette notatet. Det bygger hovedsakelig på notatene
DetaljerInstitutt for Samfunnsøkonomi
Institutt for Samfunnsøkonomi Løsninger i: ELE 379 Matematikk valgfag Dato: 6.6., 9: 4: Tillatte hjelpemidler: Alle hjelpemidler + Eksamenskalkulator: TEXAS INSTRUMENTS BA II Plus TM Innføringsark: Ruter
DetaljerOBLIG 2 - MAT 1120 Høsten 2005
> with(linearalgebra): with(linalg):with(plots): Warning, the name GramSchmidt has been rebound Warning, the protected names norm and trace have been redefined and unprotected Warning, the name changecoords
DetaljerVær OBS på at svarene på mange av oppgavene kan skrives på flere ulike måter!
Vær OBS på at svarene på mange av oppgavene kan skrives på flere ulike måter! Oppgave.. a x y = x + y = r r r +r r x y = y fri x y = y fri Vi får én fri variabel, og løsningens har følgelig dimensjon.
DetaljerMinimalisering av kriteriefunksjon - gradientsøk
Trening av vektvektor - gradientsøk Minimalisering av kriteriefunksjon - gradientsøk En kriteriefunksjon J(a) skal minimaliseres for å finne en otimal vektvektor. Gradientsøk: a 1 = vilkårlig startverdi
DetaljerTMA4110 Matematikk 3 Eksamen høsten 2018 Løsning Side 1 av 9. Løsningsforslag. Vi setter opp totalmatrisen og gausseliminerer:
TMA4 Matematikk 3 Eksamen høsten 8 Løsning Side av 9 Løsningsforslag Oppgave Vi setter opp totalmatrisen og gausseliminerer: 8 5 4 8 3 36 8 4 8 8 8 Den siste matrisen her er på redusert trappeform, og
DetaljerLøsningsforslag. e n. n=0. 3 n 2 2n 1. n=1
Eksamen i BYPE2000 - Matematikk 2000 Dato: 6. juni 2014 Målform: Bokmål Antall oppgaver: 7 (20 deloppgaver) Antall sider: 4 Vedlegg: Noen formler Hjelpemiddel: Ingen Alle svarene skal grunngis. Alle deloppgavene
DetaljerKlassisering. Insitutt for matematiske fag, NTNU 21. august Klassiseringsproblemet. Notat for TMA4240/TMA4245 Statistikk
Klassisering Notat for TMA4240/TMA4245 Statistikk Insitutt for matematiske fag, NTNU 21. august 2012 Innen maskinlæring studerer man algoritmer som tillater datamaskiner å utvikle atferd på grunnlag av
DetaljerEksamensoppgave i TMA4115 Matematikk 3
Institutt for matematiske fag Eksamensoppgave i TMA45 Matematikk 3 Faglig kontakt under eksamen: Aslak Bakke Buan a, Morten Andreas Nome b, Tjerand Silde c Tlf: a mobil Aslak, b mobil Morten, c mobil Tjerand
DetaljerUNIVERSITETET I OSLO
UNIVERSITETET I OSLO Det matematisk-naturvitenskapelige fakultet Eksamen i: MAT 0 Lineær algebra Eksamensdag: Mandag 0. desember 0 Tid for eksamen: 4.30 8.30. Oppgavesettet er på 7 sider. Vedlegg: Tillatte
DetaljerTMA4240 Statistikk H2010
TMA4240 Statistikk H2010 Statistisk inferens: 9.14: Sannsynlighetsmaksimeringsestimatoren 8.5: Fordeling til gjennomsnittet 9.4: Konfidensintervall for µ (σ kjent) Mette Langaas Foreleses mandag 11.oktober,
Detaljery(x) = C 1 e 3x + C 2 xe 3x.
NTNU Institutt for matematiske fag TMA4115 Matematikk eksamen 4 juni 9 Løsningsforslag 1 Innsatt for z = x + iy kan ligningen skrives x + 1 + i(y ) = x 1 + i(y + ) Ved å benytte at z = a + b for et kompleks
DetaljerØving 3 Determinanter
Øving Determinanter Determinanten til en x matrise er definert som Clear@a, b, c, dd K a b OF c d ad -bc Determinanten til en matrise er derfor et tall. Du skal se at det viktige for oss er om tallet er
DetaljerOppgave 14 til 9. desember: I polynomiringen K[x, y] i de to variable x og y over kroppen K definerer vi undermengdene:
HJEMMEOPPGAVER utgave av 8-12-2002): Oppgave 15 til 16 desember: La H være mengden av alle matriser på formen A = a 1 a 12 a 13 a 1n 0 a 2 0 0 0 0 a 3 0 0 0 a n der a 1 a 2 a n 0 Videre la SH være matrisene
DetaljerTMA4240 Statistikk Høst 2015
Norges teknisk-naturvitenskapelige universitet Institutt for matematiske fag Øving nummer 8, blokk II Løsningsskisse Oppgave 1 Da komponentene danner et parallellsystem, vil systemet fungere dersom minst
DetaljerSiden vi her har brukt første momentet i fordelingen (EX = EX 1 ) til å konstruere estimatoren kalles denne metoden for momentmetoden.
Estimeringsmetoder Momentmetoden La X, X 2,..., X n være uavhengige variable som er rektangulært fordelte på intervallet [0, θ]. Vi vet da at forventningsverdiene til hver observasjon og forventningen
DetaljerLøsningsforslag for eksamen i Matematikk 3 - TMA4115
Norges teknisk naturvitenskapelige universitet Institutt for matematiske fag Løsningsforslag for eksamen i Matematikk 3 - TMA4115 Vår 1 1 a) La z = x iy. Da er Re z = x og z = x y. Siden y er et reelt
Detaljer7 Egenverdier og egenvektorer TMA4110 høsten 2018
7 Egenverdier og egenvektorer TMA4 høsten 8 Det er ofte hensiktsmessig å tenke på en matrise ikke bare som en tabell med tall, men som en transformasjon av vektorer. Hvis A er en m n-matrise, så gir A
Detaljer4.2 Nullrom, kolonnerom og lineære transformasjoner
4.2 Nullrom, kolonnerom og lineære transformasjoner Utover Span {v 1, v 2,..., v p } er det en annen måte vi får lineære underrom på! Ser nå på V = R n. Skal se at det er visse underrom knyttet til en
Detaljerx 1 x 2 x = x n b 1 b 2 b = b m Det kan være vanskelig (beregningsmessig) og bearbeide utrykk som inneholder
4 Noen merknader 4. Lineære systemer Ax = b Gitt systemet Ax = b, A = [a i,j ] i=,,...,m, j=,,...,n x = b = Det kan være vanskelig (beregningsmessig) og bearbeide utrykk som inneholder b i. Med det finnes
DetaljerEKSAME SOPPGAVE MAT-1004 (BOKMÅL)
EKSAME SOPPGAVE MAT-00 (BOKMÅL) Eksamen i : Mat-00 Lineær algebra. Dato : Torsdag 09. juni. Tid : 09.00 -.00. Sted: : Teorifagb., hus, plan. Tillatte hjelpemidler : Godkjent kalkulator, to A ark egne notater
DetaljerTMA4240 Statistikk Høst 2016
Norges teknisk-naturvitenskapelige universitet Institutt for matematiske fag Anbefalt øving 9 Løsningsskisse Oppgave 1 a) Vi lar her Y være antall fugler som kolliderer med vindmølla i løpet av den gitte
DetaljerEKSAMEN I MA1202 OG MA6202 LINEÆR ALGEBRA MED ANVENDELSER
Norges teknisk naturvitenskapelige universitet Institutt for matematiske fag Side 1 av 3 Faglig kontakt under eksamen: Carl Fredrik Berg (975 05 585) EKSAMEN I MA1202 OG MA6202 LINEÆR ALGEBRA MED ANVENDELSER
DetaljerHøgskolen i Oslo og Akershus. 1 (x 2 + 1) 1/2 + x 1 2 (x2 + 1) 1/2 (x 2 + 1) = x 2x 2 x = = 3 ln x sin x
Løysingsforslag til eksamen i matematikk, mai 4 Oppgåve a) i) ii) f(x) x x + x(x + ) / ( f (x) x (x + ) / + x (x + ) /) g(x) ln x sin x x (x + ) / + x (x + ) / (x + ) x + + x x x + x + + x x + x + x +
DetaljerST0202 Statistikk for samfunnsvitere
ST0202 Statistikk for samfunnsvitere Kapittel 7: Utvalgsfordeling Bo Lindqvist Institutt for matematiske fag 2 Fra kapittel 1: Populasjon Den mengden av individer/objekter som vi ønsker å analysere. Utvalg
DetaljerSIF5030/75047 Optimeringsteori, 5 timer. Ingen hjelpemidler.
Oppgave1: SIF5/757 Optimeringsteori, 5 timer Ingen hjelpemidler. (a) Forklar hva som menes med en konveks funksjon, og argumentér for at alle minima til en konveks funksjon på en konveks mengde er globale
DetaljerBefolkning og velferd ECON 1730, H2016. Regresjonsanalyse
Netto innfl. Befolkning og velferd ECON 1730, H2016 Regresjonsanalyse Problem: Gitt planer for 60 nye boliger i kommunen neste år, hvor mange innflyttere kan vi forvente? Tabell Vestby kommune Nye boliger
DetaljerDiagonalisering. Kapittel 10
Kapittel Diagonalisering I te kapitlet skal vi anvende vår kunnskap om egenverdier og egenvektorer til å analysere matriser og deres tilsvarende lineærtransformasjoner Eksempel Vi begynner med et eksempel
DetaljerLøsning Eksamensrelevante oppgaver i ELE 3719 Matematikk Vektorer, matriser og lineær algebra Dato Februar Oppgave 1. (A) Vi leser av at
Løsning Eksamensrelevante oppgaver i ELE 379 Matematikk Vektorer, matriser og lineær algebra Dato Februar 05 Oppgave. (A) Vi leser av at A = 3 5, B = ( 0 5 ), C = 0 5 9 og har dermed at π x = Ax + BT =
Detaljer4.1 Vektorrom og underrom
4.1 Vektorrom og underrom Vektorrom er en abstraksjon av R n. De kan brukes til å utlede egenskaper, resultater og metoder for tilsynelatende svært ulike klasser av objekter : n-tupler, følger, funksjoner,
DetaljerOppgavesett. Kapittel Oppgavesett 1
Kapittel 9 Oppgavesett Dette kapitlet består av fire oppgavesett med oppgaver fra alle deler av kompendiet. 9. Oppgavesett Oppgave. Et dynamisk system er gitt ved x n+ = M x n der M er -matrisen.6.. M
DetaljerLøsninger for eksamen i MAT Lineær algebra og M102 - Lineær algebra, fredag 28. mai 2004, Oppgave 1. M s = = 1 2 (cofm 2) T.
Løsninger for eksamen i MAT - Lineær algebra og M - Lineær algebra, fredag 8. mai 4, (a) Finn determinanten til matrisen M s = Oppgave s uttrykt ved s, og bruk dette til å avgjøre for hvilke s matrisen
DetaljerMA1201, , Kandidatnummer:... Side 1 av 5. x =.
MA1201, 05.10.2016, Kandidatnummer:... Side 1 av 5 Oppgave 1 Løs ligningssystemet S T S T 1 1 0 1 W X W X U2 1 1 V x = U5V. 1 0 2 1 x =. Oppgave 2 Regn ut: S T S T 1 2 1 1 1 W X W X U 3 0 1 V U0 1 V =
DetaljerSnøtetthet. Institutt for matematiske fag, NTNU 15. august Notat for TMA4240/TMA4245 Statistikk
Snøtetthet Notat for TMA424/TMA4245 Statistikk Institutt for matematiske fag, NTNU 5. august 22 I forbindelse med varsling av om, klimaforskning og særlig kraftproduksjon er det viktig å kunne anslå hvor
Detaljern=0 n=1 n + 1 Vi får derfor at summen er lik 1/2. c)
Eksamen i BYPE2000 - Matematikk 2000 Dato: 204 Målform: Bokmål Antall oppgaver: 7 (20 deloppgaver) Antall sider: 4 Vedlegg: Noen formler Hjelpemiddel: Ingen Alle svarene skal grunngis. Alle deloppgavene
DetaljerST0202 Statistikk for samfunnsvitere
ST0202 Statistikk for samfunnsvitere Bo Lindqvist Institutt for matematiske fag 2 Fra første forelesning: Populasjon Den mengden av individer/objekter som vi ønsker å analysere. Utvalg En delmengde av
Detaljer