Statistikk for språk- og musikkvitere 1

Transkript

1 Statistikk for språk- og musikkvitere 1

2 Mitt navn: Åsne Haaland, Vitenskapelig databehandling USIT Ikke nøl, avbryt med spørsmål!

3 Hva oppnår en med statistikk?

4 Få oversikt over data: typisk verdi, spredning, grad av symmetrisk fordeling etc. Generalisering, fra utvalg til hele populasjoner (hypotesetesting)

5 Flere bruksområder Til å forklare (Multippel regresjon: posisjonen til tungeroten forklares med punkter på tungebladet, side 83 i Johnson-bok. Bidraget til enkeltpunkt)

6 Anvendelser i datalingvistikk Prediksjon: Klassifiseringsoppgaver i språkteknologi: Prediksjon av korrekt kategori (Hver faktors bidrag er ikke transparent) Data Mining: Å oppdage mønstre i store datamengder, som korpora.

7 Dagens program Diskusjon av de første to anvendelsene Gitt et datasett, hvordan går vi frem, hva er det første vi gjør?

8 1 : Se på data En Cherokeetalende (mann) med 30 års mellomrom, 1971 og 2001 (side 2, Keith Johnson: Quantitative Methods in Linguistics,). Varighet av aspirasjon, (VOT, Voice Onset Time), i ustemte plosiver (/k/ and/t/):

9 Gjennomsnitt 2001 = 84.7, gjennomsnittet er størst. Beskrivende statistikk: Representativ verdi og spredningsmål Representativ verdi: Gjennomsnitt (vanlig), X = 1 N N 1 xi Summer alle observasjonene, og divider med antallet Gjennomsnitt 1971 = 113.5

10 Median og modus Median er midterste observasjon Modus den mest frekvente Hvis data er symmetrisk fordelt, er de sammenfallende. Gjennomsnittet påvirkes sterkt av utliggere.

11 Spredningsmål: Standard avvik, s ( x i X )( x ( n 1) i X ) = s Kvadratet av s er lik summen av hver observasjon minus gjennomsnittet kvadrert, dividert med antallet-1 Gjennomsnittlig avstand til gjennomsnittet: Hvorfor er definisjonen av s så vanskelig? Kvadrering gir positivt tall St avvik 1971 =35.9, st avvik 2001=36.09

12 Sorterer etter voksende størrelse: Kan gjøres automatisk av en statistikkpakke, Excel etc, eller manuelt. 1971: Min-verdi: 53 Max-verdi: 181 Modus, (mest frekvente): 109 (to observasjonen, alle andre verdier opptrer bare en gang)

13 Kvartiler Kvartiler = 25 prosent av observasjonene(første) and 75 prosent (tredje) Medianen er andre kvartil 1971 (tilsammen 18 observasjoner): Median=114 (snittet av 9. og 10. observasjon) Første kvartil=79 (5. minste) Tredje kvartil=129 (15. minste)

14 2 : Grafer Visualisering hjelper forståelsen for alle parter! Histogram (søylediagram) Vise en mye brukt graf Box plot (kvartiler, median og utliggere)

15 Histogram (1971) Density var1

16 Box Plot (1971 venstre, 2001 høyre) var1 var2

17 Box Plot : Box plots viser resultatene for to eller mer måleserier. (Vi har to.) For hver sample: 3 vannrette linjer: første kvartil, median og tredje kvartil. Gi boksen vegger ved å legge til loddrette linjer. Da har vi en boks med halvparten av observasjonene.

18 Loddrette Linjer, fra boksen Avstanden mellom tredje og første kvartil kalles Inter Quartile Range (IQR). Loddrette linjer tegnes fra første og henholdsvis tredje kvartil og til ytterste punkt som er opptil 1.5 IQR. Utliggere er observasjoner som ligger mer enn 1.5 IQR fra selve boksen. IQR-1971: =50, 1.5 IQR=75 Nedre strek: 53 er ytterste verdi innenfor 1.kvartil-1.5IQR 1971 har ingen utliggere, (men 2001 har tre)

19 Hva viser boksplottene for 1971 og 2001?

20 3 : Generalisering: Sammenligning av to gjennomsnitt 1971-gj.snitt = gj.snitt = 84.7 Vi tester statistisk om 1971-snittet er lik snittet for denne Cherokee taleren, eller om de er signifikant forskjellige.

21 Enveis vs toveis tester En kan også velge å teste om 1971-snittet er signifikant større enn 2001-snittet (eller omvent). Dette er en enveis test. Å teste for likhet representerer en toveis test. Vi skal gjøre en toveis test

22 Hva er en normalfordeling (Gausskurve)?

23 Sannsynlighetsfordelinger Sannsynligheten er definert for intervaller Totalt areal under kurven er 1 (den totale sannsynligheten) Det finnes familier av fordelinger

24 t-sannsynlighetsfordelinger er en slik familie I en toveis test beregnes den totale sannsynligheten for venstre og høyre hale intervaller

25 Klare for testing Er 1971-snittet vesentlig forskjellig fra snittet, eller skyldes forskjellen mest sannsynlig tilfeldigheter? Fordi vi sammenligner to gjennomsnitt: T-test (Det er noen tilleggskrav for å bruke t-test)

26 T-testen Nullhypothesen er at gj. snittene er like, H0: μ 1971 = μ 2001 Nullhypotesen skal eventuelt forkastes som følge av testen (Det er ikke mulig å bruke den motsatte satsen som null hypotese, ettersom vi da ikke kommer videre)

27 Av en familie: hvilken t- fordeling? Valget av t-sannsynlighetsfordeling bestemmes entydig av antall frihetsgrader. For t-testen er antall frihetsgrader totalt antall observasjoner i de to måleseriene - 2. Her: 18 (år1971)+26(år2001)-2=42.

28 Som et tall Måleseriene (1971 and 2001) representeres som et tal,l test observatoren, (formelen er ikke vist) t=2.6116, (antall frihetsgrader er 42)

29 P-verdien P-verdien er sannsynligheten for test observatoren, eller noe mer ekstremt, gitt nullhypotesen I eksemplet vårt er p-verdien (to sidig) P-verdien på betyr at gitt at nullhypotesen er sann, så kan vi forvente at vi i 1.24 prosent av alle trials får det vi fikk, eller noe mer sjeldent.

30 Signifikansnivå, α Signifikansnivå α, er grensen for forkastning. Tre vanlige signifikansnivåer: 0.10, 0.05 and P-verdien < signifikansnivået betyr FORKASTNING En kan ikke jukse gjennom valg av signifikansnivå. Vi: P-verdien= Da får jeg forkastning for signifikansnivåene 0.10

31 Type I og Type II feil Nullhypotesen er faktisk sann, men vi forkastet den Nullhypotesen er i virkeligheten gal, men vi forkastet ikke og beholdt den

32 Hva skriver vi? Test observatoren, Antall frihetsgrader P-verdi Signifikansnivå Forkastning eller ikke-forkastning

33 Neste gang, 17. november, samme sted, men kortere ( ) Hva slags statistikkhjelp finnes ved UiO? Demo av statistikkprogramvare (STATA).