Kvinner, minoriteter og kvotering i Indisk politikk

Transkript

1 Kvinner, minoriteter og kvotering i Indisk politikk I denne oppgaven skal dere se litt på kvinner, minoriteter og kvotering i Indisk politikk. Vi tar utgangspunkt i artikkelen til Fransesca Jensenius (2016) Competing Inequalities? On the Intersection of Gender and Ethnicity in Candidate Nominations in Indian Elections, publisert i Government and Opposition, Vol. 51, No. 3, pp Artikkelen finner du i oppgave-folderen. Analysen er basert på et stort datasett på kandidater til Indiske valg. Først skal dere laste inn datasettene og slå dem sammen til ett. Dere trenger ikke ta vare på variabler om kandidat 2 og utover. For datasettet for 2000 skal dere bruke korrigerte tall for electors og voters. Med utgangspunkt i disse, lager du turnout. Gi også variablene i datasettet for etter 2000 navn som korresponderer til variablene i datasetter for perioden før. Slå datasettene sammen. Fjern missing og feilkoding. Ta bort ekstra whitespace i AC_type og ta bort AC_type == BL. Kode om kvotering slik at slik at begge typer er 1 og referanse-kategorien GEN er 0. Ta bort obsevasjoner fra 1970 og 1971 ettersom det er feil i data fra disse årene og observasjoner fra delstatene AP, BH, Tripura, Meghalaya, Assam, Maharashtra, MP, og WB i Du kan skalere antall stemmeberettige og seiersmargin slik at effektene blir per 1000 heller en per person. library(tidyverse) load("../../oppgaver/oppgave_5/replication_jensenius2016/data/ac_ rdata") load("../../oppgaver/oppgave_5/replication_jensenius2016/data/ac_ rdata") success_1999 <- AC %>% select(state_code2001:percent1) %>% filter(!(year == 1970 Year == 1971)) %>% filter(!(year==1972 & State_code2001 %in% c(28,10,16,17, 18, 27, 23, 19))) %>% as_tibble() success_2015 <- AC2000 %>% select(st_code2001, State, year, AC_no, AC_name, AC_type, electors_corrected, voters_corrected, cand, marg, validvotes, enop_vot, Cand1, Sex1, Party1, Votes1, Percent1) %>% as_tibble() success_2015%>% mutate(turnout = (voters_corrected/electors_corrected)*100) %>% rename("state_code2001" = ST_code2001, "State_name" = State, "Year" = year, "Electors" = electors_corrected, "Voters" = voters_corrected, "Valid_votes" = validvotes, "N_cand" = cand, "Margin" = marg, "ENOP_vot" = enop_vot) %>% select(names(success_1999)) -> success_2015 rbind(success_1999, success_2015) %>% filter(ac_type!= "BL") %>% na.omit() -> success success %>% mutate(ac_type = stringr::str_squish(ac_type), State_name = stringr::str_squish(state_name), Sex1 = ordered(success$sex1, labels = c("f", "M")), Electors = Electors/1000, Margin = Margin/1000, kvote = if_else(ac_type!= "GEN",1,0)) -> success 1

2 Valgdeltakelse over tid Neste steg er å lage en (ggplot) figur som viser turnout over tid. Bruk forskjellige fager for å vise om vinneren var en kvinne eller en mann. Bruk jitter for å redusere overplotting. Det figuren opp etter om det er kvotering eller ikke. Juster årstall på x-akse for å hindre over-plotting. Legg til regresjons-linjer får å lettere se sammenhengen. ggplot(success, aes(y = Turnout, x = Year)) + geom_jitter(alpha =.5, aes (color = Sex1)) + geom_smooth(method = "lm")+ facet_wrap(~kvote) + theme(axis.text.x=element_text(angle=90,hjust=1)) Turnout 75 Sex1 F 50 M Year Del opp i test og treningsdata Sett av ca 1/3 av radene til test-data. Bruk kun treningsdata nedenfor med mindre det står noe annet. Sørg for at resultene av denne oppdelingen er reproduserbar. set.seed(4279) trening <- sample_frac(success,.67) test <- anti_join(success, trening) Joining, by = c("state_code2001", "State_name", "Year", "AC_no", "AC_name", "AC_type", "Electors", "V 2

3 Valgdeltakelse og kvotering Lag en regresjonmodell som predikerer deltakelse (turnout), på basis av størrelse på valg-distrikt (Electors), kvotering (AC_type), antall kandidater, størrelse på valgseier, årstall og delstat. For denne modellen, juster årstall slik at første år har verdien 0. Du skal ikke justere årstall i datasettet, kun i modellen. Hint: Bruk I(). Vis resultatene i en tabell. Du trenger ikke inkludere effekten for hver av delstatene i tabellen, men det skal være med i modellen. lm_mod <- lm(turnout ~ -1 + Electors + kvote + N_cand + Margin + I(Year ) +kvote:i(year ) + stargazer::stargazer(lm_mod, type = "text", omit = "as.factor*") =================================================== Dependent variable: Turnout Electors *** (0.002) kvote *** (0.324) N_cand (0.013) Margin 0.104*** (0.007) I(Year ) 0.249*** (0.008) kvote:i(year ) 0.287*** (0.011) Observations 26,220 R Adjusted R Residual Std. Error (df = 26184) F Statistic 28, *** (df = 36; 26184) =================================================== Note: *p<0.1; **p<0.05; ***p<0.01 Ut fra denne tabellen, sammenlign valgdeltakelse i valgdistrikt med og uten kvotering. Er det store forskjeller? Hva skjer med valgdeltakese over tid? Kvinner og kvotering I resten av oppgaven skal du undersøke om det er lettere for kvinner å vinne i valgdistrikt med kvotering for minoriteter. Lag først en logistisk klassifieringsmodell. Du kan inkludere dummy variabler for årstall og delstat med as.factor() hvis du lurer på om det kan være noe med enkelte år eller enkelte delstater som gjør at en kan finne effekter. Hvis du inkluderer dette trenger du ikke vise resultatene for hver av årene eller hver av delstatene. 3

4 mod <- formula(sex1 ~ kvote + Turnout + N_cand + Electors + + Margin + as.factor(state_code2001) + as.factor(year)) logit_mod <- glm(mod, data = trening, family = binomial(logit)) Estimer en ny logit modell som har interaksjon mellom kvotering og seiersmargin. Hvordan tolker du disse resultatene? Tolk gjerne i lys av det Jensenius skriver. mod2 <- update(mod,.~. + kvote:margin) logit2_mod <- update(logit_mod, mod2) stargazer::stargazer(logit_mod,logit2_mod, type = "text", omit = "as.factor*") ============================================== Dependent variable: Sex1 (1) (2) kvote (0.076) (0.104) Turnout 0.010*** 0.010*** (0.003) (0.003) N_cand (0.008) (0.008) Electors 0.003** 0.002** (0.001) (0.001) Margin *** ** (0.003) (0.003) kvote:margin ** (0.006) Constant 4.378*** 4.311*** (0.776) (0.777) Observations 26,220 26,220 Log Likelihood -4, , Akaike Inf. Crit. 9, , ============================================== Note: *p<0.1; **p<0.05; ***p<0.01 Ut fra disse resultatene, hva vil du si at effekten av kvotering er for sjansen for at kvinner blir valgt inn. Si litt om sammenhengen mellom variablene du tok med i modellen og sjanse for at en kvinnelig kandidat vinner valget. Hvilken modell klassifierer best? Vis med en tabell for hver av modellene. Juster kuttpunkt slik at det reflekterer forskjellen mellom mannlige og kvinnelige valgvinnere i data. mod1_preds <- predict(logit_mod, trening, type = "response") table(estimert = if_else(mod1_preds>.95,"m","f"), faktisk = trening$sex1) 4

5 faktisk estimert F M F M mod2_preds <- predict(logit2_mod, trening, type = "response") table(estimert = if_else(mod2_preds>.95,"m","f"), faktisk = trening$sex1) faktisk estimert F M F M Random forest Vi skal nå se på litt mer fleksible modeller. Estimer en bagging modell. Du skal ikke ha med delstatsvariabel. Ettersom det er mange flere menn enn kvinner som blir valgt inn, setter du klassifisering-grensen, gitt med argument cutoff, til ca det som er andelen kvinner i datasettet. Les i dokumentasjonen til randomforest for å finne ut hvordan du gjør dette. library(randomforest) randomforest Type rfnews() to see new features/changes/bug fixes. Attaching package: 'randomforest' The following object is masked from 'package:dplyr': combine The following object is masked from 'package:ggplot2': margin mod_skog <- formula(sex1 ~ kvote + Turnout + N_cand + Electors + + Margin +Year) bag <- randomforest(mod_skog, trening, mtry = 6, cutoff = c(.05,.95)) bag Call: randomforest(formula = mod_skog, data = trening, mtry = 6, cutoff = c(0.05, 0.95)) Type of random forest: classification Number of trees: 500 No. of variables tried at each split: 6 OOB estimate of error rate: 36.36% Confusion matrix: F M class.error F M Lag en figur som viser hvilke variabler som er viktige. Tolk dette i lys av det du har funnet ut ovenfor. 5

6 varimpplot(bag) bag Electors Margin Turnout N_cand Year kvote MeanDecreaseGini Nå forsøker vi en random forest modell. Begrens antall greier på hvert tre til 4. Behold det samme klassifiserings-teskelen som i bagging modellen. skog <- randomforest(mod_skog, trening, mtry = 4, cutoff = c(.05,.95)) skog Call: randomforest(formula = mod_skog, data = trening, mtry = 4, cutoff = c(0.05, 0.95)) Type of random forest: classification Number of trees: 500 No. of variables tried at each split: 4 OOB estimate of error rate: 35.66% Confusion matrix: F M class.error F M Hvor bra klassifierer denne modellen? Lag en tabell som viser de viktigeste variablene. importance(skog) MeanDecreaseGini kvote Turnout N_cand Electors Margin

7 Year Estimer dettetter en boosting versjon av samme modellen og vis hvilke variabler som er viktige for klassifiseringen. trening$kvinne <- ifelse(trening$sex1=="m",0,1) test$kvinne <- ifelse(test$sex1=="m",0,1) library(gbm) Loaded gbm mod_skog2 <- update(mod_skog, kvinne ~.) boosting <- gbm(mod_skog2, data = trening, distribution = "bernoulli", n.trees = 5000, interaction.depth = 3, shrinkage =.1) summary(boosting) kvote Year Electors var rel.inf Margin Margin Electors Electors Turnout Turnout Year Year N_cand N_cand kvote kvote Vis effeken av kvotering for klassifiering. plot(boosting, i = "kvote") Relative influence 7

8 y kvote Vis hvor bra denne modellen klassifiserer gitt en terskel på.25 Kalkuler klassifieringsrater samlet og for menn og kvinner hver for seg. pred_boost <- if_else( predict(boosting, trening, n.trees = 5000, type = "response")>.25, 1,0) (x <- table(pred_boost,trening$kvinne)) pred_boost (x[1,1] + x[2,2])/nrow(trening) [1] x[2,2]/(x[2,2] + x[1,2]) # Menn [1] x[1,1]/(x[1,1] + x[2,1]) # Kvinner [1] Vurder disse resultatene opp mot de andre modellene. SVM Estimer en SVM modell med vekter på de to klassene omvendt forhold til hvor store de er. Sørg for at modellen er littt fleksibel. Prøv å lag en modell som predikerer bedre i treningsdata enn hva de andre modellene har gjort. Hent ut predikerte sannsynligheter fra modellen og still opp i en tabell. Regn ut hvor 8

9 bra modellen gjør det for kvinner og menn hver for seg. Bruk kryss-validering for å se hvor bra modellen gjør det, 5 deler. Sammenlign prekiksjonene fra modellen med kryssvalideringen. Hva tyder disse resultatene på? library(e1071) trening$kvinne <- as.factor(trening$kvinne) test$kvinne <- as.factor(test$kvinne) svm_mod <- svm(mod_skog2, data = trening, kernel = "radial", decision.values = TRUE, cost = 25, gamma = 2, cross = 5, class.weights = c("1" =.95, "0" =.05)) summary(svm_mod) Call: svm(formula = mod_skog2, data = trening, kernel = "radial", decision.values = TRUE, cost = 25, gamma = 2, cross = 5, class.weights = c(`1` = 0.95, `0` = 0.05)) Parameters: SVM-Type: C-classification SVM-Kernel: radial cost: 25 gamma: 2 Number of Support Vectors: ( ) Number of Classes: 2 Levels: fold cross-validation on training data: Total Accuracy: Single Accuracies: (x <- table(pred = fitted(svm_mod), sant = trening$kvinne)) sant pred (x[1,1] + x[2,2])/nrow(trening) [1] x[2,2]/(x[2,2] + x[1,2]) # Kvinner [1]

10 x[1,1]/(x[1,1] + x[2,1]) # Menn [1] Predikere på testdata Lag ROC-kurver og vurdere hvordan modellene gjør det på test-data. Klarer modellene i å predikere om en kvinne eller en mann vinner? Hvorfor tror du at noen av modellene det bedre enn andre? library(proc) Type 'citation("proc")' for a citation. Attaching package: 'proc' The following objects are masked from 'package:stats': cov, smooth, var logit_roc <- roc(response = test$sex1, predictor = predict(logit_mod, test)) logit2_roc <- roc(response = test$sex1, predictor = predict(logit2_mod, test)) bag_roc <- roc(response = test$sex1, predictor =predict(bag,test, type = "prob")[,2]) skog_roc <- roc(response = test$sex1, predictor =predict(skog,test, type = "prob")[,2]) boost_roc <- roc(response = test$kvinne, predictor =predict(boosting,test, type = "response", n.trees = 5000)) svm_preds <- attributes( predict(svm_mod, test, decision.values= TRUE)) svm_roc <- roc(response = test$kvinne, predictor = as.vector(svm_preds$decision.values)) roc_fig <- ggroc(list("logit" = logit_roc, "logit_2" = logit2_roc, "bagging" = bag_roc, "random forest" = skog_roc, "boosting" = boost_roc, "svm" = svm_roc), alpha = 0.5, linetype = 1, size = 1) roc_fig 10

11 name sensitivity bagging boosting logit logit_2 random forest svm specificity