Former for lærervurdering som kan ha positiv innvirkning på skolens kvalitet: En systematisk kunnskapsoversikt. Protokoll

Transkript

1 Former for lærervurdering som kan ha positiv innvirkning på skolens kvalitet: En systematisk kunnskapsoversikt Protokoll 1

2 Innholdsfortegnelse 1 Innledning Korte systematiske kunnskapsoversikter Premisser for kunnskapsoversikten Opprettelse av forskergruppe Inklusjons- og eksklusjonskriterier Implikasjoner for søk Vurderinger ved bruk av standardiserte emneord Vurderinger ved bruk av fritekstsøk Vurderinger ved bruk av Boolske operatorer Begrepsorientering Kunnskapsdepartementets definisjoner Nøkkelbegreper som brukes i OECD Kvalitetsbegreper som brukes i norsk skole Identifisering av emneord Søkestrategi Kilder Søk i elektroniske databaser gjennom ProQuest-portalen Søk etter skandinavisk litteratur Håndsøk i fagfellevurderte tidsskrifter Håndsøk i referanser Søk på internett og i grå-litteratur Google Scholar OECD Library RAND Corporation NIFU AFI Oppsummering av søk Referansehåndtering Screening basert på gjennomgang av tittel og sammendrag Screening basert på gjennomgang av artikler i fulltekst Kartlegging: "mapping" Begrepsavklaring av forskningsdesign for mapping Hovedfunn fra mappingen Syntetisering av funnene Referanseliste

3 1 Innledning 1.1 Korte systematiske kunnskapsoversikter På grunn av tidsrammen for oppdraget valgte Kunnskapssenteret å følge retningslinjene for korte systematiske kunnskapsoversikter. En kort systematisk kunnskapsoversikt (Rapid Evidence Assessment - REA) er en type systematisk kunnskapsoversikt som er særlig egnet til å identifisere forskning innenfor et gitt feltet som grunnlag for politikkutforming. En kort kunnskapsoversikt skal være så omfattende som mulig innenfor en gitt tidsramme. REAformatet ble utviklet av EPPI-senteret ved Institute of Education, University of London i samarbeid med Goverment Social Research Services (GSR). En elektronisk "verktøykasse" er tilgjengelig for å hjelpe til med igangsetting og gjennomføring av korte kunnskapsoversikter. Rapid Evidence Assessment Toolkit (2008). 1.2 Premisser for kunnskapsoversikten I oppdragsbrev av 10. oktober 2013 bestilte Kunnskapsdepartementet en systematisk kunnskapsoversikt om temaet lærervurdering fra Kunnskapssenter for utdanning med frist 1. april Prosjektet skal samle studier som både rapporterer om forhold som gjelder prosesskvalitet og resultatkvalitet. Både kvantitativ og kvalitativ forskning skal inkluderes, og prosjektet skal omfatte både formativ og summativ vurdering. Følgende krav er stilt til oppdraget: kunnskapsoversikten skal inkludere forskningslitteratur om alle former for lærervurdering ulike formål med lærervurdering som er omtalt i forskningslitteraturen skal inkluderes i kunnskapsoversikten Kunnskapsdepartementet ønsker svar på følgende spørsmål: Hvilke former for lærervurdering fremmer prosesskvalitet i skolen? Hvilke former for lærervurdering fremmer resultatkvalitet i skolen? Med bakgrunn i dette er den systematiske kunnskapsoversiktens scope: Hvilke former for lærervurdering kan ha positiv innvirkning på skolens kvalitet? 1.3 Opprettelse av forskergruppe Det ble opprettet en forskergruppe for prosjektet med følgende medlemmer: Karen Hammerness, Bard College. NY. Lærerutdanning som spesialfelt. Therese N. Hopfenbeck, OUCEA, Oxford University, vurdering som spesialfelt. Trond E. Hauge, professor em (UiO). Har arbeidet med skolen som organisasjon, evalueringsproblematikk og spørsmål om styring og ledelse. Astrid Tolo, UiB, førsteamanuensis ved Institutt for pedagogikk. Arbeider med lærerutdanning (PPU) og skolelederutdanning (rektorskolen). 3

4 Jens Chr. Smeby HiOA, professor og stedfortredende senterleder ved Senter for profesjonsstudier. Arbeider med profesjonskvalifisering i utdanning og arbeidsliv og kjennetegn ved profesjonskunnskap. 2 Inklusjons- og eksklusjonskriterier Inklusjons- og eksklusjonskriteriene spesifiserer hvilke studier som skal inngå i kunnskapsoversikten, og hvilke studier som skal ekskluderes. Det skal også gis en begrunnelse for valg av kriterier. For å oppnå en effektiv screening-prosess, er det en fordel å ha flere klart definerte eksklusjonskriterier. Studier som ikke blir ekskludert i henhold til eksklusjonskriteriene, vil være inkludert. Følgende inklusjons- og eksklusjonskriterier ble opprettet for koding av studier basert på gjennomgang av tittel og sammendrag: EKSKLUDER på dato Ekskluder studier publisert før 1. januar Begrunnelse: Det fokuseres på nyere litteratur for å begrense antall referanser slik at tidsfristen for levering av kunnskapsoversikten kan overholdes. Dessuten vil nyere litteratur bygge på tidligere publiserte arbeider slik at tidligere forskning indirekte fanges opp. EKSKLUDER på språk Ekskluder studier som ikke er skrevet på engelsk, norsk, svensk eller dansk. Begrunnelse: Oversettelse av vitenskapelige artikler er svært tidkrevende, og vil kun i begrenset grad være mulig innenfor prosjektets tidsramme. Det fokuseres derfor på studier som ikke krever oversettelse. EKSKLUDER på emne Ekskluder studier som ikke handler om lærervurdering. Begrunnelse: Det publiseres langt flere studier om elevvurdering enn om lærervurdering. Det er forventet at de fleste av studiene som identifiseres i elektroniske søk vil handle om elevvurdering, og disse må kunne ekskluderes fra kunnskapsoversikten. EKSKLUDER på utdanningsnivå Ekskluder studier som ikke omhandler lærere i grunnskole og videregående skole. Begrunnelse: Forskning om barnehager ligger utenfor prosjektets scope. Lærervurdering innenfor høyere utdanning er så vidt forskjellig fra lærervurdering i skolen at det ville kreve separat behandling i kunnskapsoversikten. Av tidshensyn er derfor lærervurdering i høyere utdanning utelatt i kunnskapsoversikten. EKSKLUDER ikke-vitenskapelige studier Ekskluder studier som ikke er publisert i tidsskrifter med fagfellevurdering. Begrunnelse: Ved å begrense kunnskapsoversikten til bare å omfatte studier publisert i fagfellevurderte tidsskrifter sikres høyere kvalitet av de inkluderte studiene. 4

5 EKSKLUDER bøker/bokkapitler, avhandlinger og rapporter Studier publisert som bøker/bokkapitler, avhandlinger og rapporter er ikke fagfellevurderte. Begrunnelse: Ved å begrense kunnskapsoversikten til bare å omfatte studier publisert i fagfellevurderte tidsskrifter sikres høyere kvalitet av de inkluderte studiene. INKLUDER studie basert på tittel og sammendrag Inkluder alle studier som ikke er ekskludert basert på eksklusjonskriteriene over. En kort systematisk kunnskapsoversikt er en type systematisk kunnskapsoversikt som er særlig egnet til å identifisere forskning innenfor et gitt felt som grunnlag for politikkutforming. En kort kunnskapsoversikt skal være så omfattende som mulig innenfor en gitt tidsramme. Vi har valgt å gjøre litteratursøkene så omfattende som mulig, for så å anvende stringente inklusjons- og eksklusjonskriterier for å bestemme de konseptuelle grensene - som i sin tur bestemmer hvilke studier kunnskapsoversikten skal inneholde. 3 Implikasjoner for søk Det søkes etter litteratur som handler om vurdering av lærere og skolens kvalitet. I litteraturen er det mange begreper som brukes om dette, slik at søkene blir komplekse. Vi har valgt å gjøre omfattende søk i de elektroniske databasene ved å kombinere bruk av standardiserte emneord og fritekstsøk. 3.1 Vurderinger ved bruk av standardiserte emneord Indeksering av databaser - alle referanser i databasen har ett eller flere standardiserte emneord som beskriver de enkelte studiene Økt presisjon fordi indekseringen bidrar til organisering av referansene i databasen Fordel fordi bruk av standardiserte emneord kompenserer for variasjon i forfatternes språkbruk og terminologi Ulempe om bruken av standardiserte emneord ikke er tilpasset kunnskapsoversikten eller at emneordene ikke er brukt konsistent i databasen Standardiserte emneord identifiseres i databasens synonymordbok Søket tilpasses hver enkelt database Ikke alle databaser er indeksert 3.2 Vurderinger ved bruk av fritekstsøk Uttømmende søkestrategier omfatter bruk av fritekstsøk i tillegg til emneordsøk Forfattere bruker forskjellige ord for å beskrive samme konsept, og de som indekserer databasen kan ha vært inkonsekvente eller ha forskjellig praksis Menneskelige feil og utelatelser Særskilt fokus i enkelte databaser gjør at enkelte standardiserte emneord favner bredt Studier i samfunnsvitenskapene mangler ofte et strukturert sammendrag med metodebeskrivelse 3.3 Vurderinger ved bruk av Boolske operatorer Søkeord kombineres ved bruk av AND og OR NOT brukes ikke for å unngå eksklusjon av artikler som omhandler både et relevant og et ikke-relevant tema 5

6 4 Begrepsorientering Kunnskapssenter for utdanning (KSU) har i samarbeid med forskergruppen konkretisert kunnskapsoversiktens scope ved å gjøre spørsmålene mer eksplisitte. I forhold til kunnskapsoversiktens scope ble følgende vurdert: Hvilke former for lærerevalueringer er relevante Hva menes med "prosesskvalitet" og "resultatkvalitet" i skolen Det ble foretatt en begrepsorientering i forhold til hvilke former for lærervurdering som er aktuelle å vurdere, samt hvilke mål som er satt for kvaliteten av grunnopplæringen i Norge. Begreper for lærervurdering ble blant annet hentet fra OECD Education Working Paper No. 23 (Isoré 2009). Foruten de begreper for prosesskvalitet og resultatkvalitet som fremkom i oppdragsbrevet fra KD, ble St. meld. Nr. 31 ( ) Kvalitet i skolen, gjennomgått for en mulig utvidelse av aktuelle søkebegreper. Siden kunnskapsoversikten begrenses til å omfatte grunnskole og videregående skole, ble det i tillegg identifisert begreper brukt i databasene om lærere på det aktuelle utdanningsnivået. Dette ble gjort ved hjelp av synonymordbøkene i databasene. 4.1 Kunnskapsdepartementets definisjoner Kunnskapsdepartementet legger i oppdragsbrevet til grunn følgende definisjoner av prosesskvalitet og resultatkvalitet Prosesskvalitet defineres som: Undervisningens og læringens innhold Didaktikk Metodisk tilnærming Lærernes profesjonsutvikling Anvendelse av lærernes kompetanse Læringsmiljø Elevenes læringsutbytte Elevenes samspill Foreldreinvolvering Skolene som lærende organisasjoner Resultatkvalitet defineres som: Elevenes læringsutbytte i form av kunnskaper, ferdigheter og holdninger Eksempler på lærervurdering: Testresultater/eksamenskarakterer Klasseromsobservasjoner Lærerporteføljer Elevvurdering Egenvurdering 6

7 4.2 Nøkkelbegreper som brukes i OECD Methods and instruments: Classroom observations Interviews with the teacher Teacher-prepared portfolios (video clips, lesson plans, reflection sheets, self-reported questionnaires, samples of student work) Student achievement results (absolute performance or value-added gains) Teacher tests Data from questionnaires and surveys completed by parents and students Formative assessment: Professional development to enhance teaching: - Identifying the teacher s strengths and weaknesses - Providing constructive feedback on the teacher s practices - Guiding teachers towards adequate professional development programs and opportunities to develop their capacities Improving school leadership: - Adapting schools professional development programs to identified needs - Improving teacher monitoring and coaching from principals Summative assessment: Accountability and quality assurance for policymakers and parents - Improving student learning and performance through better teaching practices - Reducing inequity in student achievement Recognition and/or rewards for teachers: - Recognition of skills and commitment - Promotion - Salary increments - Non-financial rewards (working conditions) - Responses to ineffective teachers (deferrals of promotion, dismissals) Referanse: Isoré Kvalitetsbegreper som brukes i norsk skole Kvalitetsbegreper i norsk skole fra St. meld. Nr. 31 ( ) Kvalitet i skolen (Kapittel 1.3: Mål for kvaliteten i grunnopplæringen): 1. Alle elever som går ut av grunnskolen, skal mestre grunnleggende ferdigheter som gjør dem i stand til å delta i videre utdanning og arbeidsliv De indikatorene som vil bli benyttet for å vurdere grad av måloppnåelse og trend, er følgende: På nasjonalt nivå: andelen elever som presterer på laveste kompetansenivå i de internasjonale undersøkelsene i lesing og matematikk På lokalt nivå: andelen elever som presterer på laveste nivå i lesing og regning ved de nasjonale prøvene sammenlignet med det nasjonale gjennomsnittet 2. Alle elever og lærlinger som er i stand til det, skal gjennomføre videregående opplæring med kompetansebevis som anerkjennes for videre studier eller i arbeidslivet 7

8 De indikatorene som vil bli benyttet for å vurdere grad av måloppnåelse og trend, er følgende: Andelen som fullfører ordinær videregående opplæring fordelt på yrkesforberedende og studieforberedende opplæringsprogrammer Andelen som oppnår planlagt kompetanse på lavere nivå blant de som ikke gjennomfører ordinær videregående opplæring 3. Alle elever og lærlinger skal inkluderes og oppleve mestring De indikatorene som vil bli benyttet for å vurdere grad av måloppnåelse og trend, er følgende: Andelen som trives godt Andelen som mobbes Andelen som får nok utfordringer i skolen Andelen som oppgir at opplæringen er tilpasset deres nivå Andelen som får faglige tilbakemeldinger 4.4 Identifisering av emneord Basert på denne gjennomgangen av begreper ble det identifisert standardiserte emneord for de indekserte databasene Kunnskapssenteret har tilgang til (ERIC, ASSIA, IBSS og PQEJ). De standardiserte emneordene identifiseres i de ulike databasenes synonymordbok. Indekseringen er ikke lik for de enkelte databasene, slik at emneordene må oversettes mellom databasene. Det ble i tillegg utarbeidet en liste over fritekst søkeord til bruk i alle databasene kunnskapssenteret har tilgang til (ERIC, ASSIA, IBSS, PQEJ, COS, PQDT A&I, PQDT UK&I). Se Kapittel Kilder for en fullstendig liste over databaser. Følgende antall emneord ble identifisert ERIC standardisert ASSIA standardisert IBSS standardisert PQEJ standardisert Alle Fritekstsøk Lærere Evalueringsformer Kvalitet For en fullstendig oversikt over emneord, se Vedlegg 1. 5 Søkestrategi Søkestrategien i en kort systematisk kunnskapsoversikt er som i tradisjonelle systematiske kunnskapsoversikter, omfattende, planlagt, kontrollert og eksplisitt rapportert. Søkestrategien baserer seg på en kombinasjon av søk med høy presisjon og søk med høy sensitivitet. Søk med høy presisjon gjennomføres ved hjelp av standardiserte emneord, og skal identifisere en høy andel av studier som møter inklusjonskriteriene, men med risiko for å miste andre relevante studier. Søk med høy sensitivitet gjøres ved fritekstsøk, og skal identifisere en høy andel av totalt antall eksisterende artikler på feltet, men vil i tillegg produsere et høyt antall irrelevante artikler som må screenes og ekskluderes. 8

9 Søkestrategien omfatter følgende fire elementer: Dato for publisering av forskningen Studier publisert etter 1. januar Et definert utdanningsnivå Grunnskole og videregående skole. Alle relevante former for lærervurdering Det ble gjort en begrepsorientering om forskjellige former for lærervurdering i forkant av litteratursøkene. Alle relevante begreper som beskriver kvalitet i skolen. Det ble gjort en begrepsorientering om kvalitet i skolen i forkant av litteratursøkene. 5.1 Kilder Det ble søkt i følgende kilder: Elektroniske databaser som KSU har tilgang til gjennom ProQuest-portalen: Education Resources Information Center (ERIC) Applied Social Sciences Index and Abstracts (ASSIA) International Bibliography of the Social Sciences (IBSS) ProQuest Dissertions and Thesis A & I (PQDT A&I) ProQuest Dissertions and Thesis - UK & Ireland (PQDT UK&I) COS Conference Papers Index (COS) ProQuest Education Journals (PQEJ) Særskilte søk etter skandinavisk litteratur i følgende databaser: Forskningsdatabasen.dk (DEFFnet) REX-Det kongelige bibliotek og Københavns Universitets biblioteksservice (REX) Bibliotek.dk Roskilde universitetsbibliotek (RU) Kungliga biblioteket-national Library of Sweden (KB) IDUNN BIBSYS/ASK Håndsøk: Programvaren som ble brukt til de elektroniske søkene fanger ikke opp all litteratur publisert i Det ble derfor gjort håndsøk i de tidsskriftene som publiserer artikler med relevans for prosjektets problemstilling. Det ble lett etter nyere publikasjoner av forfattere som tidligere har publisert innenfor tematikken og spesifikt søkt etter artikler fra 2013 og 2014 som bruker lærervurdering i tittel og sammendrag: Individuelle fagfellevurderte tidsskrifter Referanselister i inkluderte studier Internett (Google Scholar) Personlige kontakter (prosjektets forskergruppe) 9

10 Søk i grå-litteratur begrenses til: OECD Library RAND Corporation Nordisk institutt for studier av innovasjon, forskning og utdanning (NIFU) Arbeidsforskningsinstituttet (AFI) 5.2 Søk i elektroniske databaser gjennom ProQuest-portalen Hovedsøk utført : Søkestrenger basert på standardiserte emneord ble utviklet for alle indekserte databaser i vårt utvalg (ERIC, ASSIA, IBSS og PQEJ). To fri-tekst søkestrenger ble utviklet for bruk i alle databaser. I den første søkestrengen (FT1) anvendes anførselstegn ("søkebegrep") for å begrense søkene til nøyaktige ordlyd. I den andre søkestrengen (FT2) anvendes apostrofe ('søkebegrep'), som gir rom for et bredere søk. Bortsett fra bruk av anførselstegn og apostrofe er de to fri-tekst søkestrengene identiske. Søkestrenger som er brukt i de elektroniske ProQuest-databasene er gjengitt i Vedlegg 2 (søkestreng nr.1-6). Tilleggssøk utført : Det ble utført tilleggs-søk i alle ProQuest-databasene for om mulig å identifisere flere studier som bruker "value-added" begrepet. For søkestreng, se Vedlegg 2 (søkestreng nr.7). Tilleggssøk utført : Det ble utført tilleggs-søk i ERIC og PQEJ databasene for om mulig å identifisere flere studier der skoleledere evaluerer lærere. For søkestreng, se Vedlegg 2 (søkestreng nr.8 og 9). Resultat av søk (antall treff) Database Søkedato Søkestreng Standard Fritekst Fritekst nr. emneord (FT1) (FT2) Total ERIC PQEJ IBSS ASSIA COS PQDT UK&I PQDT A&I ProQuest (valueadded) ProQuest (ledelse) Total Det ble identifisert 593 studier i søk med standardiserte emneord. Basert på gjennomgang av tittel og sammendrag ble 125 studier vurdert som relevante for kunnskapsoversikten. Dette gir en presisjon i søket på 21,1 %. Søk med høy presisjon skal identifisere en høy andel av studier som møter inklusjonskriteriene, men med risiko for å miste andre relevante studier. Det ble identifisert studier i søk med fritekst søkeord. Basert på gjennomgang av tittel og sammendrag ble 765 studier vurdert som relevante for kunnskapsoversikten. Dette gir en 10

11 presisjon i søket på 6,7 %. Søk med høy sensitivitet skal identifisere en høy andel av totalt antall eksisterende artikler på feltet, men vil i tillegg produsere et høyt antall irrelevante artikler som må screenes og ekskluderes. Alle referanser ble overført til EPPI-reviewer 4 software (se Kapittel 6-Referansehåndtering). 5.3 Søk etter skandinavisk litteratur For å identifisere relevant litteratur på norsk, dansk og svensk ble det utført søk i åpne skandinaviske biblioteksdatabaser. Søket ble utført De enkelte studiene ble vurdert basert på gjennomgang av tittel og sammendrag slik det fremkom på bibliotekdatabasenes nettsider. Bare artikler som ble vurdert å være relevante for kunnskapsoversikten ble overført til EPPI-reviewer 4 software (ER4). Resultat av søk (antall treff) Relevante Database Treff treff Nedlasting til ER4 (DEFFnet) REX Manuell Bibliotek.dk RIS-format RU KB 40 3 Manuell IDUNN Manuell BIBSYS/ASK Manuell Total Søkedetaljer Søkeord: vurdering lærer* Tidsrom: Advanced search: vurdering lærer* i alle felter Alle materialer (artikler, bøker, etc.); Alle sprog Tidsrom: Advanced search: vurdering lærer* i alle felter Alle materialtyper (artikler, bøker, etc.) Alle sprog Tidsrom: År etter 2008 Søkeord: vurdering lærer* Tidsrom: Advanced search: bedömning lärare* Alle materialer (artikler, bøker, etc.) Alle språk Tidsrom Søkeord: vurdering lærer* Filter: Pedagogikk, samfunnsfag Tidsrom. År Tittel, ordsøk: vurdering lærer* Tidsrom: Håndsøk i fagfellevurderte tidsskrifter Søket ble utført Det ble utført håndsøk for 2013 og 2014 i alle fagfellevurderte tidsskrifter hvor mer enn én relevant artikkel hadde blitt identifisert ved de tidligere søkene i ProQuest. Dette ble gjort for å unngå å miste artikler på grunn av forlagenes embargo før nye studier overføres til databasene i ProQuest. Følgende tidsskrift ble håndsøkt (antall nye treff i parentes): American Educational Research Journal (0) 11

12 American Journal of Education (0) Asia Pacific Education Review (0) Economics of Education Review (3) Education Finance and Policy (2) Educational Assessment (0) Educational Assessment, Evaluation and Accountability (3) Educational Evaluation and Policy Analysis (2) Educational Management, Administration & Leadership (0) Educational Research and Reviews (1) Educational Researcher (1) Evaluation Review (0) Journal of Educational and Behavioral Statistics (1) Journal of Human Resources (0) Journal of Science Teacher Education (0) Review of Educational Research (0) Science Education (0) Teachers and Teaching: Theory and Practice (7) Teaching and Teacher Education (3) The American Economic Review (0) US China Education Review (0) Tilsammen 23 nye studier ble identifisert gjennom håndsøket. Alle studier ble lagt inn manuelt i EPPI-reviewer software. 5.5 Håndsøk i referanser Søkene ble avsluttet Referanselister i inkluderte studier og personlige kontakter (prosjektets forskergruppe). Det ble i alt identifisert 17 artikler ved slike søk. Alle relevante studier ble lagt inn manuelt i EPPI-reviewer software. 5.6 Søk på internett og i grå-litteratur Google Scholar Søket ble utført Det ble søkt spesifikt etter systematiske kunnskapsoversikter og review-artikler innen feltet lærervurdering. Ut i fra en vurdering av relevans på identifiserte artikler, ble de fem første sidene med søkeresultater gjennomgått i detalj. Alle relevante studier ble lagt inn manuelt i EPPI-reviewer software. Søkeord (antall relevante treff i parentes): Teacher evaluation review (14) Teacher evaluation meta (13) OECD Library Søket ble utført Det ble søkt etter bøker (BOOKS) URL: Tema: Education 12

13 Tidsramme: Antall relevante bøker funnet: 20 Det ble søkt etter artikler (PAPERS) URL: Tema: Journals/Annuals&Outlooks/ Working Papers and Policy Papers Tidsramme: Antall relevante artikler funnet: 4 Alle mulig relevante bøker og artikler ble lagt inn manuelt i EPPI-reviewer software RAND Corporation Søket ble utført Det ble søkt etter artikler (PUBLICATIONS) URL: Tema: All publications Tidsramme: Antall mulig relevante artikler funnet: 16 Alle mulig relevante artikler ble lagt inn manuelt i EPPI-reviewer software NIFU Søket ble utført Det ble søkt etter RAPPORTER. URL: Tema: All reports Tidsramme: Antall mulig relevante artikler funnet: 1 Alle mulig relevante artikler ble lagt inn manuelt i EPPI-reviewer software AFI Søket ble utført Det ble søkt etter PUBLIKASJONER URL: Publikasjonstyper: Alle Forfatter/redaktør: Alle Emneord (antall treff i parentes): Barneskolen (0) Elever (0) Evaluering (14) Grunnskolen (0) Klasseromsundervisning (0) Kvalitetsvurdering (0) Lærere (0) Læring (3) Læringsmiljø (0) Læringssamtalen (1) Pedagogikk (1) Quality in education (0) Skoleutvikling (1) 13

14 Undervisning (0) Ungdomsskoleelever (0) Ungdomsskolen (0) Utdanning (5) Vurdering (0) Tidsramme: Antall mulig relevante artikler funnet: 25 Alle mulig relevante artikler ble lagt inn manuelt i EPPI-reviewer software. 5.7 Oppsummering av søk Litteratursøkene ble utformet slik at de var gjennomførbare i den tiden som var tilgjengelig innenfor rammen av kunnskapsoversikten. Et dominerende antall referanser kommer fra søk i elektroniske databaser (Tabell 1). Hvis vi ser bort fra de mange avhandlingene som ble identifisert ved søk i PQDT A&I, kommer de fleste referansene fra databasene ERIC og PQEJ. Dette er som forventet i og med at disse to databasene fokuserer på utdanningsforskning, mens IBSS og ASSIA har et bredere perspektiv innenfor samfunnsvitenskapene. I tråd med formatet for raske kunnskapsoversikter, ble det besluttet å begrense søk i grålitteratur til fire kilder: OECD, RAND Corporation, NIFU og AFI. Ingen av rapportene som ble identifisert hos NIFU og AFI ble, etter nærmere vurdering, funnet å være relevante for tema lærervurdering. Både OECD og RAND Corporation har publisert flere rapporter som er relevante for tema lærervurdering. Disse rapportene ble imidlertid ekskludert fra kunnskapsoversikten fordi de ikke er fagfellevurderte. Prosjektgruppen ved KSU er kjent med innholdet i disse rapportene, og flere er referert i innledningen til kunnskapsoversikten. Risikoen ved å begrense søkene er introduksjon av skjevhet (bias) i litteraturen som ligger til grunn for kunnskapsoversikten. Søkene er begrenset til litteratur skrevet på engelsk, norsk, svensk og dansk. Videre er det søkt i et begrenset antall databaser (syv i alt), men for å minimere publikasjonsskjevhet (publication bias) er søkene gjennomført så omfattende som mulig ved at det både er brukt søkestrenger basert på standardiserte emneord og søkestrenger basert på fritekst-ord. Selv om søkene tar sikte på at de studiene som er identifisert er representative for alle relevante studier, må det samtidig erkjennes at publikasjonsskjevhet ikke kan utelukkes fullstendig. Når det gjelder eksklusjon av rapporter fra OECD og RAND Corporation, så er data fra flere av disse rapportene også publisert i fagfelle-vurderte tidsskrifter. En del sentrale forfattere på feltet lærervurdering skriver rapporter for OECD og RAND Corporation (Laura S. Hamilton, Daniel F. McCaffrey, Brian M. Stecher, J.R. Lockwood og Matthew G. Springer). Flere fagfellevurderte studier av disse forfatterne inngår i kunnskapsoversikten, og motvirker på denne måten en mulig skjevhet i litteraturtilfanget. 14

15 6 Referansehåndtering Alle referanser ble importert til EPPI-Reviewer 4 programvare (ER4) for forskningssyntese. EPPI-Reviewer 4 er utviklet av EPPI-Centre, Social Science Research Unit, Institute of Education, University of London, UK. Referanser som ble identifisert gjennom søk i ProQuest-databasene ble importer direkte som RIS-filer. Andre referanser ble lagt inn manuelt. 6.1 Screening basert på gjennomgang av tittel og sammendrag Importerte referanser ble screenet etter inklusjons- og eksklusjonskriteriene. Det ble ekskludert artikler basert på gjennomgang av tittel og sammendrag. Det ble identifisert 889 artikler med mulig relevans for kunnskapsoversiktens brede problemstilling. Disse artiklene ble sortert i tre kategorier: Kjernereferanser (124), kontekstreferanser (718) og policydokumenter (47). Kategorien kontekstreferanser omfattet studier med relevans for lærervurdering og skoleutvikling, det vil si at de omhandlet tema som lærerutdanning, klasseromspraksis, prosjektarbeid, lærerprofesjonalitet osv. Kjernereferansene ble så delt inn i ni tematiske kategorier: Prestasjonslønn (13), Value-added (34), System (25), Resultat (15), Prosess (6), Egenvurdering (9), Kollegavurdering (5), Ledere som vurderer lærere (11), Elever som vurderer lærere (6). Kategoriene ble opprettet som sorteringshjelp i arbeidet med å gå gjennom kjernereferanser med potensiell relevans for kunnskapsoversikten. 6.2 Screening basert på gjennomgang av artikler i fulltekst I denne fasen av arbeidet var det særlig viktig å finne nettopp de artiklene som hadde størst relevans for kunnskapsoversiktens problemstilling. Det ble skaffet artikler i fulltekst av alle kjernereferansene 1. Artiklene i de ni kategoriene ble fordelt på medlemmene i forskergruppen som følger: 1. Prestasjonslønn Sølvi Lillejord 2. Value-added Trond Eiliv Hauge 3. System Kristin Børte 4. Resultat Therese Hopfenbeck 5. Prosess Sølvi Lillejord 6. Egenvurdering - Sølvi Lillejord 7. Kollegavurdering Sølvi Lillejord 8. Ledere og lærervurdering Astrid Tolo 9. Elever som vurderer lærere Jens-Christian Smeby Under gjennomgangen av fulltekst ble det oppdaget flere artikler som enten handlet om elevvurdering eller om høyere utdanning. Disse artiklene ble ekskludert på emne. 1 Jones JE og Gulek JC (2010): Characteristics of High-Quality Teachers, ERS Spectrum 28(3), Denne referansen har det ikke vært mulig å skaffe i fulltekst. ERS står for Educational Research Services. Organisasjonen ERS la ned driften i De publiserte bl.a. "National Survey of Salaries and Wages in Public Schools" og andre ikke-vitenskapelige tidsskrift rettet mot utdanningssektoren i USA. Non-profit organisasjonen Editorial Projects in Education (EPE) har overtatt en del av ERSporteføljen. Det finnes ingen informasjon om ERS Spectrum på EPEs hjemmesider, og tidsskriftet antas å være nedlagt. Referansen ble derfor ekskludert fra kunnskapsoversikten. 15

16 Andre eksklusjonskriterier ble også anvendt i denne fasen. EKSKLUDER på relevans ble brukt i tilfeller da det viste seg at: Sammendraget ikke hadde gitt fullgod informasjon om innholdet i artikkelen Artiklene svarte ikke til de kvalitetskriteriene forskergruppen fulgte Det var manglende eller dårlig samsvar mellom forskningsspørsmål, metode og funn Det var uklar beskrivelse av datainnsamling, metode og analyse av data Det var dårlig konsistens mellom det artikkelen innledningsvis tok mål av seg til å gjøre og det som faktisk ble gjort Artiklene ikke bragte noe nytt til et tema som allerede var fyldig drøftet (mettet) Artiklene tok opp tema med så spesifikk relevans for lokale forhold at den ikke var interessant for norske Følgende kvalitetskriterier er brukt: Artikkelen må ha en problemstilling som er klart formulert, den må gjøre rede for metodevalg og metodisk fremgangsmåte og det må være sammenheng mellom problemstilling, funn, drøfting og konklusjon. Etter screening basert på gjennomgang av fulltekstartikler ble 45 artikler ekskludert på relevans etter kriteriene beskrevet ovenfor. Til sammen 79 artikler gjenstår, fordelt på kategoriene: Prestasjonslønn (9), Value-added (21), System (16), Resultat (8), Prosess (6), Egenvurdering (6), Kollegavurdering (4), Ledere som vurderer lærere (7), Elever som vurderer lærere (2). Flytdiagrammet (Figur 1) beskriver prosessen med screening av referansene som ble identifisert i søkene. Screeningen foregår i to trinn. I det første trinnet screenes tittel og sammendrag av studiene i forhold til inklusjons- og eksklusjonskriteriene. I det andre trinnet screenes de inkluderte studiene ved gjennomgang av fulltekst. Figur 1: Resultat av screening 16

17 7 Kartlegging: "mapping" Mapping innebærer å kartlegge og kategorisere studier som tilfredsstiller inklusjonskriteriene (Gough mfl., 2012). Å kartlegge litteraturen er et ledd i arbeidet som handler om å sikre seg at kunnskapsoversikten konsentrerer seg om de områdene som er av interesse for de som skal bruke funnene fra forskningen. En kartlegging tar utgangspunkt i bestemte kriterier (populasjon, intervensjon, resultat) og kan gjennomføres både på tittel og sammendrag og på fulltekst. Artikler innenfor de forskjellige kategoriene ble mappet med hensyn på metode og forskningsdesign. Metoden brukes til å betegne hvordan empiri, datagrunnlag eller andre kilder er behandlet av forfatterne bak den enkelte referansen. Forskningsdesign sier noe om hvordan de bakenforliggende studiene er utført eller hvordan forfatterne har tolket grunnlaget for artikkelen. Tre metoder ble identifisert i utvalget: Kvalitativ metode, kvantitativ metode og mixed methods. Sytten forskningsdesign ble identifisert i utvalget: Aksjonsforskning, casecontrol, casestudie, eksperiment, etnografisk, falsifisering, fenomenologisk, kohortstudie, kontrollstudie, kritisk analyse, longitudinell, metode, praksisbeskrivelse, RCT, review, sekundæranalyse og tverrstudie. 7.1 Begrepsavklaring av forskningsdesign for mapping Aksjonsforskning Studiet er utformet som en direkte aksjon eller intervensjon i et avgrenset praksisfelt. Det teoretiske grunnlaget for artikkelen/studiet danner også grunnlag for intervensjonen. Aksjonsforskning har ofte som hensikt å avdekke ulike mekanismer eller relasjoner i praksisfeltet, både for å skape refleksjon blant aktørene i feltet og for å gi et empirisk grunnlag for forskningen. Case-Control En case-control studie er en form intervensjons- eller effektstudie hvor man har to ulike grupper eller cases, hvor den ene gruppen eller caset får utført et tiltak eller intervensjon og den andre gruppen eller caset er en kontroll. Tildeling til case/gruppe er ikke tilfeldig og ikke nødvendigvis representativt, deltakerne i en bestemt case/gruppe kan godt vite om de er tiltaks- eller kontrollgruppe, og størrelsen på gruppene/casene er ofte begrenset. Casestudie En casestudie tar utgangspunkt i empiriske studier blant en begrenset gruppe personer uten å sammenligne denne gruppen med andre grupper. Utvalget er ikke nødvendigvis representativt eller tilfeldig, snarer er det hensiktsmessige valg som ligger bak inklusjon. Forskerne utfører ikke et tiltak eller intervensjon på utvalget. Disse studiene kan være av kort varighet (for eksempel bare ett intervju) eller av lengre varighet, men hvis målet er å undersøke utvikling over tid brukes betegnelsen longitudinell- eller kohortstudie. Eksperiment I en eksperimentell design utfører forskere et tiltak eller intervensjon, eventuelt tester de ut en hypotese, på en gruppe. Utvalget av gruppen er ikke nødvendigvis tilfeldig eller representativt. Målemetodene for om tiltaket/intervensjonen har en effekt kan være mange. Betegnelsen eksperiment brukes når målemetoden er ukjent, utydelig eller upresist beskrevet i referansen. 17

18 Etnografisk En etnografisk studie bruker empiriske tilnærminger som feltarbeid, deltagende observasjon og intervju (både strukturert og ikke-strukturert). Gruppen eller felten som undersøkes er som regel ganske avgrenset. Målet med etnografiske tilnærminger er å få informasjon og innsikt i det erfaringsnære, subjektive, emosjonelle og dagligdagse gjennom fortolkende, narrative, diskursive og fenomenologiske teoretiske innfallsvinkler. Falsifisering En falsifiseringsstudie har som hensikt å teste en hypotese som forskeren vet er feil for å se om datagrunnlaget kan bygge opp om den. Dersom dataene eller en modell kan verifisere en falsk hypotese så kan man trekke i tvil om dataene eller modellen er valid og pålitelig. Fenomenologisk En form for studie som ligner på etnografisk forskningsdesign, i og med at de teoretiske/faghistoriske røttene er like, men som ikke nødvendigvis innebærer feltarbeid eller empiriske studier. Det er svært vanlig å utføre en eller annen form for empirisk studie, men dette kan være alt fra ett intervju til langvarig feltarbeid. Kohortstudie Studie av en gruppe individer med et bestemt felles erfaringsgrunnlag innenfor en bestemt tidsperiode. Metode I denne sammenhengen betyr metode at artikkelen/referansen enten er et bidrag i en metodedebatt eller at den tar sikte på å utvikle en ny metode eller forbedre en gammel. Praksisbeskrivelse I denne sammenhengen betyr praksisbeskrivelse en artikkel som gir eksempler på hvordan aktører i praksisfeltet kan utføre jobben sin på en god måte. Artikkelen/referansen gir eksempler på god praksis med grunnlag i forskning. Sekundæranalyse Vi har brukt denne betegnelsen på studier hvor forskerne selv ikke har utført empiriske studier eller utformet instrumentene for å måle empiriske fenomener. Disse forskerne baserer seg på ferdige datasett og tester hypoteser og modeller med dette datasettet. Tverrstudie En tverrstudie er en studie som sammenlikner flere grupper eller aktører på tvers av ulike kontekster, caser, alderstrinn eller geografisk og sosial tilhørighet. Forskerne sammenlikner funn eller data for å undersøke om det er forskjeller og hva disse forskjellene kan være forårsaket av. 7.2 Hovedfunn fra mappingen Kartleggingen viser at det er en overvekt av kvantitative studier i materialet (48) og at det finnes kvantitative studier innenfor alle de ni identifiserte kategoriene. Resultatet viser også hvilke forskningsmetoder som dominerer innenfor de ulike kategoriene. Dette er til hjelp i selve syntese arbeidet fordi det sier noe om hva slags type spørsmål forskerne kan besvare ved hjelp av de ulike metodene, for eksempel om tyngdepunktet i forskningen ligger på å måle resultater eller å beskrive prosesser. 18

19 Vedlegg 3 viser en oppsummering av funn fra mappingen av de 79 kjerneartiklene som danner basis for kunnskapsoppsummeringen. 1. Fordeling av referanser på år En jevn stigning i antall referanser pr. år fra 2009/2010 frem til 2013 indikerer et forskningsfelt i utvikling. At bare tre referanser fra 2014 ble identifisert, skyldes at litteratursøkene ble avsluttet Fordeling av referanser på kategori Flest referanser ble identifisert i kategoriene Value-added og System. Det ble bare identifisert to referanser i kategorien Elever som vurderer lærer, noe som tyder på at det foreligger lite forskning på dette området (kunnskapshull). 3. Fordeling av referanser på metode Kvantitativ metode var hyppigst brukt i litteraturutvalget, og i overkant av 60 % av referansene hadde anvendt kvantitativ metode. 4. Fordeling av referanser på kategori og metode Alle kategorier hadde minst én referanse hvor kvantitativ metode var benyttet. Kategorier med overvekt av kvantitativ metode var: Value-added, System, Prestasjonslønn og Resultat. 5. Fordeling av referanser på kategori, metode og forskningsdesign På grunn av kompleksiteten ble disse funnene presentert som hierarkiske diagrammer, ett for hver kategori. En fremtredende forskningsdesign i kvantitative studier var sekundæranalyse. Dette gjelder i særlig grad kategoriene Prestasjonslønn, Value-added, System og Resultat. I noen tilfeller anvendes flere forskningsdesign i samme studie, slik at antall referanser ikke alltid stemmer overens med antall forskningsdesign. 6. Fordeling av referanser på forskningsdesign De to hyppigst brukte forskningsdesignene i litteraturutvalget var Sekundæranalyse og Tverrstudie. 7. Oversikt over forfattere med mer enn én referanse I alt 25 forfattere hadde mer enn én referanse. Disse 25 utgjør 12,0 % av i alt 207 forfattere i utvalget. 8. Oversikt over tidsskrift med mer enn én referanse I alt 17 tidsskrift hadde mer enn én referanse. Disse 17 utgjør 38,6 % av totalt 44 tidsskrift i utvalget. Femtito av i alt 79 artikler i utvalget (65,8 %) er publisert i de 17 tidsskriftene. Vedlegg 4 viser rå-data fra mappingen som var grunnlaget for oppsummeringen i Vedlegg 3. 8 Syntetisering av funnene Syntetisering handler om å bringe sammen funnene i de artiklene som forskerne oppfatter som pålitelige. Slik kan man besvare kunnskapsoversiktens opprinnelige forskningsspørsmål. I en kort kunnskapsoversikt må også syntetiseringen av funn og resultater i artiklene skje hurtigere. Mens det generelt er tidkrevende og vanskelig å gjennomføre synteser, er noen syntesemetoder mer kompliserte enn andre. I en kort 19

20 kunnskapsoversikt er det derfor fornuftig å bruke en metode som ikke er altfor omfattende. Aller mest tidkrevende er det å gjennomføre er arbeid som forutsetter en form for konseptuell nytenkning. De syntesemetodene som går raskest, er de som går ut på at man samler studier i tematiske kategorier, oppsummerer og syntetiserer disse. Det finnes ulike måter å gjøre dette på, og mange publiserte tematiske oversikter og metaanalyser som man kan lære av. I dette arbeidet er det narrativ syntese som er benyttet (Kløveager Nielsen 2014). Det er viktig å være fleksibel i utviklingen av kategorier slik at det man finner i studiene kan bidra til nye kategorier som utvider forståelsen av det man undersøker. På grunn av de strenger kravene til dokumentasjon og transparens vil alltid forskergrupper eller de som har bestilt oversikten kunne se hvilke kriterier som har vært lagt til grunn for inklusjon, eksklusjon og kategorisering. 9 Referanseliste Gough, D., Olivier, S. and Thomas, J. (2012): An introduction to systematic reviews. London: Sage publications. Isoré, M. (2009): Teacher Evaluation: Current Practices in OECD Countries and a Literature Review. OECD Education Working Papers No. 23. OECD Publishing. Kløveager Nielsen, T. (2014): Teori og praksis I professionsbacheloruddannelserne. Et systematisk review. Ph.D.-afhandling, Aarhus Universitet, Institut for uddannelse og pædagogik (DPU). Stortingsmelding nr. 31 ( ): Kvalitet i skolen 20

21 Vedlegg 1: Emneord for søk i elektroniske databaser ERIC standardisert ASSIA standardisert IBSS standardisert PQEJ standardisert Lærere Elementary school teachers Teachers (EXPLODE) Teachers Elementary school teachers Mathematics teachers Mathematics teachers Middle school teachers Reading teachers Reading teachers Science teachers Science teachers Secondary school teachers Secondary school teachers Writing teachers Writing teachers Former for lærervurdering Evaluation methods Evaluation (EXPLODE) Evaluation techniques Educational evaluation Formative evaluation Formative assessment Parent-teacher relations Competency tests Occupational tests Job competence Self-evaluation Education portfolios Parent surveys Parent-teacher communication Surveys Educational assessment Peer evaluation Peer assessment Parent school relationship Performance based assessment Performance appraisal Parent teacher conferences Personnel evaluation Performance measurement Peer review Portfolio assessment Performance related pay Performance appraisal of teachers School surveys Portfolios Performance evaluation Self evaluation (individuals) School records Self assessment Student evaluation of teacher performance Selfappraisal Self evaluation Student teacher evaluation Selfassessment Student evaluation of teacher performance Summative evaluation Survey research Teacher competency testing Teacher evaluation Teacher surveys Kvalitetskriterier Academic achievement EXPLODE Academic achievement Academic achievement Academic achievement Accountability Accountability Academic success Academic grading Achievement gains Bullying Accountability Academic tests Bullying Career planning Achivement motivation Accountability Career readiness Classroom environment Attitudes Bullying Dropout prevention Continuous quality improvement Bullying Career preparation Dropout rate Dropping out Career Educational attainment Educational attitudes Educational attainment Development Effectiveness Educational environment EXPLODE Effectiveness Dropout Excellence Educational improvement EXPLODE Feedback Educational achievement Feedback Educational quality Goal setting Educational attainment Goal setting Excellence in education Grade retention Educational objectives Grade repetition Feedback (Response) Graduation Educational output Graduation requirement Goal orientation Improvement Graduates Knowledge Graduation Knowledge Individual performance Learning environment Graduation rate Learning environment Job performance Professional development Knowledge level Motivation Knowledge Quality of education Language skills Objectives School achievement Reading skills Mathematics skills Outcomes School environment School dropout programs Outcomes of education Professional attitudes Skills School environment Professional development Professional development Teacher-student relationship Student attitudes Reading attitudes Promotion Well-being Student behavior Reading improvement Quality Student participation Reading skills School environment Student retention School attitudes Skills Student writing School effectiveness Student participation Study skills Student attitudes Student-teacher interactions Work methods improvement Student development Student-teacher relationships Student educational objectives Teaching Student improvement Welfare Student school relationship Student teacher attitudes Student welfare Teacher effectiveness Teacher improvement Writing attitudes Writing improvement 21

22 Fritekstsøk alle databaser Fritekstsøk alle databaser (Value-added) Fritekstsøk alle databaser (Ledelse) Lærere Ledelse Elementary school teachers Elementary school teachers School leadership Mathematics teachers Mathematics teachers District leadership Middle school teachers Middle school teachers Educational leadership Reading teachers Reading teachers Transformative leadership Science teachers Science teachers Secondary school teachers Secondary school teachers Writing teachers Writing teachers Former for lærervurdering Vurdering Teacher appraisal Teacher appraisal Teacher evaluation Teacher assessment Teacher assessment Teacher effectiveness Competency test* Competency test* Teacher evaluation Teacher evaluation Formative assessment Formative assessment Formative evaluation Formative evaluation Performance measurement Performance measurement Peer review Peer review Performance evaluation Performance evaluation Performance assessment Performance assessment Performance appraisal Performance appraisal Teacher portfolio Teacher portfolio Summative assessment Summative assessment Summative evaluation Summative evaluation Teacher survey* Teacher survey* Test* Test* Kvalitetskriterier Academic achievement Value-added Accountability Educational attainment Student attitude* Student behavior Bullying Career readiness Dropout Educational environment Effectiveness Excellence Feedback Educational goal Graduation Student improvement Student teacher interaction Knowledge level Student motivation Educational objectives Outcome* Output Student participation Professional development Quality of education Student retention Skills Welfare 22

23 Vedlegg 2: Søkestrenger Søkestreng nr. 1 Søk med standardiserte emneord: ERIC-databasen (dato for søk ) (SU.EXACT("Elementary school teachers") OR SU.EXACT("Mathematics teachers") OR SU.EXACT("Middle school teachers") OR SU.EXACT("Reading teachers") OR SU.EXACT("Science teachers") OR SU.EXACT("Secondary school teachers") OR SU.EXACT("Writing teachers")) AND (SU.EXACT("Evaluation methods") OR SU.EXACT("Formative evaluation") OR SU.EXACT("Occupational tests") OR SU.EXACT("Parent surveys") OR SU.EXACT("Peer evaluation") OR SU.EXACT("Performance based assessment") OR SU.EXACT("Personnel evaluation") OR SU.EXACT("Portfolio assessment") OR SU.EXACT("School surveys") OR SU.EXACT("Self evaluation (Individuals)") OR SU.EXACT("Student evaluation of teacher performance") OR SU.EXACT("Student teacher evaluation") OR SU.EXACT("Summative evaluation") OR SU.EXACT("Teacher competency testing") OR SU.EXACT("Teacher evaluation") OR SU.EXACT("Teacher surveys")) AND (SU.EXACT.EXPLODE("Academic achievement") OR SU.EXACT("Accountability") OR SU.EXACT("Achievement gains") OR SU.EXACT("Bullying") OR SU.EXACT("Career readiness") OR SU.EXACT("Dropout prevention") OR SU.EXACT("Dropout rate") OR SU.EXACT("Educational attitudes") OR SU.EXACT.EXPLODE("Educational environment") OR SU.EXACT.EXPLODE("Educational improvement") OR SU.EXACT("Educational quality") OR SU.EXACT("Excellence in education") OR SU.EXPLODE("Feedback (Response)") OR SU.EXACT("Goal orientation") OR SU.EXACT("Graduation") OR SU.EXACT("Graduation rate") OR SU.EXACT("Knowledge level") OR SU.EXACT("Language skills") OR SU.EXACT("Mathematics skills") OR SU.EXACT("Outcomes of education") OR SU.EXACT("Professional development") OR SU.EXACT("Reading attitudes") OR SU.EXACT("Reading improvement") OR SU.EXACT("Reading skills") OR SU.EXACT("School attitudes") OR SU.EXACT("School effectiveness") OR SU.EXACT("Student attitudes") OR SU.EXACT("Student development") OR SU.EXACT("Student educational objectives") OR SU.EXACT("Student improvement") OR SU.EXACT("Student school relationship") OR SU.EXACT("Student teacher attitudes") OR SU.EXACT("Student welfare") OR SU.EXACT("Teacher effectiveness") OR SU.EXACT("Teacher improvement") OR SU.EXACT("Writing attitudes") OR SU.EXACT("Writing improvement")) Søkestreng nr. 2 Søk med standardiserte emneord: PQEJ-databasen (dato for søk ) (SU.EXACT("Elementary school teachers") OR SU:EXACT("Mathematics teachers") OR SU.EXACT("Reading teachers") OR SU.EXACT("Science teachers") OR SU.EXACT("Secondary school teachers") OR SU.EXACT("Writing teachers")) AND (SU.EXACT("Educational evaluation") OR SU.EXACT("Competency tests") OR SU.EXACT("Education portfolios") OR SU.EXACT("Educational assessment") OR SU.EXACT("Parent school relationship") OR SU.EXACT("Parent teacher conferences") OR SU.EXACT("Peer review") OR SU.EXACT("Performance appraisal of teachers") OR SU.EXACT("Performance evaluation") OR SU.EXACT("Self assessment") OR SU.EXACT("Self evaluation") OR SU.EXACT("Student evaluation of teacher performance")) AND (SU.EXACT("Academic achievement") OR SU.EXACT("Academic grading") OR SU.EXACT("Academic tests") OR SU.EXACT("Accountability") OR SU.EXACT("Bullying") OR SU.EXACT("Career preparation") OR SU.EXACT("Educational attainment") OR SU.EXACT("Effectiveness") OR SU.EXACT("Excellence") OR SU.EXACT("Feedback") OR SU.EXACT("Goal setting") OR SU.EXACT("Grade repetition") OR SU:EXACT("Graduation requirement") OR SU.EXACT("Knowledge") OR SU.EXACT("Learning environment") OR SU.EXACT("Professional development") OR SU.EXACT("Quality of education") OR SU.EXACT("Reading skills") OR SU.EXACT("School dropout programs") OR SU.EXACT("School 23

24 environment") OR SU.EXACT("Student attitudes") OR SU.EXACT("Student behavior") OR SU.EXACT("Student participation") OR SU.EXACT("Student retention") OR SU.EXACT("Student writing") OR SU.EXACT("Study skills") OR SU.EXACT("Work methods improvement")) Søkestreng nr. 3 Søk med standardiserte emneord: IBSS-databasen (dato for søk ) SU.EXACT("Teachers") AND (SU.EXACT("Evaluation techniques") OR SU.EXACT("Parent-teacher relations") OR SU.EXACT("Self-evaluation") OR SU.EXACT("Surveys")) AND (SU.EXACT("Academic achievement") OR SU.EXACT("Academic success") OR SU.EXACT("Accountability") OR SU.EXACT("Achievement motivation") OR SU.EXACT("Attitudes") OR SU.EXACT("Bullying") OR SU.EXACT("Career") OR SU.EXACT("Development") OR SU.EXACT("Dropout") OR SU.EXACT("Educational achievement") OR SU.EXACT("Educational attainment") OR SU.EXACT("Educational objectives") OR SU.EXACT("Educational output") OR SU:EXACT("Graduates") OR SU.EXACT("Individual performance") OR SU.EXACT("Job performance") OR SU.EXACT("Knowledge") OR SU.EXACT("School achievement") OR SU.EXACT("School environment") OR SU.EXACT("Skills") OR SU.EXACT("Teacher-student relationship") OR SU.EXACT("Well-being")) Søkestreng nr. 4 Søk med standardiserte emneord: ASSIA-databasen (dato for søk ) (SU.EXACT.EXPLODE ("Teachers")) AND (SU.EXACT.EXPLODE("Evaluation") OR SU.EXACT("Formative assessment") OR SU.EXACT("Job competence") OR SU.EXACT("Parentteacher communication") OR SU.EXACT("Peer assessment") OR SU.EXACT("Performance appraisal") OR SU.EXACT("Performance measurement") OR SU.EXACT("Performance related pay") OR SU.EXACT("Portfolios") OR SU.EXACT("School records") OR SU.EXACT("Selfappraisal") OR SU.EXACT("Selfassessment") OR SU.EXACT("Survey research")) AND (SU.EXACT("Academic achievement") OR SU.EXACT("Accountability") OR SU.EXACT("Bullying") OR SU.EXACT("Career planning") OR SU.EXACT("Classroom environment") OR SU.EXACT("Continuous quality improvement") OR SU.EXACT("Dropping out") OR SU.EXACT("Educational attainment") OR SU.EXACT("Effectiveness") OR SU.EXACT("Feedback") OR SU.EXACT("Goal setting") OR SU.EXACT("Grade retention") OR SU.EXACT("Graduation") OR SU.EXACT("Improvement") OR SU.EXACT("Knowledge") OR SU.EXACT("Learning environment") OR SU.EXACT("Motivation") OR SU.EXACT("Objectives") OR SU.EXACT("Outcomes") OR SU.EXACT("Professional attitudes") OR SU.EXACT("Professional development") OR SU.EXACT("Promotion") OR SU.EXACT("Quality") OR SU.EXACT("School environment") OR SU.EXACT("Skills") OR SU.EXACT("Student participation") OR SU.EXACT("Student-teacher interactions") OR SU.EXACT("Student-teacher relationships") OR SU.EXACT("Teaching") OR SU.EXACT("Welfare")) Søkestreng nr. 5 Fritekstsøk: ERIC, ASSIA, IBSS, PQEJ, COS, PQDT UK&I og PQDT A&I (dato for søk ) (TI,AB("elementary school teachers" OR "mathematics teachers" OR "middle school teachers" OR "reading teachers" OR "science teachers" OR "secondary school teachers" OR "writing teachers")) AND (TI,AB("teacher appraisal" OR "teacher assessment" OR "competency test*" OR "teacher evaluation" OR "formative assessment" OR "formative evaluation" OR "performance measurement" OR "peer review" OR "performance evaluation" OR "performance assessment" OR "performance appraisal" OR "teacher portfolio" OR "summative assessment" OR "summative evaluation" OR "teacher survey*" OR test*)) AND (TI,AB("academic achievement" OR accountability OR "educational attainment" OR "student attitude*" OR "student behavior" OR bullying OR "career readiness" OR dropout OR "educational environment" OR effectiveness OR excellence OR feedback OR "educational goal" OR graduation OR "student improvement" OR "student teacher interaction" OR 24

25 "knowledge level" OR "student motivation" OR "educational objectives" OR outcome* OR output OR "student participation" OR "professional development" OR "quality of education" OR "student retention" OR skills OR welfare)) Søkestreng nr. 6 Fritekstsøk: ERIC, ASSIA, IBSS, PQEJ, COS, PQDT UK&I og PQDT A&I (dato for søk ) (TI,AB('elementary school teachers' OR 'mathematics teachers' OR 'middle school teachers' OR 'reading teachers' OR 'science teachers' OR 'secondary school teachers' OR 'writing teachers')) AND (TI,AB('teacher appraisal' OR 'teacher assessment' OR 'competency test*' OR 'teacher evaluation' OR 'formative assessment' OR 'formative evaluation' OR 'performance measurement' OR 'peer review' OR 'performance evaluation' OR 'performance assessment' OR 'performance appraisal' OR 'teacher portfolio' OR 'summative assessment' OR 'summative evaluation' OR 'teacher survey*' OR test*)) AND (TI,AB('academic achievement' OR accountability OR 'educational attainment' OR 'student attitude*' OR 'student behavior' OR bullying OR 'career readiness' OR dropout OR 'educational environment' OR effectiveness OR excellence OR feedback OR 'educational goal' OR graduation OR 'student improvement' OR 'student teacher interaction' OR 'knowledge level' OR 'student motivation' OR 'educational objectives' OR outcome* OR output OR 'student participation' OR 'professional development' OR 'quality of education' OR 'student retention' OR skills OR welfare)) Søkestreng nr. 5 og 6 er identiske bortsett fra broken av (") and ('). Søkestreng nr. 7 Fritekstsøk: ERIC, ASSIA, IBSS, PQEJ, COS, PQDT UK&I og PQDT A&I (dato for søk ) (TI,AB('elementary school teachers' OR 'mathematics teachers' OR 'middle school teachers' OR 'reading teachers' OR 'science teachers' OR 'secondary school teachers' OR 'writing teachers')) AND (TI,AB('teacher appraisal' OR 'teacher assessment' OR 'competency test*' OR 'teacher evaluation' OR 'formative assessment' OR 'formative evaluation' OR 'performance measurement' OR 'peer review' OR 'performance evaluation' OR 'performance assessment' OR 'performance appraisal' OR 'teacher portfolio' OR 'summative assessment' OR 'summative evaluation' OR 'teacher survey*' OR test*)) AND (TI,AB('value-added')) Søkestreng nr. 8 Fritekstsøk: ERIC og PQEJ (dato for søk ) (TI,AB("school leadership" OR "district leadership" OR "educational leadership" OR "transformative leadership")) AND (TI,AB("teacher evaluation" OR "teacher effectiveness")) Filter: Fagfellevurderte tidsskrift, publisert etter Søkestreng nr. 9 Fritekstsøk: ERIC og PQEJ (dato for søk ) (TI,AB('school leadership' OR 'district leadership' OR 'educational leadership' OR 'transformative leadership')) AND (TI,AB('teacher evaluation' OR 'teacher effectiveness')) Filter: Fagfellevurderte tidsskrift, publisert etter Søkestreng nr. 8 og 9 er identiske bortsett fra broken av (") and ('). 25

26 Vedlegg 3: Mapping av kjerneartikler 1. Fordeling av referanser på år 2. Fordeling av referanser på kategori 26

27 3. Fordeling av referanser på metode 4. Fordeling av referanser på kategori og metode 27

28 5. Fordeling av referanser på kategori, metode og forskningsdesign 28

29 29

30 30

31 31

32 6. Fordeling av referanser på forskningsdesign 32

33 7. Forfattere med mer enn én referanse 33

34 8. Tidsskrifter med mer enn én referanse 34