EALTAs Retningslinjer for god praksis i språktesting og -vurdering Styret i EALTA oppnevnte en arbeidsgruppe som skulle gå gjennom og revidere det utkastet til Retningslinjer som ENLTA-prosjektet 1 hadde utarbeidet. Oppdraget til arbeidsgruppen var å komme fram til et sett retningslinjer for god praksis i testing og vurdering tilpasset EALTA og denne organisasjonens formål. EALTA har følgende overordnete formål: EALTAs formål er å fremme forståelsen for teoretiske prinsipper for språktesting og-vurdering, og å arbeide for at test- og vurderingspraksis i Europa blir forbedret og utvekslet land imellom. Arbeidsgruppen baserte sitt arbeid med Retningslinjene på følgende grunnlag: Europa er et flerspråklig kontinent hvor mangfoldet av språk, kulturer og tradisjoner verdsettes høyt. Til dette hører mangfold i utdanningssystemer og vurderingstradisjoner og - verdier. Følgelig vil medlemmene i EALTA anstrenge seg for å følge de prinsippene for åpenhet, ansvarlighet og kvalitet som er aktuelle for medlemmene i deres yrkesmessige engasjement i spørsmål rundt språktesting og vurdering. EALTA ønsker å møte behovene til en svært bredt sammensatt medlemsgruppe, noe som gjenspeiles i organisasjonens inkluderende politikk. EALTAs Retningslinjer for god praksis i språktesting og -vurdering er derfor først og fremst rettet mot tre ulike grupper: personer som er involvert i (a) opplæring av lærere i testing og vurdering, (b) testing og vurdering i klasserommet og (c) utvikling av tester ved nasjonale eller institusjonelle testenheter eller - sentre. Flere generelle prinsipper gjelder for alle disse gruppene: respekt for studentene/testkandidatene, ansvarlighet, rettferdighet, reliabilitet, validitet og samarbeid mellom de involverte partene. Disse generelle prinsippene blir det gjort rede for i andre relevante, rådende retningslinjer som EALTA-medlemmene oppfordres til å konsultere for å øke profesjonaliteten og heve kvaliteten i sitt arbeid. For mer informasjon, vennligst se følgende lenker: http://www.iltaonline.com http://www.alte.org http://www.qca.org.uk http://www.apa.org/science/standards.html http://www.apa.org/science/finalcode.pdf EALTA har følgende Retningslinjer for god praksis i språktesting og -vurdering: 1 ENLTA European Network for Language Testing and Assessment 1
A. Relevante spørsmål ved utdanning og etterutdanning av lærere i testing og vurdering Medlemmer i EALTA som er involvert i opplæring av lærere i testing og vurdering, må avklare overfor seg selv og relevante interessegrupper (lærerstudenter, praktiserende lærere, læreplanutviklere): 1. Hvor relevant er opplæringen i forhold til studentenes framtidige vurderingsarbeid? 2. I hvor stor grad blir studenter gjort oppmerksomme på ulike vurderingsprosedyrer i forbindelse med nåværende eller fremtidige behov? 3. Hvor tydelig er prinsippene for testing og vurdering (for eksempel validitet, reliabilitet, rettferdighet, washback) relatert til studentenes kontekst? 4. Hvordan er balansen mellom teori og praksis i opplæringen? 5. I hvor stor grad er studentene involvert i utvikling, utprøving og evaluering av vurderingsprosedyrer? 6. I hvor stor grad er studentene involvert i å rette eller vurdere elevprestasjoner? 7. Hvor mye vekt blir det lagt på relevant analyse av vurderingsresultater? 8. Hvor mye hensyn blir tatt til studentenes synspunkter på hvor egnete og nøyaktige vurderingsprosedyrene er? 9. I hvor stor grad blir studentene vurdert i tråd med de prinsippene de selv er blitt undervist i? B. Relevante spørsmål ved testing og vurdering i klasserommet Medlemmer i EALTA som er involvert i testing og vurdering i klasserommet, må avklare overfor seg selv og relevante interessegrupper (spesielt elever/studenter, men også foreldre så langt det lar seg gjøre): 1. VURDERINGSFORMÅL OG SPESIFIKASJONER 1. Hva er formålet med vurderingen? 2. I hvor stor grad er formålet med vurderingen relatert til læreplanene? 3. Foreligger det testspesifikasjoner? 4. I hvor stor grad blir læreplanen dekket? 5. Hvordan blir formålene for vurderingen og spesifikasjonene gjort kjent og drøftet? 2. VURDERINGSPROSEDYRER 1. Hvem utformer vurderingsprosedyrene? 2. Hvor relevante er vurderingsprosedyrene for elevene? 3. Hvordan innhentes informasjon om elevenes læring? 4. Hvordan vurderes og oppbevares informasjon om elevenes læring? 5. Hva blir gjort for å sikre at vurderingsresultatene er eksakte og rettferdige? 6. Hva blir gjort for oppnå enighet i vurdering og karaktersetting mellom lærere og mellom skoler? 7. Hvilke hensyn blir tatt til elevenes synspunkter på vurderingsprosedyrene? 3. KONSEKVENSER 1. Hvordan brukes resultatene? 2. Hvilke tiltak vil bli igangsatt for å fremme elevenes læring? 3. Hvilke typer tilbakemelding får elevene? 4. Finnes det faste rutiner for at elever eller foresatte kan klage eller søke om ny vurdering? 5. Hvilke konsekvenser får vurderingsprosedyrene for praksisen i klasserommet? 6. Hvilke konsekvenser får vurderingsresultatene for elevene? 2
C. Relevante spørsmål ved testutvikling ved nasjonale eller institusjonelle testenheter eller -sentre Medlemmer i EALTA som er involvert i testutvikling må avklare overfor seg selv og relevante interessegrupper (lærere, testkandidater, offentligheten) og frembringe svar på spørsmålene nedenfor. For å øke kvaliteten på vurderingssystemer og rutiner, oppfordres testutviklere til å engasjere seg i dialog med beslutningstakere ved ulike institusjoner, direktorater og departementer for å sikre at de er innforstått med både god og dårlig praksis. 1. TESTFORMÅL OG SPESIFIKASJONER 1. Hvor klart er testformål formulert? 2. Hvordan forholder man seg til eventuelt misbruk av tester? 3. Er alle interessegrupper spesifikt identifisert? 4. Foreligger det testspesifikasjoner? 5. Er spesifikasjonene forskjellige for ulike grupper? 6. Foreligger det en beskrivelse av testkandidaten? 7. Er konstruktene som testene/deltestene skal måle, spesifisert? 8. Er testmetodene/-oppgavene beskrevet og eksemplifisert? 9. Er spennvidden i elevprestasjoner beskrevet og eksemplifisert? 10. Er rettemal/vurderingskriterier beskrevet? 11. Angis testnivåene i CEFR-termer 2? Hvilken dokumentasjon foreligger for å støtte denne nivåplasseringen av prøvene? 2. TESTUTVIKLING og OPPGAVESKRIVING 1. Har testutviklerne og oppgaveskriverne relevant erfaring fra undervisning på det nivået vurderingen retter seg mot? 2. Hvilken opplæring har testutviklerne og oppgaveskriverne fått? 3. Foreligger det retningslinjer for testutvikling og oppgaveskriving? 4. Foreligger det rutiner for gjennomgang, bearbeidelse og redigering av item og oppgaver for å sikre at de samsvarer med testspesifikasjonene og retter seg etter retningslinjene for oppgaveskriving? 5. Hvilke tilbakemeldinger får oppgaveskriverne på arbeidet de gjør? 3. KVALITETSKONTROLL og TESTANALYSER 1. Hvilke prosedyrer for kvalitetskontroll benyttes? 2. Blir testene utprøvd? 3. Hva er vanlig størrelse på utprøvingsutvalget, og hvordan samsvarer det med testpopulasjonen? 4. Hvilken type informasjon samles inn under utprøvingen? (lærernes oppfatninger, kandidatenes oppfatninger, resultater,...) 5. Hvordan analyseres utprøvingsdataene? 6. Hvordan blir man enige om endringer av testen etter analysen av utprøvingsdata? 7. Hvis det finnes flere versjoner av testen (f.eks. fra år til år), hvordan dokumenteres samsvaret fra avvikling til avvikling? 8. Får sensorene opplæring før hver testavvikling? 9. Brukes det typesvar i opplæringen? 10. Er det rutinemessig bruk av dobbelsensur på subjektivt vurderte tester? Beregnes interog intrasensorreliabilitet? 11. Blir rettingen sjekket regelmessig? 2 CEFR Common European Framework of Reference for Languages/Det felles europeiske rammeverket for språk 3
12. Hvilke statistiske analyser brukes? 13. Hvilke resultater rapporteres? Hvordan? Til hvem? 14. Finnes det faste rutiner for at testkandidatene kan klage eller søke om ny vurdering? 4. TESTAVVIKLING 1. Hvilke sikkerhetsrutiner finnes? 2. Har testadministratorene fått opplæring? 3. Blir testavviklingen kontrollert? 4. Skrives en rapport for hvert år eller etter hver avvikling? 5. REVIDERING 1. Hvor ofte blir prøvene gjennomgått og endret? 2. Blir det utført valideringsstudier? 3. Hvilke rutiner er på plass for å sikre at testene holder tritt med endringer i læreplanen? 6. WASHBACK 1. Er intensjonen at testen skal initiere endringer i gjeldende praksis? 2. Hva er washback-effekten? Hvilke studier er gjennomført? 3. Foreligger det testforberedende materiell? 4. Har lærerne fått opplæring i hvordan de skal forberede kandidatene til testen/eksamenen? 7. KOBLING TIL DET FELLES EUROPEISKE RAMMEVERKET 1. Hvilken dokumentasjon foreligger om kvaliteten på prosessen som er fulgt for å koble testene og eksamenene til Det felles europeiske rammeverket? 2. Har fremgangsmåtene som anbefales i Rammeverkets Manual og Reference Supplement 3 blitt fulgt tilfredsstillende? 3. Foreligger det en offentlig tilgjengelig rapport om koblingsprosessen? D. Å knytte prøver til Det felles europeiske rammeverket for språk Å knytte prøver og vurderingsskalaer til Det felles europeiske rammeverket for språk er en kompleks oppgave, et prosjekt som ofte tar flere år å fullføre. Å knytte eksamener og prøver til en standard som Rammeverket, krever en vitenskapelig tilnærming, og påstander om tilknytning må være basert på resultater fra forskning, helst sendt til fagfellevurdering. Institusjoner / prøveutviklere som hevder at prøver er knyttet til Rammeverket, har ansvar for å dokumentere dette på en overbevisende måte. Det kan være nyttig å tenke gjennom spørsmålene under når en skal dokumentere kobling til Rammeverket. EALTA-medlemmer som er involvert i det å knytte en eksamen til Rammeverket må avklare overfor seg selv og relevante interessegrupper bør klargjøre både for seg selv og andre involverte (lærere, elever/studenter, myndigheter og offentligheten generelt): 1. Har spørsmål som prøvekvalitet og tilbakevirkningseffekt blitt nøye vurdert? (se EALTAs Retningslinjer for god praksis i språktesting og vurdering, seksjon C) 2. Kjenner prøveutviklerne Rammeverket godt? Har prosedyrene for å gjøre seg kjent med Rammeverket blitt fulgt? Hvilken dokumentasjon kan legges fram som viser dette (prosedyrer 3 http://www.coe.int/t/dg4/linguistic/manuel1_en.asp 4
3. Har prøveinnholdet og prøvespesifikasjonene blitt analysert i relasjon til rammeverksbeskrivelsene? Hvilken dokumentasjon kan legges fram som viser dette (prosedyrer 4. Har standardsetting blitt gjennomført for skriftlig og muntlig produksjon? Hvordan har dette foregått? Hvem har deltatt? Hvilken dokumentasjon kan legges fram som viser dette (prosedyrer 5. Finnes det offentlig tilgjengelige eksempler på skriftlige og muntlige prestasjoner som er knyttet til Rammeverket? 6. Har standardsetting av oppgaver som måler reseptive ferdigheter blitt gjennomført? Hvordan har dette foregått? Hvem har deltatt? Hvilken dokumentasjon kan legges fram som viser dette (prosedyrer 7. Finnes det offentlig tilgjengelige eksempler på lese- og lytteoppgaver som er knyttet til Rammeverket? 8. Hvilke standardsettingsprosedyrer har blitt brukt for å etablere cut-off-skårer for aktuelt/aktuelle rammeverksnivå? Hvor mange bedømmere har vært involvert? Finnes det en offentlig tilgjengelig rapport som dokumenterer standardsettingen? 9. Kan en dokumentere at standardsettingsprosessen er valid? Er slik dokumentasjon offentlig tilgjengelig? 10. Brukes en fastsatt, offentlig tilgjengelig framgangsmåte for å bestemme rammeverksnivå som garanterer for at prøven har god kvalitet? 5