EALTA sine Retningsliner for god praksis i språktesting og -vurdering Styret i EALTA oppnemnde ei arbeidsgruppe som skulle gå gjennom og revidere det utkastet til Retningsliner ENLTA-prosjektet 1 hadde utarbeidd. Oppdraget til arbeidsgruppa var å komme fram til retningsliner for god praksis i testing og vurdering, retningsliner som er tilpassa EALTA og organisasjonen sitt føremål. EALTA har følgjande overordna føremål: Føremålet til EALTA er å fremje forståinga for teoretiske prinsipp for språktesting og -vurdering, og å arbeide for at test- og vurderingspraksis i Europa blir betra og utveksla land imellom. Arbeidsgruppa baserte arbeidet sitt med Retningslinene på følgjande grunnlag: Europa er eit fleirspråkleg kontinent der mangfaldet av språk, kulturar og tradisjonar blir høgt verdsett. Til dette høyrer mangfald i utdanningssystem og vurderingstradisjonar og -verdiar. Følgjeleg vil medlemmene i EALTA leggje vinn på å følgje dei prinsippa for openheit, ansvarskjensle og kvalitet som er aktuelle for medlemmene i deira yrkesmessige engasjement i spørsmål rundt språktesting og vurdering. EALTA ønskjer å møte behova til ei svært breitt samansett medlemsgruppe, noko som viser seg i organisasjonen sin inkluderande politikk. EALTA sine Retningsliner for god praksis i språktesting og - vurdering er difor først og fremst retta mot tre ulike grupper: personar som er involverte i (a) opplæring av lærarar i testing og vurdering, (b) testing og vurdering i klasserommet og (c) utvikling av testar ved nasjonale eller institusjonelle testeiningar eller-senter. Fleire generelle prinsipp gjeld for alle desse gruppene: respekt for studentane/testkandidatane, ansvarskjensle, rettferd, reliabilitet, validitet og samarbeid mellom dei involverte partane. Desse generelle prinsippa blir det gjort greie for i andre relevante, rådande retningsliner som EALTAmedlemmene blir oppfordra til å konsultere for å auke profesjonaliteten og heve kvaliteten i arbeidet sitt. For meir informasjon, ver vennleg og sjå: http://www.iltaonline.com http://www.alte.org http://www.qca.org.uk http://www.apa.org/science/standards.html http://www.apa.org/science/finalcode.pdf EALTA har følgjande Retningsliner for god praksis i språktesting og -vurdering: 1 ENTLA European Network for Language Testing and Assessment 1
A. Relevante spørsmål ved utdanning og etterutdanning av lærarar i testing og vurdering Medlemmer i EALTA som er involvert i opplæring av lærarar i testing og vurdering, må avklare overfor seg sjølv og relevante interessegrupper (lærarstudentar, praktiserande lærarar, læreplanutviklarar): 1. Kor relevant er opplæringa i høve til studentane sitt framtidige vurderingsarbeid? 2. I kor stor grad blir studentane gjort merksame på ulike vurderingsprosedyrar i samband med noverande eller framtidige behov? 3. Kor tydeleg er prinsippa for testing og vurdering (til dømes validitet, reliabilitet, rettferd, washback) relatert til studentane sin kontekst? 4. Korleis er balansen mellom teori og praksis i opplæringa? 5. I kor stor grad er studentane involverte i utvikling, utprøving og evaluering av vurderingsprosedyrar? 6. I kor stor grad er studentane involverte i å rette eller vurdere elevprestasjonar? 7. Kor mykje vekt blir det lagt på relevant analyse av vurderingsresultat? 8. Kor stort omsyn blir det tatt til studentane sine synspunkt på kor eigna og nøyaktige vurderingsprosedyrane er? 9. I kor stor grad blir studentane vurderte i tråd med dei prinsippa dei sjølve har blitt undervist i? B. Relevante spørsmål ved testing og vurdering i klasserommet Medlemmer i EALTA som er involvert i testing og vurdering i klasserommet, må avklare overfor seg sjølv og relevante interessegrupper (spesielt elevar/studentar, men også foreldre så langt det lar seg gjere): 1. VURDERINGSFØREMÅL OG SPESIFIKASJONAR 1. Kva er føremålet med vurderinga? 2. I kor stor grad er føremålet med vurderinga relatert til læreplanane? 3. Finst det testspesifikasjonar? 4. I kor stor grad blir læreplanen dekka? 5. Korleis blir føremåla for vurderinga og spesifikasjonane gjort kjende og drøfta? 2. VURDERINGSPROSEDYRAR 1. Kven utformar vurderingsprosedyrane? 2. Kor relevante er vurderingsprosedyrane for elevane? 3. Korleis blir informasjon om elevane si læring innhenta? 4. Korleis blir informasjon om elevane si læring vurdert og oppbevart? 5. Kva blir gjort for å sikre at vurderingsresultata er eksakte og rettferdige? 6. Kva blir gjort for oppnå semje i vurdering og karaktersetjing mellom lærarar og mellom skolar? 7. Kva omsyn blir tatt til elevane sine synspunkt på vurderingsprosedyrane? 3. KONSEKVENSAR 1. Korleis blir resultata brukte? 2. Kva tiltak vil bli sett i gang for å fremje elevane si læring? 3. Kva typar tilbakemelding får elevane? 4. Finst det faste rutinar for at elevar eller føresette kan klage eller søkje om ny vurdering? 5. Kva konsekvensar får vurderingsprosedyrane for praksisen i klasserommet? 6. Kva konsekvensar får vurderingsresultata for elevane? 2
C. Relevante spørsmål ved testutvikling ved nasjonale eller institusjonelle testeiningar eller -senter Medlemmer i EALTA som er involverte i testutvikling må avklare overfor seg sjølv og relevante interessegrupper (lærarar, testkandidatar, det offentlege) og komme med svar på spørsmåla nedanfor. For å auke kvaliteten på vurderingssystem og rutinar, blir testutviklarar oppfordra til å gå i dialog med dei som tar avgjerder ved ulike institusjonar, direktorat og departement for å sikre at dei er innforståtte med både god og dårleg praksis. 1. TESTFØREMÅL OG SPESIFIKASJONAR 1. Kor klart er testføremål formulert? 2. Korleis forheld ein seg til eventuelt misbruk av testar? 3. Er alle interessegrupper spesifikt identifiserte? 4. Finst det testspesifikasjonar? 5. Er spesifikasjonane ulike for ulike grupper? 6. Finst det ein omtale av testkandidaten? 7. Er konstrukta som testane/deltestane skal måle, spesifiserte? 8. Er testmetodane/-oppgåvene beskrivne og eksemplifiserte? 9. Er spennvidda i elevprestasjonar beskrive og eksemplifisert? 10. Er rettemal/vurderingskriterium beskrivne? 11. Blir testnivåa omtalt i CEFR-termar 2? Kva dokumentasjon støttar denne nivåplasseringa av prøvene? 2. TESTUTVIKLING og OPPGÅVESKRIVING 1. Har testutviklarane og oppgåveskrivarane relevant erfaring frå undervisning på det nivået vurderinga rettar seg mot? 2. Kva opplæring har testutviklarane og oppgåveskrivarane fått? 3. Finst det retningsliner for testutvikling og oppgåveskriving? 4. Finst det rutinar for gjennomgang, omarbeiding og redigering av item og oppgåver for å sikre at dei samsvarar med testspesifikasjonane og retter seg etter retningslinene for oppgåveskriving? 5. Kva tilbakemelding får oppgåveskrivarane på arbeidet dei gjer? 3. KVALITETSKONTROLL og TESTANALYSAR 1. Kva prosedyrar for kvalitetskontroll blir brukte? 2. Blir testane prøvd ut? 3. Kva er vanleg storleik på utprøvingsutvalet, og korleis samsvarer det med testpopulasjonen? 4. Kva type informasjon blir samla inn under utprøvinga? (synspunkt til lærarar og kandidatar, resultat,...) 5. Korleis blir utprøvingsdata analysert? 6. Korleis blir ein samde om endringar av testen etter at utprøvingsdata er analysert? 7. Om det finst fleire versjonar av testen (t.d. frå år til år), korleis blir samsvaret frå avvikling til avvikling dokumentert? 8. Får sensorane opplæring før kvar testavvikling? 9. Blir det brukt typesvar i opplæringa? 10. Er det rutinemessig bruk av dobbelsensur på subjektivt vurderte testar? Blir inter- og intrasensorreliabilitet rekna ut? 11. Blir rettinga sjekka regelmessig? 12. Kva statistiske analysar blir brukte? 2 CEFR Common European Framework of Reference for Languages/Det felles europeiske rammeverket for språk 3
13. Kva resultat blir rapporterte? Korleis? Til kven? 14. Finst det faste rutinar for at testkandidatar kan klage eller søkje om ny vurdering? 4. TESTAVVIKLING 1. Kva sikkerheitsrutinar finst? 2. Har testadministratorane fått opplæring? 3. Blir testavviklinga kontrollert? 4. Blir det skrive ein rapport for kvart år eller etter kvar avvikling? 5. REVIDERING 1. Kor ofte blir prøvene gjennomgått og endra? 2. Blir det utført valideringsstudiar? 3. Kva rutinar er på plass for å sikre at testane held tritt med endringar i læreplanen? 6. WASHBACK 1. Er intensjonen at testen skal initiere endringar i gjeldande praksis? 2. Kva er washback-effekten? Kva studiar er gjennomførte? 3. Er det utvikla materiell slik at det er mogeleg å førebu seg til testen? 4. Har lærarane fått opplæring i korleis dei skal førebu kandidatane til testen/eksamenen? 7. KOPLING TIL DET FELLES EUROPEISKE RAMMEVERKET 1. Kva dokumentasjon finst om kvaliteten på prosessen som er følgt for å kople testane og eksamenane til Det felles europeiske rammeverket? 2. Har framgangsmåtane som blir tilrådd i Rammeverket sin Manual og Refererence Supplement 3 blitt følgt på ein tilfredsstillande måte? 3. Finst det ein offentleg tilgjengeleg rapport om koplingsprosessen? D. Å knyte prøver til Det felles europeiske rammeverket for språk Å knyte prøver og vurderingsskalaer til Det felles europeiske rammeverket for språk er ei kompleks oppgåve, eit prosjekt som det ofte tar fleire år å fullføre. Å knyte eksamenar og prøver til ein standard som Rammeverket krev ei vitskapeleg tilnærming, og påstandar om tilknyting må vere basert på resultat frå forsking, helst sendt til fagfellevurdering. Institusjonar / prøveutviklarar som hevdar at prøver er knytte til Rammeverket, har ansvar for å dokumentere dette på en overtydande måte. Det kan vere nyttig å tenkje gjennom spørsmåla under når ein skal dokumentere kopling til Rammeverket. EALTA-medlemmer som er involverte i det å knyte ein prøve til Rammeverket, må avklare overfor seg sjølv og relevante interessegrupper (lærarar, elevar/studentar, styresmakter og det offentlege): 1. Har spørsmål som prøvekvalitet og tilbakeverknadseffekt blitt nøye vurdert? (sjå EALTAs Retningsliner for god praksis i språktesting og vurdering, seksjon C) 2. Kjenner prøveutviklarane Rammeverket godt? Har prosedyrane for å gjere seg kjend med Rammeverket blitt følgt? Kva dokumentasjon kan ein leggje fram som viser dette (prosedyrar og resultat)? 3. Har prøveinnhaldet og prøvespesifikasjonane blitt analysert i relasjon til rammeverksutsegnene? Kva dokumentasjon kan ein leggje fram som viser dette (prosedyrar og resultat)? 3 http://www.coe.int/t/dg4/linguistic/manuel1_en.asp 4
4. Har standardsetjing blitt gjennomført for skriftleg og munnleg produksjon? Korleis har dette blitt gjort? Kven har vore med? Kva dokumentasjon kan ein leggje fram som viser dette (prosedyrar og resultat)? 5. Finst det offentleg tilgjengelege døme på skriftlege og munnlege prestasjonar, knytte til Rammeverket? 6. Har standardsetjing blitt gjennomført for oppgåver som måler reseptive ferdigheiter? Korleis har dette blitt gjort? Kven har vore med? Kva dokumentasjon kan ein leggje fram som viser dette (prosedyrar og resultat)? 7. Finst det døme på lese- og lytteoppgåver, knytte til Rammeverket, som er offentleg tilgjengelege? 8. Kva prosedyrar for standardsetjing har blitt brukt for å etablere cut-off-skårar for aktuelt/aktuelle rammeverksnivå? Kor mange sensorar/dommarar har vore involverte? Finst det ein rapport som er offentleg tilgjengeleg som dokumenterer standardsetjinga? 9. Kan ein dokumentere at standardsetjingsprosessen er valid? Er slik dokumentasjon offentleg tilgjengeleg? 10. Blir det brukt ein fastsett, offentleg tilgjengeleg framgangsmåte for å bestemme rammeverksnivå, som garanterer for at prøva har god kvalitet? 5