Rammeverk for nasjonale prøver Del I Innledning og organisering Hensikten med et felles rammeverk for de nasjonale prøvene er å etablere et felles grunnlag for utforming, gjennomføring og rapportering av de norske nasjonale prøvene. Ved å etablere en felles beskrivelse av hva som skal prøves og hvordan, skal rammeverket bidra til klarhet og åpenhet om prøvene. Rammeverket omfatter felles retningslinjer og kravspesifikasjoner for utforming av prøvene, samt rapportering og bruk av prøveresultatene. Rammeverket omfatter også beskrivelser av organiseringen av arbeidet med prøvene og bidrar således til nødvendige rolleavklaringer. Rammeverk for nasjonale prøver som styringsdokument er i første omgang et dokument utarbeidet for prøveutformere, Utdanningsdirektoratet og Kunnskapsdepartementet. I forbindelse med operasjonaliseringen av rammeverkets innhold vil det bli utviklet andre dokumenter for informasjon og administrering tilpasset de ulike berørte instanser. Rammeverket skal sikre en viss stabilitet for og kvalitet i arbeidet med prøvene. Parallelt med dette er det viktig at et rammeverk av denne typen er dynamisk slik at nødvendige justeringer kan gjøres ved behov. Bakgrunn for nasjonale prøver Det ble avholdt nasjonale prøver første gang i Norge våren 2004. Fra begynnelsen av 1990- tallet hadde det da vært diskusjoner om etablering av et nasjonalt system for kvalitetsvurdering. I løpet av 1990- og begynnelsen av 2000-tallet har det i flere sentrale utredningsarbeider, stortingsmeldinger og stortingsproposisjoner blitt foreslått å etablere et slikt system. 1 I Budsjett-innst. S. nr. 12 (2002-2003) vedtok Stortinget etableringen av et nasjonalt kvalitetsvurderingssystem der de nasjonale prøvene skulle inngå som ett element. Det ble gjennomført nasjonale prøver i to omganger våren 2004 og våren 2005. Arbeidet med prøvene ble evaluert og flere forbedringspunkter ble påpekt. På bakgrunn av dette og tilrådninger fra evalueringen, vedtok regjeringen 27. mars 2006 et nytt grunnlag for utarbeiding og gjennomføring av nasjonale prøver. Organisering av arbeidet med de nasjonale prøvene I oppdragsbrev fra Kunnskapsdepartementet av 23. mai 2006 fikk Utdanningsdirektoratet ansvar for å utarbeide og gjennomføre prøver høsten 2007. Oppdragsbrevet definerer formålet for prøvene og gir føringer om tidspunkt og årstrinn for gjennomføringen. 1 Moe-utvalget 1997, Innst. S. nr. 12 til St. prp. nr. 1 (1998-99), St. meld. nr. 28 (1998-1999) Mot rikare mål, Inst. S. nr. 214 (1998-1999), NOU 2002:10 Førsteklasses fra første klasse, St.prp. nr. 1 (2002-2003), Budsjettinnst. S. nr. 12 (2003-2004), St. meld. nr. 30 (2003-2004) Kultur for læring, Inst. S. nr. 268 (2003-2004) 1
Arbeidet med de nasjonale prøvene i Norge omfatter og involverer flere ulike instanser med ulike oppgaver og ulike ansvarsområder. Dette fordrer en klar ansvarsdeling og tydelige rolleavklaringer. I det følgende blir organiseringen, samt oppgave- og ansvarsfordelingen av arbeidet med de nasjonale prøvene beskrevet. Kunnskapsdepartementet Kunnskapsdepartementet bestemmer formål for de nasjonale prøvene i oppdragsbrev til Utdanningsdirektoratet. I oppdragsbrevet bestemmes hva som skal prøves og tidspunkt for gjennomføringen av prøvene. Kunnskapsdepartementet fastsetter rammeverket for de nasjonale prøvene, etter forslag fra Utdanningsdirektoratet. Utdanningsdirektoratet Utdanningsdirektoratet har ansvar for å utarbeide rammeverk for de nasjonale prøvene. Utformingen av rammeverket er gjort av en arbeidsgruppe forankret i direktoratet og har vært sammensatt av internasjonale og nasjonale fagpersoner i samarbeid med Utdanningsdirektoratet. Utdanningsdirektoratet har videre ansvar for oppfølging av rammeverket og forslag til revisjon av dette på bakgrunn av erfaringer med de nasjonale prøvene. Rammeverk for nasjonale prøver definerer rammene for utviklingen av de nasjonale prøvene. Rammeverket beskriver formålet for nasjonale prøver og avgrenser de ferdighetene som skal kartlegges i tråd med Kunnskapsdepartementets oppdragsbrev. Rammeverket angir også psykometriske krav og krav til rapportering fra prøvene. Utdanningsdirektoratet har ansvar for å inngå tidsavgrensede avtaler med institusjoner som skal utarbeide de ulike prøvene og med en ekstern kvalitetssikrer. På bakgrunn av vurderinger fra ekstern kvalitetssikrer skal direktoratet sikre at de nasjonale prøvene utarbeides i henhold til føringer og krav fastsatt i rammeverket. Dersom den eksterne kvalitetssikringen avdekker potensielle problemområder skal direktoratet iverksette tiltak som sikrer måloppnåelse. Direktoratet skal godkjenne de ferdige prøvene for trykking. Utdanningsdirektoratet har et overordnet informasjonsansvar for nasjonale prøver. Dette innebærer bl.a. dialog med aktuelle brukerorganisasjoner, håndtering av pressehenvendelser ved spørsmål om nasjonale prøver og ansvar for publisering av informasjons- og veiledningsmateriell knyttet til gjennomføringen av prøvene og bruken av resultatene fra prøvene. I operasjonaliseringen av prøvene har Utdanningsdirektoratet ansvar for administrasjon og gjennomføring av de nasjonale prøvene. Direktoratet har ansvar for fastsettelse av felles skala for vurdering av resultatene fra de nasjonale prøvene. Utdanningsdirektoratet har ansvar for etablering og ivaretakelse av IT-systemer for rapportering av resultater, og er behandlingsansvarlig for dataene i henhold til personopplysningsloven. Prøveutformere De nasjonale prøvene skal utarbeides i henhold til føringer og krav fastsatt i rammeverket. Rammeverket vil være en del av avtalen som regulerer oppdraget som inngås med prøveutformerne. Avtalene vil videre regulere eierskap, budsjettrammer, veiledningsmateriell, 2
ansvar for opplæring mv. Etter avtale med Utdanningsdirektoratet har følgende institusjoner ansvar for å utarbeide nasjonale prøver: Lesing 5. trinn: Universitetet i Stavanger v/ Nasjonalt lesesenter Lesing 8. trinn: Universitetet i Oslo v/ ILS Engelsk: Universitetet i Bergen Regning: NTNU v/ Nasjonalt senter for matematikk i opplæringen. Ekstern kvalitetssikrer Ekstern kvalitetssikring innebærer jevnlig vurdering av hovedtrekkene i prøveutformingen, og en spesiell oppfølging av prioriterte områder. Formålet skal være å påse at potensielle problemområder blir avdekket slik at tiltak som sikrer måloppnåelse i henhold til rammeverket, kan iverksettes. Rollen som ekstern kvalitetssikrer er formalisert som en del av den totale prosjektorganisasjonen. Rammeverket for nasjonale prøver utgjør grunnlagsdokumentet som prøveutformingen skal vurderes i forhold til. Med utgangspunkt i dette grunnlagsdokumentet skal følgende dokumenter være gjenstand for ekstern kvalitetssikring: prøvene i sin helhet for pilotering prøveutformers tekniske rapport om resultater fra pilotering av prøver prøvene i sin helhet som endelig prøve prøveutformers tekniske rapport om resultater fra gjennomføring av endelig prøve I praksis innebærer dette at prøveutformerne skal rapportere parallelt til Utdanningsdirektoratet og ekstern kvalitetssikrer i løpet av prøvekonstruksjonsprosessen om hvordan kravene i rammeverket ivaretas. Ekstern kvalitetssikrer har ansvar for å følge prøveutformingen på grunnlag av de tekniske rapportene. På bakgrunn av de tekniske rapportene skal ekstern kvalitetssikrer holde Utdanningsdirektoratet løpende orientert og i god tid legge frem forslag til forbedringer og tiltak når det er nødvendig. Med utgangspunkt i ekstern kvalitetssikrers vurderinger vil Utdanningsdirektoratet følge opp arbeidet med prøveutformingen. Oppdraget om ekstern kvalitetssikring er beskrevet i en egen avtale. Universitetet i Oslo ved Institutt for lærerutdanning og skoleutvikling (ILS) er Utdanningsdirektoratets eksterne kvalitetssikrer i arbeidet med nasjonale prøver. 3
Kunnskapsdepartementet - Oppdragsbrev med bestemmelse av formål og tidspunkt for gjennomføring - Fastsettelse av rammeverk Utdanningsdirektoratet - Utforming av rammeverk forankret i LK06 - Godkjenning for trykking - Informasjon, avgrensning innhold, administrasjon, gjennomføring, rapportering Prøveutformere - Prøvekonstruksjon, administrasjon, utarbeidelse av veiledninger og teknisk rapport Ekstern kvalitetssikrer - Kvalitetssikre på grunnlag av teknisk rapport fra pilotering og endelig gjennomføring og foreslå nødvendige forbedringer - Kvalitetssikre prøvene i sin helhet for pilotering og endelig prøve 4
Formål Del II Formål og grunnleggende ferdigheter De nasjonale prøvene skal kartlegge i hvilken grad elevenes ferdigheter er i samsvar med læreplanens mål for de grunnleggende ferdighetene regning og lesing på norsk og engelsk, slik de er integrert i kompetansemål forfag i LK06 etter 4. og 7. årstrinn. Prøvene skal gi informasjon til elever, lærere, skoleledere, foresatte, skoleeiere, de regionale myndigheter og det nasjonale nivået som grunnlag for forbedrings- og utviklingsarbeid. 2 Det skal avholdes nasjonale prøver fra og med høsten 2007. Prøvene skal avholdes i høstsemesteret på 5. og 8. trinn. Nasjonale prøver er en del av et sammenhengende prøve- og vurderingssystem Nasjonale prøver og resultatene fra dem må betraktes som del av en større sammenheng. Prøvenes formål og rolle må ses i forhold til et mangfold av vurderings- og prøveformer som til sammen gir et bredt og sammensatt bilde. De nasjonale prøvene utgjør et avgrenset, men viktig grunnlag i den totale situasjonsbeskrivelsen av norsk grunnopplæring. Ulike vurderingsformer har ulike formål som på hver sin måte bidrar til at lærere og instruktører, ut fra et variert vurderingsgrunnlag, kan gjøre nødvendige tilpasninger i opplæringen for den enkelte og på skolenivået. De forskjellige elementene i vurderingssystemet har som formål å dekke ulike behov for informasjon på forskjellige nivåer. Samlet åpner mangfoldet av prøve- og vurderingsformer for å se sammenhenger som gir mer informasjon om opplæringen enn en enkelt vurderingsform kan bidra med alene 3. De nasjonale prøvene skal kartlegge elevenes grunnleggende ferdigheter og ferdigheter i engelsk i tråd med kompetansemål i læreplaner for fag. Prøvene gir et bilde av hvordan elevene har utviklet de grunnleggende ferdighetene lesing og regning og deler av kompetansen i faget engelsk. Bildet som gis av elevenes ferdigheter gjennom de nasjonale prøvene er pålitelig, men ikke uttømmende. For å få mer informasjon om enkeltelevens ferdigheter vil for eksempel annet kartleggingsmateriell kunne gi mer detaljert informasjon. De internasjonale studiene speiler kunnskaper og ferdigheter i et internasjonalt perspektiv. Sett i sammenheng med de øvrige prøvene vil disse kunne gi et fyldigere bilde av resultatene av læringsarbeidet i norsk grunnopplæring. I henhold til formålet for de nasjonale prøvene skal elevenes grunnleggende ferdigheter i lesing, regning og engelsk kartlegges. Således kartlegger de nasjonale prøvene kun et begrenset område av grunnopplæringens innhold. 2 Oppdragsbrev fra Kunnskapsdepartementet til Utdanningsdirektoratet av 23. mai 2006. 3 Denne omtalen av prøve- og vurderingsformer og matrisen med oversikt over et sammenehengende prøve- og vurderingssystem er avgrenset til eksisterende prøve- og vurderingsformer samt veiledningsmateriell som er en formell del av grunnopplæringen. I et større perspektiv inngår det selvsagt langt flere elementer i det som utgjør mangfoldet i vurdering i grunnopplæringen, deriblant alt det vurderingsarbeidet som daglig skjer i møtet mellom elev og lærer. 5
Videre er det begrensninger for hva en nasjonal prøveordning alene kan forventes å gi detaljert informasjon om. Informasjonen som de nasjonale prøvene vil gi om enkeltindividet vil ikke kunne være detaljert. De nasjonale prøvene kan i første rekke gi informasjon om gruppe og trinn til lærer, skoleleder-, kommune-, regionalt- og nasjonalt nivå. I tilfeller der prøvene gir en indikasjon om at det er nødvendig med ytterligere kartlegging, vil det være naturlig å benytte passende kartleggingsmateriell som kan gi mer detaljert informasjon for oppfølging og tilpasning på individ-, gruppe- eller skolenivå. De nasjonale prøvene skal også, sett i sammenheng med internasjonale studier Norge deltar i, være et viktig bidrag i diskusjoner om utviklingen av grunnopplæringen i Norge. Resultatene fra de nasjonale prøvene skal følges opp på de relevante nivåene i grunnopplæringen. Dette stiller høye krav til informasjon, kommunikasjon og generell tilgjengelighet i alle ledd i arbeidet med prøvene. Med utgangspunkt i erfaringene fra tidligere gjennomføring av de nasjonale prøvene i Norge, er det spesielt viktig å se utviklingen av de nye nasjonale prøvene i lys av brukerperspektivet på skole- og skoleeiernivået. Utdanningsdirektoratet har et overordnet ansvar for at det blir utarbeidet veiledninger som omhandler hvordan resultatene fra prøvene kan følges opp. Grunnleggende ferdigheter i læreplaner for fag De grunnleggende ferdighetene å kunne uttrykke seg muntlig og skriftlig, å kunne lese og regne og å kunne bruke digitale verktøy er integrert i kompetansemål for det enkelte fag. Disse ferdighetene er viktige redskaper for læring og utvikling i fagene og for å kunne delta i skole, samfunns- og arbeidsliv. De er også viktige for elevers og lærlingers personlige utvikling og allmenndannelse. Hensikten med å prioritere de grunnleggende ferdighetene i opplæringen, er nettopp å sikre at alle elever får gode forutsetninger for læring og for å mestre utfordringer i dagliglivet. De grunnleggende ferdighetene er både en forutsetning for utvikling av fagkunnskap og en del av fagkompetansen i ulike fag. For eksempel må elevene kunne lese oppskrifter og regne ut mengder for å kunne lage mat i mat og helse. De grunnleggende ferdighetene forholder seg til fagenes spesielle innhold, og er knyttet til fagkompetansen på ulike måter i ulike fag. For eksempel er det å lese fagtekster i naturfag noe annet enn å lese skjønnlitterære tekster i norskfaget. At betegnelsen grunnleggende ferdigheter brukes, betyr ikke at det handler om ferdigheter på et grunnleggende nivå, men at ferdighetene er grunnleggende for læring og utvikling i alle fag. For å sikre kontinuerlig utvikling av elevenes grunnleggende ferdigheter gjennom det 13- årige løpet, er ferdighetene integrert i læreplaner for alle fag og på alle hovedtrinn. Dermed er utvikling av elevenes ferdigheter ikke bare et ansvar i norsk og matematikk, men i alle fag. Dette skal bidra til å sikre at alle elever møter utfordringer i ulike læringssituasjoner i skolen, slik at de utvikler de grunnleggende ferdighetene på et tilfredsstillende nivå. 6
Kartlegging av grunnleggende ferdigheter i lesing og regning Læreplaner for fag i Kunnskapsløftet (LK06) inneholder kompetansemål der grunnleggende ferdigheter er integrert på det enkelte fags premisser, som del av den kompetansen som skal utvikles innenfor det aktuelle faget. I tillegg er det en egen tekst om grunnleggende ferdigheter i hver enkelt læreplan for fag. Teksten tydeliggjør på hvilken måte de grunnleggende ferdighetene kan gjenfinnes i kompetansemålene i faget. De nasjonale prøvene i lesing og regning skal kartlegge elevenes grunnleggende ferdigheter med utgangspunkt i kompetansemål der grunnleggende ferdigheter er integrert etter 4. og 7. årstrinn i LK06. Kompetansemål i læreplanene danner grunnlaget for de avgrensninger av regning og lesing som skal ligge til grunn for utforming av prøvene. Kartlegging av ferdigheter i faget engelsk Engelsk er ikke en del av de grunnleggende ferdighetene, slik disse er definert i LK06. Derfor skiller prøvene i engelsk seg fra de andre nasjonale prøvene ved at de tar utgangspunkt i kompetansemål i ett fag engelsk. Oppgavene i prøvene fokuserer på leseforståelse, vokabular og grammatikk. Videre følger omtale av de grunnleggende ferdighetene lesing og regning, samt ferdigheter i faget engelsk. Dette omfatter definisjon av ferdigheter og føringer for innholdet i prøvene. Det gis også eksempler på kompetansemål som prøvene tar utgangspunkt i. I og med at prøvene i lesing og regning ikke er fagspesifikke prøver, gis det eksempler på kompetansemål i ulike fag, der lesing og regning er integrert. Der det er angitt innholdsområder vil disse ikke nødvendigvis kunne dekkes innenfor hver enkelt prøve, men de skal utgjøre et utgangspunkt for utvalget i prøvene. Hvilke innholdsområder som dekkes i hver enkelt prøve velges av prøveutformerne med utgangspunkt i rammeverkets avgrensninger og redegjøres for i teknisk rapport (se egen omtale). Regning Nasjonale prøver i regning skal kartlegge i hvilken grad elevenes regneferdigheter er i samsvar med kompetansemål der regneferdigheter er integrert. Dette innebærer at nasjonale prøver i regning ikke er en prøve i matematikk som fag, men en prøve i regning som grunnleggende ferdighet, det vil si som del av fagkompetansen i alle fag. Å kunne regne Grunnleggende ferdigheter i regning innebærer tallforståelse, måleferdighet og tallbehandling knyttet til et bredt spekter av oppgaver og utfordringer i faglige og dagligdagse sammenhenger. Regneferdigheter handler også om å kunne tolke og lage grafiske og andre kvantitative framstillinger. Innholdsområder i prøvene Innholdsmessig er regning som grunnleggende ferdighet knyttet til tre områder - tall, måling og statistikk. Området tall omfatter hvordan tall inngår i systemer og mønstre, relasjoner mellom tall og kvantifisering av mengder og størrelser. Det omfatter videre det å bruke tall og foreta beregninger i praktiske sammenhenger og vurdere svarenes rimelighet. 7
Måling handler om å sammenlikne og knytte tallstørrelser til objekter og mengder. Måling dreier seg også om vurdering av resultater og framstilling av data fra observasjoner og målinger. Temaer som vekt, lengder, flater, tid, rom, priser og valuta hører med i dette området. Området statistikk omfatter å organisere, analysere, presentere og vurdere data og grafiske framstillinger. I analysen av data hører det med å beskrive generelle trekk ved datamaterialet. Vektlegging av anvendelse i praktiske sammenhenger De nasjonale prøvene i regning skal ta utgangspunkt i hvordan elevene kan anvende regning i ulike faglige og dagligdagse sammenhenger. Dette innebærer at de forstår og kan reflektere over hvordan de best kan løse en gitt utfordring, at de kan løse problemet ved hjelp av regneoperasjoner og at de kan vurdere om resultatene er rimelige. Slik sett vil den tekniske utførelsen av regneoperasjoner inngå i prøvene, men alltid som en del av anvendelsen i varierte faglige sammenhenger. Eksempler fra læreplanene Eksempler på kompetansemål på 4. og 7. årstrinn som kan være utgangspunkt for nasjonale prøver i regning: Matematikk velje rekneart og grunngje valet, bruke tabellkunnskapar om rekneartane og utnytte enkle samanhengar mellom rekneartane samle, sortere, notere og illustrere data med teljestrekar, tabellar og søylediagram, og kommentere illustrasjonane gjere overslag over og måle storleikar for lengd, areal, masse, volum, vinkel og tid, og bruke tidspunkt og tidsintervall i enkle berekningar Samfunnsfag gjere samfunnsfaglege undersøkingar som krev teljing og rekning, og presentere resultata av undersøkingane Naturfag foreta relevante værmålinger og presentere resultatene med og uten digitale hjelpemidler Mat og helse bruke rekning for å auke eller redusere mengda i oppskrifter, prøve dei ut og vurdere resultatet Lesing Nasjonale prøver i lesing skal kartlegge i hvilken grad elevenes leseferdigheter er i samsvar med kompetansemål der leseferdigheter er integrert. Dette innebærer at nasjonale prøver i lesing ikke er en prøve i norskfaget, men en prøve i lesing som grunnleggende ferdighet, det vil si som del av fagkompetansen i alle fag. 8
Å kunne lese Grunnleggende ferdigheter i lesing omfatter tre aspekter: 1) finne informasjon 2) forstå og tolke 3) reflektere over og vurdere tekstens form og innhold De tre aspektene finnes ikke som atskilte ferdigheter hos leserne, og det er derfor ikke et mål å prøve disse som tydelige avgrensede delkompetanser. I stedet forstås de tre aspektene slik at de samlet sett avgrenser innholdet i leseprøven. Alle tre aspekter ved lesing skal være representert i prøven, men vil ikke nødvendigvis ha lik vektlegging og omfang i prøvene. For eksempel vil det tredje aspektet komme sterkere inn i prøvene på 8. enn på 5. trinn. Tekstutvalg i prøvene Utvalget av tekster som skal inngå i prøvene, skal baseres på det tekstmangfoldet som elevenes lesing vanligvis utfoldes i. I og med prøvetidens omfang vil det ikke være mulig å representere tekstmangfoldet i sin fulle bredde i hver enkelt prøve. Derfor legges det ikke føringer for bestemte teksttyper som skal inngå i prøvene. I og med at tekstutvalget varierer i de ulike prøvene, vil også spørsmål knyttet til perspektiver på tekst, sjanger og form variere. Prøvene kan i tråd med læreplanene inneholde tekster både på bokmål og nynorsk. Eksempler fra læreplanene Eksempler på kompetansemål på 4. og 7. årstrinn som kan være utgangspunkt for nasjonale prøver i lesing: Samfunnsfag utforske ulike kjelder, illustrere korleis dei kan gje ulik informasjon om fortida, og forklare korleis historikarar bruker dei til å lage historiske framstillingar Naturfag trekke naturfaglig informasjon ut fra enkle naturfaglige tekster i ulike medier Norsk lese skjønnlitteratur og fagtekster for barn med flyt, sammenheng og forståelse trekke slutninger på grunnlag av forståelse for sammenheng mellom deler og helhet i tekster drøfte og vurdere skjønnlitterære tekster med utgangspunkt i egne opplevelser og med forståelse for språk og innhald Engelsk Nasjonale prøver i engelsk skal kartlegge i hvilken grad elevenes ferdigheter i engelsk er i samsvar med kompetansemål i læreplanen for engelsk, knyttet til leseforståelse, vokabular og grammatikk. Prøvene i engelsk omfatter følgende aspekter på 5. årstrinn: finne informasjon og forstå hovedinnholdet i enkle tekster 9
Dette impliserer også følgende: forstå vanlige ord og uttrykk knyttet til dagligliv og fritid, og forstå betydningen av ord og uttrykk ut fra sammenhengen de er brukt i bruke noen vanlige grammatiske strukturer, småord og enkle setningsmønstre Prøvene i engelsk omfatter følgende aspekter på 8. årstrinn: finne informasjon, forstå og reflektere over innholdet i tekster av ulik lengde og ulike sjangere Dette impliserer også følgende: beherske et ordforråd som dekker dagligdagse situasjoner, og forstå betydningen av ord og uttrykk ut fra sammenhengen de er brukt i forstå bruken av grunnleggende regler og mønstre for grammatikk og setningstyper Disse aspektene finnes ikke nødvendigvis som atskilte ferdigheter, og det er derfor ikke et mål å prøve disse isolert eller rapportere dem som tydelige avgrensede delkomponenter. Tekstutvalg i prøvene Elevene på 5. årstrinn skal bli presentert for setninger og korte tekster. Elevene på 8. årstrinn skal bli presentert for korte og middels lange tekster. Eksempler på teksttyper: instruksjoner, annonser, postkort/brev, dagboknotater, beskrivelser, faktatekster, fortellinger. Eksempler fra læreplanene Eksempler på kompetansemål på 4. og 7 årstrinn som kan være utgangspunkt for nasjonale prøver i engelsk: Kompetansemål etter 4. årstrinn: forstå og bruke vanlige engelske ord og uttrykk knyttet til dagligliv, fritid og interesser, både muntlig og skriftlig forstå betydningen av ord og uttrykk ut fra sammenhengen disse er brukt i lese og forstå hovedinnholdet i tekster om kjente emner bruke noen vanlige grammatiske strukturer, småord, enkle setningsmønstre og stavemåter Kompetansemål etter 7. årstrinn: bruke lytte-, tale-, lese- og skrivestrategier tilpasset formålet lese og forstå tekster av ulik lengde og i ulike sjangere beherske et ordforråd som dekker dagligdagse situasjoner bruke grunnleggende regler og mønstre for uttale, intonasjon, rettskriving, grammatikk og ulike setningstyper 10
Del III Krav til prøvene og gjennomføring Utvikling av de nasjonale prøvene styres av formålet med prøvene og hvordan prøveresultatene skal anvendes. Prøvene skal gi informasjon til elever, lærere, foresatte, skoleledere, skoleeiere, de regionale myndigheter og det nasjonale nivået som grunnlag for forbedrings- og utviklingsarbeid. De nasjonale prøvene skal utformes i overensstemmelse med de grunnleggende ferdighetene integrert i kompetansemål fra LK06 slik de er avgrenset i rammeverket og i forhold til kompetansemål i engelskfaget. Det er avgjørende at brukerhensynet ivaretas på en god måte. Derfor skal de nasjonale prøvene gjennomføres innenfor en avgrenset tidsramme. Prøvene må være enkle å administrere, vurdere og rapportere. Skalaen for de nasjonale prøvene skal kommunisere godt med og ha sin forankring i praksisfeltet. Prøvene skal utformes i tråd med vanlige standarder for prøvekonstruksjon. 4 Prøvene skal vurderes i henhold til vanlige psykometriske krav til reliabilitet og validitet. Reliabilitetskrav Hver enkelt prøve, og eventuelle delprøver, skal oppfylle høye reliabilitetskrav. Reliabiliteten forteller om prøvens pålitelighet som kartleggingsverktøy. Høy reliabilitet viser at prøvens resultater ikke er et produkt av tilfeldigheter i prøvens oppgavesett. Dette blir ofte uttrykt med en alpha-koeffisient. Det er ønskelig at prøvene har en alpha-koeffisient på 0.85. Det er et krav at alpha-koeffisienten ikke skal være under 0.8. Validitetskrav Validitet handler om i hvilken grad prøvene virkelig måler de ferdighetene som de er ønsket å måle. Prøvenes innholdsvaliditet skal dokumenteres i teknisk rapport (jf egen omtale i vedlegg 2). Prøveutformerne skal redegjøre for hvordan innholdet har blitt bestemt, hvilke empiriske data som støtter valg av oppgaver, samt en redegjørelse av hva prøven måler. I tilfeller der prøvene skal prøve to delkompetanser skal korrelasjonen mellom de to også redegjøres for. En viktig del av validiteten er vurderinger av prøvenes innhold. I praksis innebærer dette at fagpersoner som vet hva prøvene skal kartlegge, vurderer oppgavenes og hele prøvens relevans i forhold til rammeverkets avgrensinger. Dette er en del av prøveutformernes ansvar i arbeidet med prøveutformingen. Validiteten har også en empirisk del som innebærer å se prøvene og oppgavene i forhold til andre kriterier som prøvene bør stå i et sammenfallende eller ulikt forhold til. Et tredje aspekt ved validitet er å se på det man kartlegger i en videre teoretisk betydning (begrepsvaliditet). Dette innebærer både empiriske så vel som andre undersøkelser for det formål å finne sammenhenger med annen etablert teori. Dette inngår i hovedsak som del av prøveutviklingsarbeidet hos prøveutformer. 4 For eksempel standarder slik disse er beskrevet i Standards for Educational and Psychological Testing (1999), AERA, APA, NCME 11
Fordeling av oppgavetyper Prøvene skal inneholde flere typer av oppgaver, både flervalgsoppgaver og åpne oppgavetyper. De åpne oppgavene skal forekomme i begrenset utstrekning av hensyn til tid for prøvegjennomføringen, tid til skåring av prøvene, samt prøvenes psykometriske egenskaper. De nasjonale prøvene skal maksimalt inneholde 35 prosent åpne oppgaver. Andelen åpne oppgaver kan variere avhengig av hvilket trinn prøven skal kartlegge. I utformingen av oppgaver skal det tas hensyn til de avgrensninger rammeverket legger for tid til retting. Prøvene i sin helhet kan maksimalt kartlegge to delkompetanser. Krav til pilotering Hver prøve skal piloteres. Piloteringen skal følge vanlige piloteringsmetoder. Eksempelvis skal piloter omfatte flere oppgaver enn det den endelige prøven faktisk vil inneholde. Resultatene av piloteringen skal gi et godt bilde for å forstå hvordan de enkelte oppgavene og hele prøven vil fungere i praksis. I praksis skal utvalget for pilotering bestå av mellom 100-500 elever avhengig av utvalgsmetodikk. Det er viktig at særtrekk ved den norske elevmassen reflekteres i utvalget for piloteringen. Resultatene og erfaringene fra piloteringen skal angis i den tekniske rapporten (jamfør egen omtale). Krav om teknisk rapport Til hver enkelt prøve skal det utformes en teknisk rapport av prøveutformer til Utdanningsdirektoratet som angir tradisjonelle itemanalysedata i form av p-verdi og mål for diskriminering, samt mål for reliabilitet og validitet. Den tekniske rapporten skal omhandle informasjon om både piloteringen og den endelige gjennomføringen av prøven. Den tekniske rapporten skal redegjøre for: P-verdiene (oppgavenes vanskelighetsgrad på en prosentskala) totalt og for de to kjønnene separat. Der det er mulig skal DIF-mål utarbeides med totalpoeng som kriteriemål. Oppgavenes diskrimineringsevne skal også angis via en korrelasjon mellom resultat på oppgaven og totalpoeng (i normaltilfellet skal disse korrelasjoner være høyere en 0.20). Merknader om oppgavenes relevans (validitet) Sammenheng mellom oppgave og et eksternt kriterium (eksempelvis resultater fra obligatoriske kartleggingsprøver eller karakterer) der slike mål finnes tilgjengelig I tillegg skal den tekniske rapporten inkludere en egen kolonne for merknader om de enkelte oppgavene og med særskilte merknader om valg av innhold. Det skal også finnes en kolonne for omtale av valg av oppgaveformat. Hver enkelt prøve skal illustreres med eksempler på oppgavetyper. Rapporten skal også inneholde en sammenfattende oversikt over prøven i sin helhet. I denne skal antall oppgaver inngå, antall personer i pilotering, mål for reliabilitet og empiriske sammenhenger med andre delprøver og/eller andre eksterne kriteriemål. Her kan også overgripende problemstillinger knyttet til reliabilitet og validitet inngå. I et avsluttende avsnitt skal prøveutformer gi noen allmenne vurderinger av prøven, tolkninger av resultatene (ved endelig gjennomføring), samt betraktninger om eventuelle endringer av prøven som kan synes nødvendig. 12
Eksempel på oppsett for teknisk rapport 5 Prøve Antall pilotert Trinn Oppgave Svar alternativ p- verdi Pdiff, kjønn DIF Rxy Mål Kommentarer 1 a (.65) (.10) (.36) (forstå) (høy validitet) b (.08) (-.03) (-.10) c (.13) (-.04) (-.20) d (.10) (.00) (-18) 2 a b c d Eksempel på sammenfattende tabell Prøve Regning Trinn 5 Antall elever i prøvingen 243 N (antall oppgaver i 26 prøven) Gjennomsnitt 13.50 Standardavvik 6.5 Reliabilitet 0.83 Rxy (ett eller flere sammenhenger med andre delskalaer og/eller andre relevante kriterier) 0,50 En annen delprøve i utprøvingen Den tekniske rapporten inngår som en del av den løpende kvalitetsskringsprosessen av arbeidet med de nasjonale prøvene. Teknisk rapport skal være en del av dokumentasjonsgrunnlaget for dialog mellom prøveutformer, ekstern kvalitetssikrer og Utdanningsdirektoratet. De tekniske rapportene vil også kunne utgjøre et grunnlag for eventuelle evalueringer av arbeidet med de nasjonale prøvene på sikt. Sammensetning av oppgaver til endelig prøve Ved valg av oppgaver til endelig prøve skal det sikres at prøven inneholder oppgaver av ulik vanskegrad Retningslinjer for trykking Prøvene skal godkjennes av Utdanningsdirektoratet for trykking. Oppgaveformatene for samtlige prøver skal trykkes under en felles mal og felles layout bestemt av Utdanningsdirektoratet. Prøvenes utforming for trykking skal utvikles i henhold til avtale mellom Utdanningsdirektoratet og prøveutformer. 5 Forklaring til tabell: Tabellen starter med en angivelse av hvilken prøve det er snakk om, denne følges av en kolonne for antall personer i pilotering. Videre angis hvilket trinn prøven omhandler. Så følger kolonne for angivelse av oppgave og svaralternativer der dette finnes. Hver oppgaves vanskelighetsgrad angis i form av p- verdi (prosent riktige svar), samt forskjeller mellom kjønnene. I tilfeller der DIF mål beregnes angis de i neste kolonne (DIF angir forskjeller mellom kjønnene under en forutsetning av at de har samme prestasjonsnivå, noe som bestemmes ut fra totalpoeng). Videre angis hver oppgaves diskrimineringsevne, denne beregnes i form av korrelasjon mellom oppgave og totalpoeng og skal alltid være positiv (oftest større enn.20). I tilfeller der feilsvar forekommer skal disse være negative. I de to siste kolonnene angis hvilket mål oppgaven kartlegger og en kommentar om oppgavens innholdsvaliditet. Denne siste omtales spesielt der det kan forekomme ulike oppfatninger blant lærere og /eller eksperter på området. 13
Felles skala for nasjonale prøver Med henvisning til at resultatene ikke automatisk skal sammenliknes med andre resultater uttrykt i andre skalaer, eksempelvis karakterer, er det utarbeidet en felles skala for rapportering av resultater fra de nasjonale prøvene. Det er Utdanningsdirektoratet som fastsetter denne skalaen. Fastsettelse og utarbeidelse av en felles skala har sin forankring i to hovedformål. Før det første skal resultatene være enkle å forstå og følge opp. For det andre skal en på lokalt nivå kunne sammenlikne resultatene med nasjonalt nivå for å kunne se en utvikling over tid. Skoler, kommuner og fylker kan vurdere egne resultater på de ulike prøvene ved å sammenlikne egen fordeling på mestringsnivåer, gjennomsnitt og standardavvik med nasjonalt nivå. Grensene for nasjonale prøver blir fastsatt etter følgende fordelig: 5. trinn: 25% - 50% - 25% 8. trinn: 10% - 20% - 40% - 20% - 10% Grensene settes ved en poengsum slik at fordelingen blir tilnærmet den prosentvise fordelingen på nasjonalt nivå. Gjennomføring av de nasjonale prøvene Standardiserte retningslinjer gjelder for administrasjon av prøvene. Retningslinjene skal omhandle ordninger for deltakelse og bruk av hjelpemidler ved gjennomføringen av prøvene. Retningslinjene for administrasjon av prøvene utarbeides av Utdanningsdirektoratet i samråd med prøveutformerne. Tidsbruk og gjennomføring Gjennomføringstiden for de nasjonale prøvene skal ikke overstige 90 minutter. Besvarelser kan leveres inn før gjennomføringstidens slutt, men alle elever skal sitte den totale prøvetiden helt ut. Hver prøve skal gjennomføres på en felles prøvedag eller i en felles prøveperiode og prøvene skal ikke kreve spesielle forberedelser. Elektroniske prøver Nasjonal prøve i lesing er papirbasert og prøveresultatene registreres i PAS. Nasjonale prøver i regning og i engelsk er elektroniske og gjennomføres i PGS. Resultatrapportene er synlige i PAS. Behandling av data Resultatene fra nasjonale prøver er personopplysninger. All behandling av resultater må derfor skje i henhold til personopplysningsloven av 14. april 2000 nr. 31. Med behandling menes enhver bruk av opplysningene, slik som for eksempel innsamling, registrering, lagring, sammenstilling og utlevering. Det er besluttet at hjemmelsgrunnlaget for behandlinger i tilknytning til nasjonale prøver skal gjennomgås og eventuelt revideres. Utdanningsdirektoratet har på bakgrunn av dette utarbeidet nærmere retningslinjer for blant annet: Hvilke opplysninger som skal behandles Lagringstid 14
Hvilke behandlinger som betinger direkte identifiserbare opplysninger og hvilke som kan /skal behandles i anonym eller pseudonymisert form. Hvem som skal ha tilgang til opplysningene, og evt. i hvilken form, herunder også utlevering for forskningsformål Informasjonssikkerhet 15
Vedlegg 1: Om reliabilitet og validitet Om reliabilitet På de nasjonale prøvene beregnes skåreverdier for samlete prestasjoner ved hjelp av en rekke oppgaver for derved å oppnå en tilstrekkelig høy reliabilitet. Hadde det blitt brukt noen få oppgaver, ville det vært alt for store tilfeldigheter når det gjaldt hvor godt oppgavene passet den enkelte elev eller elevgruppe. Det er et ufravikelig krav at enkeltoppgavene må støtte opp om hverandre, at de viser en rimelig høy indre konsistens. Jo lavere konsistens (eller jo mer forskjellig enkeltoppgavene er), jo flere oppgaver må tas med for å få tilstrekkelig høy reliabilitet. Det er vanlig å bruke en reliabilitetskoeffisient i form av det som kalles Cronbachs alfa. Først deles testen i to deler og lager en samlevariabel for skåre for hver del. Så beregnes korrelasjonskoeffisienten mellom de to delene. Denne inndelingen i to deler kan gjøres på mange måter, og derfor får man mange slike koeffisienter. Gjennomsnittet av alle disse (korrigert for at halvdelene er kortere enn hele testen) gir oss alfa. Alfa sier noe om hvor mye av samlevariabelen som virkelig representerer det som måles, og hvor mye som simpelthen er tilfeldigheter (i valg av oppgaver). En høy alfa betyr at resultatet for enkeltelever i liten grad bestemmes av nøyaktig hvilke oppgaver som er med i samlevariabelen (resultatene ville blitt omtrent det samme om vi byttet ut en oppgave med en annen). En verdi på 0,70 for alfa regnes i mange sammenhenger som en nedre grense for en samlevariabel som skal brukes til å sammenlikne store grupper av elever. En slik verdi forteller at 70% av variansen (som representerer den informasjonen samlevariabelen gir oss) er sann varians, mens resten (30%) er feilvarians. Begrepet feilvarians indikerer ikke at noe er gjort feil, men at det representerer noe annet enn det som er felles for variablene som inngår. Populært sagt: 70% sann varians og 30% tilfeldigheter. I tilfeller der man tilstreber å sammenlikne enkeltpersoner eller små grupper av personer med høy presisjon, og hvor resultatene skal gi viktig informasjon til disse, bør alfa vanligvis være mye høyere enn 0,70. For prøver som får en viss betydning for enkeltpersoner, kan 0,85 oppfattes som en naturlig nedre grense for alfa. Om validitet: Validitet handler om i hvilken grad prøvene virkelig måler den type fagkompetanse som de er ønsket å måle, gir seg ut for å måle, eller som de blir oppfattet å måle. En viktig del av validitetsspørsmålet kan bare besvares i lys av læreplanen sammen med fagdidaktisk analyse av hva kompetanse innen faget egentlig består av. Et viktig spørsmål er forholdet til de grunnleggende ferdighetene, slik disse er beskrevet for hvert av skolefagene. Dette er drøftet i de fagspesifikke delene av rammeverket. Dersom det skal være noen hensikt å rapportere flere enn én kompetanse for hver prøve, så må de foreslåtte delkompetansene være så forskjellig fra hverandre at de virkelig gir separat informasjon. Det som er viktig når det skal avgjøres om to variabler er forskjellig nok i denne forstand, er å studere korrelasjonen mellom de to variablene i lys av hvor nøyaktig hver av variablene er målt, og dette siste uttrykkes ved reliabiliteten alfa. Dersom korrelasjonen mellom dem er omtrent like stor som alfa for hver av dem konkluderes det med at de to variablene korrelerer så høyt det er mulig teknisk sett, og da er det ikke empirisk grunnlag for å hevde at de to variablene faktisk måler forskjellige kompetanser. 16