Evaluering nasjonale prøver 2005

Transkript

1 Vår saksbehandler: Siv Hilde Lindstrøm Direkte tlf: E-post: Vår dato: Deres dato: Vår referanse: 2005/4434 Deres referanse: Utdannings- og forskningsdepartementet Postboks 8119 Dep 0032 Oslo Evaluering nasjonale prøver 2005 Utdanningsdirektoratet har samlet omfattende erfaringer som bør legges til grunn for en videre utvikling av det nasjonale kvalitetsvurderingssystemet. Vi viser til at det er besluttet at det ikke skal avholdes obligatoriske nasjonale prøver våren 2006, og at denne tiden skal benyttes til videreutvikling og forbedring av nasjonale prøver. Dette brevet inneholder Utdanningsdirektoratets vurderinger når det gjelder den videre utviklingen av nasjonale prøver, en utvikling som kan vurderes ut fra ulike modeller og prinsipper. Vurderingene i dette brevet innebærer forholdsvis omfattende endringer basert på faglige og praktiske tilbakemeldinger etter at nasjonale prøver har vært gjennomført to ganger. Utdanningsdirektoratet vil peke på at det av hensyn til videre arbeid og planlegging er nødvendig å fatte noen beslutninger relativt raskt. Dette er uavhengig av om den videre utvikling av nasjonale prøver baseres på rammene av dagens system eller på andre modeller og prinsipper. Det er særlig nødvendig med rask avklaring av tidspunkt for neste prøvegjennomføring, samt hvorvidt allerede utarbeidede prøver skal stilles tilgjengelig for frivillig gjennomføring i utviklingspausen. Innledningsvis i brevet gis en oppsummering av undersøkelsene og evalueringen som er foretatt av nasjonale prøver i Fagmiljøene som utarbeider prøvene har gitt til innspill til evalueringen som er foretatt av ILS, og hovedpunktene fra deres innspill gjengis her. I tillegg gis en orientering om direktoratets arbeid med utvikling av nytt rammeverk for prøvene. Brevet inneholder videre blant annet vurderinger knyttet til tidspunkt for gjennomføring av nasjonale prøver, samt vurderinger knyttet til offentliggjøring av resultatene fra nasjonale prøver i Det finnes ulike måter å utforme et nasjonalt prøvesystem på. Utdanningsdirektoratet mener det på bakgrunn av dette brevet kan være hensiktsmessig å avholde et møte ganske raskt for en grundig drøfting av de ulike problemstillingene. 1 Evalueringer av nasjonale prøver i 2005 Evalueringen av nasjonale prøver er et todelt oppdrag. MMI har som oppdrag å gjennomføre spørreundersøkelse blant lærere, rektorer og elever, og Universitetet i Oslo v/ Institutt for lærerutdanning og skoleutvikling (ILS) har ansvar for å evaluere prøvenes kvalitet og pålitelighet. 1.1 Oppsummering av MMI-undersøkelsene På oppdrag fra Utdanningsdirektoratet har MMI gjennomført en spørreundersøkelse blant lærere, rektorer og elever om deres erfaringer med arbeidet i forbindelse med de nasjonale prøvene. Evalueringen viser at lærerne og rektorene ikke er fornøyd med informasjonen som ble gitt i forkant av de nasjonale prøvene. Omfanget av informasjon har vært stort og mange mener at informasjonen har kommet for sent. Nærmere 9 av 10 lærere med ansvar for gjennomføringen av de nasjonale prøvene sier de har deltatt i skolering. Lærerne er stort sett godt fornøyd med skoleringen de har fått i forbindelse Postadresse: Postboks 2924 Tøyen, 0608 Oslo Besøksadresser: Kolstadgata 1, Oslo Verftsgata 10, Molde Parkgata 36, Hamar Telefon: Telefaks: E-post: post@utdanningsdirektoratet.no Internett: Bankgiro: Org.nr.: NO MVA

2 Side 2 av 12 med prøvene og snakker i denne forbindelse om et kunnskapsløft, men mener at skoleringen ikke har fokusert nok på bruken av resultatene i oppfølgingen av den enkelte elev. En stor andel av elevene sier at de ikke har fått noen tilbakemelding på de nasjonale prøvene. Blant de som har fått tilbakemelding har de fleste fått resultatene gjennom utdeling i klasserommet. 2 av 3 elever har ikke hatt en egen vurdering av resultatene sammen med læreren. De elevene som har fått tilbakemelding sammen med læreren sier i større grad enn andre elever at resultatene har vist dem hvordan de kan forbedre sin innsats. Her er det viktig å peke på at det bare er elevene på 10. trinn og grunnkurs som er spurt i denne undersøkelsen, og at situasjonen kan være noe annerledes på 4. og 7. trinn. Elevene mener at prøvene i matematikk har vært vanskeligst, deretter følger prøvene i engelsk. Både lærernes og elevenes svar viser at de mener vanskelighetsgraden har vært passe. Mange lærere har svart at det var uklarheter i prøvene som kunne gi rom for misforståelser. Et flertall av elevene og lærerne mener at prøvene ikke i stor grad får fram bredden i elevenes kunnskaper. Flertallet av lærere og rektorer mener at prøvene i noen grad gir informasjon om hva som bør styrkes i opplæringen, enten det gjelder den enkelte elev eller elevgruppen. Et stort mindretall av rektorer og lærere (ca 1 av 3) mener at de nasjonale prøvene i ganske stor grad gir informasjon om dette. Store andeler av lærere og rektorer mener også at prøvene ikke gir dem noen ny kunnskap om elevene. Hovedinntrykket fra MMI-undersøkelsen er at de nasjonale prøvene så langt har hatt liten innvirkning på pedagogisk praksis. Men der prøvene har medført endringer i pedagogisk praksis melder rektorene at dette heller har vært i positiv enn negativ retning. Utdanningsdirektoratet har knyttet til seg over 800 ekspertvurderere av nasjonale prøver. Disse får grundig opplæring i gjennomføring og bruk av prøvene fra fagmiljøene, og gjennomfører deretter opplæring av lærerne. På oppdrag av Utdanningsdirektoratet har MMI også gjennomført en spørreundersøkelse blant ekspertvurderere av nasjonale prøver. Ekspertvurdererne ble spurt om informasjon om gjennomføringen av prøvene, innhold og utforming av prøvene, skolering, bruk av resultater i pedagogisk arbeid og gjennomføring av ekstern vurdering. Undersøkelsen viser at ekspertvurdererne er fornøyde med informasjonen som ble gitt i forkant av de nasjonale prøvene. De aller fleste er godt fornøyd med skoleringen fra fagmiljøene, men det er noen forskjeller etter årstrinn og type prøve. Samtlige ekspertvurderere ønsker kompetanseheving, og områder som peker seg ut er tilpasset opplæring, fagdidaktikk/metode, vurdering og prinsipper for utvikling av oppgaver og prøver. Det er en utbredt oppfatning at fylkesmennene i stor grad har lagt til rette for samarbeid mellom ekspertvurdererne i fylket/regionen, og ekspertvurdererne er godt fornøyd med fylkesmannens organisering av kursene de har hatt for lærerne. Kommunikasjonen med fylkesmannen oppleves som bedre enn kommunikasjonen med skolene og Utdanningsdirektoratet. Et klart flertall av de som har vurdert oppgaver i engelsk og matematikk opplever at prøven er i tråd med læreplanen. Omtrent halvparten av ekspertvurdererne mener at elevene i stor grad kjenner oppgaveformen som ble brukt i prøven. Hovedinntrykket er at elevene i noen grad har erfaring med liknende oppgaver fra før. 61 pst mener at elevene i stor grad fikk vist bredden av sine grunnleggende ferdigheter, dette mener særlig de som har vurdert 7. trinn. Drøyt halvparten mener at prøvenes vanskelighetsgrad ligger midt på treet, men det er flere som mener at prøvene er vanskelige enn at de er enkle. En tredjedel av ekspertvurdererne mener at det var uklarheter og rom for misforståelser i oppgavene, dette er en liten nedgang fra i fjor. De aller fleste har hatt nytte av skoleringen fra fagmiljøene. Dette samsvarer med funnene fra De som har vurdert prøver på 7. trinn, og de som har vurdert engelskprøvene, synes å ha hatt størst utbytte, mens de som har vurdert prøver på 4. trinn og prøver i skriving er noe mer reservert. Mens 92 pst av ekspertvurdererne mener at skoleringen har gitt dem grunnlag for å gi opplæring til lærerne, mener noe færre (58 pst) at skoleringen har gitt dem grunnlag for veiledning av lærere i pedagogisk bruk av prøveresultatene. De fleste ekspertvurdererne mener at de nasjonale prøvene vil påvirke deres fagdidaktiske tenkning. Den største andelen som mener

3 Side 3 av 12 deres tenkning vil påvirkes i stor grad finner vi blant dem som har vurdert prøver på 7. trinn. Det er flere ekspertvurderere enn lærere som mener at deres fagdidaktiske tenkning vil påvirkes. 1.2 Oppsummering av evalueringsrapporten fra ILS ILS har gjennomført evaluering av de nasjonale prøvene i 2004 og Selv om noen av prøvene får positiv omtale på noen punkter i årets evalueringsrapport, fremstår rapporten i sin helhet som kritisk. Hovedkonklusjonene er: - Kvaliteten på årets prøver fremstår samlet sett som dårligere enn fjorårets. - Det bør ikke gjennomføres nasjonale prøver i Denne tiden bør brukes til en gjennomgripende utredning og debatt. - Nasjonale prøver i skriving bør avskaffes i sin nåværende form. - Utdanningsdirektoratet kritiseres for ikke å ha tatt helhetlig og overordnet styring, og for ikke å ha fulgt opp fjorårets anbefaling om å utvikle et rammeverk for prøvene. - På grunn av høy andel boikott på grunnkurs, anbefales det å ikke publisere resultater fra noen av prøvene på grunnkurs på Skoleporten. - Det anbefales å ikke publisere noen resultater fra skriveprøvene verken i norsk eller engelsk. - ILS er skeptiske til å publisere resultater fra engelsk lesing. - Resultater i lesing (norsk) og matematikk kan publiseres som en samlet skår på 4., 7. og 10. trinn. Undersøkelsen har analysert et utvalg elevbesvarelser, fordelt på de ulike prøvene, samt skolens egen vurdering av disse og ekstern vurdering. For flere av prøvene bygger analysen på et lavt antall besvarelser, ettersom ikke alle skoler i utvalget hadde sendt inn besvarelsene innen fristen. Dette gir en risiko for systematiske feil, antakelig er det en tendens til at vurderingene viser noe bedre samsvar enn det som er gjennomgående rundt i landet. Forskerne har også studert fagmiljøenes rapporter om hvilke metoder som ble brukt i utviklingen av prøvene, de har gjennomført grunnleggende item-analyser (hvordan oppgavene har fungert testteoretisk), de har sett på prøvenes reliabilitet (indre konsistens), sensorreliabilitet for åpne oppgaver, validitet (om prøvene og underkategoriene måler det de gir seg ut for å måle), og de har sett på om de foreslåtte kompetansenivåene kan fungere som absolutte skalaer for kompetanse og som grunnlag for sammenligninger over flere år. Et gjennomgående spørsmål er hvilke konsekvenser dette bør få for publisering av resultatene og for utvikling av neste års prøver. Forskerne etterlyser en sterkere felles strategi i tråd med de overordnede formålene med nasjonale prøver. De mener det er et behov for bedre testteoretisk innsikt blant alle involverte. De planlagte delskalaene for kompetanse bør være mer enhetlige og bør kvalitetssikres gjennom pilotering. For å begrense omfanget av vurderingsarbeidet for lærerne anbefaler forskerne å inkludere flere flervalgsoppgaver og legge opp til en enklere prosedyre for innrapportering. Etter forskernes mening bør man være varsom med å overbetone de diagnostiske sidene ved de nasjonale prøvene. De foreslåtte delskalaene imøtekommer i liten grad det diagnostiske formålet, og forskerne frykter at disse resultatene senere kan gi opphav til ikke holdbare slutninger om elevenes fremgang. For fremtidige nasjonale prøver anbefaler de at det heller legges vekt på å utarbeide veiledningsmateriale som kan hjelpe lærerne i å bruke selve elevbesvarelsene (oppgave for oppgave) i kombinasjon med skåre på prøven som helhet i det pedagogiske arbeidet. Forskerne mener vurderingen representerer en stor ressursinnsats, som ikke synes å stå i forhold til det man får ut av informasjon. 1.3 Tilbakemeldinger fra fagmiljøene som utarbeider nasjonale prøver Fagmiljøene som utarbeider de nasjonale prøvene har gitt skriftlige tilbakemeldinger til Utdanningsdirektoratet på bakgrunn av evalueringsrapporten fra ILS. Direktoratet mener disse tilbakemeldingene gir gode bidrag til å balansere det inntrykket og de vurderingene som gis i ILSrapporten om prøvenes kvalitet og pålitelighet.

4 Side 4 av 12 Utdanningsdirektoratet mener ILS på noen punkter har gått ut over sitt mandat i forhold til det oppdraget som var gitt, blant annet ved å gi anbefalinger om styring av prøveutviklingen. På den annen side er det forhold i oppdragsbestillingen som ikke er tilfredsstillende utført, ILS har for eksempel ikke benyttet en ekstern kvalitetssikrer slik det var forutsatt. Dette var en forutsetning i oppdraget som er begrunnet både med hensynet til ekstern kvalitetssikring og for å imøtekomme spørsmål som gjelder habilitet. ILS har ansvar for å utvikle nasjonale prøver i lesing på 10. trinn og grunnkurs. ILS var også med i begynnelsen av utviklingen av prosjektbeskrivelsen for de nasjonale prøvene i engelsk. Denne situasjonen kommenteres av ILS og fagmiljøene. Det er også viktig å understreke at fagmiljøene etter egen vurdering har hatt mindre tid enn ønskelig til å utvikle de nasjonale prøvene. Evalueringsrapporten fra 2004 ble ferdigstilt bare få måneder før prøvene for 2005 skulle gjennomføres, og det var da ikke mulig å innarbeide store endringer i prøvene ut fra det som fremkom av kritikk i fjorårets evaluering. Fagmiljøene kommenterer dette forholdet i sine tilbakemeldinger. Fagmiljøet som har utviklet leseprøvene for 4. og 7. trinn, Nasjonalt senter for leseopplæring og leseforskning ved Universitetet i Stavanger, mener fremstillingen i evalueringsrapporten er skjev og at flere av konklusjonene er for bastante og ikke tilstrekkelig dokumenterte. Disse leseprøvene kritiseres særlig for å ha en vurderingsskala som gir poeng for delvis riktige svar, noe ILS mener er uheldig for reliabiliteten på prøvene, fordi elevene kan få poeng for å gjette svar. Fagmiljøet forsvarer denne graderingen både teoretisk og empirisk, og viser til egne data fra de to prøvene som viser høy reliabilitet for prøvene (0.86 og 0.88), og som dermed ikke støtter bekymringen for at gjetting har påvirket resultater. Fagmiljøet viser videre til at evalueringsrapporten vektlegger enkelteksempler forskerne mener er uheldige i prøven, og at disse generaliseres til å gjelde hele prøven. Fagmiljøet som utarbeider prøvene i engelsk er tilknyttet Universitetet i Bergen. Engelskprøvene får kritikk i evalueringsrapporten, særlig for måten de bruker det europeiske rammeverket for språk på. Både skriveprøven på engelsk og den elektroniske leseprøven kritiseres, blant annet for manglende validitet og reliabilitet. Fagmiljøet viser til at påstanden om leseprøvens manglende validitet ikke er dokumentert, men at en enkelt rektors uttalelse benyttes til å støtte opp under denne konklusjonen. Fagmiljøet viser også flere statistiske beregninger og argumenterer for andre målemetoder som viser høyere reliabilitet og lavere målefeil for prøvene. Generelt mener engelskmiljøet at evalueringsrapporten fremstiller prøvene skjevt ved at noen få eksempler på uhensiktsmessige oppgaver i prøvene generaliseres til å gjelde hele prøven, men påpeker samtidig at en del av forholdene som omtales i evalueringsrapporten også er forhold de selv arbeider med å forbedre i prøvene. Nasjonalt senter for matematikk i opplæringen ved NTNU har ansvar for å lage de nasjonale prøvene i matematikk. Dette fagmiljøet peker også på at ILS har lagt til grunn et snevert testteoretisk perspektiv for vurdering av prøvene, mens fagmiljøet selv har arbeidet mye med veilednings- og vurderingsmateriell for lærernes pedagogiske etterarbeid med elevene. Matematikkprøvene får generelt positiv omtale i evalueringsrapporten, men kritiseres for å ha et avansert kodesystem, samt i forhold til vanskelighetsgrad på noen oppgaver i prøvene, noe fagmiljøet selv kommenterer at de arbeider kontinuerlig med å utvikle. Universitetet i Stavanger v/ Nasjonalt senter for leseopplæring og leseforskning har ansvar for å utvikle skriveprøvene, og det er også fagpersoner fra Universitetet i Oslo og NTNU med i dette arbeidet. Skriveprøvene er i en særstilling blant de nasjonale prøvene, særlig fordi de krever mye forarbeid på skolene og fordi det er vanskelig å oppnå god nok reliabilitet på disse prøvene fordi det bare gis åpne skriveoppgaver. Forholdene som kritiseres i evalueringsrapporten har skrivemiljøet selv påpekt en rekke ganger, særlig at denne type oppgaver ikke er forenlige med psykometriske prinsipper. Fagmiljøet som har ansvar for utforming av leseprøvene i 10. trinn og grunnkurs, ILS, har ikke gitt skriftlige innspill til evalueringsrapporten.

5 Side 5 av 12 2 Videre utvikling av nasjonale prøver 2.1 Nasjonale prøver er en del av et sammenhengende prøve- og vurderingssystem De nasjonale prøvene slik de er vedtatt av Stortinget skal kartlegge elevenes grunnleggende ferdigheter i lesing, skriving, regning og engelsk på fire ulike trinn i opplæringsløpet. Dette betyr at det er begrensninger for hva denne prøveordningen alene kan forventes å gi svar på. Grunnlaget for elev- og lærlingvurdering i grunnopplæringen er læreplaner, forskrift til opplæringsloven, retningslinjer for fag- og svenneprøver, eksamen/fag- og svenneprøver, samt ulike kartleggings- og diagnostiske prøver og veiledningsmateriell. Dette og det lokale arbeidet med vurdering skal ses i sammenheng for å etablere en bred tilnærming til elevers og lærlingers læring. Ulike vurderingsformer har ulike formål som på hver sin måte bidrar til at lærere og instruktører, ut fra et variert vurderingsgrunnlag, møter elever og lærlinger der de til enhver tid er i læringsarbeidet. Ordningen med gjennomgående læreplaner gjør det mulig å vurdere elevens/lærlingens faglige utvikling fra grunnskole til videregående opplæring. På den måten blir helheten og sammenhengen i vurderingen ivaretatt gjennom hele grunnopplæringen. De forskjellige delene av vurderingssystemet har som formål å dekke ulike behov, samtidig som dette samlet åpner for å se sammenhenger som kan gi mer informasjon om opplæringen enn den enkelte vurderingsform kan bidra med alene. Utdanningsdirektoratet mener det er viktig å understreke at de nasjonale prøvene bare er ett element innenfor det sammenhengende vurderingssystemet. Prøvene skal være et bidrag blant de andre prøve- og vurderingsformene som samlet gir informasjon om situasjonen i norsk grunnopplæring på flere nivåer. De nasjonale prøvene har et tosidig formål. På den ene siden er de knyttet til kartlegging av elevers grunnleggende ferdigheter og på den andre skal de gi informasjon til de involverte aktører på ulike nivåer. Dette utfordrer evnen til å balansere tilnærminger mellom det komplekse og omfangsrike og det enkle og avgrensede. En viktig utfordring er å identifisere hvor grensene går for det realistisk mulige og det strengt tatt nødvendige. De nasjonale prøvene er et utgangspunkt for formativ vurdering (underveisvurdering) og skal gi elever, foresatte, lærere og skoleeiere opplysninger om hvor og hvilke tiltak som kan settes inn for å gi bedre opplæring for den enkelte elev. Der prøvene tyder på at det er nødvendig med ytterligere kartlegging, kan det være naturlig å benytte diagnostisk materiale for oppfølging og tilpasning på individ-, gruppe- eller skolenivå. Som en del av vurderingssystemet for grunnopplæring i Norge har de nasjonale prøvene en sentral rolle for elevenes progresjon henimot avsluttende vurdering. De nasjonale prøvene skal også, sett i sammenheng med internasjonale studier Norge deltar i, være et viktig bidrag i diskusjoner om utviklingen av grunnopplæringen i Norge.

6 Side 6 av 12 Et sammenhengende prøve- og vurderingssystem Tiltak Formål Diagnostisk materiell Avdekke behov for individuell oppfølging og tilrettelegging på individ- og skolenivå Karakter- og læringsstøttende prøver Undersøke hva eleven kan innenfor sentrale områder av faget, og ut fra denne dokumentasjonen bestemme hvor kreftene må settes inn for at eleven skal mestre faget bedre. Veiledningsmateriell Synliggjøre hvordan skoleeiere, skoler og lærere kan utnytte systemet pedagogisk Nasjonale prøver Kartlegge elevenes kompetanse i grunnleggende ferdigheter Grunnlag for kvalitetsutvikling på lokalt og nasjonalt nivå Avgangsprøve og eksamen/fag- og svenneprøve Avsluttende vurdering som har til formål å informere samfunnet, arbeidslivet og aktuelle utdanningsinstitusjoner (avtakere) om den kompetansen den enkelte elev/lærling har oppnådd. Internasjonale studier Vurdere norske elevers kompetanse relatert til andre land Grunnlag for indikatorutvikling og politikkutforming Utdanningsdirektoratet vil vektlegge helheten i det sammenhengende prøve- og vurderingssystemet og vil peke på behovet for å styrke arbeidet med utforming, tilgjengeliggjøring og bruk av diagnostisk materiell, karakter- og læringsstøttende prøver og veiledningsmateriell parallelt med arbeidet med videreutvikling av de nasjonale prøvene. 2.2 Utvikling av et felles rammeverk for nasjonale prøver Utdanningsdirektoratet har igangsatt arbeid på flere områder i løpet av 2005 som ikke fanges opp av ILS-rapporten. Direktoratet arbeider blant annet med utvikling av et felles faglig og styringsmessig rammeverk for de nasjonale prøvene. ILS etterlyser et slikt rammeverk både i denne og i den forrige evalueringsrapporten med bakgrunn i at de nasjonale prøvene varierer sterkt når det gjelder utforming, vurderingskriterier og rapporteringskategorier. Direktoratet har i dette arbeidet knyttet til seg to nordiske eksperter, Júlíus K. Björnsson fra Island og Ingemar Wedman fra Sverige. Disse gir råd til direktoratet om utvikling av prøvene. Arbeidet med rammeverket bygger på erfaringer fra liknende rammeverk eksempelvis i Sverige og internasjonalt, som PISA, PIRLS og TIMMS. Utdanningsdirektoratet arbeider med et felles rammeverk som skal gjelde alle prøvene. Rammeverket skal inneholde retningslinjer om: - De nasjonale prøvenes rolle som en del av et sammenhengende prøve- og vurderingssystem - Formål med prøvene kartlegging og informasjon - Definisjon og avgrensning av fag/emneområder forholdet til læreplanene og hvilke kompetanser som bør prøves - Gjennomføring av prøvene - Prøveform oppgaveformat, omfang, krav til reliabilitet/validitet, kriterier for vurdering, antall delkompetanser, skala for kompetansenivå - Vurdering/kompetanseutvikling skolenivå, kommune - Rapportering fra fagmiljø, til individnivået, til systemnivået. Utkast til rammeverk ble lagt frem for fagmiljøene som utarbeider de nasjonale prøvene på et seminar i slutten av oktober. Fagmiljøene diskuterte ulike problemstillinger i tilknytning til rammeverket i tverrgående arbeidsgrupper. Det legges opp til et tilsvarende seminar med alle fagmiljøene i slutten av november, og direktoratet vil også trekke inn andre eksterne parter, for eksempel ILS. Utkast til rammeverk vil bli lagt frem for Referansegruppen for det nasjonale kvalitetsvurderingssystemet på neste møte den 13. desember. Det tas sikte på at rammeverket kan vedtas ved årsskiftet. Dette innebærer at rammeverket reelt sett ikke kan innarbeides i prøvene for 2006, men tidligst i prøvene som lages for , jf. direktoratets tilråding i brevets punkt 3 om at det ikke bør gjennomføres nasjonale prøver før høsten 2007.

7 Side 7 av Andre forbedringstiltak Direktoratet arbeider også med å forbedre informasjonsopplegget på alle plan. Direktoratets eget nettsted skal relanseres i midten av desember, blant annet med mer brukervennlig og bedre informasjon om nasjonale prøver. Det planlegges også å sende ut informasjonsbrosjyrer der flere tema knyttet til prøvene tas med. Generelt sett skal informasjonen samles og struktureres bedre. Direktoratet har utarbeidet et innrapporteringssystem for resultatene fra nasjonale prøver, nasjonaleprover.no. Tilgangen til innregistreringssystemet er begrenset til brukere som får tildelt brukernavn og passord. Dette gjelder fylkesmenn, skoleeiere, rektorer og lærere. Det er utarbeidet brukervennlige rapporter i nasjonaleprover.no som gir skolene tilgang til egne resultater fra våren 2005 samt kommunens gjennomsnittlige resultater. Skoleeier får på samme måte tilgang til resultater på skolenivå for skoler i egen kommune. I nasjonaleprover.no er det dessuten lagt til rette for at lærere og skoler som får nye elever ved skolestart, får tilgang til disse elevenes resultater i en periode begrenset oppad til et år. Prinsippet er at resultatene følger eleven. Disse resultatene ble tilgjengelige fra august Informasjon på individnivå vil bli slettet etter en periode på måneder og overført til en anonym database. Lærerkursene, som har fått den mest positive vurderingen, vil for senere år utformes slik at det legges enda sterkere vekt på hvordan resultatene fra prøvene kan brukes i oppfølgingen av den enkelte elev. Med hensyn til videre utvikling av elektroniske prøver, vurderer direktoratet nå behovet for å ta sterkere styring når det gjelder de tekniske løsningene, slik at de elektroniske prøvene får en enhetlig utforming. Hittil har det enkelte fagmiljøet selv inngått avtaler med underleverandører om tekniske løsninger, men det må vurderes om direktoratet bør ha direkte kontrakt med én utviklingsleverandør, og at alle fagmiljøene må benytte tilsvarende grunndesign og interaksjonsprinsipper i de elektroniske prøvene. Kommunikasjonen med eksterne parter har blitt forbedret ved at det ble opprettet en ekstern Referansegruppe for nasjonalt kvalitetsvurderingssystem våren Referansegruppen består av representanter fra Elevorganisasjonen, SRY, Oslo kommune, KS, FUG, Utdanningsforbundet, Norsk skolelederforbund, Norsk lektorlag, KFF og Skolenes landsforbund. Det er en forutsetning at viktige saker knyttet til kvalitetsvurderingssystemet skal legges frem for referansegruppen og at denne skal ha reell mulighet til å drøfte og kommentere saker før beslutninger blir tatt. Det har vært syv møter i denne referansegruppen så langt. Saker som har vært presentert og diskutert er blant annet konkurransegrunnlaget for evalueringene, prosjektet om skolebidragsindikatorer, bruk av Skoleporten, endringer i omfang og tidspunkt for nasjonale prøver, endringer i opplæringsopplegg for lærerne, prosessen med Datatilsynet og pseudonymisering av resultatene fra nasjonale prøver, opplegg for kartlegging av kostnader til nasjonale prøver, orientering og diskusjon rundt MMI-og ILS-rapportene, samt orientering om prosessen med utvikling av rammeverk. Det er lagt opp til at utkast til rammeverk for nasjonale prøver skal legges frem for referansegruppen på neste møte den 13. desember, jf. også forrige punkt. Referansegruppen har også fått en konkret gjennomgang av nasjonale prøver i matematikk og lesing v/fagmiljøene. 3 Nasjonale prøver bør gjennomføres høsten 2007 Det er besluttet å ikke gjennomføre obligatoriske nasjonale prøver våren Dette vil si at det er åpent for om det skal gjennomføres nasjonale prøver høsten 2006 for 10. trinn og grunnkurs. Om det skal gjennomføres nasjonale prøver høsten 2006 er en beslutning som bør fattes raskt, særlig av hensyn til skolenes behov for å planlegge skoleåret, og også av hensyn til fagmiljøene som per i dag har kontrakter med Utdanningsdirektoratet om utvikling av prøvene. Dersom det skal gjennomføres prøver høsten 2006, vil det hovedsakelig være prøver utformet etter samme mal som de to foregående årene. For de fleste prøvenes vedkommende er allerede første pilotering gjennomført. Prøvekonstruksjonen av de nasjonale prøvene er en kontinuerlig prosess, og det tar om lag 2 år fra utviklingen av prøvene er påbegynt til de er ferdigstilt. Det vil derfor kun være mulig å gjennomføre mindre endringer i prøvene dersom det skal gjennomføres

8 Side 8 av 12 prøver høsten 2006, og det vil ikke være tid til å utvikle nye nasjonale prøver på grunnlag av et felles rammeverk eller nye prinsipper. Utdanningsdirektoratet mener det vil være uheldig å gjennomføre prøver på dette grunnlaget etter den kritikken som har kommet fra forskerne og den generelle motstanden som er vist fra skolehold. De eksterne ekspertene direktoratet har knyttet til seg, samt ILS-rapporten, understreker behovet for et felles rammeverk for de nasjonale prøvene. Dette arbeidet har direktoratet satt i gang, og det tas sikte på at det skal være sluttført i løpet av dette året. På bakgrunn av dette arbeidet tas det sikte på at fagmiljøene skal utarbeide nye nasjonale prøver ut fra det felles rammeverket med enhetlige krav til prøvene. Det vil derfor være behov for tid til å utvikle nye og mer enhetlige prøveformer, utarbeide et felles rapporteringssystem og tid til grundig pilotering for å sikre bedre reliabilitet/validitet, samt utvikle veiledninger til prøvene. Videre må det fra Utdanningsdirektoratets side legges større vekt på informasjonsarbeidet og kontakt med aktuelle organisasjoner og sektoren i utvikling av et nytt og bedre prøvekonsept. Det er behov for utprøving og pilotering av nye prøver, og det er viktig å få alle parter med i denne prosessen. Det er også en stor fordel at innføringen av nye læreplaner kommer i gang før det gjennomføres nye nasjonale prøver. For at vi skal få utviklet gode nasjonale prøver som er godt forberedt og forankret i skolen, blant lærere og elever/foresatte, tilrår derfor Utdanningsdirektoratet en lengre utviklingspause før obligatorisk gjennomføring av nasjonale prøver, frem til skoleåret 2007/ Det bør ikke tilbys frivillig gjennomføring av nasjonale prøver i 2006 Muligheten for at de skoleeierne som ønsker det kan få tilgang til prøvene som er utviklet for neste år, slik at disse kan gjennomføres der det er ønskelig, har vært drøftet. Om det skal tilbys frivillig gjennomføring av nasjonale prøver i 2006 er en beslutning som bør fattes raskt, særlig av hensyn til skolenes behov for å planlegge skoleåret, og også av hensyn til den praktiske tilrettelegging som i så fall må gjøres. De planlagte prøvene på 4. og 7. trinn våren 2006 er langt på vei ferdigstilt. Disse prøvene er laget ut fra samme mal som tidligere, men det er gjort en del forbedringer i forhold til erfaringer fagmiljøene har gjort samt den første evalueringsrapporten fra Muligheten for å ferdigstille disse prøvene helt og tilby skoleeierne dem til frivillig bruk våren 2006 har vært diskutert. Dette kan være et godt tilbud til dem som har laget rutiner for gjennomføring og bruk av prøvene, og som ønsker kontinuitet i prøveavviklingen. Det vil imidlertid kreve at fagmiljøene utvikler veiledningsmateriell til prøvene. Det må vurderes om det er hensiktsmessig å bruke tid på å ferdigstille og lage veiledningsmateriell til prøvene sammen med det krevende arbeidet med å utvikle et helt nytt prøvekonsept. Det er skapt forventninger om nye og bedre prøver, og det kan derfor komme kritikk mot at en stiller til disposisjon samme type prøver som har blitt sterkt kritisert, selv om dette bare er på frivillig basis. Videre må det vurderes om ekspertvurdererkorpset skal opprettholdes, eventuelt om det skal stilles til disposisjon for frivillig gjennomføring. Ekspertvurdererne har opparbeidet seg god kompetanse i vurdering og er Utdanningsdirektoratets og fylkesmennenes kontaktpersoner ute i skolene. MMI-undersøkelsen gir gode tilbakemeldinger fra ekspertvurdererne, og opplæringen av lærerne får også gode skussmål. Det er klare ulemper knyttet til å legge ned eller utsette i lengre tid nettopp dette som får god omtale og som medfører en viktig og nødvendig kompetanseheving i skolene. De første kursene for ekspertvurdererne skulle etter planen avholdes allerede i begynnelsen av januar. Ved frivillig gjennomføring av prøvene er det viktig å tilby kurs til de som ønsker det, og det er vanskelig å forutsi hvor mange dette vil kunne dreie seg om. Nå som det er kjent ute i skolene at det ikke vil bli gjennomført prøver våren 2006, er det uvisst om noen likevel vil velge å benytte seg av et tilbud om frivillig gjennomføring. Direktoratet og fagmiljøene må forberede gjennomføring av kursene samt veiledningsmateriell, og det begynner å bli liten tid for både å forberede kursene samt organisere en god ordning for å administrere en frivillig gjennomføring av prøvene. En antagelse om hvor mange som vil benytte seg av et slikt tilbud må veies opp mot ressursbruken som er forbundet med å administrere frivillig gjennomføring.

9 Side 9 av 12 Spørsmålet om frivillig gjennomføring av prøvene i 2006 har også en kostnadsside. Det er store kostnader forbundet med ekspertvurderene dersom disse skal benyttes ved en eventuell frivillig gjennomføring, samt med trykking og distribusjon av prøvene. Etter en samlet vurdering mener Utdanningsdirektoratet at nye nasjonale prøver ikke bør gjøres tilgjengelig for frivillig gjennomføring i Et alternativ som kan vurderes er å gi skolene anledning til gjenbruk av noen av årets prøver. Dette er mulig for matematikkprøven dersom veiledningsmateriellet frigjøres. Disse prøvene er allerede gjort tilgjengelige og kan lastes ned fra nett. Ett sett lærere er skolert og kan eventuelt hjelpe sine kolleger. I tillegg har skolene mulighet til å sammenligne direkte to kull elever. Direktoratet vil vurdere denne løsningen nærmere. 5 Resultater fra nasjonale prøver i 2005 bør ikke offentliggjøres på skolenivå Skoleporten.no er nettstedet hvor alle tilgjengelige data om skolen er tenkt samlet. Den inneholder i dag en samlet framstilling av indikatorer innenfor fire resultatområder, og gir en unik mulighet til å vurdere sammenhengen mellom ressursinnsats, læringsmiljø og faglige resultater. Skoleporten har en åpen og en pålogget del. Den åpne delen gir alle som er interessert, et bilde av tilstanden i norsk skole, men publiseringsreglene er strenge og personvernet godt ivaretatt. I den åpne delen kan foresatte, elever og andre interesserte få innsikt i hva som skjer i skolen, eksempelvis hvordan skolen organiserer sin virksomhet og disponerer sine ressurser, hvordan elevene trives på skolen og hvilke resultater de oppnår. De som har tilgang til den påloggende delen, vil få mer detaljert innsyn i de samme indikatorene. Ved å samle tilgjengelige data om skolen og veiledningsressurser legger Skoleporten til rette for at skoleledere og skoleeiere kan foreta en vurdering av tilstanden i egen virksomhet, og følge utviklingen over år. Åpenhet og innsyn gir grunnlag for en dialog mellom brukerne og den enkelte skole og skoleeier, og gir for eksempel foreldre mulighet til økt involvering i det daglige skolearbeidet. Resultatene av de nasjonale prøvene 2004 ble publisert på Skoleporten i form av T-skår. ILS gir i sin evalueringsrapport følgende vurdering om publisering av resultatene av årets prøver: Lesing 4. trinn: En samlet skåre for hele prøven kan under tvil publiseres. 7. trinn: En samlet skåre for hele prøven kan publiseres. 10. trinn: Man kan publisere en samleskåre for hele prøven. Grunnkurs: På grunn av høy andel boikott anbefales ikke publisering av resultater fra denne prøven. Skriving Forskerne anbefaler å ikke publisere noen resultater fra skriveprøvene. Engelsk Forskerne anbefaler å ikke publisere noen resultater fra skriveprøvene i engelsk. De er skeptiske til å anbefale eventuell publisering av resultater fra engelsk lesing. På grunn av boikott er det uansett uaktuelt å publisere resultater for grunnkurs. Matematikk 4. trinn: Man kan publisere kun én samlet skåre for hele prøven. 7. trinn: Det kan publiseres kun én samlet skåre for hele prøven. 10. trinn: Det kan publiseres kun én samlet skåre for hele prøven. Det kan imidlertid også være grunnlag for å publisere resultater for to delskalaer. Grunnkurs: På grunn av høy andel boikott anbefaler de ikke publisering av noen resultater fra disse prøvene. Utdanningsdirektoratet tilrår at det ikke offentliggjøres resultater for flere prøver og trinn enn det som anbefales i rapporten. Direktoratet mener også, som rapporten, at det bare er realistisk at resultatene kan publiseres som samleskår (T-skår).

10 Side 10 av 12 Dette betyr i så fall at T-skår offentliggjøres for prøvene i lesing og i matematikk for 4., 7. og 10. trinn, og at ingen resultater offentliggjøres for skriving, engelsk og grunnkurs. Spørsmålet det må tas stilling til er om resultatene skal gjøres tilgjengelige på den åpne eller den påloggede delen av Skoleporten, eller om en velger å la være å offentliggjøre resultatene. Dersom en velger offentliggjøring av alle eller deler av resultatene, må det tas stilling til på hvilke nivå dette skal gjøres. Offentliggjøring på den åpne delen av Skoleporten vil ivareta prinsippet om åpenhet og innsyn, og vil videreføre alle interessertes mulighet til å sammenstille ulike indikatorer som gjelder skolen. Offentliggjøring på den påloggede delen av Skoleporten vil gi tilgang til resultater også under publiseringsgrensen for beslutningstakere i skolesektoren. Det er imidlertid slik at det meste av denne informasjonen som gjelder de nasjonale prøvene allerede er gjort tilgjengelig for beslutningstakerne gjennom innrapporteringssystemet nasjonaleprover.no i august ved skolestart, og at det eneste som mangler der per i dag er nasjonale snitt. Nasjonaleprover.no vil derimot ikke gi den muligheten Skoleporten gir til å sammenstille ulike data, og for å sammenligne utviklingen over tid. For å sikre at beslutningstakere får se de nasjonale prøvene i sammenheng med andre indikatorer som grunnlag for gode beslutninger, og at andre interesserte får innsyn som grunnlag for dialog med skoler og skoleeiere, anbefaler Utdanningsdirektoratet at resultatene publiseres på den del av Skoleporten som er åpen for alle. Når det gjelder spørsmålet om hvilke nivå resultatene skal offentliggjøres på, er direktoratet av den prinsipielle oppfatning at resultatene bør offentliggjøres på alle nivåer, også på skolenivå, jf. ovenfor. Utdanningsdirektoratet er imidlertid av den oppfatning at andre former for offentliggjøring enn T- skår bør være utviklet for at rangering av skoler skal vanskeliggjøres. Dette er en viktig premiss som direktoratet arbeider med å oppfylle, særlig i forbindelse med utviklingen av et felles rammeverk for prøvene. Erfaringene med offentliggjøring av resultatene som T-skår fra prøvene i 2004, viser at disse kan være relativt enkle å rangere for de mediene som velger å bruke ressurser på det. Direktoratet vil også vise til at Referansegruppen for det nasjonale kvalitetsvurderingssystemet fremstår samlet i sin tilbakemelding på dette punktet, og mener at resultatene fra prøvene i 2005 ikke bør offentliggjøres på skolenivå. Utdanningsdirektoratet vil på denne bakgrunn tilrå at resultatene fra nasjonale prøver i 2005 for prøvene i lesing, matematikk for 4., 7. og 10. trinn offentliggjøres på den åpne delen av Skoleporten på nasjonalt, fylkeskommunalt og kommunalt nivå, og ikke på skolenivå. Resultatene på skolenivå vil bare være tilgjengelig for skolene på den påloggede delen av Skoleporten. 6 Det bør vurderes om nasjonale prøver på grunnkurs skal videreføres Et særskilt spørsmål som bør vurderes i forbindelse med den videre utviklingen, er om det fortsatt skal gjennomføres nasjonale prøver på grunnkurs. Dette er et element som blant annet bør vurderes i forhold til prøvenes samlede omfang og kostnader. Nasjonale prøver ble gjennomført første gang på grunnkurs våren Prøvene ble i stort omfang boikottet av elevene på grunnkurs. Direktoratet vil derfor understreke at det ikke er mulig å si noe sikkert om hvordan prøvene har fungert/kunne fungert i forhold til målene med å innføre prøver på dette trinnet. Erfaringene fra gjennomføringen våren 2005 førte blant annet til at det ble besluttet at prøvene skulle legges til høsten. Slik ville man både legge til rette for at den enkelte lærer kunne bruke resultatene i større grad i oppfølging av elevene gjennom skoleåret, samt unngå problemene med at elevene har ulikt timetall i norsk, matematikk og engelsk på de ulike studieretningene, slik at alle dermed kunne ha de samme prøvene. Dessuten ville prøvene ved å legges til tidlig høst,

11 Side 11 av 12 kunne fungere som et alternativ til den kartleggingen som gjennomføres av elevene ved skolestart. Det kan reises flere innvendinger mot at det skal være obligatoriske nasjonale prøver på grunnkurs, blant annet at: - Elevene har hatt prøvene året før, prøvene kommer dermed tett i forhold til de andre nasjonale prøvene som har intervall på tre år. - I videregående skole er omfanget av prøver totalt sett mye større enn i grunnskolen, og systemet for elevvurdering er mer etablert. - Intensjonene om at nasjonale prøver også skulle gi grunnlag for skolevurdering oppfylles ikke siden prøvene legges til høsten. - Prøven i lesing er lik for 10. og grunnkurs. Fagmiljøet mener med bakgrunn i den ene gjennomføringen som har vært, at det ikke skjer nevneverdig utvikling av de grunnleggende ferdighetene i lesing fra 10. trinn til grunnkurs. Å videreføre disse prøvene kan derfor virke som en unødvendig belastning både for den enkelte skole og med tanke på ressursbruk generelt. Ulempen ved å fjerne nasjonale prøver fra grunnkurs er at nasjonale prøver da ikke dekker hele grunnopplæringen, slik forutsetningen var. Mot dette kan innvendes at å ha prøvene på begynnelsen av grunnkurs ikke sier noe om den utviklingen som skjer i videregående opplæring, men den kan likevel ha stor pedagogisk verdi for lærerne i oppfølgingen av den enkelte elev. Utdanningsdirektoratet vil peke på at for å få bedre kunnskap om utviklingen av faglig nivå over tid innenfor ulike fag i videregående opplæring, kan andre modeller enn nasjonale prøver vurderes på sikt. 7 Det bør vurderes om nasjonale prøver i skriving i sin nåværende form skal videreføres Tilbakemeldinger fra blant annet lærere, elever og ILS-rapporten fremhever nasjonale prøver i skriving i forbindelse med høy ressursbruk, komplisert vurderingsarbeid og lav reliabilitet. ILSrapporten konkluderer med at skriveprøvene ikke bør videreføres som nasjonal prøve i sin nåværende form, og at det gode arbeidet som er gjort i forhold til skriveopplæringen kan videreføres i skolen på en annen måte enn ved å være en nasjonal prøve. Slik vurderingen av elevenes tekst- og skrivekompetanse er i de nåværende skriveprøvene, er det lagt til rette for tilbakemeldinger til lærere, elever og foreldre, men siden skrivekompetanse består av komplekse delkomponenter, har vurderingsarbeidet blitt både tidkrevende og komplisert. Fra fagmiljøet som utarbeider skriveprøven fremkommer det sterke faglige synspunkter på prøvene, og på hvordan disse må være utformet for å fremme den type skriveopplæring fagmiljøet anser som ønskelig i den norske skolen. Dette går særlig på hvilke type oppgaver prøven kan inneholde. Fagmiljøet mener skriveprøven bare kan inneholde såkalt åpne oppgaver. Dette er oppgaver der det er vanskelig å oppnå høy nok reliabilitet, samt at skriveprøven er komplisert og tidkrevende å vurdere. Det kan synes som om dette står i motstrid til behovet for høy reliabilitet og at det er grunnleggende ferdigheter som skal prøves i nasjonale prøver. Vanskelighetene med å ha skriving som nasjonal prøve kan også illustreres med at de fleste andre land som har nasjonale prøver, ikke har nasjonale prøver i skriving. Utdanningsdirektoratet mener det bør vurderes om de nasjonale prøvene i skriving skal videreføres i sin nåværende form, innenfor dagens system. Direktoratet mener andre måter å ivareta skriveopplæringen i norsk skole bør vurderes. En slik vurdering bør også foretas for prøven i engelsk skriving. I dag er dette en egen prøve med de samme svakheter som påpekes for skriveprøven på norsk. Direktoratet mener på samme måte som for skriveprøven på norsk, at det bør vurderes om skriveprøven på engelsk skal videreføres som en egen nasjonal prøve i sin nåværende form.

12 Side 12 av 12 8 Om videre evaluering ILS og MMI har treårige kontrakter med Utdanningsdirektoratet om årlig evaluering av de nasjonale prøvene. Direktoratet tilrår i dette brevet å ha en utviklingspause frem til høsten Dersom dette følges opp er det neppe hensiktsmessig å fastholde kontraktene i sin nåværende form, siden det med direktoratets tilråding ikke vil bli gjennomført nasjonale prøver i den gjenstående perioden av kontraktene. I utviklingsperioden frem til høsten 2007 bør det generelt vurderes hva som er en hensiktsmessig fremtidig evaluering av de nasjonale prøvene. Det planlagte nye rammeverket for prøvene skal blant annet inneholde krav til teknisk rapportering fra selve prøvekonstruksjonsprosessen. Dette er i dag en del av evalueringsoppdraget til ILS. Ved å legge dette rapporteringskravet på fagmiljøene som utarbeider prøvene, vil den prøvetekniske rapporteringen bli mer tilgjengelig og kontinuerlig, og vil gi bedre grunnlag for en pågående utvikling og korrigering av prøvenes utforming. Dette medfører mindre behov for en årlig ekstern vurdering. En omfattende ekstern evaluering kan dermed gjennomføres sjeldnere, for eksempel hvert tredje år, noe som også er mer hensiktsmessig i forhold til å måle mer langsiktige effekter enn hva som i dag er mulig med årlige evalueringer. Med vennlig hilsen Petter Skarheim direktør Hege Nilssen områdedirektør